KR20110027408A - Method and apparatus for correcting chromatic aberration - Google Patents

본 발명의 일 실시예에 따른 디지털 촬영 장치 제어 방법은, R(red)에 대한 촬상 소자 위치, G(green)에 대한 촬상 소자 위치, 및 B(blue)에 대한 촬상 소자 위치를 결정하는 촬상 소자 위치 결정 단계; 상기 R에 대한 촬상 소자 위치로 촬상 소자를 이동시키고, R에 대한 베이어(bayer) 패턴을 캡쳐하는 단계; 상기 G에 대한 촬상 소자 위치로 상기 촬상 소자를 이동시키고, G에 대한 베이어 패턴을 캡쳐하는 단계; 상기 B에 대한 촬상 소자 위치로 상기 촬상 소자를 이동시키고, B에 대한 베이어 패턴을 캡쳐하는 단계; 및 상기 R에 대한 베이어 패턴, 상기 G에 대한 베이어 패턴, 및 상기 B에 대한 베이어 패턴을 조합하여 RGB 베이어 배턴을 생성하는 단계를 포함한다. 상기 R에 대한 촬상 소자 위치, 상기 G에 대한 촬상 소자 위치, 및 상기 B에 대한 촬상 소자 위치는, RGB에 따른 색수차가 발생하지 않도록 RGB 각각에 대한 초점 거리에 따라 결정된다.

A digital photographing apparatus control method according to an embodiment of the present invention, the image pickup device for determining the image pickup device position for R (red), the image pickup device position for G (green), and the image pickup device position for B (blue) Positioning step; Moving the imaging device to an imaging device location with respect to R and capturing a bayer pattern for R; Moving the imaging device to an imaging device location with respect to G and capturing a Bayer pattern for G; Moving the imaging device to an imaging device location with respect to B and capturing a Bayer pattern for B; And combining the Bayer pattern for R, the Bayer pattern for G, and the Bayer pattern for B to generate an RGB Bayer baton. The imaging device position with respect to R, the imaging device position with respect to G, and the imaging device position with respect to B are determined according to the focal length with respect to each RGB so that chromatic aberration may not arise according to RGB.

색수차를 보정하는 방법 및 장치{A method and an apparatus for correcting chromatic aberration}A method and an apparatus for correcting chromatic aberration

본 발명의 실시예들은 촬상 소자를 이용하여 렌즈를 통해 입사된 광학 신호로부터 영상을 촬영하는 디지털 촬영 장치 및 그 제어 방법에 관련된다. Embodiments of the present invention relate to a digital photographing apparatus for photographing an image from an optical signal incident through a lens using an imaging device and a method of controlling the same.

디지털 촬영 장치는 렌즈를 통해서 입사된 광학 신호를 촬상 소자에서 전기적인 신호로 변환하여, 피사체를 촬영한다. 렌즈는 촬상 소자에서 입사광의 초점이 맞도록 그 위치가 조절된다. 초점이 맞지 않는 경우, 피사체가 흐릿하게 촬영되고 또렷한 영상을 얻을 수 없다. The digital photographing apparatus converts an optical signal incident through a lens into an electrical signal in an image pickup device, thereby photographing a subject. The lens is adjusted in position so that the incident light is focused in the imaging device. If it is out of focus, the subject will be blurred and you will not get a clear image.

본 발명의 실시예들은 색수차를 보정하기 위한 방법 및 장치를 제공한다. 특히 촬영된 영상에 대한 후처리 과정에서 색수차 보정이 요구되지 않는 디지털 촬영 장치 및 그 제어 방법을 제공한다. Embodiments of the present invention provide a method and apparatus for correcting chromatic aberration. In particular, the present invention provides a digital photographing apparatus and a control method thereof, in which chromatic aberration correction is not required in a post-processing process on a captured image.

본 발명의 일 실시예에 따른 디지털 촬영 장치 제어 방법은, R(red)에 대한 촬상 소자 위치, G(green)에 대한 촬상 소자 위치, 및 B(blue)에 대한 촬상 소자 위치를 결정하는 촬상 소자 위치 결정 단계; 상기 R에 대한 촬상 소자 위치로 촬상 소자를 이동시키고, R에 대한 베이어(bayer) 패턴을 캡쳐하는 단계; 상기 G에 대한 촬상 소자 위치로 상기 촬상 소자를 이동시키고, G에 대한 베이어 패턴을 캡쳐하는 단계; 상기 B에 대한 촬상 소자 위치로 상기 촬상 소자를 이동시키고, B에 대한 베이어 패턴을 캡쳐하는 단계; 및 상기 R에 대한 베이어 패턴, 상기 G에 대한 베이어 패턴, 및 상기 B에 대한 베이어 패턴을 조합하여 RGB 베이어 배턴을 생성하는 단계를 포함한다. 상기 R에 대한 촬상 소자 위치, 상기 G에 대한 촬상 소자 위치, 및 상기 B에 대한 촬상 소자 위치는, RGB에 따른 색수차가 발생하지 않도록 RGB 각각에 대한 초점 거리에 따라 결정된다. A digital photographing apparatus control method according to an embodiment of the present invention, the image pickup device for determining the image pickup device position for R (red), the image pickup device position for G (green), and the image pickup device position for B (blue) Positioning step; Moving the imaging device to an imaging device location with respect to R and capturing a bayer pattern for R; Moving the imaging device to an imaging device location with respect to G and capturing a Bayer pattern for G; Moving the imaging device to an imaging device location with respect to B and capturing a Bayer pattern for B; And combining the Bayer pattern for R, the Bayer pattern for G, and the Bayer pattern for B to generate an RGB Bayer baton. The imaging device position with respect to R, the imaging device position with respect to G, and the imaging device position with respect to B are determined according to the focal length with respect to each RGB so that chromatic aberration may not arise according to RGB.

본 발명의 다른 실시예에 따르면, 상기 촬상 소자 위치 결정 단계는, 렌즈의 위치에 기초하여, 상기 R에 대한 촬상 소자 위치, 상기 G에 대한 촬상 소자 위치, 및 상기 B에 대한 촬상 소자 위치를 결정할 수 있다. According to another embodiment of the present invention, the image pickup device positioning step, based on the position of the lens, to determine the image pickup device position for the R, the image pickup device position for the G, and the image pickup device position for the B. Can be.

본 발명의 또 다른 실시예에 따르면, 상기 촬상 소자 위치 결정 단계는, RGB 중 어느 하나의 컬러 성분에 대한 촬상 소자 위치를 산출하고, 산출된 상기 어느 하나의 컬러 성분에 대한 촬상 소자 위치에 따라 미리 저장된 정보를 이용하여 나머지 컬러 성분들에 대한 촬상 소자 위치를 결정할 수 있다. According to another embodiment of the present invention, the image pickup device positioning step may include calculating an image pickup device position with respect to any one of the color components of RGB, and according to the calculated image pickup device position with respect to any one of the color components. The stored information can be used to determine the image pickup device position for the remaining color components.

본 발명의 일 실시예에 따른 디지털 촬영 장치는, 렌즈; 상기 렌즈를 통해 입사된 광학 신호를 전기적인 신호로 변환하는 촬상 소자; R(red)에 대한 촬상 소자 위치, G(green)에 대한 촬상 소자 위치, 및 B(blue)에 대한 촬상 소자 위치를 결정하는 촬상 소자 위치 결정부; 상기 촬상 소자를 광축에 수직인 방향으로 이동시키는 촬상 소자 이동부; 및 상기 촬상 소자 이동부를 이용하여 상기 촬상 소자를 이동시켜, 상기 R에 대한 촬상 소자 위치에서 R에 대한 베이어(bayer) 패턴을 캡쳐하고, 상기 G에 대한 촬상 소자 위치에서 G에 대한 베이어 패턴을 캡쳐하고, 상기 B에 대한 촬상 소자 위치에서 B에 대한 베이어 패턴을 캡쳐하며, 상기 R에 대한 베이어 패턴, 상기 G에 대한 베이어 패턴, 및 상기 B에 대한 베이어 패턴을 조합하여 RGB 베이어 배턴을 생성하는 베이어 패턴 생성부를 포함한다. Digital photographing apparatus according to an embodiment of the present invention, the lens; An imaging device for converting an optical signal incident through the lens into an electrical signal; An imaging device positioning unit for determining an imaging device position with respect to R (red), an imaging device position with respect to G (green), and an imaging device position with respect to B (blue); An imaging device moving unit which moves the imaging device in a direction perpendicular to the optical axis; And moving the imaging device using the imaging device moving unit to capture a Bayer pattern for R at the imaging device location for R, and to capture the Bayer pattern for G at the imaging device location for G. A Bayer that captures a Bayer pattern for B at the imaging device position for B, and combines the Bayer pattern for R, the Bayer pattern for G, and the Bayer pattern for B to produce an RGB Bayer baton It includes a pattern generator.

본 발명의 실시예들에 따르면, RGB에 대한 촬상 소자의 위치를 각각 정하고, RGB 각각에 대한 베이어 패턴을 따로 촬영하여 이를 조합함으로써, 색수차 현상을 촬영하는 과정에서 제거하고, 색수차 보정을 위한 후처리가 따로 요구되지 않는 디지털 촬영 장치 및 그 제어 방법을 제공하는 효과가 있다. According to embodiments of the present invention, by positioning the image pickup device relative to RGB, and photographing the Bayer pattern for each RGB separately and combining them, the chromatic aberration phenomenon is removed during the photographing process, and post-processing for chromatic aberration correction There is an effect of providing a digital photographing apparatus and its control method, which is not required separately.

이하 첨부된 도면들을 참조하여 본 발명의 실시예들을 설명한다. 하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다. Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. The following description and the annexed drawings are for understanding the operation according to the present invention, and a part that can be easily implemented by those skilled in the art may be omitted.

또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. In addition, the specification and drawings are not provided to limit the invention, the scope of the invention should be defined by the claims. Terms used in the present specification should be interpreted as meanings and concepts corresponding to the technical spirit of the present invention so as to best express the present invention.

이하 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다. Embodiments of the present invention will now be described with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 디지털 촬영 장치의 구조를 도시한 도면이다. 1 is a diagram showing the structure of a digital photographing apparatus according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 디지털 촬영 장치(100)는 렌즈(110), 렌즈 구동부(111), 조리개(112), 조리개 구동부(113), 촬상 소자(115), 촬상 소자 이동부(116), 베이어 패턴 생성부(117), 촬상 소자 위치 결정부(118), 촬상 소자 제어부(119), 아날로그 신호 처리부(120), 프로그램 저장부(130), 버퍼 저장부(140), 데이터 저장부(150), 디스플레이부(160), 디지털신호 처리부(170), 및 조작부(180)를 포함할 수 있다. The digital photographing apparatus 100 according to an exemplary embodiment of the present invention includes a lens 110, a lens driver 111, an aperture 112, an aperture driver 113, an imaging device 115, and an imaging device moving unit 116. , A Bayer pattern generator 117, an imaging device positioning unit 118, an imaging device controller 119, an analog signal processor 120, a program storage unit 130, a buffer storage unit 140, and a data storage unit ( 150, a display unit 160, a digital signal processing unit 170, and an operation unit 180.

렌즈(110)는 광학 신호를 집광한다. 렌즈(110)는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등을 포함하며, 이들 렌즈들은 각각 하나의 렌즈로 구성될 수도 있지만, 복수의 렌즈들의 군집으로 이루어질 수도 있다. The lens 110 condenses the optical signal. The lens 110 includes a zoom lens that controls the angle of view to be narrowed or widened according to a focal length, and a focus lens that focuses a subject. These lenses may be configured as one lens, respectively. It may also consist of a cluster of a plurality of lenses.

조리개(112)는 그 개폐 정도를 조절하여 입사광의 광량을 조절한다. The diaphragm 112 controls the amount of incident light by adjusting the degree of opening and closing.

렌즈 구동부(111) 및 조리개 구동부(113)는 디지털 신호 처리부(170)로부터 제어 신호를 제공받아, 각각 렌즈(110) 및 조리개(112)를 구동한다. 렌즈 구동부(111)는 렌즈의 위치를 조절하여 초점 거리를 조절하고, 오토 포커싱, 줌 변경, 초점 변경들의 동작을 수행한다. 본 발명의 일 실시예에 따르면, 렌즈 구동부(111)는 렌즈 위치에 대한 정보를 촬상 소자 위치 결정부(118)에 제공할 수 있다. The lens driver 111 and the aperture driver 113 receive control signals from the digital signal processor 170 to drive the lens 110 and the aperture 112, respectively. The lens driving unit 111 adjusts the focal length by adjusting the position of the lens, and performs auto focusing, zoom change, and focus change operations. According to an embodiment of the present invention, the lens driver 111 may provide information about the lens position to the imaging device positioning unit 118.

조리개 구동부(113)는 조리개의 개폐 정도를 조절하고, 특히 f 넘버를 조절하여 오토 포커스, 자동 노출 보정, 초점 변경, 피사계 심도 조절 등의 동작을 수행한다. The aperture driver 113 adjusts the opening and closing degree of the aperture, and in particular, controls the f number to perform operations such as auto focus, auto exposure compensation, focus change, depth of field, and the like.

렌즈(110)를 투과한 광학 신호는 촬상 소자(115)의 수광면에 이르러 피사체의 상을 결상한다. 상기 촬상 소자(115)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor) 등을 사용할 수 있다. 촬상 소자(115)는 촬상 소자 제어부(119)에 의해 감도 등이 조절될 수 있다. 촬상 소자 제어부(119)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 소자(115)를 제어할 수 있다.The optical signal transmitted through the lens 110 reaches the light receiving surface of the imaging device 115 to form an image of the subject. The imaging device 115 may use a Charge Coupled Device (CCD) or a Complementary Metal Oxide Semiconductor Image Sensor (CIS) that converts an optical signal into an electrical signal. The sensitivity of the image pickup device 115 may be adjusted by the image pickup device controller 119. The imaging device controller 119 may control the imaging device 115 according to a control signal automatically generated by an image signal input in real time or a control signal manually input by a user's operation.

촬상 소자(115)의 노광 시간은 셔터(미도시)로 조절된다. 셔터는 가리개의 이동하여 빛의 입사를 조절하는 기계식 셔터와, 촬상 소자(115)에 전기 신호를 공급하여 노광을 제어하는 전자식 셔터가 있다. The exposure time of the imaging device 115 is adjusted with a shutter (not shown). The shutter includes a mechanical shutter that controls the incidence of light by moving a shade and an electronic shutter that controls an exposure by supplying an electrical signal to the imaging device 115.

본 발명의 일 실시예에 따른 디지털 촬영 장치(100)는 색수차 현상을 제거하 기 위하여 촬영 시 촬상 소자(115)의 위치를 변경한다. 이를 위해 촬상 소자 위치 결정부(118)에서 R에 대한 촬상 소자(115)의 위치, G에 대한 촬상 소자(115)의 위치, 및 B에 대한 촬상 소자(115)의 위치를 결정하고, 촬상 소자 이동부(116)에서 촬상 소자(115)를 RGB 각각에 대한 촬상 소자 위치로 이동시킨다. 베이어 패턴 생성부(117)는 RGB 각각에 대한 베이어 패턴을 촬영하고, RGB 각각에 대한 베이어 패턴을 조합하여 RGB 베이어 패턴을 생성한다. 촬상 소자 이동부(116), 베이어 패턴 생성부(117), 및 촬상 소자 위치 결정부(118)의 동작은 도 2a, 도 2b, 도 3 내지 5, 도 6a, 및 도 6b를 참조하여 아래에서 더욱 자세히 설명한다. The digital photographing apparatus 100 according to an exemplary embodiment of the present invention changes the position of the imaging device 115 at the time of photographing to remove the chromatic aberration phenomenon. To this end, the image pickup device positioning unit 118 determines the position of the imaging device 115 with respect to R, the position of the imaging device 115 with respect to G, and the position of the imaging device 115 with respect to B, The moving unit 116 moves the imaging device 115 to the imaging device position with respect to each of RGB. The Bayer pattern generator 117 photographs the Bayer pattern for each of the RGB, and generates the RGB Bayer pattern by combining the Bayer pattern for each of the RGB. The operations of the image pickup device moving unit 116, the Bayer pattern generating unit 117, and the image pickup device positioning unit 118 are described below with reference to FIGS. 2A, 2B, 3 to 5, 6A, and 6B. Explain in more detail.

아날로그 신호 처리부(120)는 베이어 패턴 생성부(117)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다. The analog signal processing unit 120 performs noise reduction processing, gain adjustment, waveform shaping, analog-to-digital conversion processing, and the like on the analog signal supplied from the Bayer pattern generation unit 117.

조작부(180)는 사용자가 제어 신호를 입력할 수 있는 곳이다. 상기 조작부(180)는 정해진 시간 동안 촬상 소자(115)를 빛에 노출하여 사진을 촬영하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼과, 문자 입력 또는 촬영 모드, 재생 모드 등의 모드 선택, 화이트 밸런스 설정 기능 선택, 노출 설정 기능 선택 등의 다양한 기능 버튼들을 포함할 수 있다. 조작부(180)는 상기와 같이 다양한 버튼의 형태를 가질 수도 있지만, 이에 한정되는 것은 아니며, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 입력할 수 있는 어떠한 형태로 구현되어도 무방하 다. The operation unit 180 is a place where a user can input a control signal. The operation unit 180 is a shutter-release button for inputting a shutter-release signal for taking a picture by exposing the imaging device 115 to light for a predetermined time, and a power source for inputting a control signal for controlling on / off of the power supply. Button, Wide-Zoom button and Tele-Zoom button to widen or narrow angle of view according to input, select mode such as text input or shooting mode, playback mode, select white balance setting function, select exposure setting function, etc. May include various function buttons. The operation unit 180 may have various forms of buttons as described above, but is not limited thereto, and may be implemented in any form that a user can input, such as a keyboard, a touch pad, a touch screen, a remote controller, and the like.

또한, 상기 디지털 촬영 장치(100)는 상기 디지털 카메라를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장하는 프로그램 저장부(130), 연산 수행 중에 필요한 데이터 또는 결과 데이터들을 임시로 저장하는 버퍼 저장부(140), 영상 신호를 포함하는 이미지 파일을 비롯하여 상기 프로그램에 필요한 다양한 정보들을 저장하는 데이터 저장부(150)를 포함한다. In addition, the digital photographing apparatus 100 may include a program storage unit 130 for storing a program such as an operating system or an application system for driving the digital camera, and a buffer storage unit for temporarily storing data or result data necessary for performing an operation. 140, a data storage unit 150 storing various information required for the program, including an image file including an image signal.

아울러, 상기 디지털 촬영 장치(100)는 이의 동작 상태 또는 상기 디지털 촬영 장치(100)에서 촬영한 이미지 정보를 표시하도록 디스플레이부(160)를 포함한다. 상기 디스플레이부(160)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 상기 디스플레이부(160)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED) 등으로 이루어질 수 있다. In addition, the digital photographing apparatus 100 includes a display unit 160 to display an operation state thereof or image information photographed by the digital photographing apparatus 100. The display unit 160 may provide visual information and / or audio information to a user. In order to provide visual information, the display unit 160 may include, for example, a liquid crystal display panel (LCD), an organic light emitting display panel (OLED), and the like.

그리고 상기 디지털 촬영 장치(100)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어하는 디지털 신호 처리부(170)를 포함한다. 디지털 신호 처리부(170)는 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 압축한 상기 데이터 저장부(150)에 저장될 수 있다. 또한, 디지털 신호 처리부(20)에서는 기능적으로 불선명 처리, 색채 처리, 블러 처리, 엣지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 아울러, 디지털 신호 처리부(170)에서는 디스플레이부(160)에 디스플레이하기 위한 표시 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다. 상기 디지털 신호 처리부(170)는 외부 모니터와 연결되어, 외부 모니터에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 상기 외부 모니터에서 해당 영상이 디스플레이 되도록 할 수 있다.In addition, the digital photographing apparatus 100 includes a digital signal processor 170 for processing an input image signal and controlling each component according to the input signal. The digital signal processor 170 reduces noise with respect to the input image data, performs gamma correction, color filter array interpolation, color matrix, color correction, Image signal processing for image quality improvement such as color enhancement may be performed. In addition, the image data may be generated by compressing the image data generated by the image signal processing to improve the image quality, or the image data may be restored from the image file. The compressed format of the video may be a reversible format or an irreversible format. As an example of a suitable format, it is also possible to convert to JPEG (Joint Photographic Experts Group) format, JPEG 2000 format, or the like. The data may be stored in the compressed data storage 150. In addition, the digital signal processing unit 20 can also perform unsharpening, color processing, blur processing, edge emphasis processing, image analysis processing, image recognition processing, image effect processing, and the like. Face recognition, scene recognition processing, and the like can be performed by the image recognition processing. In addition, the digital signal processor 170 may perform display image signal processing for display on the display unit 160. For example, luminance level adjustment, color correction, contrast adjustment, outline enhancement adjustment, screen division processing, character image generation and the like, and image synthesis processing can be performed. The digital signal processor 170 may be connected to an external monitor to perform predetermined image signal processing to be displayed on an external monitor, and transmit the processed image data so that the corresponding image is displayed on the external monitor.

또한 디지털 신호 처리부(170)는 프로그램 저장부(130)에 저장된 프로그램을 실행하거나, 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 렌즈 구동부(111), 조리개 구동부(113), 및 촬상 소자 제어부(116)에 제공하고, 셔터, 플래시 등 디지털 촬영 장치(100)에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다. In addition, the digital signal processor 170 may execute a program stored in the program storage unit 130 or may include a separate module to generate a control signal for controlling auto focusing, zoom change, focus change, and automatic exposure compensation. , The lens driver 111, the aperture driver 113, and the imaging device controller 116, and collectively control the operations of the components included in the digital photographing apparatus 100 such as a shutter and a flash.

도 2a 및 도 2b는 색수차 현상이 나타난 영상을 나타낸 도면이다. 2A and 2B are diagrams illustrating an image in which chromatic aberration occurs.

색수차는 파장에 따른 굴절률의 차이에 의해 생기는 수차를 의미한다. 긴 파 장일수록 렌즈(110)를 통과할 때 굴절률이 작아서, 초점 거리가 커지고, 이러한 초점 거리의 차이 때문에 색수차 현상이 일어난다. 디지털 촬영 장치(100)를 포함한 광학 기기에서는 이를 보정하기 위해 여러 개의 렌즈를 결합할 수 있다. 도 2에 나타난 바와 같이, 콘트라스트(contrast)가 높은 영상에서, 보라색이나 녹색이 번져서 나타나는 현상이 관찰되는데, 이러한 현상을 색수차라고 하며, 특히 보라색이 번져서 나타나는 경우가 많다. Chromatic aberration refers to aberration caused by the difference in refractive index according to the wavelength. The longer the wavelength, the smaller the refractive index when passing through the lens 110, the larger the focal length, and the chromatic aberration occurs due to the difference in the focal length. In the optical apparatus including the digital photographing apparatus 100, a plurality of lenses may be combined to correct this. As shown in FIG. 2, in a high contrast image, purple or green color bleeding is observed. This phenomenon is called chromatic aberration, and in particular, purple color bleeding is often observed.

도 3은 축상 색수차를 설명하기 위한 도면이고, 도 4는 배율 색수차를 설명하기 위한 도면이다. 3 is a diagram for explaining axial chromatic aberration, and FIG. 4 is a diagram for explaining magnification chromatic aberration.

색수차 현상에는 축상 색수차와 배율 색수차 현상이 있다. 축상 색수차는 파장에 따른 굴절률 차이 때문에, 초점거리가 달라짐으로 인해 생기는 현상이다. 굴절률은 파장이 길수록 작아진다. 따라서 가시광선 영역에서, 파장이 긴 레드 계열의 빛은 그린 계열의 빛에 비하여 초점이 렌즈에서 멀리 잡히고, 파장이 짤은 블루 계열의 빛은 그린 계열의 빛에 비하여 초점이 렌즈에 가깝게 잡힌다. 촬상 소자(115)의 위치를 그린의 초점 거리에 맞춰서 결정하면, 블루 계열의 빛은 촬상 소자(115)보다 앞에서 초점이 잡혀서, 촬상 소자(115)에 역상이 생기거나 촬영된 영상에서 색이 번지게 된다. 또한 레드 계열의 빛은 촬상 소자(115)보다 뒤에 초점이 잡혀서, 촬영된 영상에서 색이 번지게 된다. Chromatic aberration includes axial chromatic aberration and magnification chromatic aberration. Axial chromatic aberration is a phenomenon caused by a change in focal length due to a difference in refractive index depending on the wavelength. The longer the wavelength, the smaller the refractive index. Therefore, in the visible region, the red light having a longer wavelength is focused farther from the lens than the green light, and the blue light having a shorter wavelength is closer to the lens than the green light. When the position of the image pickup device 115 is determined according to the focal length of the green, the blue light is focused in front of the image pickup device 115 so that a reverse phase occurs in the image pickup device 115 or the color blurs in the captured image. It becomes. In addition, the red-based light is focused behind the imaging device 115, so that colors may be blurred in the captured image.

배율 색수차는 파장에 따라 굴절률이 서로 달라, 상의 크기가 달라지는 현상이다. 도 4에 도시된 바와 같이 파장에 따라 굴절률이 서로 다름으로 인하여, 렌즈(110)를 통과한 각 파장의 빛들은 그 경로가 달라지고, 촬상 소자(115)에 도달했 을 때, 촬상된 피사체의 배율이 서로 달라, 촬영된 영상에서 피사체가 번지게 된다.Magnification chromatic aberration is a phenomenon in which the refractive index is different from each other according to the wavelength and the size of the image is different. As shown in FIG. 4, since the refractive indices are different depending on the wavelength, the light of each wavelength passing through the lens 110 has a different path, and when the light reaches the imaging device 115, Different magnifications cause the subject to bleed in the captured image.

색수차를 제거하는 방법에는 특수 색수차 렌즈를 통해서 선보정하는 방법과 촬영된 영상에 대한 이미지 처리를 통해 후보정하는 방법이 있다. 하지만 특수 색수차 렌즈를 쓰는 경우, 렌즈의 가격이 비싸서 이러한 방법은 쉽게 사용할 수 없다. 이미지 처리를 통해 후보정하는 방법은 이미 촬영된 영상을 처리하는 것이기 때문에, 모든 색수차를 보정하기에 어려움이 있고, 영상을 왜곡시킬 가능성이 있다. There are two methods of removing chromatic aberration: a method of presenting it through a special chromatic aberration lens and a method of deciding it through image processing on a captured image. However, if a special chromatic aberration lens is used, the method is expensive because the lens is expensive. Since the method of candidate determination through image processing is to process an already photographed image, it is difficult to correct all chromatic aberration, and there is a possibility of distorting the image.

이미지 처리를 통해 후보정하는 방법에는, B 성분의 픽셀들을 쉬프트(shift)하거나, B 성분의 픽셀의 쉬프트 정도를 산출하여 전체적으로 B 성분을 스케일링 하는 방법 등 다양한 후보정 알고리즘들이 있다. 그러나 이는 모두 베이어 데이터를 보간(interpolation) 한 후에, 후보정하는 방식을 이용하기 때문에 이미지의 왜곡을 피하기 어렵고, 모든 색수차를 제거할 수 없다. 또한 피사체가 이미 보라색을 많이 포함하고 있는 경우, 색수차를 제거하기 위한 후보정 처리 동안 피사체의 원래 색을 잃을 수 있는 문제점이 있다. There are various candidate correcting algorithms such as shifting pixels of the B component or scaling the B component as a whole by calculating the shift degree of the pixels of the B component. However, it is difficult to avoid distortion of the image and remove all chromatic aberration because all of them use a candidate method after interpolation of Bayer data. In addition, when the subject already contains a large amount of purple, there is a problem that the original color of the subject may be lost during candidate processing for removing chromatic aberration.

도 5는 본 발명의 일 실시예에 따라 색수차를 제거하는 방식을 설명하기 위한 도면이다. 5 is a view for explaining a method of removing chromatic aberration according to an embodiment of the present invention.

본 발명의 일 실시예는, 피사체를 촬영할 때, 촬상 소자(115)의 위치를 이동시키면서, RGB에 대한 베이어 패턴을 각각 따로 촬영하여, RGB의 초점 거리 차이로 인한 색수차 현상을 제거한다. According to one embodiment of the present invention, when photographing a subject, the Bayer pattern with respect to RGB is photographed separately while the position of the imaging device 115 is moved to remove chromatic aberration due to the focal length difference of RGB.

촬상 소자 위치 결정부(118)는 R(red)에 대한 촬상 소자 위치, G(green)에 대한 촬상 소자 위치, 및 B(blue)에 대한 촬상 소자 위치를 결정한다. 이때 R에 대한 촬상 소자 위치, G에 대한 촬상 소자 위치, 및 B에 대한 촬상 소자 위치는 색수차 현상을 제거하도록 RGB 각각의 초점 거리에 따라 다르게 결정된다. The imaging device positioning unit 118 determines the imaging device position for R (red), the imaging device position for G (green), and the imaging device position for B (blue). At this time, the image pickup device position with respect to R, the image pickup device position with respect to G, and the image pickup device position with respect to B are determined differently according to the focal length of each RGB to remove the chromatic aberration phenomenon.

RGB에 대한 초점 거리는 각 파장에 따른 굴절률, 렌즈의 구면 반지름을 통하여 산출할 수 있다. 예를 들면, 굴절률이 일정한 매질 속에 있는 굴절률 n인 유리 렌즈에서, 각 주파수의 초점거리는 수학식 1과 같이 나타낼 수 있다. The focal length with respect to RGB can be calculated through the refractive index of each wavelength and the spherical radius of the lens. For example, in a glass lens having a refractive index n in a medium having a constant refractive index, the focal length of each frequency may be expressed by Equation 1 below.

여기서

및

는 각각 렌즈의 두 구면의 반지름이고,

는 파장에 따른 굴절률,

는 파장에 따른 초점 거리를 나타낸다. 따라서 R에 대한 촬상 소자 위치, G에 대한 촬상 소자 위치, 및 B에 대한 촬상 소자 위치는, RGB 각각에 대한 초점 거리를 산출하여, 렌즈(110)로부터 RGB 각각의 초점 거리만큼 떨어진 위치에 촬상 소자(115)가 위치하도록 각각 결정될 수 있다.here

And

Are the radii of the two spheres of the lens,

Is the refractive index depending on the wavelength,

Represents the focal length according to the wavelength. Thus, the image pickup device position with respect to R, the image pickup device position with respect to G, and the image pickup device position with respect to B calculate the focal lengths for each of the RGB, and the image pickup device at a position separated by the focal length of each of the RGB from the lens 110. Each may be determined so that 115 is located.

본 발명의 다른 실시예에 따르면, 촬상 소자 위치 결정부(118)는 렌즈 구동부(111)로부터 제공된 렌즈(110)의 위치에 대한 정보에 따라, 미리 저장된 정보를 이용하여, R에 대한 촬상 소자 위차, G에 대한 촬상 소자 위치, 및 B에 대한 촬상 소자 위치를 결정할 수 있다. 도 6a는 본 발명의 다른 실시예에 따라 미리 저장된 정보를 나타낸다.According to another embodiment of the present invention, the imaging device positioning unit 118 uses the previously stored information according to the information on the position of the lens 110 provided from the lens driving unit 111, and the imaging device difference with respect to R. , The imaging device position with respect to G, and the imaging device position with respect to B can be determined. 6A illustrates previously stored information according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따르면, 촬상 소자 위치 결정부(118)는 RGB 중 어느 하나에 대한 촬상 소자 위치를 수학식 1을 이용하여 산출하고, 미리 저장된 정보를 이용하여 나머지 컬러 성분들에 대한 촬상 소자 위치를 결정할 수 있다. 예를 들면, 촬상 소자 위치 결정부(118)는 G에 대한 촬상 소자 위치를 수학식 1을 이용하여 산출하고, 도 6b에 도시된 바와 같은 미리 저장된 정보를 이용하여, G에 대한 촬상 소자 위치에 따라 R에 대한 촬상 소자 위치 및 B에 대한 촬상 소자 위치를 결정할 수 있다. According to another embodiment of the present invention, the image pickup device positioning unit 118 calculates the image pickup device position with respect to any one of the RGB using Equation 1, and uses the previously stored information for the remaining color components. The imaging device position can be determined. For example, the imaging device positioning unit 118 calculates the imaging device position with respect to G using Equation 1, and uses the prestored information as shown in FIG. 6B to locate the imaging device with respect to G. Accordingly, the image pickup device position with respect to R and the image pickup device position with respect to B can be determined.

촬상 소자 위치 결정부(118)에서 R에 대한 촬상 소자 위치, G에 대한 촬상 소자 위치, 및 B에 대한 촬상 소자 위치가 결정되면, 베이어 패턴 생성부(117)는 촬상 소자 이동부(116)를 이용하여 촬상 소자(115)를 이동시키면서, R에 대한 베이어 패턴, G에 대한 베이어 패턴, 및 B에 대한 베이어 패턴을 캡쳐한다. RGB 각각에 대한 베이어 패턴을 캡쳐할 때, 그 순서는 임의로 결정될 수 있으며, 본 발명은 RGB 각각에 대한 베이어 패턴을 켭쳐하는 순서에 의하여 제한되지 않는다. 예를 들면, 베이어 패턴 생성부(117)는 촬상 소자(115)를 R에 대한 촬상 소자 위치로 이동하도록 촬상 소자 이동부(116)를 제어하고, R에 대한 베이어 패턴을 촬영하고, G와 B에 대해서 이러한 과정을 반복하여, R에 대한 베이어 패턴, G에 대한 베이어 패턴, 및 B에 대한 베이어 패턴을 촬영할 수 있다. When the image pickup device position with respect to R, the image pickup device position with respect to G, and the image pickup device position with respect to B are determined by the imaging device positioning part 118, the Bayer pattern generation part 117 may carry out imaging device movement part 116. Moving the image pickup device 115 to capture the Bayer pattern for R, the Bayer pattern for G, and the Bayer pattern for B. As shown in FIG. When capturing the Bayer pattern for each of the RGB, the order can be arbitrarily determined, and the present invention is not limited by the order of turning on the Bayer pattern for each of the RGB. For example, the Bayer pattern generator 117 controls the imaging device moving unit 116 to move the imaging device 115 to the imaging device position with respect to R, photographs the Bayer pattern for R, and shoots G and B. By repeating this process for, a Bayer pattern for R, a Bayer pattern for G, and a Bayer pattern for B can be photographed.

촬상 소자 이동부(116)는 베이어 패턴 생성부(117)로부터 제공되는 제어신호에 따라 촬상 소자(115)를 이동시킨다. 촬상 소자 이동부(116)는 렌즈(110)를 이동 시키기 위한 렌즈 구동부(111)의 구조를 채용할 수 있으며, 촬상 소자(115)를 렌즈(110)에 평행하게 이동시킬 수 있는 구조라면 어떠한 구조라도 가능한다. 또한 디지털 촬영 장치(100)가 DSLR 카메라로 구현되는 경우, 촬상 소자 이동부(116)는 DSLR 카메라의 바디에 배치될 수 있고, 디지털 촬영 장치(100)가 컴팩트 카메라로 구현되는 경우, 촬상 소자 이동부(116)는 컴팩트 카메라의 경통에 배치될 수 있다. The imaging device moving unit 116 moves the imaging device 115 according to a control signal provided from the Bayer pattern generating unit 117. The imaging device moving unit 116 may adopt a structure of the lens driving unit 111 for moving the lens 110, and any structure as long as the imaging device moving unit 116 may move the imaging device 115 in parallel with the lens 110. It is also possible. In addition, when the digital photographing apparatus 100 is implemented as a DSLR camera, the imaging device moving unit 116 may be disposed on the body of the DSLR camera, and when the digital photographing apparatus 100 is implemented as a compact camera, the imaging device is moved. The unit 116 may be disposed in the barrel of the compact camera.

베이어 패턴 생성부(117)는 R에 대한 베이어 패턴, G에 대한 베이어 패턴, 및 B에 대한 베이어 패턴이 촬영되면, 도 5에 도시된 바와 같이 RGB 각각에 대한 3개의 베이어 패턴을 조합하여, RGB에 대한 베이어 패턴을 생성한다. 따라서 본 발명의 실시예들에 따른 베이어 패턴을 RGB 각각에 대해 3번 촬영한 후, 생성된다. 이처럼 RGB 각각에 대해 촬영될 베이어 패턴들은 각 컬러 성분들에 대해 촬상 소자(115)의 위치를 조절하여 색수차 현상이 발생하는 것을 방지했기 때문에, 후보정을 통한 색수차 제거가 요구되지 않는 효과가 있다. 베이어 패턴 생성부(117)는 RGB 베이어 패턴을 아날로그 신호 처리부(120)로 출력한다. When the Bayer pattern generator 117 captures the Bayer pattern for R, the Bayer pattern for G, and the Bayer pattern for B, the Bayer pattern generator 117 combines three Bayer patterns for each RGB as shown in FIG. Create a Bayer pattern for. Therefore, the Bayer pattern according to embodiments of the present invention is photographed three times for each of RGB, and then generated. As described above, since Bayer patterns to be photographed for each RGB are prevented from generating chromatic aberration by adjusting the position of the imaging device 115 with respect to each color component, chromatic aberration removal through candidate candidates is not required. The Bayer pattern generator 117 outputs the RGB Bayer pattern to the analog signal processor 120.

도 7은 본 발명의 일 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다. 7 is a flowchart illustrating a method for controlling a digital photographing apparatus according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 디지털 촬영 장치 제어 방법은, 우선 R에 대한 촬상 소자 위치, G에 대한 촬상 소자 위치, 및 B에 대한 촬상 소자 위치를 결정한다(S702). 촬상 소자 위치를 결정하는 방식은, 앞서 설명한 바와 같이, 수학식 1을 이용하여 RGB 각각에 대한 촬상 소자 위치를 결정하는 방식, 렌즈 위치에 따라 미리 저장된 정보를 이용하여 촬상 소자 위치를 결정하는 방식, RGB 중 어느 하나의 컬러 성분에 대한 촬상 소자 위치를 결정하고, 결정된 어느 하나의 컬러 성분에 대한 촬상 소자 위치를 이용하여 나머지 컬러 성분에 대한 촬상 소자 위치를 결정하는 방식 등 다양한 실시예가 있다. In the method for controlling a digital photographing apparatus according to an embodiment of the present invention, first, an image pickup device position with respect to R, an image pickup device position with respect to G, and an image pickup device position with respect to B are determined (S702). As described above, the method of determining the image pickup device position may include: a method of determining the image pickup device position for each RGB using Equation 1, a method of determining the image pickup device position using information stored in advance according to the lens position; There are various embodiments, such as a method of determining an image pickup device position with respect to one color component of RGB, and determining the image pickup device position with respect to the remaining color components by using the image pickup device position with respect to any one of the color components.

RGB 각각에 대한 촬상 소자 위치가 결정되면, RGB 각각에 대한 베이어 패턴을 캡쳐한다. RGB 각각에 대한 베이어 패턴을 캡쳐하는 순서는 임의로 결정될 수 있다. 예를 들면, R에 대한 촬상 소자 위치로 촬상 소자(115)를 이동시키고, R에 대한 베이어 패턴을 캡쳐하고(S704), G에 대한 촬상 소자 위치로 촬상 소자(115)를 이동시키고, G에 대한 베이어 패턴을 캡쳐하고(S706), B에 대한 촬상 소자 위치로 촬상 소자(115)를 이동시키고, G에 대한 베이어 패턴을 캡쳐할 수 있다(S708). Once the image pickup device position for each of the RGB is determined, capture the Bayer pattern for each of the RGB. The order of capturing the Bayer pattern for each of the RGB can be arbitrarily determined. For example, move the imaging device 115 to the imaging device position relative to R, capture the Bayer pattern for R (S704), move the imaging device 115 to the imaging device location relative to G, and It is possible to capture the Bayer pattern for (S706), move the imaging device 115 to the image pickup device position for B, and capture the Bayer pattern for G (S708).

다음으로, R에 대한 베이어 패턴, G에 대한 베이어 패턴, 및 B에 대한 베이어 패턴을 조합하여, RGB 베이어 패턴을 생성한다(S710). Next, the Bayer pattern for R, the Bayer pattern for G, and the Bayer pattern for B are combined to generate an RGB Bayer pattern (S710).

이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.The present invention has been described above with reference to preferred embodiments. Those skilled in the art will understand that the present invention can be embodied in a modified form without departing from the essential characteristics of the present invention. Therefore, the above-described embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and the inventions claimed by the claims and the inventions equivalent to the claimed invention are to be construed as being included in the present invention.

도 1은 본 발명의 일 실시예에 따른 디지털 촬영 장치의 구조를 도시한 도면이다. 1 is a diagram showing the structure of a digital photographing apparatus according to an embodiment of the present invention.

도 2a 및 도 2b는 색수차 현상이 나타난 영상을 나타낸 도면이다.2A and 2B are diagrams illustrating an image in which chromatic aberration occurs.

도 3은 축상 색수차를 설명하기 위한 도면이고, 도 4는 배율 색수차를 설명하기 위한 도면이다. 3 is a diagram for explaining axial chromatic aberration, and FIG. 4 is a diagram for explaining magnification chromatic aberration.

도 5는 본 발명의 일 실시예에 따라 색수차를 제거하는 방식을 설명하기 위한 도면이다. 5 is a view for explaining a method of removing chromatic aberration according to an embodiment of the present invention.

도 6a는 본 발명의 다른 실시예에 따라 미리 저장된 정보를 나타낸다.6A illustrates previously stored information according to another embodiment of the present invention.

도 6b는 본 발명의 또 다른 실시예에 따라 미리 저장된 정보를 나타낸다.6B illustrates prestored information according to another embodiment of the present invention.

도 7은 본 발명의 일 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다. 7 is a flowchart illustrating a method for controlling a digital photographing apparatus according to an embodiment of the present invention.