JP2000308076A - Image pickup device - Google Patents
- ️Thu Nov 02 2000
JP2000308076A - Image pickup device - Google Patents
Image pickup deviceInfo
-
Publication number
- JP2000308076A JP2000308076A JP11118328A JP11832899A JP2000308076A JP 2000308076 A JP2000308076 A JP 2000308076A JP 11118328 A JP11118328 A JP 11118328A JP 11832899 A JP11832899 A JP 11832899A JP 2000308076 A JP2000308076 A JP 2000308076A Authority
- JP
- Japan Prior art keywords
- pixel
- pixels
- signal
- image
- image sensor Prior art date
- 1999-04-26 Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 230000000750 progressive effect Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
PROBLEM TO BE SOLVED: To enable an image pickup device to pickup moving images and still images with high image qualities. SOLUTION: An image pickup device has a high-pixel image pickup element 2 which has pixels the number of which is about N times as large as that of output lines and outputs signals of about 1/N of the pixels in the vertical direction by vertically thinning the signals accumulated in each pixel of the element 2 in an N-pixel period or mixing the signals, a driving circuit 5 which drives the element 2 so as to output pixel signals of a prescribed number of output lines by thinning and mixing, and a signal processing circuit 4 which generates moving images by using the pixel signals outputted from the element 2.
Description
【発明の属する技術分野】本発明は、静止画及び動画の
撮影が可能な撮像技術にかかり、特に高画質の静止画及
び動画を撮像を行うために有効な技術である。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an imaging technique capable of photographing a still image and a moving image, and is particularly effective for imaging a high-quality still image and a moving image.
【従来の技術】CCD(Charge Coupled Device)等の撮
像素子を用いて光電変換を行ない、これにデジタル信号
処理を施して所定のデジタル画像信号を得る従来の撮像
装置は、動画を撮像するビデオカメラと、静止画を撮像
するデジタルスチルカメラとに分類することができる。
動画撮像を行なう、いわゆるビデオカメラでは、単一の
撮像素子にモザイク状の色フィルタを設けてカラー画像
を生成できるようにした単板式と、3原色RGBの各々
に1つの撮像素子を対応させた3板式がある。単板式は
構成が簡単であるが、色信号の空間サンプリング周波数
が、撮像素子の画素による空間サンプリング周波数の2
分の1以下と低くなり、折り返しノイズが生じる問題が
ある。3板式はRGB3原色信号の空間サンプリング周
波数が撮像素子の画素による空間サンプリング周波数と
同一であり折り返しノイズが生じにくく、高画質の映像
信号を生成できる。しかし、3個のCCDを用いるため
光学系の構造が複雑であり、コストも高くなる問題があ
る。単板式の撮像素子に用いる色フィルタ配列の例を図
6の(a)に示す。この例では、Mg,G,Cy,Ye
の補色フィルタを用いている。この色フィルタを備えた
撮像素子を用いて、動画を生成する場合には、垂直方向
に隣接する2画素の信号を混合する画素混合を行なって
出力する。また、NTSC等のアナログTV信号規格に
おけるビデオ信号はインターレース信号であるが、この
ようなインターレース信号を生成するため、混合する行
の組み合わせをフィールド毎に変えることにより擬似的
にインターレース走査を行なう。一方、デジタルスチル
カメラでは、静止画の解像度を高くするため、撮像素子
の画素数をビデオカメラ用の撮像素子よりも増加させた
撮像素子が提案されている。このような撮像素子の垂直
画素数は、現行のテレビジョン方式における走査線数よ
りも大きく、一例として垂直方向の有効画素数が960
の場合、テレビジョン方式における走査線数の2倍にな
る。このような静止画用の撮像素子の色フィルタ配置の
例を図5(b)に示す。このフィルタでは、3原色R
(赤)G(緑)B(青)を用いている。そこで、動画撮
像用のビデオカメラにこのようなデジタルスチルカメラ
用の画素数の多い撮像素子を用いて、3板式並みの高画
質の動画像を生成する方法が考えられる。2. Description of the Related Art A conventional imaging apparatus that performs photoelectric conversion using an imaging element such as a CCD (Charge Coupled Device) and performs digital signal processing on the photoelectric conversion to obtain a predetermined digital image signal is a video camera that captures a moving image. And a digital still camera that captures a still image.
In a so-called video camera that performs moving image capturing, a single image sensor is provided with a mosaic color filter so that a color image can be generated, and one image sensor is associated with each of the three primary colors RGB. There is a three-plate type. The single-panel type has a simple configuration, but the spatial sampling frequency of the color signal is two times the spatial sampling frequency of the pixels of the image sensor.
There is a problem that aliasing noise is generated, which is lower than 1/100. In the three-panel type, the spatial sampling frequency of the RGB primary color signals is the same as the spatial sampling frequency of the pixels of the image sensor, so that aliasing noise is less likely to occur and a high-quality video signal can be generated. However, since three CCDs are used, there is a problem that the structure of the optical system is complicated and the cost increases. FIG. 6A shows an example of a color filter array used for a single-plate image sensor. In this example, Mg, G, Cy, Ye
Are used. When a moving image is generated by using an image pickup device provided with the color filters, pixel mixing for mixing signals of two pixels adjacent in the vertical direction is performed and output. A video signal in the analog TV signal standard such as NTSC is an interlace signal. In order to generate such an interlace signal, pseudo interlace scanning is performed by changing a combination of rows to be mixed for each field. On the other hand, in order to increase the resolution of a still image, a digital still camera has been proposed in which the number of pixels of the image sensor is increased compared to that of a video camera. The number of vertical pixels of such an image sensor is larger than the number of scanning lines in the current television system. For example, the number of effective pixels in the vertical direction is 960.
In the case of, the number of scanning lines in the television system is doubled. FIG. 5B shows an example of such a color filter arrangement of a still image pickup device. In this filter, the three primary colors R
(Red) G (green) B (blue) is used. In view of this, a method of generating a high-quality moving image comparable to a three-plate type using an imaging device having a large number of pixels for a digital still camera as a video camera for capturing a moving image can be considered.
【発明が解決しようとする課題】しかし、高解像度を得
るために撮像素子の画素数を増やすと、 NTSC等の
テレビジョン信号の規格にあわせた動画像を生成する場
合に画質が劣化する問題がある。従来の動画用撮像素子
の画素数、例えば垂直方向の有効画素数が480の場
合、上述したよう図6の(a)のフィルタ配列を用いて
画素混合と擬似的なインターレースを行い、フィールド
あたり240ライン分の信号を毎秒60枚出力できるよ
うにすれば、NTSC方式に対応した動画像をリアルタ
イムに生成することができる。しかし、例えば画素数を
水平、垂直とも2倍の高解像度化した場合、垂直方向4
画素に1画素の割合で画素を間引き読み出ししなけれ
ば、1フィールドに240ラインの信号を出力すること
ができない。このように4画素に1画素の画素の割合で
信号を読み出すには、例えば図6(a)の色フィルタの
場合、カラー画像を生成するにはMG画素の行と、CY
画素の行を交互に選択する必要があるが、この場合4画
素毎に等間隔の間引きを行なうことができない。一例と
して1行目のMGの次に6行目のCYを読み出し、次に
9行目のMGを読み出す方法があるが、間引きの画素数
を交互に5画素と3画素とする間引きを行なうことにな
り、不規則なサンプリングによる折り返しが生じ、画質
が劣化してしまう。本発明の目的は、上記問題を解決
し、単板式の撮像装置において折り返しノイズの少ない
高画質の動画像を生成可能な撮像装置を提供することに
ある。However, if the number of pixels of the image sensor is increased in order to obtain a high resolution, there is a problem that the image quality is deteriorated when a moving image conforming to a television signal standard such as NTSC is generated. is there. When the number of pixels of the conventional imaging device for moving images, for example, the number of effective pixels in the vertical direction is 480, pixel mixing and pseudo interlacing are performed using the filter arrangement of FIG. If it is possible to output 60 lines of signal per second, a moving image corresponding to the NTSC system can be generated in real time. However, for example, when the number of pixels is increased to twice the horizontal and vertical resolutions, the vertical
Unless pixels are thinned out and read out at a rate of one pixel per pixel, a signal of 240 lines cannot be output in one field. To read a signal at a ratio of one pixel to four pixels in this way, for example, in the case of the color filter of FIG. 6A, to generate a color image, a row of MG pixels and CY
It is necessary to alternately select rows of pixels, but in this case, it is not possible to perform thinning at regular intervals every four pixels. As an example, there is a method in which the CY in the sixth row is read next to the MG in the first row, and then the MG in the ninth row is read. However, thinning is performed by alternately reducing the number of pixels to 5 and 3 pixels. And aliasing occurs due to irregular sampling, and the image quality deteriorates. An object of the present invention is to solve the above-mentioned problem and to provide an imaging device capable of generating a high-quality moving image with less aliasing noise in a single-plate imaging device.
【課題を解決するための手段】そこで本発明では、出力
ライン数のおよそN倍の画素数を持った高画素の撮像素
子を用いた撮像装置において、撮像素子の各画素に蓄積
した信号を、垂直方向にN画素周期の間引き、または混
合することにより垂直方向の画素のおよそN分の1ライ
ンの信号を出力する撮像素子と、撮像素子が所定の間引
きおよび混合により所定の出力ライン数の画素信号を出
力するよう撮像素子を駆動する駆動回路と、この撮像素
子が出力する画素信号を用いて動画像を生成する信号処
理回路によって撮像装置を構成した。このとき、撮像素
子の色フィルタ配列は縦ストライプ状、あるいは水平2
画素×8画素周期とし、垂直方向の間引きを等間隔に行
なうことができ、折り返しノイズが少ない。また垂直方
向の色のサンプリング周波数が出力ライン数と同一する
ことができ、高画質の動画像を生成できる。Therefore, according to the present invention, in an image pickup apparatus using a high pixel image pickup element having a pixel number of about N times the number of output lines, a signal accumulated in each pixel of the image pickup element is An image sensor that outputs a signal of approximately 1 / N line of pixels in the vertical direction by thinning out or mixing N pixel periods in the vertical direction, and a pixel having a predetermined number of output lines by the image sensor being thinned out and mixed in a predetermined manner An image pickup apparatus was constituted by a drive circuit for driving the image sensor so as to output a signal, and a signal processing circuit for generating a moving image using a pixel signal output from the image sensor. At this time, the color filter array of the image pickup device has a vertical stripe shape or a horizontal stripe shape.
With a pixel × 8 pixel period, thinning in the vertical direction can be performed at equal intervals, and aliasing noise is small. Further, the sampling frequency of the color in the vertical direction can be equal to the number of output lines, and a high-quality moving image can be generated.
【発明の実施の形態】本発明による撮像装置の一実施形
態について説明する。図1は本発明による撮像装置の構
成を示すブロック図である。同図において1はレンズ、
2はCCD等の撮像素子、3はA/D変換回路である。
4は撮像素子の出力信号をYUV信号に変換し、またN
TSCやPAL等の標準テレビ信号を生成する信号処理
回路である。また、5は撮像素子を駆動する駆動回路、
9は画像データを記録するであり、磁気テープの他、フ
ラッシュメモリ等の半導体メモリや、ハードディスク等
の磁気ディスク等を用いる。PCカード等着脱可能な媒
体を用いても良い。6は各ブロックの動作タイミングを
制御したり、画像データの入出力制御を行う制御回路で
ある。本実施形態における撮像装置の動作について説明
する。レンズ1に入射した光は、絞り7を介して撮像素
子2の撮像面上に結像する。撮像素子2は、図2に示す
ようにその撮像面に多数の画素を備えている。同図にお
いて20は画素であり、通常フォトダイオードで構成す
る。画素数は一般には任意であるが、本実施形態では垂
直方向の有効画素数を960として説明する。22は垂
直転送部であり、4相駆動のCCDを用いる。21は画
素20に蓄積した信号(画素信号)を垂直転送部22に
転送するための転送手段であるが、垂直転送部22のゲ
ートと共通化している。垂直転送部22は、その4相ゲ
ートにハイ、ミドル、ローの3レベルからなる3値パル
スを入力して駆動するが、画素10から画素信号の垂直
転送部への読み出しは、ハイレベルを印加することによ
って行ない、垂直転送部内における転送の際は、ミド
ル、ローレベルの4相駆動によって行なう。なお、素垂
直転送部22は1画素あたり2ゲートと構成となってお
り、転送できる画素数は垂直画素数の半分の480であ
る。本撮像素子の基本的な動作は、一般的なインターラ
イン型のCCDと同様であるが、その概要をビデオ信号
生成のための動画撮像の場合の例を説明する。垂直ブラ
ンキング期間中に画素信号を垂直転送部22に読み出
し、垂直転送部では水平のブランキング期間に画素信号
を垂直方向に順次転送する。水平転送部では垂直転送部
から転送された1ライン分の画素信号を、出力アンプ2
4を介して出力端子25より水平走査期間中に順次出力
する。本発明では高画質の動画の撮像が可能とするため
に、信号を読み出す際に等間隔の間引き読み出しを行な
う。このため垂直転送部の4相ゲートV1, V2,V
3,V4は、画素に接続されているV1およびV3ゲー
トを各々2系統に分離することによって、1行毎あるい
は2行毎の間引き読み出しの2種類に対応できるように
した。このとき垂直方向の間引き画素数を等間隔とする
ため、本実施形態ではV1ゲートについては1画素毎に
交互にV1,V1’に分離し、V3も同様に1画素毎V
3,V3’に分離した。また、任意の画素間隔で間引い
たときに、常に色信号を再生できるようにするため、撮
像素子の色フィルタ配列を、RGB3原色の縦ストライ
プ状とした。縦ストライプフィルタの場合、市松状のフ
ィルタとは異なり色信号の再生に必要な3種類の信号が
どの1行からも得られるため、等間隔の間引き読み出し
が可能となる。図3は、本実施形態における撮像素子の
駆動パルスのタイミング図であり、動画撮像に適した例
えば秒60枚のインターレース画像を出力する場合の駆
動パルスのタイミングを示している。V1,V2,V
3,V4およびV1’,V3’に対応する波形は、垂直
転送部の各ゲートに入力するパルスである。毎秒60枚
のインターレース画像の垂直の有効ライン数は約240
本であり、撮像素子の垂直画素数が960の場合、4画
素に1画素の割合で間引いて出力すれば良い。そこで本
実施形態では垂直方向の垂直転送期間においては、4相
パルスにより垂直ブランキング期間に4行相当の転送を
行なう。垂直転送の際にはV1とV1’V1、V3とV
3’は等価であり、同一パルスで駆動する。垂直転送を
行なわない期間(通常は水平走査期間)はV1,V2は
ミドルレベル、V3,V4はローレベルである。垂直転
送を2行(撮像素子の垂直2画素相当)分を行なうに
は、時刻t1においてV1をローレベル,V3をミドル
レベルとしてV1,V2ゲート下の信号をV2,V3ゲ
ート下に転送する。続いてV2をローレベル、V4をミ
ドルレベルとしてV4ゲート下に転送する。さらにV1
をミドルレベルとしV3をローレベルとして、さらにゲ
ート1相分信号を転送する。時刻t2でV2をミドルレ
ベル、V4をローレベルとすることにより2行分の転送
が終了する。4行の転送を行なうには、同様の転送を再
度行なえばば良い。このため、時刻t3からt4におい
て、t1からt2までの転送と同じ動作を繰り返す。こ
のような転送動作を水平ブランキング期間毎に240回
繰り返せば有効画素数分の信号を所定のフィールドレー
トで出力することができる。また、垂直ブランキング期
間には、画素信号の垂直転送部への読み出しを行なう。
図3において読み出しと記した期間がこのときのパルス
波形である。撮像素子の画素は、V1、V3、V1’、
V3’の各ゲートに接続されており、これらのゲートを
ハイレベルとして画素信号の読み出しを行なう。出力画
像の垂直画素数は240であり、4行に1行の割合で読
み出せば良い。しかし、4画素のうちの1画素だけを出
力すると、インターレース読み出しすることを考慮して
も半数の画素信号は使用されないことになり、信号量が
減少し感度が悪くなる。そこで本実施形態では垂直方向
に2画素の信号を加算する画素混合を行なって読み出す
ことにより感度の向上を図る。出力はインターレース画
像であり、フィールド毎に読み出す画素の行を変える必
要があるが、図3に示す読み出しフィールド(Aフィー
ルド)では、V1,V3ゲートに接続された画素信号の
読み出しを行なう。先ずt5でV1をハイレベルとして
V1ゲート下に画素信号を読み出す。t6でV1をミド
ルレベルに戻し、画素からV1ゲート下への信号転送が
完了する。このとき同時にV3をミドルレベルとしてV
3ゲート下まで読み出した信号を転送する。以下V3を
ミドルレベルとし、V1をローレベルとすることで読み
出した画素信号をV2、V3ゲート下に転送する。t5
からt6の動作と同様にここでV3をハイレベルとして
V3に接続された画素信号を読み出し、先に読み出した
V1ゲートに接続された画素信号とを混合する。以上の
ようにしてAフィールドで読み出された画素信号を、先
に述べた垂直転送により順次読み出し、さらに水平転送
部を経てAフィールドの240行分の信号が出力され
る。次のフィールドにおいてもほぼ同様の動作により撮
像素子の駆動を行なうが、インターレース出力するため
に、信号読み出す画素を変える必要がある。Aフィール
ドでは、 V1,V3ゲートに接続された画素信号の読
み出しを行なったが、次のフィールド(Bフィールド)
ではV1’,V3’ゲートに接続された画素信号の読み
出しを行なう。これによってBフィールドにおいて撮像
素子の1行、2行、5行、6行、9行、10行、・・・
4n+1,4n+2と2画素連続して2画素間引いて読
み出し、Aフィールドでは、Bフィールドにおいて読み
出さなかった3行、4行、7行、8行、11行、12
行、・・・4n+3,4n+4と同様に読み出すことが
できる。連続する2行の画素信号は、同じ列の信号につ
いて垂直転送部内で混合することにより、有効ライン数
240のインターレ−スした動画像を出力することがで
きる。図1において、以上のようにして撮像素子2から
画素信号を読み出した後の処理について説明する。撮像
素子の画素配列は、水平に3原色信号RGBをストライ
プ状に配列したものであり、各水平走査期間に出力され
る画素信号は、3原色信号RGBの点順次信号である。
これらのRGB信号にはホワイトバランス処理、ガンマ
処理を行い色差U,Vを生成する。また、 RGB信号
を所定の比率で加算して輝度信号Yを生成する。このよ
うにして生成したYUV信号をビデオ信号として出力す
る。NTSC等のアナログビデオ信号として出力する場
合は、さらにNTSCエンコードを行なって出力する。
以上の信号処理を、信号処理回路4において行なう。本
実施形態では、撮像素子からの信号読み出しを2行毎に
画素信号を垂直転送部に転送する手段を設けており、高
画質の動画生成に適した映像信号を出力することが可能
であり、また画素も間引きを等間隔に行なうため、折り
返しノイズの少ない高画質の画像の動画を生成すること
ができる。本実施形態では、2行周期、または4行周期
の間引き読み出しが可能な構成としたが、画素と接続さ
れている垂直転送部のゲートを間引きの周期に合わせて
分離し、同時に画素信号読み出す行の組み合わせを変え
ることで、3行周期の間引き、あるいは任意のN行周期
の間引き読み出しが可能である。この際、縦ストライプ
フィルタを用いているため、等間隔の間引きを行なって
も常に色信号を生成することができる。なお、本実施形
態では図2にその構成を示した撮像素子の素垂直転送部
12は1画素あたり2ゲートと構成としたが、1画素あ
たり3ゲートまたは4ゲートを有するプログレッシブス
キャンタイプの撮像素子を用いてもよい。次に本発明に
よる撮像装置の他の実施形態を図4を用いて説明する。
第1の実施形態では、240ラインのインターレース信
号を生成したが、本実施形態では480ラインのノンイ
ンターレース信号を出力するものである。図4におい
て、垂直転送動作は、図3の場合と異なり、1回の垂直
転送に1行分の転送を行なう。そこで、図3の駆動パル
スタイミングにおけるt1からt2と同様の転送を行な
い、2回目の転送であるt3からt4の転送は行なわな
い。このため、1回の転送で2f行分の転送が行なわれ
る。これに対し、信号読み出しは以下のようにする。図
4における信号読み出し期間において、まずV1、V
1’をハイレベルとして偶数行の信号を全て読み出し、
V3とV3’をミドルとすると共にV1、V1’をロー
レベルとして、読み出した信号をV2,V3ゲート下に
転送する。次にV3、V3’ハイレベル奇数行の信号を
読み出す。これによって、1行目と2行目、3行目と4
行目、5行目と6行目、以下同様に垂直転送部内で奇数
行と偶数行の信号が混合される。以上のように垂直転送
部内で混合した信号を、垂直転送部では1行分ずつ転送
する。水平転送部では、垂直転送部から送られた信号を
順次出力する。このようにして、画素混合した480ラ
インの順次信号が出力される。本実施形態では、480
ラインのノンインターレース信号を出力でき、プログレ
ッシブスキャンの動画生成が可能となる。この場合、1
毎の画像が同一タイミングで露光されており、動画撮影
時において各フレーム画像のぶれが発生しにくい。次に
本発明による撮像装置の他の実施形態について説明す
る。本実施形態の撮像素子の色フィルタ配列が異なるも
のである。図6は色フィルタ配列を示しており、同図
(a)は図1の実施例に用いているRGB縦ストライプ
構成を示しており、原色フィルタによる配列であるが、
本実施形態では、Ye(黄色)、Cy(シアン)を用いた
補色系の縦ストライプフィルタを使用するものであり、
同図(b)のYe,G,Cy、または(c) Ye,
W,Cyのフィルタ構成とする。 YeフィルタはGと
Rの色光、CyはGとB色光を透過するフィルタであ
り、またWはRGBの全色を透過するフィルタである。
全色透過フィルタは、G感度を落としてマゼンタに近い
特性としても良い。本実施形態では、補色系の色フィル
タを用いており、高画質に加え高感度化が可能である。
本発明の他の実施形態について説明する。ここまで説明
した撮像素子の色フィルタ配列は図6に示した縦ストラ
イプであったが、等間隔の間引きを行なうことができる
色フィルタ配列として、水平2画素、垂直8画素繰り返
しのものも考えられる。本実施形態の撮像素子を図7に
示す。図2の撮像素子と同様の構成であるが、フィルタ
配列として、1行目がRG、以下2行目以降8行目まで
各行にBG、GR、BG、GR、GB、GR、BGを配
列する。このような色フィルタ配列を用いて撮像素子か
らフィールドあたり240ラインのインターレース信号
を出力するには4画素の混合を行なう必要がある。この
ための垂直転送動作は、図3の場合と同一であり、1回
の垂直転送に2行分の転送を行なう。これに対し、信号
読み出しは以下のようにする。まずV1、V1’をハイ
レベルとして偶数行の信号を全て読み出し、V3とV
3’をミドルとすると共にV1、V1’をローレベルと
して、読み出した信号をV2,V3ゲート下に転送す
る。次にV3、V3’ハイレベル奇数行の信号を読み出
す。これによって、1行目と2行目、3行目と4行目、
5行目と6行目、以下同様に垂直転送部内で奇数行と偶
数行の信号が混合される。以上のように垂直転送部内で
混合された信号を垂直方向に2行ずつ転送すると、垂直
転送部から水平転送部に垂直転送部で混合された2行分
の信号が水平転送部内でさらに混合され、垂直方向に隣
接した4行分の信号が混合されることになる。以上のよ
うにして4行分の画素信号の混合が垂直転送部内の混合
と、水平転送部内の混合によって行われる。このとき、
信号をインターレースさせるとめには、Aフィールド、
Bフィールドの開始において、転送を2行分行なわず、
1行分だけ行い、その後の転送を2行ずつ行なえば良
い。これによって水平転送部で加算する行の組み合わせ
がフィールド毎に変化し、インターレースさせることが
できる。このように4画素混合を行なった場合、1行目
から4行目まで混合したラインの出力は、R+2B+G
と、R+3Gの点順次出力となり、次のラインでは3G
+Bと2R+G+Bの点順次信号である。このようにラ
イン毎に点順次信号の組成が変化する線順次信号となっ
ている。このような信号から輝度信号と色信号を生成す
るには以下のように処理すれば良い。輝度信号について
は、各ラインの平均の組成は2R+4G+2Bであり、
全てのラインで等しくなり、通常のフィルタリング処理
を行なうだけで良い。色信号については、各ラインの点
順次信号を引き算すると、各々2B−2Gと、2R−2
Gが生成される。各々輝度信号Yを引き算することで、
B−Y、R−Yの2種類の色差信号を生成することがで
き、カラー映像信号が得られる。本実施形態では、4行
の混合を行なって240ラインのインターレース信号を
出力できる。4行の混合を行なうので、2行混合より更
に高感度化が可能である。通常、4行分の混合を行なう
と色信号の生成が不可能となるが、本発明では2×8画
素構成のフィルタを用いており、4行の混合を行なって
も常に色信号の生成が可能である。なお、縦ストライプ
フィルタを使用した場合も、同様の4画素混合が可能で
ある。また、ここで説明した図8(a)のフィルタ配列
の他にも、同図(b)(c)のような配列の2×8構成
フィルタも使用可能である。但し(b)(c)フィルタ
の場合、4画素混合ではなく、図3の駆動と同じく2画
素混合を行なう。本発明の他の実施例について説明す
る。図9は本発明による撮像装置の構成を示すブロック
図である。同図は、動画に加え、高解像度の静止画撮像
を行なうものである。図1と同一部分は同一符号を付け
ており、説明を省略するが、10はJPEG(Join
t Photographic Expert Grou
p)等の方式で画像の圧縮および伸長を行なう圧縮伸長
回路である。静止画の画像データを圧縮する。また、動
画像をMPEG(Moving Picture Exp
ert Group)等の方式で圧縮して記録しても良
い。なお、MPEG圧縮の際、MPEG2圧縮を採用す
る場合は、圧縮への入力はフレームレート変換前のイン
ターレース変換しないYUV信号を用いても良いし、フ
レームレート変換後のインターレースに変換した信号を
用いても良い。動画像のMPEG圧縮を行なう場合の撮
像素子の画素数は、垂直の有効画素数が960、水平の
有効画素数を1440とすると都合が良い。12はモー
ド選択スイッチであり、ユーザーが動画撮影、静止画撮
影、あるいは動画撮影時にインターレースモード。ノン
インターレース(プログレッシブ)の選択を行なうこと
ができる。静止画を撮影する場合は、動画像の撮像時と
は異なり、画素混合せずに、Aフィールドで奇数行の全
データを独立に全て読み出し、Bフィールドで偶数行の
全データを読み出す。垂直の有効画素が960の場合、
ここでいう1フィールドは通常1/30秒に相当する。
撮像素子から第1フィールドにおいて読み出した奇数
ラインの信号と、第2フィールドにおいて読み出した偶
数ラインの信号とを一旦メモリ10に書込み、これを1
ライン、2ライン以下順次に読み出すことで順次変換を
行い、高解像度の画像を再生ことができる。次に静止画
用、あるいは高解像度の動画像生成に適した信号を出力
するための撮像素子の駆動方法について説明する。この
場合、全画素の半分に相当する480ラインの信号をイ
ンターレース読み出しする。インターレースした各48
0ラインの2毎の画像から、画像メモリを用いて垂直9
60ラインの高解像度の画像を生成することができる。
この場合の駆動方法について図10を用いて説明する。
図10は、撮像素子の駆動パルスのタイミング図であ
り、静止画撮像に適した480ラインのインターレース
信号を出力する場合の駆動パルスのタイミングを示して
いる。240ラインの動画出力の場合は、1回垂直転送
を2行ずつ行なったが、480ライン分の画像を転送す
る場合は1行ずつ行なえば良い。このため図3の転送パ
ルスと異なり、1行分の転送に対し各ゲートパルスとも
単発となっている。信号読み出しは、V1,およびV
1’をハイレベルとすることにより、Aフィールドでは
V1,およびV3’に接続された偶数行の画素信号を読
み出す。同様にしてBフィールドではV3,およびV
3’をハイレベルとすることにより奇数行の画素信号を
読み出すことができる。このようにして垂直転送部に読
み出した画素信号を、垂直転送、さらに水平転送して出
力することにより、480ラインのインターレース信号
を出力することができる。以上の説明では、静止画撮像
の際は、撮像素子から順次読み出しした信号を用いて静
止画を生成したが、画素混合して順次読み出しした信号
から静止画像を生成しても良い。このようにして生成し
た静止画はライン数はインターレース独立読み出しによ
り生成した静止画の半分であり、解像度は低いが、メカ
シャッタなしで撮影できるメリットがある。また、動画
モードにおけるフリーズ機能として利用することができ
る。従来の撮像装置を用いた場合は、動画をフリーズし
た際、フィールド毎に信号の蓄積を行なっているため、
動いている被写体に対して解像度の高い静止画がとれな
かったが、動画撮影中に任意のタイミングでフリーズし
た静止画像は、高解像度を得ることができる。また、こ
の撮影モードを連写機能として使用することも可能であ
る。以上のように本実施形態では、動画生成に適した2
40ラインのインターレース信号、および高解像度の動
画や静止画生成に適した480ラインのインターレース
信号を生成でき、高画質の動画、静止画生成が可能であ
る。240ラインのインターレース信号は画素混合して
おり、高感度である。また、モード選択スイッチによ
り、ユーザーが静止画と動画、また動画のモードをイン
ターレース/プログレッシブに切り替えることができ、
これに応じて信号処理内容を切り替えることができ、使
い勝手が良い。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS One embodiment of an imaging apparatus according to the present invention will be described. FIG. 1 is a block diagram showing a configuration of an imaging device according to the present invention. In the figure, 1 is a lens,
Reference numeral 2 denotes an image sensor such as a CCD, and reference numeral 3 denotes an A / D conversion circuit.
4 converts the output signal of the image sensor into a YUV signal,
This is a signal processing circuit that generates a standard television signal such as TSC or PAL. 5 is a drive circuit for driving the image sensor,
Reference numeral 9 denotes image data recording, which uses a semiconductor memory such as a flash memory, a magnetic disk such as a hard disk, or the like, in addition to a magnetic tape. A removable medium such as a PC card may be used. A control circuit 6 controls the operation timing of each block and controls input / output of image data. The operation of the imaging device according to the present embodiment will be described. The light incident on the lens 1 forms an image on the imaging surface of the imaging element 2 via the stop 7. The image sensor 2 has a large number of pixels on its image surface as shown in FIG. In the figure, reference numeral 20 denotes a pixel, which is usually constituted by a photodiode. Although the number of pixels is generally arbitrary, this embodiment will be described on the assumption that the number of effective pixels in the vertical direction is 960. Reference numeral 22 denotes a vertical transfer unit, which uses a four-phase driven CCD. Reference numeral 21 denotes a transfer unit for transferring a signal (pixel signal) stored in the pixel 20 to the vertical transfer unit 22, which is shared with the gate of the vertical transfer unit 22. The vertical transfer unit 22 is driven by inputting a ternary pulse consisting of three levels of high, middle, and low to its four-phase gate, but reading out the pixel signal from the pixel 10 to the vertical transfer unit applies a high level. The transfer in the vertical transfer section is performed by middle- and low-level four-phase driving. The elementary vertical transfer unit 22 has two gates per pixel, and the number of pixels that can be transferred is 480, which is half the number of vertical pixels. The basic operation of the image pickup device is the same as that of a general interline type CCD, but the outline of the operation will be described in the case of capturing a moving image for generating a video signal. Pixel signals are read out to the vertical transfer unit 22 during the vertical blanking period, and the vertical transfer unit sequentially transfers the pixel signals in the vertical direction during the horizontal blanking period. In the horizontal transfer unit, the pixel signal for one line transferred from the vertical transfer unit is output to the output amplifier 2.
4 and sequentially output from the output terminal 25 during the horizontal scanning period. In the present invention, thinning-out reading is performed at equal intervals when reading out a signal so that a high-quality moving image can be captured. Therefore, the four-phase gates V1, V2, V
3 and V4, the V1 and V3 gates connected to the pixels are separated into two systems, respectively, so that two types of thinning-out reading for each row or every two rows can be handled. At this time, in order to make the number of thinned pixels in the vertical direction equal, in this embodiment, the V1 gate is alternately divided into V1 and V1 ′ for each pixel, and V3 is similarly set to V1 for each pixel.
3, V3 '. Further, in order to always reproduce a color signal when thinning is performed at an arbitrary pixel interval, the color filter array of the image sensor is formed into a vertical stripe of RGB three primary colors. In the case of a vertical stripe filter, unlike a checkered filter, three types of signals necessary for reproducing a color signal can be obtained from any one row, so that thinning-out reading at equal intervals is possible. FIG. 3 is a timing chart of the driving pulse of the image sensor in the present embodiment, and shows the timing of the driving pulse when an interlaced image of, for example, 60 frames per second is output, which is suitable for capturing a moving image. V1, V2, V
The waveforms corresponding to V3, V4 and V1 ', V3' are pulses input to each gate of the vertical transfer unit. The number of vertical effective lines of 60 interlaced images per second is about 240
When the number of vertical pixels of the image pickup device is 960, it is sufficient to output the data by thinning out one pixel per four pixels. Therefore, in the present embodiment, in the vertical transfer period in the vertical direction, transfer corresponding to four rows is performed in the vertical blanking period by using four-phase pulses. In the case of vertical transfer, V1 and V1'V1, V3 and V
3 'are equivalent and are driven by the same pulse. During a period in which vertical transfer is not performed (usually a horizontal scanning period), V1 and V2 are at a middle level, and V3 and V4 are at a low level. To perform vertical transfer for two rows (corresponding to two vertical pixels of the image sensor), at time t1, V1 is set to a low level and V3 is set to a middle level, and signals below the gates V1 and V2 are transferred below the gates V2 and V3. Subsequently, V2 is set to a low level and V4 is set to a middle level, and transferred to the gate under the V4. Further V1
Is set to the middle level, V3 is set to the low level, and a signal for one phase of the gate is further transferred. By setting V2 to the middle level and V4 to the low level at time t2, the transfer for two rows is completed. To transfer four rows, the same transfer may be performed again. For this reason, the same operation as the transfer from t1 to t2 is repeated from time t3 to t4. By repeating such a transfer operation 240 times every horizontal blanking period, signals for the number of effective pixels can be output at a predetermined field rate. In the vertical blanking period, the pixel signals are read out to the vertical transfer unit.
In FIG. 3, the period described as readout is the pulse waveform at this time. The pixels of the image sensor are V1, V3, V1 ',
V3 'is connected to each gate, and these gates are set to a high level to read out a pixel signal. The number of vertical pixels of the output image is 240, and it suffices to read out one out of four rows. However, if only one of the four pixels is output, half of the pixel signals will not be used even if interlaced reading is taken into account, and the signal amount will be reduced, resulting in poor sensitivity. Therefore, in the present embodiment, sensitivity is improved by performing pixel mixing in which signals of two pixels are added in the vertical direction and reading out. The output is an interlaced image, and it is necessary to change the row of pixels to be read for each field. In the read field (A field) shown in FIG. 3, pixel signals connected to the V1 and V3 gates are read. First, at t5, V1 is set to a high level, and a pixel signal is read under the V1 gate. At t6, V1 is returned to the middle level, and the signal transfer from the pixel to below the V1 gate is completed. At this time, V3 is set to the middle level and V
The signal read out to three gates below is transferred. Hereinafter, by setting V3 to the middle level and setting V1 to the low level, the read pixel signals are transferred to the gates below the gates V2 and V3. t5
Similarly to the operation from t6, V3 is set to the high level to read the pixel signal connected to V3, and mixed with the previously read pixel signal connected to the V1 gate. The pixel signals read out in the A field as described above are sequentially read out by the above-described vertical transfer, and a signal for 240 rows of the A field is output through the horizontal transfer unit. In the next field, the image pickup device is driven by substantially the same operation, but it is necessary to change the pixel from which a signal is read for interlaced output. In the A field, the pixel signals connected to the V1 and V3 gates were read, but in the next field (B field)
Then, the pixel signals connected to the V1 'and V3' gates are read. Thus, in the B field, one row, two rows, five rows, six rows, nine rows, ten rows,...
4n + 1, 4n + 2 and 2 pixels are continuously read out by skipping 2 pixels. In the A field, 3 rows, 4 rows, 7 rows, 8 rows, 11 rows, and 12 rows that are not read in the B field are read out.
.., 4n + 3, 4n + 4. Pixel signals in two consecutive rows are mixed in the vertical transfer unit for signals in the same column, so that an interlaced moving image with 240 effective lines can be output. In FIG. 1, the processing after reading the pixel signals from the image sensor 2 as described above will be described. The pixel array of the image sensor is configured by horizontally arranging three primary color signals RGB in stripes, and the pixel signals output in each horizontal scanning period are dot sequential signals of the three primary color signals RGB.
White balance processing and gamma processing are performed on these RGB signals to generate color differences U and V. Further, the luminance signal Y is generated by adding the RGB signals at a predetermined ratio. The YUV signal generated in this way is output as a video signal. When outputting as an analog video signal such as NTSC, NTSC encoding is further performed and output.
The above signal processing is performed in the signal processing circuit 4. In the present embodiment, means for transferring a pixel signal to the vertical transfer unit for every two rows for signal reading from the image sensor is provided, and it is possible to output a video signal suitable for generating a high-quality moving image, In addition, since the pixels are also thinned out at equal intervals, a moving image of a high-quality image with little aliasing noise can be generated. In this embodiment, thinning-out reading is possible in a two-row cycle or a four-row cycle. However, the gate of the vertical transfer unit connected to the pixel is separated in accordance with the thinning cycle, and the pixel signal is simultaneously read out. Can be read out by thinning out three rows or by thinning out any N rows. At this time, since a vertical stripe filter is used, a color signal can always be generated even if thinning is performed at equal intervals. In this embodiment, the elementary vertical transfer unit 12 of the image sensor whose configuration is shown in FIG. 2 is configured to have two gates per pixel, but a progressive scan type image sensor having three or four gates per pixel. May be used. Next, another embodiment of the imaging apparatus according to the present invention will be described with reference to FIG.
In the first embodiment, an interlace signal of 240 lines is generated, but in the present embodiment, a non-interlace signal of 480 lines is output. In FIG. 4, the vertical transfer operation differs from the case of FIG. 3 in that one row is transferred for one vertical transfer. Therefore, the same transfer from t1 to t2 at the drive pulse timing in FIG. 3 is performed, and the transfer from t3 to t4, which is the second transfer, is not performed. Therefore, transfer for 2f rows is performed in one transfer. On the other hand, signal reading is performed as follows. Figure
In the signal readout period in FIG.
1 'is set to high level to read all the signals of the even rows,
With V3 and V3 'being middle and V1 and V1' being low, the read signal is transferred under the V2 and V3 gates. Next, V3 and V3 'high-level odd-numbered row signals are read. Thus, the first and second lines, the third and fourth lines
The signals of the odd-numbered rows and the even-numbered rows are mixed in the vertical transfer unit in the rows 5, 5 and 6, and so on. The signals mixed in the vertical transfer unit as described above are transferred one row at a time in the vertical transfer unit. The horizontal transfer unit sequentially outputs signals sent from the vertical transfer unit. In this way, a 480 line sequential signal in which pixels are mixed is output. In the present embodiment, 480
A non-interlaced signal of a line can be output, and a progressive scan moving image can be generated. In this case, 1
Each image is exposed at the same timing, and blurring of each frame image is less likely to occur during moving image shooting. Next, another embodiment of the imaging device according to the present invention will be described. The image sensor according to the present embodiment has a different color filter arrangement. FIG. 6 shows a color filter array, and FIG. 6A shows an RGB vertical stripe configuration used in the embodiment of FIG. 1, which is an array of primary color filters.
In this embodiment, a complementary color vertical stripe filter using Ye (yellow) and Cy (cyan) is used.
(B) Ye, G, Cy or (c) Ye,
The filter configuration is W and Cy. The Ye filter is a filter that transmits G and R color lights, Cy is a filter that transmits G and B color lights, and W is a filter that transmits all RGB colors.
The all-color transmission filter may have characteristics close to magenta by lowering the G sensitivity. In the present embodiment, a color filter of a complementary color system is used, and high sensitivity can be achieved in addition to high image quality.
Another embodiment of the present invention will be described. Although the color filter array of the image sensor described so far is the vertical stripe shown in FIG. 6, a color filter array capable of thinning out at equal intervals may be a horizontal two-pixel vertical eight-pixel repetition. . FIG. 7 shows the image sensor of the present embodiment. The configuration is the same as that of the image sensor of FIG. 2, but as the filter array, RG is arranged in the first row, and BG, GR, BG, GR, GB, GR, and BG are arranged in each row from the second row to the eighth row. . In order to output an interlaced signal of 240 lines per field from the image sensor using such a color filter array, it is necessary to mix four pixels. The vertical transfer operation for this is the same as that in FIG. 3, and two vertical transfers are performed in one vertical transfer. On the other hand, signal reading is performed as follows. First, all the signals in the even-numbered rows are read out by setting V1 and V1 'to high level, and V3 and V1'
The read signal is transferred under the gates V2 and V3 by setting 3 'to middle and setting V1 and V1' to low level. Next, V3 and V3 'high-level odd-numbered row signals are read. Thus, the first and second rows, the third and fourth rows,
The signals in the odd and even rows are mixed in the vertical transfer unit in the fifth and sixth rows, and so on. As described above, when the signals mixed in the vertical transfer unit are transferred two lines at a time in the vertical direction, the signals for two rows mixed in the vertical transfer unit from the vertical transfer unit to the horizontal transfer unit are further mixed in the horizontal transfer unit. , Signals of four rows adjacent in the vertical direction are mixed. As described above, mixing of pixel signals for four rows is performed by mixing in the vertical transfer unit and mixing in the horizontal transfer unit. At this time,
To interlace the signal, the A field,
At the start of the B field, do not transfer two lines,
What is necessary is to perform only one line, and to perform subsequent transfer by two lines. As a result, the combination of rows to be added in the horizontal transfer unit changes for each field and interlacing can be performed. When the four pixels are mixed in this manner, the output of the lines mixed from the first line to the fourth line is R + 2B + G
, And R + 3G dot sequential output. In the next line, 3G
+ B and 2R + G + B dot sequential signals. In this manner, a line-sequential signal is obtained in which the composition of the dot-sequential signal changes for each line. To generate a luminance signal and a chrominance signal from such a signal, the following processing may be performed. For the luminance signal, the average composition of each line is 2R + 4G + 2B,
All lines are equal, and only normal filtering processing needs to be performed. For the color signals, the dot sequential signals of each line are subtracted to obtain 2B-2G and 2R-2, respectively.
G is generated. By subtracting each luminance signal Y,
Two types of color difference signals, BY and RY, can be generated, and a color video signal can be obtained. In the present embodiment, mixing of four rows can be performed to output an interlace signal of 240 lines. Since four rows are mixed, higher sensitivity can be achieved than two rows. Normally, it is impossible to generate a color signal when mixing four rows. However, in the present invention, a filter having a 2 × 8 pixel configuration is used. It is possible. It should be noted that even when a vertical stripe filter is used, the same four-pixel mixing is possible. In addition to the filter arrangement shown in FIG. 8A described above, a 2 × 8 filter having an arrangement shown in FIGS. 8B and 8C can be used. However, in the case of the filters (b) and (c), not two-pixel mixing but two-pixel mixing is performed as in the driving of FIG. Another embodiment of the present invention will be described. FIG. 9 is a block diagram illustrating a configuration of an imaging device according to the present invention. In the figure, a high-resolution still image is captured in addition to a moving image. The same parts as those in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted.
t Photographic Expert Grou
This is a compression / expansion circuit that compresses and decompresses an image by a method such as p). Compresses still image data. In addition, moving images can be converted to MPEG (Moving Picture Exp
ert Group) or the like. When MPEG2 compression is used for MPEG compression, the input to the compression may be a YUV signal without interlace conversion before frame rate conversion, or a signal converted to interlace after frame rate conversion. Is also good. When performing MPEG compression of a moving image, the number of pixels of the image sensor is preferably set to 960 for vertical effective pixels and 1440 for horizontal effective pixels. Reference numeral 12 denotes a mode selection switch, which is used when a user shoots a moving image, a still image, or a moving image in an interlace mode. Non-interlaced (progressive) selection can be performed. When capturing a still image, unlike the case of capturing a moving image, all the data in the odd-numbered rows are read out independently in the A-field, and all the data in the even-numbered rows are read out in the B-field, without performing pixel mixing. If the vertical effective pixel is 960,
Here, one field usually corresponds to 1/30 second.
The signal of the odd-numbered line read from the image sensor in the first field and the signal of the even-numbered line read in the second field are temporarily written in the memory 10 and are
By sequentially reading out the line and the second line or less, the conversion is performed sequentially and a high-resolution image can be reproduced. Next, a method of driving an image sensor for outputting a signal suitable for generating a still image or a high-resolution moving image will be described. In this case, a signal of 480 lines corresponding to half of all pixels is interlaced and read. 48 interlaced each
From every two images of the 0 line, the vertical 9
A high-resolution image of 60 lines can be generated.
The driving method in this case will be described with reference to FIG.
FIG. 10 is a timing chart of the driving pulse of the image sensor, and shows the timing of the driving pulse when outputting an interlace signal of 480 lines suitable for capturing a still image. In the case of 240-line moving image output, vertical transfer is performed once every two lines. However, when transferring an image of 480 lines, the image may be transferred one line at a time. Therefore, unlike the transfer pulse of FIG. 3, each gate pulse is single-shot for transfer of one row. The signal reading is performed at V1, and V
By setting 1 'to a high level, in the A field, pixel signals of even rows connected to V1 and V3' are read. Similarly, in the B field, V3 and V
By setting 3 ′ to a high level, pixel signals in odd rows can be read. The pixel signals read out to the vertical transfer unit in this manner are vertically transferred, and further horizontally transferred and output, whereby a 480-line interlace signal can be output. In the above description, when capturing a still image, a still image is generated using signals sequentially read from the image sensor. However, a still image may be generated from signals sequentially read after mixing pixels. The still image generated in this way has half the number of lines as a still image generated by interlaced independent reading, and has a low resolution, but has the merit that it can be taken without a mechanical shutter. Also, it can be used as a freeze function in the moving image mode. In the case of using a conventional imaging device, when a moving image is frozen, signals are accumulated for each field,
Although a high-resolution still image could not be obtained for a moving subject, a high-resolution still image frozen at an arbitrary timing during moving image shooting can be obtained. This shooting mode can be used as a continuous shooting function. As described above, in the present embodiment, 2
A 40-line interlace signal and a 480-line interlace signal suitable for generating high-resolution moving images and still images can be generated, and high-quality moving images and still images can be generated. The interlaced signals of 240 lines are pixel-mixed and have high sensitivity. In addition, the mode selection switch allows the user to switch the mode between still image and moving image, and moving image to interlace / progressive,
The signal processing contents can be switched in accordance with this, and the usability is good.
【発明の効果】本発明によれば、単板式の撮像装置にお
いて折り返しノイズの少ない高画質の動画像を生成可能
な撮像装置を提供できる。According to the present invention, it is possible to provide an imaging apparatus capable of generating a high-quality moving image with less aliasing noise in a single-panel imaging apparatus.
【図1】本発明による撮像装置の一実施形態の構成を示
すブロック図FIG. 1 is a block diagram illustrating a configuration of an embodiment of an imaging device according to the present invention.
【図2】本発明撮像装置の一実施形態における撮像素子
の構成図FIG. 2 is a configuration diagram of an imaging device in an embodiment of the imaging device of the present invention.
【図3】本発明の一実施形態の駆動パルスタイミング図FIG. 3 is a drive pulse timing chart according to an embodiment of the present invention.
【図4】本発明の一実施形態の駆動パルスタイミング図FIG. 4 is a drive pulse timing chart according to an embodiment of the present invention.
【図5】従来の撮像素子の色フィルタ配列を示す図FIG. 5 is a diagram showing a color filter array of a conventional image sensor.
【図6】本発明の一実施形態の色フィルタ配列を示す図FIG. 6 is a diagram showing a color filter array according to an embodiment of the present invention.
【図7】本発明における撮像素子の構成図FIG. 7 is a configuration diagram of an image sensor according to the present invention.
【図8】本発明の一実施形態の色フィルタ配列を示す図FIG. 8 is a diagram showing a color filter array according to an embodiment of the present invention.
【図9】本発明による撮像装置の一実施形態の構成を示
すブロック図FIG. 9 is a block diagram showing a configuration of an embodiment of an imaging device according to the present invention.
【図10】本発明の一実施形態の駆動パルスタイミング
図FIG. 10 is a drive pulse timing chart according to an embodiment of the present invention.
1・・・レンズ 2・・・撮像素子 3・・・A/D変換回路 4・・・順次変換回路 5・・・信号処理回路 8・・・CCD駆動回路 9・・・記録媒体 10・・・メモリ 11・・・圧縮伸長回路 12・・・モード選択スイッチ DESCRIPTION OF SYMBOLS 1 ... Lens 2 ... Image sensor 3 ... A / D conversion circuit 4 ... Sequential conversion circuit 5 ... Signal processing circuit 8 ... CCD drive circuit 9 ... Recording medium 10 ...・ Memory 11 ・ ・ ・ Compression / expansion circuit 12 ・ ・ ・ Mode selection switch
フロントページの続き (72)発明者 衣笠 敏郎 神奈川県横浜市戸塚区吉田町292番地株式 会社日立製作所マルチメディアシステム開 発本部内 (72)発明者 大田和 久雄 神奈川県横浜市戸塚区吉田町292番地株式 会社日立製作所AV事業部内 Fターム(参考) 5C024 AA01 CA21 CA22 DA01 DA05 DA07 FA01 GA11 HA14 HA22 HA23 HA24 JA25 5C065 AA01 AA03 BB02 BB12 CC01 CC09 DD02 DD17 EE04 EE06 EE07 EE08 EE09 EE12 GG18 GG30 Continued on the front page (72) Inventor Toshiro Kinugasa 292 Yoshida-cho, Totsuka-ku, Yokohama-shi, Kanagawa Prefecture Inside the multimedia system development headquarters of Hitachi, Ltd. F-term in the AV Division of Hitachi, Ltd. (reference)
Claims (16)
【特許請求の範囲】[Claims]
【請求項1】種類の異なる色光を各々電気信号に変換す
る複数種類の画素を、垂直方向、および水平方向に周期
的に配列した画素配列を備え、該画素配列における各画
素に蓄積した信号を、垂直方向にN画素周期の間引き、
または混合することにより、1画面あたりの出力ライン
数が、所定の整数Nに対し垂直方向の画素のおよそN分
の1である画素信号を出力する撮像素子と、該撮像素子
が間引き、または混合により所定の出力ライン数の画素
信号を出力するよう該撮像素子を駆動する駆動回路と、 該撮像素子が出力する画素信号を用いて、画像信号を生
成する信号処理手段と、 から構成されたことを特徴とする撮像装置。1. A pixel array in which a plurality of types of pixels for respectively converting different types of color light into electric signals are periodically arranged in a vertical direction and a horizontal direction, and a signal stored in each pixel in the pixel array is provided. , Vertical thinning of N pixel periods,
Alternatively, by mixing, an image sensor that outputs a pixel signal in which the number of output lines per screen is approximately 1 / N of a pixel in the vertical direction for a predetermined integer N, and the image sensor is thinned or mixed. A driving circuit for driving the image sensor so as to output a pixel signal of a predetermined output line number, and a signal processing means for generating an image signal using the pixel signal output by the image sensor. An imaging device characterized by the above-mentioned.
【請求項2】種類の異なる色光を各々電気信号に変換す
る複数種類の画素を、垂直方向、および水平方向に周期
的に配列した画素配列を備え、該画素配列における各画
素に蓄積した信号を、垂直方向にN画素周期の間引き、
または混合することにより、1画面あたりの出力ライン
数が、所定の整数Nに対し垂直方向の画素のおよそN分
の1である画素信号を出力する撮像素子と、該撮像素子
が間引き、または混合により所定の出力ライン数の画素
信号を出力するよう該撮像素子を駆動する駆動回路と、
該撮像素子が出力する画素信号を用いて、各々解像度の
異なる複数の画像信号を生成する複数の動作モードによ
って画像信号を生成する信号処理手段と、該複数の動作
モードの選択、切り替えを外部から行なうスイッチ手段
と、該スイッチ手段の入力に応じて、該信号処理手段、
および該駆動回路を制御する制御手段と、 から構成されたことを特徴とする撮像装置。2. A pixel array in which a plurality of types of pixels for respectively converting different types of color light into electric signals are periodically arranged in a vertical direction and a horizontal direction, and a signal stored in each pixel in the pixel array is provided. , Vertical thinning of N pixel periods,
Alternatively, by mixing, an image sensor that outputs a pixel signal in which the number of output lines per screen is approximately 1 / N of a pixel in the vertical direction for a predetermined integer N, and the image sensor is thinned or mixed. A driving circuit for driving the image sensor to output a pixel signal of a predetermined number of output lines,
A signal processing unit that generates an image signal by a plurality of operation modes that generate a plurality of image signals having different resolutions, using a pixel signal output by the imaging element, and externally controls selection and switching of the plurality of operation modes. Switch means for performing, the signal processing means in response to an input of the switch means,
An imaging apparatus comprising: and control means for controlling the driving circuit.
【請求項3】請求項2において、上記撮像素子の垂直有
効画素数は約960であり、上記複数の動作モードは、
N=1対応して撮像素子の全ラインに相当する画素信号か
ら画像信号を生成する第1の動作モード、N=2に対応
して約480ラインの画像信号を生成する第2の動作モ
ードであることを特徴とする撮像装置。3. The imaging device according to claim 2, wherein the number of effective vertical pixels of the image sensor is about 960, and the plurality of operation modes are:
A first operation mode in which an image signal is generated from pixel signals corresponding to all lines of the image sensor corresponding to N = 1, and a second operation mode in which an image signal of approximately 480 lines is generated in response to N = 2 An imaging device, comprising:
【請求項4】請求項2において、上記撮像素子の垂直有
効画素数は、テレビジョン方式等の所定の画像形式にお
ける有効走査線数の約M倍であり、上記複数の動作モー
ドは、N=1対応して撮像素子の全ラインに相当する画素
信号から画像信号を生成する第1の動作モード、N=M
に対応して該所定のテレビジョン方式における有効走査
線数に相当するライン数の画像信号を出力する第2の動
作モードであることを特徴とする撮像装置。4. The method according to claim 2, wherein the number of vertical effective pixels of the image sensor is about M times the number of effective scanning lines in a predetermined image format such as a television system. 1, a first operation mode for generating an image signal from pixel signals corresponding to all lines of the image sensor, N = M
An imaging apparatus according to claim 2, wherein the second operation mode outputs an image signal of a number of lines corresponding to the number of effective scanning lines in the predetermined television system.
【請求項5】請求項4において、上記第2の動作モード
は、インターレース信号を出力することを特徴とする撮
像装置。5. The imaging apparatus according to claim 4, wherein the second operation mode outputs an interlace signal.
【請求項6】請求項4において、上記第2の動作モード
は、ノンインターレース信号を出力することを特徴とす
る撮像装置。6. An imaging apparatus according to claim 4, wherein said second operation mode outputs a non-interlaced signal.
【請求項7】請求項4において、上記撮像素子の垂直有
効画素数は所定のテレビジョン方式等、所定の画像形式
における有効走査線数の約M倍であり、上記複数の動作
モードは、N=1に対応して撮像素子の全ラインに相当
する画素信号から画像信号を生成する第1の動作モー
ド、N=Mに対応して該所定のテレビジョン方式におけ
る有効走査線数に相当するライン数の画像信号をインタ
ーレース出力する第2の動作モード、N=Mに対応して
該所定のテレビジョン方式における有効走査線数に相当
するライン数の画像信号をノンインターレース出力する
第3の動作モード、であることを特徴とする撮像装置。7. The image processing device according to claim 4, wherein the number of vertical effective pixels of the image sensor is about M times the number of effective scanning lines in a predetermined image format such as a predetermined television system. = 1, a first operation mode in which an image signal is generated from pixel signals corresponding to all lines of the image sensor, and a line corresponding to N = M corresponding to the number of effective scanning lines in the predetermined television system. A second operation mode for interlaced output of a number of image signals, and a third operation mode for non-interlaced output of image signals of a number of lines corresponding to the number of effective scanning lines in the predetermined television system corresponding to N = M An imaging device characterized by the following.
【請求項8】請求項1,2において、上記撮像素子にお
ける画素配列は、第1、第2、および第3の色光を各々
電気信号に変換する3種類の画素を水平方向に3画素周
期で配列し、垂直方向には同一種類の画素配列した画素
配列であることを特徴とする撮像装置。8. A pixel arrangement according to claim 1, wherein the pixel arrangement in the image pickup device comprises three types of pixels for converting the first, second, and third color lights into electric signals, respectively, at a three-pixel cycle in the horizontal direction. An image pickup device, wherein the pixels are arranged in the same direction in the vertical direction.
【請求項9】請求項8において、第1、第2、及び第3
の色光は、各々赤、緑、青であることを特徴とする撮像
撮像素子。9. The method of claim 8, wherein the first, second, and third
Wherein the color lights are red, green, and blue, respectively.
【請求項10】請求項8において、第1、第2、及び第
3の色光は、各々黄色、緑、シアンであることを特徴と
する撮像素子。10. The imaging device according to claim 8, wherein the first, second, and third color lights are yellow, green, and cyan, respectively.
【請求項11】請求項7において、第1、第2、及び第
3の色光は、各々黄色、白色、シアンであることを特徴
とする撮像素子。11. The imaging device according to claim 7, wherein the first, second, and third color lights are yellow, white, and cyan, respectively.
【請求項12】請求項1,2において、上記撮像素子に
おける画素配列は、第1、第2、および第3の色光を各
々電気信号に変換する3種類の画素を水平方向に2画
素、垂直方向に8画素を基本単位としてこれを繰り返す
画素配列であることを特徴とする撮像装置。12. The image pickup device according to claim 1, wherein the pixel arrangement in the image pickup device is such that three types of pixels for converting the first, second, and third color lights into electric signals are two pixels in the horizontal direction and two pixels in the vertical direction. An image pickup apparatus characterized in that the pixel arrangement is such that eight pixels are repeated in a basic unit in the direction.
【請求項13】請求項12において、上記水平方向に2
画素、垂直方向に8画素を基本単位とする画素配列にお
ける第1行目に赤と緑、第2行目に青と緑、第3行目に
緑と赤、第4行目に青と緑、第5行目に緑と赤、第6行
目に緑と青、第7行目に青と緑、第8行目に緑と赤の各
々の色光を電気信号に変換する画素を配列したことを特
徴とする撮像装置。13. The method according to claim 12, wherein the horizontal direction
Pixels, red and green on the first row, blue and green on the second row, green and red on the third row, blue and green on the fourth row in a pixel array having a basic unit of 8 pixels in the vertical direction Pixels for converting green and red light on the fifth row, green and blue on the sixth row, blue and green on the seventh row, and green and red on the eighth row are converted into electric signals. An imaging device characterized by the above-mentioned.
【請求項14】請求項12において、上記水平方向に2
画素、垂直方向に8画素を基本単位とする画素配列にお
いて、第1、第2、第3および第4の色光を各々電気信
号に変換する第1、第2、第3および第4の画素を、第
1行目、第3行目に第1と第2の画素を、第5行目、第
7行目に第2と第1の画素を、第2行目、第4行目、第
6行目、第8行目に第3と第4の画素を配列したことを
特徴とする撮像装置。14. The apparatus according to claim 12, wherein the horizontal direction
In a pixel array having eight pixels as a basic unit in the vertical direction, first, second, third, and fourth pixels that respectively convert first, second, third, and fourth color lights into electric signals are provided. , The first and second pixels in the first and third rows, the second and first pixels in the fifth and seventh rows, the second and fourth rows, An imaging apparatus, wherein third and fourth pixels are arranged in a sixth row and an eighth row.
【請求項15】請求項14において、上記第1、第2、
第3、および第4の色光は、各々マゼンタ、緑、シア
ン、黄色であることを特徴とする撮像装置。15. The method according to claim 14, wherein the first, second,
An imaging apparatus wherein the third and fourth color lights are magenta, green, cyan, and yellow, respectively.
【請求項16】請求項14において、上記第1、第2、
第3、および第4の色光は、各々赤、緑、緑、青である
ことを特徴とする撮像装置。16. The method according to claim 14, wherein the first, second,
The third and fourth color lights are red, green, green, and blue, respectively.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11118328A JP2000308076A (en) | 1999-04-26 | 1999-04-26 | Image pickup device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11118328A JP2000308076A (en) | 1999-04-26 | 1999-04-26 | Image pickup device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003322424A Division JP3925479B2 (en) | 2003-09-16 | 2003-09-16 | Imaging device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000308076A true JP2000308076A (en) | 2000-11-02 |
Family
ID=14733958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11118328A Pending JP2000308076A (en) | 1999-04-26 | 1999-04-26 | Image pickup device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000308076A (en) |
Cited By (7)
* Cited by examiner, † Cited by third partyPublication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002185860A (en) * | 2000-12-15 | 2002-06-28 | Olympus Optical Co Ltd | Imaging device |
JP2002185861A (en) * | 2000-12-15 | 2002-06-28 | Olympus Optical Co Ltd | Imaging device |
WO2004068852A1 (en) * | 2003-01-29 | 2004-08-12 | Olympus Corporation | Imaging system |
WO2006041049A1 (en) | 2004-10-13 | 2006-04-20 | Matsushita Electric Industrial Co., Ltd. | Video signal processing device and image processing device |
US7528865B2 (en) | 2001-11-22 | 2009-05-05 | Fujifilm Corporation | Digital movie camera and method of controlling operations thereof |
US7612812B2 (en) | 2004-02-16 | 2009-11-03 | Fujifilm Corporation | Solid state imaging device with increased vertical resolution in interlace scanning method |
US8040385B2 (en) | 2002-12-02 | 2011-10-18 | Olympus Corporation | Image pickup apparatus |
-
1999
- 1999-04-26 JP JP11118328A patent/JP2000308076A/en active Pending
Cited By (13)
* Cited by examiner, † Cited by third partyPublication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002185861A (en) * | 2000-12-15 | 2002-06-28 | Olympus Optical Co Ltd | Imaging device |
JP2002185860A (en) * | 2000-12-15 | 2002-06-28 | Olympus Optical Co Ltd | Imaging device |
US7528865B2 (en) | 2001-11-22 | 2009-05-05 | Fujifilm Corporation | Digital movie camera and method of controlling operations thereof |
US8040385B2 (en) | 2002-12-02 | 2011-10-18 | Olympus Corporation | Image pickup apparatus |
US7692701B2 (en) | 2003-01-29 | 2010-04-06 | Olympus Corporation | Image sensing apparatus |
CN100431341C (en) * | 2003-01-29 | 2008-11-05 | 奥林巴斯株式会社 | Image sensing apparatus |
JPWO2004068852A1 (en) * | 2003-01-29 | 2006-05-25 | オリンパス株式会社 | Imaging device |
US7561195B2 (en) | 2003-01-29 | 2009-07-14 | Olympus Corporation | Image sensing apparatus |
JP4555775B2 (en) * | 2003-01-29 | 2010-10-06 | オリンパス株式会社 | Imaging device |
WO2004068852A1 (en) * | 2003-01-29 | 2004-08-12 | Olympus Corporation | Imaging system |
US7612812B2 (en) | 2004-02-16 | 2009-11-03 | Fujifilm Corporation | Solid state imaging device with increased vertical resolution in interlace scanning method |
WO2006041049A1 (en) | 2004-10-13 | 2006-04-20 | Matsushita Electric Industrial Co., Ltd. | Video signal processing device and image processing device |
US7750945B2 (en) | 2004-10-13 | 2010-07-06 | Panasonic Corporation | Video signal processing device and image processing device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10462403B2 (en) | 2019-10-29 | Electric camera |
US7349016B2 (en) | 2008-03-25 | Solid-state color imaging apparatus capable of reducing false signals with regard to both luminance and chrominance |
JP3877565B2 (en) | 2007-02-07 | Imaging device |
JP2004064165A (en) | 2004-02-26 | Imaging apparatus and the imaging method |
JP2000341699A (en) | 2000-12-08 | Color image pickup device and image pickup system using the same |
JPH09331538A (en) | 1997-12-22 | Image pickup device |
JP2000308076A (en) | 2000-11-02 | Image pickup device |
JP3932006B2 (en) | 2007-06-20 | Imaging device |
JP3925479B2 (en) | 2007-06-06 | Imaging device |
JP2000023046A (en) | 2000-01-21 | Image pickup device |
JP2000308075A (en) | 2000-11-02 | Image pickup element and driving method of the same |
JP2658443B2 (en) | 1997-09-30 | Driving method of solid-state imaging device |
JP3535623B2 (en) | 2004-06-07 | Color imaging device |
JP4424101B2 (en) | 2010-03-03 | Solid-state imaging device |
JP2000261817A (en) | 2000-09-22 | Image pickup device |
JP3180191B2 (en) | 2001-06-25 | Imaging device |
JP3948456B2 (en) | 2007-07-25 | Solid-state image sensor and control method of solid-state image sensor |
JP2000308078A (en) | 2000-11-02 | Image pickup element |
JPH09327025A (en) | 1997-12-16 | Imaging device |
JP2001024930A (en) | 2001-01-26 | Image pickup unit |
JPS63169179A (en) | 1988-07-13 | Solid-state image pickup device |
JP2002247591A (en) | 2002-08-30 | Photographing method and solid state camera device |
JP2001177842A (en) | 2001-06-29 | Imaging device and image pickup device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
2006-03-20 | A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060320 |
2006-04-05 | A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060404 |
2006-04-18 | RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060417 |
2006-06-02 | A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060601 |
2007-02-28 | A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
2007-08-01 | A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070731 |