JP3386025B2 - Image feature extraction apparatus, image feature extraction method, monitoring inspection system, semiconductor exposure system, and interface system - Google Patents
- ️Mon Mar 10 2003
【０００１】[0001]
【発明の属する技術分野】本発明は、被写界を撮像した
画像信号から特徴を抽出する画像特徴抽出装置、および
画像特徴抽出方法に関する。また、本発明は、画像特徴
抽出装置を備えた監視検査システム、半導体露光システ
ム、およびインターフェースシステムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image feature extraction apparatus and an image feature extraction method for extracting features from an image signal obtained by capturing an object scene. The present invention also relates to a surveillance / inspection system, a semiconductor exposure system, and an interface system that include an image feature extraction device.
【０００２】[0002]
【従来の技術】従来より、被写界を撮像した画像信号に
基づいて、被写界の特徴を抽出する画像特徴抽出装置が
知られている。このような画像特徴抽出装置は、侵入者
を発見するなどの監視用途、半導体製造時におけるパタ
ーン検査用途、工場の製造ラインで部品位置を特定する
用途など、多種多様な場面において使用されている。2. Description of the Related Art Conventionally, there has been known an image feature extracting apparatus for extracting a feature of a field based on an image signal obtained by capturing an image of the field. Such an image feature extraction device is used in various situations such as a monitoring application such as finding an intruder, a pattern inspection application during semiconductor manufacturing, an application identifying a component position in a factory manufacturing line, and the like.
【０００３】図１１は、この種の画像特徴抽出装置の一
例を示すブロック図である。このような構成の画像特徴
抽出装置６１では、ビデオカメラ６２で撮像された画像
信号が、Ａ／Ｄ変換器６３を介してディジタル化された
後、フレームメモリ６４に一旦蓄積される。微分回路６
５は、このフレームメモリ６４内の画像信号に対して空
間微分をとり、微分画像信号（画像エッジなどを抽出し
た画像信号）を生成する。微分回路６５は、生成した微
分画像信号を、バス６６ａを介して微分画像メモリ６６
に一旦蓄積する。FIG. 11 is a block diagram showing an example of this type of image feature extraction apparatus. In the image feature extraction device 61 having such a configuration, the image signal captured by the video camera 62 is digitized via the A / D converter 63 and then temporarily stored in the frame memory 64. Differentiator circuit 6
Reference numeral 5 performs spatial differentiation on the image signal in the frame memory 64 to generate a differential image signal (image signal obtained by extracting image edges and the like). The differentiating circuit 65 outputs the generated differential image signal to the differential image memory 66 via the bus 66a.
Accumulate at once.
【０００４】塗りつぶし処理部６７は、微分画像メモリ
６６から微分画像信号を読み出し、画像エッジ−画像エ
ッジ間に相当する平坦部分を塗りつぶすことにより、被
写界内の物体を二値で単純表現した二値化画像信号を生
成する。塗りつぶし処理部６７は、この二値化画像信号
を、微分画像メモリ６６に一旦蓄積する。続いて、画素
単位雑音除去部６８は、微分画像メモリ６６から二値化
画像信号を画素単位に読み出し、画素単位に収縮処理お
よび膨張処理を実行する。The fill processing section 67 reads the differential image signal from the differential image memory 66 and fills the flat portion corresponding to the image edge to the image edge, thereby simply expressing the object in the object scene as a binary binary image. Generate a binarized image signal. The filling processing unit 67 temporarily stores the binarized image signal in the differential image memory 66. Subsequently, the pixel unit noise removal unit 68 reads the binarized image signal from the differential image memory 66 in pixel units, and performs contraction processing and expansion processing in pixel units.
【０００５】なお、ここでの収縮処理では、処理画素
（処理対象の画素）について周囲画素の参照を行い、１
画素でも物体以外の画素（例えば画素値『０』）があれ
ば、当該処理画素を消去するという処理を施す。このよ
うな収縮処理によって、周辺画素と連続していない孤立
点などの雑音成分が除去される。また、ここでの膨張処
理では、まず、処理画素（処理対象の画素）の周囲画素
を参照する。そして、これら周辺画素の中に１画素でも
物体を示す画素（例えば画素値『１』）があれば、その
処理画素を『物体を示す画素』に置き換える。このよう
な膨張処理により物体を示す画素が四方に膨張して、画
面内のかすれ雑音が除去される。画素単位雑音除去部６
８は、このように雑音除去を完了した二値化画像信号
を、微分画像メモリ６６に再び蓄積する。In this contraction processing, the surrounding pixels are referred to for the processing pixel (pixel to be processed), and 1
If there is a pixel other than the object (for example, a pixel value “0”) even in the pixel, the process pixel is erased. Such contraction processing removes noise components such as isolated points that are not continuous with surrounding pixels. In the expansion processing here, first, the surrounding pixels of the processing pixel (pixel to be processed) are referred to. Then, if even one of these peripheral pixels has a pixel indicating an object (for example, a pixel value “1”), the processed pixel is replaced with “pixel indicating an object”. Pixels representing an object are expanded in all directions by such expansion processing, and the blur noise in the screen is removed. Pixel unit noise removal unit 6
8 again stores the binarized image signal whose noise has been removed in the differential image memory 66.
【０００６】次に、画像識別部６９は、雑音除去を完了
した二値化画像信号を画素単位に処理して、物体の識別
や人体検知などを実行する。Next, the image identifying section 69 processes the binarized image signal for which noise removal has been completed in pixel units to perform object identification, human body detection, and the like.
【０００７】[0007]
【発明が解決しようとする課題】ところで、このような
従来例では、上述した塗りつぶし処理部６７、画素単位
雑音除去部６８および画像識別部６９の各工程におい
て、画素単位に処理が実行される。その結果、画像を構
成する数万〜数百万画素の画素一つ一つについて処理が
繰り返されることとなり、装置全体の情報処理量が膨大
になるという問題点があった。By the way, in such a conventional example, the processing is executed pixel by pixel in each of the steps of the filling processing section 67, the pixel unit noise removing section 68 and the image identifying section 69 described above. As a result, the processing is repeated for each pixel of tens of thousands to millions of pixels forming an image, which causes a problem that the information processing amount of the entire device becomes enormous.
【０００８】特に、画素単位雑音除去部６８では、画素
一つ一つについて複雑な二次元画像処理を逐一実行しな
ければならず、情報処理の負荷が極端に集中する。その
ため、処理工程全体のスループットを大きく下げてしま
うという問題点があった。またさらに、この画素単位雑
音除去部６８では、二次元画像処理を行うために、処理
前の画素値を適時参照しなければならない。そのため、
二次元画像処理の前後の画像データを別々に保存しなけ
ればならず、複数フレーム分のメモリが必要となる。In particular, the pixel-by-pixel noise eliminator 68 has to execute complicated two-dimensional image processing for each pixel one by one, and the information processing load is extremely concentrated. Therefore, there is a problem that the throughput of the entire processing process is significantly reduced. Furthermore, in this pixel unit noise elimination unit 68, in order to perform two-dimensional image processing, it is necessary to refer to the pixel value before processing at appropriate times. for that reason,
Image data before and after the two-dimensional image processing must be stored separately, and a memory for a plurality of frames is required.
【０００９】このような理由から、従来例の画像特徴抽
出装置６１では、高速な情報処理装置や大容量かつ高速
なメモリが必須となり、装置全体が高コスト化してしま
うという問題点があった。また特に、人体検知などの監
視用途においては、動画像の処理が要求される。そのた
め、次々に撮像される多数枚の画像を遅滞なく（リアル
タイムに）処理しなければならない。したがって、この
ような用途においては、画像処理の大幅な高速化が強く
要望されていた。For these reasons, the conventional image feature extraction device 61 has a problem that a high-speed information processing device and a large-capacity and high-speed memory are indispensable, and the cost of the entire device increases. In particular, processing of moving images is required for monitoring applications such as human body detection. Therefore, it is necessary to process a large number of images captured one after another without delay (in real time). Therefore, in such applications, there has been a strong demand for a drastic speedup of image processing.
【００１０】そこで、本発明では、処理速度を高速化
し、かつ必要なメモリ容量を格段に少なくすることが可
能な画像特徴抽出装置を提供することを目的とする。ま
た、本発明では、このような画像特徴抽出装置を備え
た、監視検査システム、半導体露光システム、インター
フェースシステムを提供することを目的とする。Therefore, it is an object of the present invention to provide an image feature extraction device capable of increasing the processing speed and significantly reducing the required memory capacity. It is another object of the present invention to provide a surveillance / inspection system, a semiconductor exposure system, and an interface system that include such an image feature extraction device.
【００１１】[0011]
【課題を解決するための手段】《請求項１》 請求項１
に記載の画像特徴抽出装置は、被写界を撮像し
て微分画像信号を生成する微分画像信号生成部と、微分
画像信号生成部から出力される微分画像信号を行毎に処
理し、被写界内の左端エッジおよび右端エッジを検出す
るエッジ座標検出部と、エッジ座標検出部で行毎に検出
された、左端エッジおよび右端エッジの情報を、被写界
内の物体の特徴として保存するエッジ座標記憶部と、エ
ッジ座標検出部で検出された、左端エッジおよび右端エ
ッジに対して雑音成分の除去を行う雑音除去部を備え
る。この雑音除去部は、処理行（雑音除去の対象行）を
含んで近接する複数行に左端エッジが存在する場合、複
数行について左端エッジの最左端を求め、その最左端の
更に左側位置を処理行の左端エッジとする左端膨張処理
部と、複数行に右端エッジが存在する場合、複数行につ
いて右端エッジの最右端を求め、その最右端の更に右側
位置を、処理行の右端エッジとする右端膨張処理部と、
複数行にエッジ欠損がある場合は、処理行の左端エッジ
を消去し、それ以外の場合は、複数行について左端エッ
ジの最右端を求め、その最右端の更に右側位置を処理行
の左端エッジとする左端収縮処理部と、複数行にエッジ
欠損がある場合は、処理行の右端エッジを消去し、それ
以外の場合は、複数行について右端エッジの最左端を求
め、その最左端の更に左側位置を処理行の右端エッジと
する右端収縮処理部とを含み、雑音除去部は、これらの
処理部によって両端エッジに膨張および収縮を施して、
雑音除去を行うことを特徴とする上記構成では、左端膨
張処理部および右端膨張処理部によって、両端エッジが
上下左右および斜めの８方向へそれぞれ膨張する。この
とき、エッジのかすれは、近接するエッジの膨張によっ
てきれいに埋められる。Means for Solving the Problems << Claim 1 >> An image feature extraction apparatus according to claim 1 captures an object scene.
Differential image signal generator that generates a differential image signal by
The differential image signal output from the image signal generator is processed line by line.
Detect the left edge and the right edge in the scene.
Edge coordinate detector and the edge coordinate detector detects each line
Information of the left edge and right edge,
Edge coordinate storage unit that saves the features of objects in the
Edge edge and right edge detected by the edge coordinate detection unit.
Equipped with a noise eliminator that removes noise components
It When the left edge exists in a plurality of adjacent rows including the processing row (row to be subjected to noise removal), the noise removing unit obtains the leftmost edge of the left edge of the plurality of rows and processes the leftmost position of the leftmost edge. If there is a left edge expansion processing part that is the left edge of the row and the right edge exists in multiple rows, the rightmost edge of the right edge is found for multiple rows, and the rightmost position of the rightmost edge is the right edge of the processed row. An expansion processing unit,
If there is an edge loss in multiple lines, the leftmost edge of the processed line is erased. In other cases, the rightmost end of the leftmost edge is calculated for multiple lines, and the rightmost position of the rightmost end is the leftmost edge of the processed line. Left edge contraction processing part, and if there is an edge loss in multiple rows, erase the right edge of the processed row, otherwise, find the leftmost edge of the right edge for multiple rows, and move to the left of the leftmost edge. And a right end contraction processing unit that is the right end edge of the processing line, and the noise removal unit performs expansion and contraction on both end edges by these processing units,
In the above-described configuration characterized by performing noise removal, the left end expansion processing unit and the right end expansion processing unit expand both end edges in up, down, left, right, and diagonal 8 directions, respectively. At this time, the edge blur is finely filled by the expansion of the adjacent edges.
【００１２】また一方、左端収縮処理部および右端収縮
処理部によって、両端エッジが上下左右および斜めの８
方向へそれぞれ収縮する。このとき、エッジの点雑音
（孤立点）は、収縮によってきれいに除去される。《請求項２》 請求項２に
記載の画像特徴抽出装置は、請求項１に記載
の画像特徴抽出装置において、エッジ座標記憶部に行毎
に保存された物体の右端エッジと左端エッジとに基づい
て、物体の画面内面積、物体の中心位置、または物体の
寸法の少なくとも一つを算出する特徴演算部を備えたこ
とを特徴とする。《請求項３》 請求項３に
記載の画像特徴抽出装置は、請求項２に記載
の画像特徴抽出装置において、特徴演算部の算出値が、
予め設定された許容の範囲にあるか否かを監視し、許容
の範囲を外れた場合に異常状態を通知する異常信号出力
部を備えたことを特徴とする。《請求項４》 請求項４に
記載の画像特徴抽出装置は、請求項１ないし
請求項３のいずれか１項に記載の画像特徴抽出装置にお
いて、微分画像信号生成部は、被写界を結像する光学系
と、被写界像を撮像する固体撮像素子とから構成され、
固体撮像素子は、受光面上にマトリックス配列され、入
射光に応じた画素出力を生成する複数の受光部と、複数
の受光部から画素出力を順次に転送する画素出力転送部
と、画素出力転送部を転送中の画素出力について時間的
または空間的な差異を求めて微分画像信号を生成する微
分処理部とを有して構成されることを特徴とする。《請求項５》 請求項５に
記載の画像特徴抽出方法は、被写界を撮像し
て、被写界内の物体エッジを示す微分画像信号を生成
し、微分画像信号を行毎に処理して、物体の左端エッジ
および右端エッジを検出し、左端エッジおよび右端エッ
ジの情報を、物体の特徴量として保存する画像特徴抽出
方法であって、下記〜のステップにより、前記左端
エッジおよび前記右端エッジに膨張および収縮を施し
て、雑音除去を行うことを特徴とする。処理行（雑音
除去の対象行）を含んで近接する複数行に左端エッジが
存在する場合、前記複数行について左端エッジの最左端
を求め、その最左端の更に左側位置を前記処理行の左端
エッジとするステップ。前記複数行に右端エッジが存
在する場合、前記複数行について右端エッジの最右端を
求め、その最右端の更に右側位置を、前記処理行の右端
エッジとするステップ。前記複数行にエッジ欠損があ
る場合は、前記処理行の左端エッジを消去し、それ以外
の場合は、前記複数行について左端エッジの最右端を求
め、その最右端の更に右側位置を前記処理行の左端エッ
ジとするステップ。前記複数行にエッジ欠損がある場
合は、前記処理行の右端エッジを消去し、それ以外の場
合は、前記複数行について右端エッジの最左端を求め、
その最左端の更に左側位置を前記処理行の右端エッジと
するステップ。《請求項６》 請求項６に
記載の監視検査システムは、被写界を監視し
て正常／異常を判定する監視検査システムであって、請
求項１ないし請求項４のいずれか１項に記載の画像特徴
抽出装置と、前記画像特徴抽出装置において抽出される
被写界の特徴に基づいて、被写界の正常／異常を判定す
る監視部とを備えたことを特徴とする。《請求項７》 請求項７に
記載の半導体露光システムは、請求項１ない
し請求項４のいずれか１項に記載の画像特徴抽出装置を
用いて半導体のアライメントマークを撮像し、抽出され
る被写界の特徴に基づいて、半導体のアライメントマー
クの位置検出を行うアライメント検出部と、前記アライ
メント検出部により位置検出されたアライメントマーク
に応じて前記半導体の位置決めを行う位置制御部と、前
記位置制御部により位置決めされた前記半導体に対して
露光パターンを投影する露光部とを備えたことを特徴と
する。《請求項８》
請求項８に記載のインターフェースシステムは、人間の
姿勢や動きなどの被写界から得られる情報に基づいて、
入力信号を生成するインターフェースシステムであっ
て、請求項１ないし請求項４のいずれか１項に記載の画
像特徴抽出装置と、前記画像特徴抽出装置において検出
される被写界の特徴に基づいて認識処理を行い、被写界
の特徴に応じた入力信号を生成する認識処理部とを備え
たことを特徴とする。On the other hand, by the left end contraction processing unit and the right end contraction processing unit, both edges are vertically and horizontally and diagonally 8
Contracts in each direction. At this time, the point noise (isolated point) at the edge is cleanly removed by contraction. <Claim 2> The image feature extracting apparatus according to claim 2 is the image feature extracting apparatus according to claim 1, wherein the right edge and the left edge of the object are stored for each row in the edge coordinate storage unit. In addition, a feature calculation unit for calculating at least one of the in-screen area of the object, the center position of the object, and the dimension of the object is provided. <Claim 3> The image feature extraction apparatus according to claim 3 is the image feature extraction apparatus according to claim 2, wherein the calculated value of the feature calculation unit is
It is characterized in that it is provided with an abnormal signal output unit for monitoring whether or not it is within a preset allowable range, and notifying an abnormal state when it is outside the allowable range. << Claim 4 >> The image feature extracting device according to claim 4 is the image feature extracting device according to claim 1.
The image feature extraction device according to claim 3 , wherein the differential image signal generation unit includes an optical system that forms an image of a scene and a solid-state image sensor that captures the image of the scene.
The solid-state imaging device is arranged in a matrix on the light-receiving surface and has a plurality of light-receiving units that generate pixel outputs according to incident light, a pixel output transfer unit that sequentially transfers pixel outputs from the plurality of light-receiving units, and a pixel output transfer. And a differential processing unit that generates a differential image signal by obtaining a temporal or spatial difference in pixel output during transfer of the unit. <Claim 5> The image feature extraction method according to claim 5 images a scene, generates a differential image signal indicating an object edge in the scene, and processes the differential image signal row by row. An image feature extraction method of detecting the left edge and the right edge of the object, and storing the information of the left edge and the right edge as the feature amount of the object, the left edge and the right edge according to the following steps. Is characterized by performing noise expansion by expanding and contracting. When a left edge exists in a plurality of adjacent rows including a processing row (a target row for noise removal), the leftmost edge of the leftmost edge of the plurality of rows is obtained, and the leftmost position of the leftmost edge of the leftmost edge is the leftmost edge of the processing row. And the steps to take. If a right edge exists in the plurality of rows, a step of determining a rightmost edge of the rightmost edge of the plurality of rows and setting a rightmost position of the rightmost edge as a rightmost edge of the processing row. When there is an edge loss in the plurality of lines, the left edge of the processed line is erased, and in other cases, the rightmost end of the leftmost edge of the plurality of lines is obtained, and the rightmost position of the rightmost end is set to the processed line. The left edge of the step. When there is an edge loss in the plurality of rows, the right end edge of the processing row is erased, otherwise, the leftmost end of the right end edge is obtained for the plurality of rows,
The step of setting the position on the further left side of the leftmost end as the rightmost edge of the processing row. <Claim 6> The monitoring and inspection system according to claim 6 is a monitoring and inspection system that monitors a field to determine normality / abnormality, and the monitoring / inspection system according to any one of claims 1 to 4. The image feature extracting device of (1) and the monitoring unit that determines normality / abnormality of the object scene based on the feature of the object scene extracted by the image feature extracting device. Semiconductor exposure system according to "Claim 7" claim 7, the using image feature extraction apparatus according to any one of claims 1 to claim 4 images the alignment mark of the semiconductor, is extracted An alignment detector that detects the position of a semiconductor alignment mark based on the characteristics of the field, a position controller that positions the semiconductor according to the alignment mark detected by the alignment detector, and the position control And an exposure unit that projects an exposure pattern onto the semiconductor positioned by the unit. <Claim 8> The interface system according to claim 8 is based on information obtained from a scene such as a human posture and movement,
An interface system for generating an input signal, the recognition being performed based on the image feature extraction device according to any one of claims 1 to 4 , and a feature of a field detected by the image feature extraction device. A recognition processing unit that performs processing and generates an input signal according to the characteristics of the object scene is provided.
【００１３】[0013]
【発明の実施の形態】《第１の実施形態》
第１の実施形態は、請求項１〜６に記載の発明に対応す
る実施形態である。
［第１の実施形態の全体構成］
図１は、第１の実施形態における監視検査システム１０
（画像特徴抽出装置１１を含む）の構成を示すブロック
図である。なお、本図では、説明の都合上、ソフトウェ
ア処理などで実現されるマイクロプロセッサ１５の内部
機能についても機能ブロックとして図示している。BEST MODE FOR CARRYING OUT THE INVENTION << First Embodiment >> A first embodiment is an embodiment corresponding to the invention described in claims 1 to 6 . [Overall Configuration of First Embodiment] FIG. 1 illustrates a monitoring / inspection system 10 according to the first embodiment.
FIG. 3 is a block diagram showing a configuration (including an image feature extraction device 11). Note that, in this figure, for convenience of description, the internal functions of the microprocessor 15 realized by software processing or the like are also shown as functional blocks.
【００１４】図１において、監視検査システム１０に
は、撮影レンズ１２が装着される。この撮影レンズ１２
の像空間側には、固体撮像素子１３の撮像面が配置され
る。この固体撮像素子１３から出力される画像信号は、
録画装置１４に供給される。また、固体撮像素子１３か
ら出力される微分画像信号は、画像処理用のマイクロプ
ロセッサ１５に供給される。In FIG. 1, the surveillance inspection system 10 is equipped with a taking lens 12. This taking lens 12
The image pickup surface of the solid-state image pickup device 13 is arranged on the image space side. The image signal output from the solid-state image sensor 13 is
It is supplied to the recording device 14. Further, the differential image signal output from the solid-state image sensor 13 is supplied to the microprocessor 15 for image processing.
【００１５】このマイクロプロセッサ１５は、下記の機
能ブロックを有して構成される。
エッジ座標検出部１６・・微分画像信号から両端エッ
ジを検出して、両端エッジの座標情報をシステムメモリ
２０に蓄積する。
雑音除去部１７・・システムメモリ２０に蓄積された
両端エッジの座標情報から雑音成分を除去する。
面積演算部１８・・システムメモリ２０に蓄積された
両端エッジから物体の画面内面積を算出する。
異常信号出力部１９・・物体の画面内面積が、予め定
められた許容の範囲内か否かを判定し、許容の範囲を外
れている場合に異常状態を通知する。この通知は、録画
装置１４および警報装置２１に伝達される。
［固体撮像素子１３の内部構成］
図２は、固体撮像素子１３の内部構成を示す図である。The microprocessor 15 has the following functional blocks. Edge coordinate detection unit 16 ... Detects both-end edges from the differential image signal and stores coordinate information of both-end edges in the system memory 20. Noise removal unit 17: Removes noise components from the coordinate information of both edges stored in the system memory 20. Area calculation unit 18 ... Calculates the in-screen area of the object from both edges stored in the system memory 20. Abnormal signal output unit 19: Determines whether the screen area of the object is within a predetermined allowable range, and if it is outside the allowable range, the abnormal state is notified. This notification is transmitted to the recording device 14 and the alarm device 21. [Internal Configuration of Solid-State Image Sensor 13] FIG. 2 is a diagram showing an internal configuration of the solid-state image sensor 13.
【００１６】図２において、固体撮像素子１３には、単
位画素１が、ｎ行ｍ列でマトリックス配列される。これ
らの単位画素１は、光電変換を行うホトダイオードＰＤ
と、電荷転送用のＭＯＳスイッチＱＴと、電荷リセット
用のＭＯＳスイッチＱＰと、行選択用のＭＯＳスイッチ
ＱＸと、接合型電界効果トランジスタからなる増幅素子
ＱＡとから構成されている。In FIG. 2, in the solid-state image pickup device 13, unit pixels 1 are arranged in a matrix of n rows and m columns. These unit pixels 1 are photodiodes PD that perform photoelectric conversion.
, A charge transfer MOS switch QT, a charge reset MOS switch QP, a row selection MOS switch QX, and an amplification element QA composed of a junction field effect transistor.
【００１７】このような単位画素１の出力は、垂直列ご
とに共通接続され、ｍ本分の垂直読み出し線２を形成す
る。また、固体撮像素子１３には、垂直シフトレジスタ
３が設けられる。この垂直シフトレジスタ３は、制御パ
ルスφＴＧ１，φＰＸ１，φＲＧ１によりＭＯＳスイッ
チＱＴ，ＱＰ，ＱＸを開閉制御し、単位画素１の画素出
力を垂直読み出し線２上に出力する。これらの垂直読み
出し線２には、電流源４がそれぞれ接続される。The outputs of such unit pixels 1 are commonly connected for each vertical column to form m vertical read lines 2. Further, the solid-state imaging device 13 is provided with the vertical shift register 3. The vertical shift register 3 controls the opening / closing of the MOS switches QT, QP, QX by the control pulses φTG1, φPX1, φRG1 and outputs the pixel output of the unit pixel 1 onto the vertical readout line 2. A current source 4 is connected to each of the vertical read lines 2.
【００１８】さらに、これらの垂直読み出し線２は、差
分処理回路５をそれぞれ介して、水平読み出し線７に接
続される。この水平読み出し線７には、リセット用のＭ
ＯＳスイッチＱＲＳＨが接続される。これらのＭＯＳス
イッチＱＲＳＨには、水平シフトレジスタ８などからリ
セット用の制御パルスφＲＳＨが供給される。一方、上
述した差分処理回路５は、電荷保持用のコンデンサＣＶ
と、コンデンサの充電路を形成するためのＭＯＳスイッ
チＱＶと、水平転送用のＭＯＳスイッチＱＨとから構成
される。これらのＭＯＳスイッチＱＨには、水平シフト
レジスタ８のパラレル出力φＨ１〜φＨｍがそれぞれ接
続される。また、差分処理回路５には、電荷保持のタイ
ミングを決定するための制御パルスφＶが垂直シフトレ
ジスタ３などから供給される。Further, the vertical read lines 2 are connected to the horizontal read lines 7 via the difference processing circuits 5, respectively. This horizontal read line 7 has an M for resetting.
The OS switch QRSH is connected. A control pulse φRSH for resetting is supplied to these MOS switches QRSH from the horizontal shift register 8 or the like. On the other hand, the difference processing circuit 5 described above includes the charge holding capacitor CV.
And a MOS switch QV for forming a charging path for the capacitor and a MOS switch QH for horizontal transfer. Parallel outputs φH1 to φHm of the horizontal shift register 8 are connected to these MOS switches QH, respectively. Further, the difference processing circuit 5 is supplied with a control pulse φV for determining the timing of charge retention from the vertical shift register 3 or the like.
【００１９】さらに、垂直読み出し線２には、異値検出
回路６がそれぞれ接続される。これらの異値検出回路６
は、垂直転送される新旧の画素出力を比較する回路であ
り、例えば、標本回路とその標本回路の出力に基づいて
新旧の画素出力を比較する比較回路などから構成され
る。この異値検出回路６には、標本タイミングを決定す
るための制御パルスφＳＡが垂直シフトレジスタ３など
から供給される。Further, a different value detection circuit 6 is connected to each vertical read line 2. These different value detection circuit 6
Is a circuit for comparing the vertically transferred old and new pixel outputs, and is composed of, for example, a sampling circuit and a comparison circuit for comparing the old and new pixel outputs based on the output of the sampling circuit. A control pulse φSA for determining the sampling timing is supplied to the different value detection circuit 6 from the vertical shift register 3 or the like.
【００２０】このような異値検出回路６の各出力は、シ
フトレジスタ９のパラレル入力Ｑ１〜Ｑｍにそれぞれ接
続される。このシフトレジスタ９には、パラレル入力の
取り込みタイミングを決定するための制御パルスφＬＤ
と、シリアル転送の転送クロックφＣＫとが入力され
る。これらのパルスφＬＤ，φＣＫは、例えば水平シフ
トレジスタ８などから供給される。
［第１の実施形態と請求項に記載する事項との対応関
係］
以下、第１の実施形態と請求項との対応関係について説
明する。The outputs of the different value detecting circuit 6 are connected to the parallel inputs Q1 to Qm of the shift register 9, respectively. This shift register 9 has a control pulse φLD for determining the timing of capturing the parallel input.
And the transfer clock φCK for serial transfer are input. These pulses φLD and φCK are supplied from, for example, the horizontal shift register 8. [Correspondence between First Embodiment and Items Described in Claims] Hereinafter, a correspondence between the first embodiment and claims will be described.
【００２１】請求項１に記載の発明と第１の実施形態と
の対応関係については、微分画像信号生成部は撮影レン
ズ１２および固体撮像素子１３に対応し、エッジ座標検
出部はエッジ座標検出部１６に対応し、エッジ座標記憶
部はシステムメモリ２０に対応し、雑音除去部は雑音除
去部１７に対応する。さらに、請求項１に記載の発明と
第１の実施形態との対応関係については、左端膨張処理
部は雑音除去部１７の『左端膨張処理（図４Ｓ２２〜２
６）を行う機能』に対応し、右端膨張処理部は雑音除去
部１７の『右端膨張処理（図４Ｓ２２〜２６）を行う機
能』に対応し、左端収縮処理部は雑音除去部１７の『左
端収縮処理（図５Ｓ４２〜４７）を行う機能』に対応
し、右端収縮処理部は雑音除去部１７の『右端収縮処理
（図５Ｓ４２〜４７）を行う機能』に対応する。Regarding the correspondence relationship between the invention according to claim 1 and the first embodiment, the differential image signal generating section corresponds to the taking lens 12 and the solid-state image sensor 13, and the edge coordinate detecting section is the edge coordinate detecting section. 16, the edge coordinate storage unit corresponds to the system memory 20, and the noise elimination unit corresponds to the noise elimination unit 17. Furthermore, regarding the correspondence relationship between the invention according to claim 1 and the first embodiment, the left end expansion processing unit performs the “left end expansion processing (FIGS.
6)), the right end expansion processing unit corresponds to the “function of performing the right end expansion processing (FIGS. 4S22 to 26) of the noise removal unit 17, and the left end contraction processing unit corresponds to the“ left end of the noise removal unit 17. The function for performing contraction processing (FIGS. 5S42 to 47) ”and the right end contraction processing unit correspond to the“ function for performing right end contraction processing (FIGS. 5S42 to 47) ”of the noise removing unit 17.
【００２２】請求項２に記載の発明と第１の実施形態と
の対応関係については、特徴演算部は面積演算部１８に
対応する。請求項３に記載の発明と第１の実施形態との
対応関係については、異常信号出力部は異常信号出力部
１９に対応する。請求項４に記載の発明と第１の実施形
態との対応関係については、光学系は撮影レンズ１２に
対応し、固体撮像素子は固体撮像素子１３に対応し、受
光部はホトダイオードＰＤに対応し、画素出力転送部は
垂直シフトレジスタ３、垂直読み出し線２、水平読み出
し線７、水平シフトレジスタ８およびＭＯＳスイッチＱ
Ｔ、ＱＸ、ＱＡに対応し、微分処理部は異値検出回路６
およびシフトレジスタ９に対応する。With respect to the correspondence relationship between the invention according to claim 2 and the first embodiment, the feature calculation section corresponds to the area calculation section 18. Regarding the correspondence relationship between the invention according to claim 3 and the first embodiment, the abnormal signal output unit corresponds to the abnormal signal output unit 19. Regarding the correspondence relationship between the invention according to claim 4 and the first embodiment, the optical system corresponds to the taking lens 12, the solid-state image sensor corresponds to the solid-state image sensor 13, and the light receiving part corresponds to the photodiode PD. The pixel output transfer unit includes a vertical shift register 3, a vertical read line 2, a horizontal read line 7, a horizontal shift register 8 and a MOS switch Q.
Corresponding to T, QX, QA, the differential processing unit is the different value detection circuit 6
And the shift register 9.
【００２３】請求項５に記載の発明と第１の実施形態と
の対応関係については、微分画像信号を生成する工程は
固体撮像素子１３の内部において微分画像信号を生成す
る動作に対応し、両端エッジを検出する工程はエッジ座
標検出部１６において両端エッジを検出する動作に対応
し、両端エッジに関する情報を保存する工程はエッジ座
標検出部１６がシステムメモリ２０に両端エッジの座標
情報を記録する動作に対応する。Regarding the correspondence relationship between the invention according to claim 5 and the first embodiment, the step of generating the differential image signal corresponds to the operation of generating the differential image signal inside the solid-state image pickup device 13, The step of detecting edges corresponds to the operation of detecting both edges in the edge coordinate detecting section 16, and the step of storing information about both edge edges is an operation in which the edge coordinate detecting section 16 records coordinate information of both edges in the system memory 20. Corresponding to.
【００２４】請求項６に記載の発明と第１の実施形態と
の対応関係については、画像特徴抽出装置は、撮影レン
ズ１２、固体撮像素子１３、エッジ座標検出部１６、雑
音除去部１７、面積演算部１８およびシステムメモリ２
０に対応し、監視部は、異常判定部１９、警報装置２１
および録画装置１４に対応する。
［固体撮像素子１３における撮像動作の説明］
まず、監視検査システム１０全体の動作説明に先立っ
て、固体撮像素子１３の撮像動作について説明する。Regarding the correspondence relationship between the invention according to claim 6 and the first embodiment, the image feature extracting apparatus is such that the taking lens 12, the solid-state image pickup device 13, the edge coordinate detecting section 16, the noise removing section 17, and the area. Arithmetic unit 18 and system memory 2
Corresponding to 0, the monitoring unit is the abnormality determination unit 19 and the alarm device 21.
And the recording device 14. [Description of Imaging Operation in Solid-State Imaging Device 13] First, the imaging operation of the solid-state imaging device 13 will be described prior to the description of the operation of the monitoring inspection system 10 as a whole.
【００２５】撮影レンズ１２は、被写界の光像を固体撮
像素子１３の撮像面上に結像する。垂直シフトレジスタ
３は、このとき電荷転送用のＭＯＳスイッチＱＴをオフ
状態に設定してホトダイオードＰＤをフローティング状
態に維持する。そのため、ホトダイオードＰＤでは、光
像が画素単位に光電変換され、受光量に対応した信号電
荷がホトダイオードＰＤに逐次蓄積される。The taking lens 12 forms an optical image of the object field on the image pickup surface of the solid-state image pickup device 13. At this time, the vertical shift register 3 sets the charge transfer MOS switch QT to the off state to maintain the photodiode PD in the floating state. Therefore, in the photodiode PD, an optical image is photoelectrically converted in pixel units, and signal charges corresponding to the amount of received light are sequentially accumulated in the photodiode PD.
【００２６】このような信号電荷の蓄積動作に併行し
て、垂直シフトレジスタ３は、読み出し行のＭＯＳスイ
ッチＱＸを選択的にオン状態にし、読み出し行の増幅素
子ＱＡを垂直読み出し線２に接続してバイアス電流ＩＢ
を供給する。このとき、読み出し行のＭＯＳスイッチＱ
Ｔ、ＱＰはオフ状態にあるため、増幅素子ＱＡのゲート
容量には、前回読み出しを行った際の信号電荷が残留す
る。そのため、読み出し行の増幅素子ＱＡからは、前コ
マの画素出力が垂直読み出し線２に出力される。異値検
出回路６は、この前コマの画素出力を取り込み、保持す
る。In parallel with such a signal charge accumulation operation, the vertical shift register 3 selectively turns on the MOS switch QX of the read row and connects the amplification element QA of the read row to the vertical read line 2. Bias current IB
To supply. At this time, the MOS switch Q in the read row
Since T and QP are in the off state, the signal charge from the previous read operation remains in the gate capacitance of the amplification element QA. Therefore, the pixel output of the previous frame is output to the vertical readout line 2 from the amplification element QA in the readout row. The different value detection circuit 6 captures and holds the pixel output of the previous frame.
【００２７】次に、垂直シフトレジスタ３は、読み出し
行のＭＯＳスイッチＱＰを一時的にオン状態にして、ゲ
ート容量の残留電荷を一旦リセットする。この状態で、
読み出し行の増幅素子ＱＡから垂直読み出し線２には、
暗信号が出力される。この暗信号は、リセット時の雑音
（いわゆるｋＴＣ雑音）や、増幅素子ＱＡにおけるゲー
ト−ソース間電圧のバラツキを含んだ信号である。Next, the vertical shift register 3 temporarily turns on the MOS switch QP of the read row to temporarily reset the residual charge of the gate capacitance. In this state,
From the amplification element QA of the read row to the vertical read line 2,
A dark signal is output. This dark signal is a signal including noise at the time of reset (so-called kTC noise) and variations in the gate-source voltage in the amplification element QA.
【００２８】差分処理回路５は、ＭＯＳスイッチＱＶを
一時的にオン状態にして、この暗信号をコンデンサＣＶ
に保持する。続いて、垂直シフトレジスタ３は、読み出
し行のＭＯＳスイッチＱＴを一時的にオン状態にして、
ホトダイオードＰＤの信号電荷を増幅素子ＱＡのゲート
容量に転送する。その結果、垂直読み出し線２には、最
新の画素出力が増幅素子ＱＡから出力される。The differential processing circuit 5 temporarily turns on the MOS switch QV to output this dark signal to the capacitor CV.
Hold on. Then, the vertical shift register 3 temporarily turns on the MOS switch QT in the read row,
The signal charge of the photodiode PD is transferred to the gate capacitance of the amplification element QA. As a result, the latest pixel output is output from the amplification element QA to the vertical read line 2.
【００２９】異値検出回路６は、直前に保持した前コマ
の画素出力と、この最新の画素出力とが所定範囲内で一
致するか否かの判定を行い、その判定結果を出力する。
シフトレジスタ９は、これらの判定結果をパラレル入力
端子Ｑ１〜Ｑｍを介して行単位に取り込む。一方、この
最新の画素出力は、暗信号を保持したコンデンサＣＶの
一端側に印加される。その結果、コンデンサＣＶの他端
側には、暗信号を除いた真の画素出力が出力される。The different value detection circuit 6 determines whether the pixel output of the previous frame held immediately before and the latest pixel output match within a predetermined range, and outputs the determination result.
The shift register 9 fetches these determination results row by row via the parallel input terminals Q1 to Qm. On the other hand, this latest pixel output is applied to one end of the capacitor CV holding the dark signal. As a result, the true pixel output excluding the dark signal is output to the other end of the capacitor CV.
【００３０】この状態で、シフトレジスタ９および水平
シフトレジスタ８には、同一の転送クロックφＣＫが入
力される。すると、シフトレジスタ９は、微分画像信号
を１行分だけシリアル出力する。一方、水平シフトレジ
スタ８は、水平転送用のＭＯＳスイッチＱＨを順番にオ
ン状態に設定し、１行分の画素出力を水平読み出し線７
へ順次出力する。In this state, the same transfer clock φCK is input to the shift register 9 and the horizontal shift register 8. Then, the shift register 9 serially outputs the differential image signal for one row. On the other hand, in the horizontal shift register 8, the horizontal transfer MOS switches QH are sequentially turned on, and the pixel output for one row is output to the horizontal read line 7.
Sequentially output to.
【００３１】以上のような動作を、読み出し行を１行ず
つずらしながら繰り返すことにより、通常の画像信号
と、時間的に微分された微分画像信号とが固体撮像素子
１３から順次出力される。
［両端エッジ検出の動作説明］
次に、エッジ座標検出部１６（実際にはマイクロプロセ
ッサ１５）による両端エッジの検出動作について説明す
る。By repeating the above-described operation while shifting the readout rows one by one, the normal image signal and the temporally differentiated differential image signal are sequentially output from the solid-state image pickup device 13. [Explanation of Operation for Detecting Both Edges] Next, an operation for detecting both edges by the edge coordinate detection unit 16 (actually, the microprocessor 15) will be described.
【００３２】図３は、両端エッジの検出動作を説明する
流れ図である。以下、図３のステップ番号に沿って説明
する。
ステップＳ１： まず、エッジ座標検出部１６は、現在
処理中の画素位置を示す変数ｉ，ｊを１に初期化する。
さらに、エッジ座標検出部１６は、要素数（ｎ＋１）個
の整数配列Ｌ（ｘ）、Ｒ（ｘ）をシステムメモリ２０上
に確保する。エッジ座標検出部１６は、この整数配列Ｌ
（ｘ）、Ｒ（ｘ）に対して、下記のような初期化を実行
する。
Ｌ（ｘ）＝ｍ，Ｒ（ｘ）＝１ ［ただしｘ＝１〜ｎ］ ・・・（１）
ステップＳ２： 次に、エッジ座標検出部１６は、固体
撮像素子１３の読み出しパルスに同期して、ｉ行ｊ列目
の微分画像信号Ｄ（ｉ，ｊ）を取り込む。エッジ座標検
出部１６は、この微分画像信号Ｄ（ｉ，ｊ）が『１』な
らば、時間的に変化した画素（いわゆる動体エッジ）で
あると判断して、ステップＳ３に動作を移行する。一
方、微分画像信号Ｄ（ｉ，ｊ）が『ゼロ』ならば、時間
的に変化していない画素であると判断して、ステップＳ
６に動作を移行する。
ステップＳ３： 微分画像信号Ｄ（ｉ，ｊ）は、ｉ行目
で最初に検出された動体エッジか否かを判定する。ｉ行
目で最初に検出された動体エッジの場合、エッジ座標検
出部１６は、左端エッジであると判断して、ステップＳ
４に動作を移行する。一方、それ以外の場合、エッジ座
標検出部１６は、ステップＳ５に動作を移行する。
ステップＳ４： エッジ座標検出部１６は、左端エッジ
の判断に従って、整数配列Ｌ（ｉ）にｉ行目の左端エッ
ジの画素位置ｊを格納する。
ステップＳ５： エッジ座標検出部１６は、整数配列Ｒ
（ｉ）に、ｉ行目の動体エッジの画素位置ｊをとりあえ
ず格納する。
ステップＳ６： エッジ座標検出部１６は、ｊ＝ｍか否
かを判定する。ここで、ｊ≠ｍの場合、エッジ座標検出
部１６は、ｉ行目の処理がまだ完了していないと判断し
て、ステップＳ７に動作を移行する。一方、ｊ＝ｍの場
合、エッジ座標検出部１６は、ｉ行目の処理が完了した
と判断して、ステップＳ８に動作を移行する。
ステップＳ７： ここでは、ｉ行目の処理がまだ完了し
ていないので、エッジ座標検出部１６は、ｊを１だけ増
加してステップＳ２に動作を戻す。
ステップＳ８： エッジ座標検出部１６は、ｉ行目の処
理を完了したとの判断に従って、ｉ＝ｎか否かを判定す
る。ここで、ｉ≠ｎの場合、エッジ座標検出部１６は、
１画面分の処理がまだ完了していないと判断して、ステ
ップＳ９に動作を移行する。一方、ｉ＝ｎの場合、エッ
ジ座標検出部１６は、１画面分の処理が完了したと判断
して、動作を終了する。（なお、動画像を処理している
場合は、ステップＳ１に戻って、次コマの処理を開始す
る）
ステップＳ９： ここでは、１画面分の処理がまだ完了
していないので、エッジ座標検出部１６は、次行の処理
に移るため、ｉを１だけ増加し、かつｊを１に戻した
後、ステップＳ２に動作を戻す。FIG. 3 is a flow chart for explaining the operation of detecting both edges. Hereinafter, description will be given along the step numbers in FIG. Step S1: First, the edge coordinate detection unit 16 initializes variables i and j indicating the pixel position currently being processed to 1.
Further, the edge coordinate detecting unit 16 secures the integer arrays L (x) and R (x) having the number of elements (n + 1) on the system memory 20. The edge coordinate detection unit 16 uses the integer array L
The following initialization is executed for (x) and R (x). L (x) = m, R (x) = 1 [where x = 1 to n] (1) Step S2: Next, the edge coordinate detection unit 16 synchronizes with the read pulse of the solid-state image sensor 13. Then, the differential image signal D (i, j) at the i-th row and the j-th column is fetched. If the differential image signal D (i, j) is "1", the edge coordinate detection unit 16 determines that the pixel is a temporally changed pixel (so-called moving body edge), and moves the operation to step S3. On the other hand, if the differential image signal D (i, j) is "zero", it is determined that the pixel does not change with time, and step S
The operation shifts to 6. Step S3: It is determined whether or not the differential image signal D (i, j) is the moving body edge first detected in the i-th row. In the case of the moving body edge first detected in the i-th row, the edge coordinate detection unit 16 determines that the edge is the left end edge, and determines in step S
The operation shifts to 4. On the other hand, in other cases, the edge coordinate detection unit 16 shifts the operation to step S5. Step S4: The edge coordinate detection unit 16 stores the pixel position j of the left edge of the i-th row in the integer array L (i) according to the determination of the left edge. Step S5: The edge coordinate detection unit 16 uses the integer array R
In (i), the pixel position j of the moving body edge in the i-th row is stored for the time being. Step S6: The edge coordinate detection unit 16 determines whether j = m. Here, when j ≠ m, the edge coordinate detection unit 16 determines that the processing of the i-th row is not yet completed, and moves the operation to step S7. On the other hand, when j = m, the edge coordinate detection unit 16 determines that the processing of the i-th row is completed, and moves the operation to step S8. Step S7: Here, since the processing of the i-th row is not yet completed, the edge coordinate detection unit 16 increments j by 1 and returns the operation to step S2. Step S8: The edge coordinate detection unit 16 determines whether i = n according to the determination that the process of the i-th row is completed. Here, when i ≠ n, the edge coordinate detection unit 16
When it is determined that the processing for one screen has not been completed yet, the operation proceeds to step S9. On the other hand, when i = n, the edge coordinate detection unit 16 determines that the processing for one screen has been completed, and ends the operation. (If the moving image is being processed, the process returns to step S1 to start the processing of the next frame.) Step S9: Since the processing for one screen is not yet completed here, the edge coordinate detection unit In order to move to the processing of the next row, 16 increases i by 1 and returns j to 1, and then returns the operation to step S2.
【００３３】以上説明した一連の動作により、整数配列
Ｌ（ｘ）には、ｘ行目の左端エッジが格納される。ま
た、整数配列Ｒ（ｘ）には、ｘ行目の右端エッジが格納
される。
［両端エッジの膨張化処理］
次に、雑音除去部１７（実際にはマイクロプロセッサ１
５）による両端エッジの膨張化処理について説明する。By the series of operations described above, the left edge of the x-th row is stored in the integer array L (x). Further, the integer array R (x) stores the right edge of the x-th row. [Expansion Processing of Edges on Both Ends] Next, the noise removing unit 17 (actually, the microprocessor 1
The expansion processing of both edges by 5) will be described.
【００３４】図４は、両端エッジの膨張化処理を説明す
る流れ図である。以下、図４のステップ番号に沿って説
明する。
ステップＳ２１： まず、雑音除去部１７は、下記のよ
うに変数を初期化する。
ｉ＝１
Ｌｂ＝ｍ，Ｌ（ｎ＋１）＝ｍ ・・・（２）
Ｒｂ＝１，Ｒ（ｎ＋１）＝１ ・・・（３）
ステップＳ２２： 雑音除去部１７は、処理対象である
ｉ行目を含んで近接する複数行（ここでは３行）につい
てエッジが存在するか否かを、変数Ｒｂ、Ｒ（ｉ）、Ｒ
（ｉ＋１）の値に基づいて判定する。ここで、複数行の
中にエッジが存在しなかった場合、雑音除去部１７は、
動作をステップＳ２３に移行する。一方、複数行の中に
エッジが存在した場合、雑音除去部１７は、動作をステ
ップＳ２４に移行する。
ステップＳ２３： 雑音除去部１７は、ｉ行目を含む複
数行にエッジが存在しないので、ｉ行目についてエッジ
の膨張化処理を行わない。そこで、次行の処理に備え
て、変数Ｌｂ，Ｒｂを下記のように更新するのみで、ス
テップＳ２７に動作を移行する。
Ｌｂ＝Ｌ（ｉ），Ｒｂ＝Ｒ（ｉ） ・・・（４）
ステップＳ２４： 雑音除去部１７は、ｉ行目を含む複
数行にエッジが存在するので、下式を実行してｉ行目に
ついて両端エッジを膨張化させる。
Ｌｘ＝ｍｉｎ［Ｌｂ，Ｌ（ｉ），Ｌ（ｉ＋１）］−１ ・・・（５）
Ｒｘ＝ｍａｘ［Ｒｂ，Ｒ（ｉ），Ｒ（ｉ＋１）］＋１ ・・・（６）
この（５）式では、複数行中の左端エッジから最左端を
求め、その最左端よりもさらに１画素分だけ左側の位置
を、Ｌｘとしている。また、（６）式では、複数行中の
右端エッジから最右端を求め、その最右端よりもさらに
１画素分だけ右側の位置を、Ｒｘとしている。
ステップＳ２５： 雑音除去部１７は、ステップＳ２３
と同様に、次行の処理に備えて変数Ｌｂ，Ｒｂを下記の
ように更新する。
Ｌｂ＝Ｌ（ｉ），Ｒｂ＝Ｒ（ｉ） ・・・（４）
ステップＳ２６： 雑音除去部１７は、上記の（５）
（６）式で算出したＬｘ，Ｒｘを、ｉ行目の両端エッジ
としてＬ（ｉ），Ｒ（ｉ）に代入する。
ステップＳ２７： 雑音除去部１７は、ｉ＝ｎか否かを
判定する。ここで、ｉ≠ｎの場合、雑音除去部１７は、
１画面分の処理がまだ完了していないと判断して、ステ
ップＳ２８に動作を移行する。一方、ｉ＝ｎの場合、雑
音除去部１７は、１画面分の処理が完了したと判断し
て、１回分の膨張化処理を終了する。
ステップＳ２８： ここでは、１画面分の処理がまだ完
了していないので、雑音除去部１７は、次行の処理に移
るため、ｉを１だけ増加した後、ステップＳ２２に動作
を戻す。FIG. 4 is a flow chart for explaining the expansion processing of both edges. Hereinafter, description will be given along the step numbers in FIG. Step S21: First, the noise removing unit 17 initializes variables as follows. i = 1 Lb = m, L (n + 1) = m (2) Rb = 1, R (n + 1) = 1 (3) Step S22: The noise eliminating unit 17 is the i-th row to be processed. Whether or not an edge exists for a plurality of rows (here, three rows) that are adjacent to each other including the eyes is determined by variables Rb, R (i), and R.
Judgment is made based on the value of (i + 1). Here, when there is no edge in the plurality of rows, the noise removing unit 17
The operation moves to step S23. On the other hand, when there is an edge in a plurality of rows, the noise removing unit 17 moves the operation to step S24. Step S23: The noise removing unit 17 does not perform the edge expansion processing on the i-th row because there is no edge on a plurality of rows including the i-th row. Therefore, in preparation for the processing of the next row, only the variables Lb and Rb are updated as follows, and the operation proceeds to step S27. Lb = L (i), Rb = R (i) (4) Step S24: Since the noise removing unit 17 has edges in a plurality of rows including the i-th row, the following equation is executed to execute i-row Inflate both edges for the eye. Lx = min [Lb, L (i), L (i + 1)]-1 (5) Rx = max [Rb, R (i), R (i + 1)] + 1 (6) This (5) In the expression), the leftmost end is obtained from the leftmost edges in a plurality of lines, and the position further left by one pixel than the leftmost end is Lx. Further, in the expression (6), the rightmost end is obtained from the rightmost edges in a plurality of lines, and the position on the right side by one pixel further than the rightmost end is set as Rx. Step S25: The noise removal unit 17 performs step S23.
Similarly, the variables Lb and Rb are updated as follows in preparation for the processing of the next row. Lb = L (i), Rb = R (i) (4) Step S26: The noise removing unit 17 performs the above (5).
Lx and Rx calculated by the equation (6) are substituted into L (i) and R (i) as both end edges of the i-th row. Step S27: The noise removal unit 17 determines whether i = n. Here, when i ≠ n, the noise removing unit 17
If it is determined that the processing for one screen has not been completed yet, the operation proceeds to step S28. On the other hand, when i = n, the noise removal unit 17 determines that the processing for one screen is completed, and ends the expansion processing for one time. Step S28: Since the processing for one screen is not yet completed here, the noise removal unit 17 increments i by 1 and returns the operation to step S22 in order to move to the processing of the next row.
【００３５】以上説明した一連の動作により、整数配列
Ｌ（ｘ），Ｒ（ｘ）に格納された両端エッジを上下斜め
方向に１画素分だけ膨張化する処理が実行される。
［両端エッジの収縮化処理］
次に、雑音除去部１７（実際にはマイクロプロセッサ１
５）による両端エッジの収縮化処理について説明する。By the series of operations described above, the processing of expanding both end edges stored in the integer arrays L (x) and R (x) by one pixel in the up and down diagonal direction is executed. [End Edge Contraction Processing] Next, the noise removing unit 17 (actually, the microprocessor 1
The contraction processing of both edges by 5) will be described.
【００３６】図５は、両端エッジの収縮化処理を説明す
る流れ図である。以下、図５のステップ番号に沿って説
明する。ステップＳ４１： まず、雑音除去部１７は、
下記のように変数を初期化する。
ｉ＝１
Ｌｂ＝１，Ｌ（ｎ＋１）＝１ ・・・（７）
Ｒｂ＝ｍ，Ｒ（ｎ＋１）＝ｍ ・・・（８）
ステップＳ４２： 雑音除去部１７は、処理対象である
ｉ行目を含んで近接する複数行（ここでは３行）につい
てエッジ欠損があるか否かを、変数Ｒｂ、Ｒ（ｉ）、Ｒ
（ｉ＋１）の値に基づいて判定する。ここで、複数行の
中にエッジ欠損があった場合、雑音除去部１７は、動作
をステップＳ４３に移行する。一方、複数行の中にエッ
ジ欠損がない場合、雑音除去部１７は、動作をステップ
Ｓ４５に移行する。
ステップＳ４３： 雑音除去部１７は、次行の処理に備
えて、変数Ｌｂ，Ｒｂを下記のように更新する。
Ｌｂ＝Ｌ（ｉ），Ｒｂ＝Ｒ（ｉ） ・・・（９）
ステップＳ４４： 雑音除去部１７は、ｉ行目を含む複
数行にエッジ欠損があったので、下式を実行してｉ行目
のエッジを削除し、ステップＳ４８に動作を移行する。
Ｌ（ｉ）＝ｍ，Ｒ（ｉ）＝１ ・・・（１０）
ステップＳ４５： 雑音除去部１７は、ｉ行目を含む複
数行にエッジ欠損がないので、下式を実行してｉ行目に
ついて両端エッジを収縮化させる。
Ｌｘ＝ｍａｘ［Ｌｂ，Ｌ（ｉ），Ｌ（ｉ＋１）］＋１ ・・・（１１）
Ｒｘ＝ｍｉｎ［Ｒｂ，Ｒ（ｉ），Ｒ（ｉ＋１）］−１ ・・・（１２）
この（１１）式では、複数行中の左端エッジから最右端
を求め、その最右端よりもさらに１画素分だけ右側の位
置を、Ｌｘとしている。また、（１２）式では、複数行
中の右端エッジから最左端を求め、その最左端よりもさ
らに１画素分だけ左側の位置を、Ｒｘとしている。
ステップＳ４６： 雑音除去部１７は、ステップＳ４３
と同様に、次行の処理に備えて変数Ｌｂ，Ｒｂを下記の
ように更新する。
Ｌｂ＝Ｌ（ｉ），Ｒｂ＝Ｒ（ｉ） ・・・（９）
ステップＳ４７： 雑音除去部１７は、上記の（１１）
（１２）式で算出したＬｘ，Ｒｘを、ｉ行目の両端エッ
ジとしてＬ（ｉ），Ｒ（ｉ）に代入する。
ステップＳ４８： 雑音除去部１７は、ｉ＝ｎか否かを
判定する。ここで、ｉ≠ｎの場合、雑音除去部１７は、
１画面分の処理がまだ完了していないと判断して、ステ
ップＳ４９に動作を移行する。一方、ｉ＝ｎの場合、雑
音除去部１７は、１画面分の処理が完了したと判断し
て、１回分の収縮化処理を終了する。
ステップＳ４９： ここでは、１画面分の処理がまだ完
了していないので、雑音除去部１７は、次行の処理に移
るため、ｉを１だけ増加した後、ステップＳ４２に動作
を戻す。FIG. 5 is a flow chart for explaining the contraction processing of both edges. Hereinafter, description will be given along the step numbers in FIG. Step S41: First, the noise removing unit 17
Initialize variables as follows: i = 1 Lb = 1, L (n + 1) = 1 (7) Rb = m, R (n + 1) = m (8) Step S42: The noise elimination unit 17 is the i row to be processed. Whether or not there is an edge defect in a plurality of rows (three rows in this case) that are adjacent to each other including eyes is determined by variables Rb, R (i), and R.
Judgment is made based on the value of (i + 1). Here, when there is an edge loss in a plurality of rows, the noise removing unit 17 moves the operation to step S43. On the other hand, when there is no edge loss in the plurality of rows, the noise removing unit 17 moves the operation to step S45. Step S43: The noise removal unit 17 updates the variables Lb and Rb as follows in preparation for the processing of the next row. Lb = L (i), Rb = R (i) (9) Step S44: Since the noise elimination unit 17 has an edge defect in a plurality of rows including the i-th row, i The edge of the row is deleted, and the operation moves to step S48. L (i) = m, R (i) = 1 (10) Step S45: Since there is no edge loss in a plurality of lines including the i-th row, the noise elimination unit 17 executes the following formula to execute the i-th row. Contract both edges for the eye. Lx = max [Lb, L (i), L (i + 1)] + 1 (11) Rx = min [Rb, R (i), R (i + 1)]-1 (12) This (11) In the expression), the rightmost end is obtained from the leftmost edges in a plurality of lines, and the position further to the right by one pixel than the rightmost end is Lx. Further, in the expression (12), the leftmost end is obtained from the rightmost edges in a plurality of lines, and the position further left by one pixel than the leftmost end is Rx. Step S46: The noise removing unit 17 performs step S43.
Similarly, the variables Lb and Rb are updated as follows in preparation for the processing of the next row. Lb = L (i), Rb = R (i) (9) Step S47: The noise removing unit 17 uses the above (11).
Lx and Rx calculated by the equation (12) are substituted into L (i) and R (i) as both end edges of the i-th row. Step S48: The noise removal unit 17 determines whether i = n. Here, when i ≠ n, the noise removing unit 17
If it is determined that the processing for one screen has not been completed yet, the operation proceeds to step S49. On the other hand, when i = n, the noise removing unit 17 determines that the processing for one screen is completed, and ends the shrinking processing for one time. Step S49: Here, since the processing for one screen is not yet completed, the noise removing unit 17 increments i by 1 and returns the operation to step S42 to move to the processing of the next row.
【００３７】以上説明した一連の動作により、整数配列
Ｌ（ｘ），Ｒ（ｘ）に格納された両端エッジを上下斜め
方向に１画素分だけ収縮化する処理が実行される。
［膨張処理および収縮処理による雑音除去効果につい
て］
上述した膨張処理および収縮処理による雑音除去効果に
ついて具体的に説明する。図６は、膨張処理および収縮
処理による雑音除去効果を示す図である。Through the series of operations described above, the processing of contracting the both end edges stored in the integer arrays L (x) and R (x) by one pixel in the up and down diagonal direction is executed. [Noise Removal Effect of Expansion and Contraction Processing] The noise removal effect of the expansion and contraction processing described above will be specifically described. FIG. 6 is a diagram showing a noise removal effect by the expansion processing and the contraction processing.
【００３８】図６（ａ）に示すように、微分画像信号に
は、雑音成分として点雑音Ｐや、かすれ雑音Ｑがわずか
ながらに混入する。図６（ｂ）に示すように、両端エッ
ジ検出に際して、これらの雑音成分は、誤認エッジＰｅ
や、分断エッジＱｅを生じる。そのため、物体の外縁形
状は部分的に変形し、物体の形状認識や面積算出などに
支障を生じる。As shown in FIG. 6 (a), point noise P and blur noise Q are slightly mixed as noise components in the differential image signal. As shown in FIG. 6B, at the time of detecting both edges, these noise components are erroneously recognized edges Pe.
Or a divided edge Qe occurs. Therefore, the shape of the outer edge of the object is partially deformed, which hinders shape recognition and area calculation of the object.
【００３９】図６（ｃ）は、このように雑音成分の混入
した両端エッジに対して、上述した膨張処理を１〜数回
かけた状態を示す図である。両端エッジが上下斜め方向
に数画素分だけ膨張することにより、図６（ｂ）に見ら
れた分断エッジＱｅが、周辺から埋められる。その結
果、分断エッジＱｅによる外縁形状の変形が、確実に除
去される。FIG. 6 (c) is a diagram showing a state in which the above-described expansion processing is applied once or several times to both end edges in which noise components are mixed in this way. By expanding the edges at both ends in the vertical and diagonal directions by several pixels, the divided edge Qe seen in FIG. 6B is filled from the periphery. As a result, the deformation of the outer edge shape due to the divided edge Qe is reliably removed.
【００４０】図６（ｄ）は、膨張処理を施した両端エッ
ジに対して、上述した収縮処理を１〜数回かけた状態を
示す図である。この場合、両端エッジが上下斜め方向に
数画素分だけ収縮することにより、図６（ｃ）に残存し
ていた誤認エッジＰｅが、削られる。その結果、誤認エ
ッジＰｅによる外縁形状の変形が、確実に除去される。FIG. 6 (d) is a diagram showing a state in which the above-described contraction processing is applied to the both edges subjected to the expansion processing one to several times. In this case, both edges contract in the diagonally upward and downward directions by several pixels, so that the misidentified edge Pe remaining in FIG. 6C is deleted. As a result, the deformation of the outer edge shape due to the misrecognized edge Pe is reliably removed.
【００４１】なお、膨張処理および収縮処理の繰り返し
回数や順番については、画像の解像度や雑音状況に応じ
て決定することが好ましい。ちなみに、かすれ雑音が比
較的多くて、物体エッジが細かく分断されているような
雑音状況では、物体エッジを復元するために、膨張処理
を先に実行することが好ましい。また、点雑音が比較的
多い雑音状況では、点雑音の集合を物体と誤認しないよ
うに、収縮処理を先に実行することが好ましい。
［面積演算および異常判定処理］
次に、面積演算部１８および異常信号出力部１９（実際
には両方ともマイクロプロセッサ１５）による、面積演
算および異常判定処理について説明する。It should be noted that the number of repetitions and the order of the expansion processing and the contraction processing are preferably determined according to the image resolution and the noise condition. By the way, in a noise situation where there is a relatively large amount of blur noise and the object edge is finely divided, it is preferable to execute the dilation processing first in order to restore the object edge. Further, in a noise situation in which point noise is relatively large, it is preferable to perform the contraction processing first so that the set of point noise is not mistaken for an object. [Area Calculation and Abnormality Judgment Processing] Next, the area calculation and abnormality judgment processing by the area calculation unit 18 and the abnormality signal output unit 19 (both are actually the microprocessor 15) will be described.
【００４２】図７は、面積演算および異常判定処理を説
明する流れ図である。以下、図７のステップ番号に沿っ
て説明する。
ステップＳ６１： まず、面積演算部１８は、下記のよ
うに変数を初期化する。
ｉ＝１
Ｓ＝０
ステップＳ６２： 面積演算部１８は、下式に従って、
ｉ行目の両端エッジの間隔を面積Ｓに累積する。
Ｓ＝Ｓ＋ｍａｘ［０，Ｒ（ｉ）−Ｌ（ｉ）＋１］ ・・・（１３）
ステップＳ６３： 面積演算部１８は、ｉ＝ｎか否かを
判定する。ここで、ｉ≠ｎの場合、面積演算部１８は、
１画面分の処理がまだ完了していないと判断して、ステ
ップＳ６４に動作を移行する。一方、ｉ＝ｎの場合、面
積演算部１８は、１画面分の処理が完了したと判断し
て、ステップＳ６５に動作を移行する。
ステップＳ６４： ここでは、１画面分の処理がまだ完
了していないので、面積演算部１８は、次行の処理に移
るため、ｉを１だけ増加した後、ステップＳ６２に動作
を戻す。
ステップＳ６５： 上記の処理Ｓ６１〜６４によって、
両端エッジに囲まれた物体の画面内面積Ｓ（ここでは物
体が占める画素数に相当する）が算出される。異常信号
出力部１９は、この画面内面積Ｓと、人間と小動物等と
の区別をするために予め定めた許容値Ｓｅとを大小比較
する。FIG. 7 is a flow chart for explaining the area calculation and abnormality determination processing. Hereinafter, description will be given along the step numbers in FIG. 7. Step S61: First, the area calculation unit 18 initializes variables as follows. i = 1 S = 0 Step S62: The area calculation unit 18 calculates
The interval between both edges of the i-th row is accumulated in the area S. S = S + max [0, R (i) -L (i) +1] (13) Step S63: The area calculation unit 18 determines whether i = n. Here, when i ≠ n, the area calculation unit 18
If it is determined that the processing for one screen has not been completed yet, the operation proceeds to step S64. On the other hand, when i = n, the area calculation unit 18 determines that the processing for one screen is completed, and moves the operation to step S65. Step S64: Since the processing for one screen is not yet completed here, the area calculation unit 18 increments i by 1 and returns the operation to step S62 to move to the processing of the next row. Step S65: By the above processing S61 to S64,
An in-screen area S of the object surrounded by both edges (corresponding to the number of pixels occupied by the object here) is calculated. The abnormal signal output unit 19 compares the area S in the screen with a predetermined allowable value Se for distinguishing between humans and small animals.
【００４３】例えば、２０万画素の固体撮像素子１３を
用い、かつ被写界を３ｍ×３ｍの範囲に設定した場合、
１画素に相当する面積は４５ｍｍ2になる。ここで、人
体の大きさを１７０ｃｍ×５０ｃｍ仮定し、小動物とし
てネズミの大きさを２０ｃｍ×１０ｃｍと仮定すると、
人体の大きさは、おおよそ１万９千画素に相当し、ネズ
ミの大きさは４００画素に相当する。このような場合、
許容値Ｓｅを４０００画素程度に設定することにより、
人間と小動物とを区別することが可能となる。For example, when the solid-state image pickup device 13 having 200,000 pixels is used and the object field is set within the range of 3 m × 3 m,
The area corresponding to one pixel is 45 mm 2 . Here, assuming that the size of the human body is 170 cm × 50 cm, and the size of a mouse as a small animal is 20 cm × 10 cm,
The size of the human body corresponds to approximately 19,000 pixels, and the size of the mouse corresponds to 400 pixels. In such cases,
By setting the allowable value Se to about 4000 pixels,
It is possible to distinguish between humans and small animals.
【００４４】ここで、画面内面積Ｓが許容値Ｓｅ以下の
場合、異常信号出力部１９は、画面内にはネズミなどの
小動物が存在するのみと判断して、異常通知を実行しな
い。一方、画面内面積Ｓが許容値Ｓｅを上回っている場
合、異常信号出力部１９は、画面内に人間などの比較的
大きな動体がいると判断し、ステップＳ６６に動作を移
行する。
ステップＳ６６： 異常信号出力部１９は、外部に異常
通知を実行する。この異常通知に呼応して、録画装置１
４は、画像信号の録画を開始する。警報装置２１は、通
信回線などを介して遠方の監視センターに緊急警報を送
信する。
［第１の実施形態の効果など］
以上説明した動作により、第１の実施形態では、両端エ
ッジの情報処理により人間以上の大きさの動体を的確に
識別し、正確な異常通知を実行することが可能となる。Here, when the area S in the screen is equal to or less than the allowable value Se, the abnormal signal output unit 19 judges that only small animals such as rats are present in the screen, and does not execute the abnormal notification. On the other hand, if the screen internal area S exceeds the allowable value Se, the abnormal signal output unit 19 determines that there is a relatively large moving body such as a person in the screen, and moves the operation to step S66. Step S66: The abnormality signal output section 19 executes an abnormality notification to the outside. In response to this abnormality notification, the recording device 1
4 starts recording the image signal. The alarm device 21 transmits an emergency alarm to a remote monitoring center via a communication line or the like. [Effects etc. of First Embodiment] According to the operation described above, in the first embodiment, a moving object having a size equal to or larger than a human is accurately identified by information processing of both edges, and accurate abnormality notification is executed. Is possible.
【００４５】特に、第１の実施形態では、両端エッジの
処理を中心とするため、システムメモリ２０上に、たか
だか要素数（ｎ＋１）個程度の整数配列Ｌ（ｘ），Ｒ
（ｘ）を確保すればよい。そのため、画像特徴抽出装置
１１に必要なメモリ容量は、画素単位のフレームメモリ
を必要とする従来例に比べて極端に少なくなる。さら
に、第１の実施形態では、両端エッジの処理を中心とす
るため、雑音除去や面積演算についても、たかだか行単
位の速度で実行すればよい。そのため、画素単位の処理
が中心の従来例と比較して、処理速度に格段な余裕が生
じる。したがって、第１の実施形態により、動画像をリ
アルタイムに監視して異常通知を行う画像特徴抽出装置
を容易に実現することができる。In particular, in the first embodiment, since processing of both edges is centered, an integer array L (x), R of about (n + 1) at most elements is stored in the system memory 20.
It is sufficient to secure (x). Therefore, the memory capacity required for the image feature extracting apparatus 11 is extremely smaller than that of the conventional example which requires a frame memory for each pixel. Further, in the first embodiment, the processing of both edges is mainly performed, so that the noise removal and the area calculation may be executed at a speed of at most a row unit. Therefore, compared to the conventional example that mainly focuses on pixel-based processing, there is a significant margin in processing speed. Therefore, according to the first embodiment, it is possible to easily realize an image feature extraction device that monitors a moving image in real time and notifies an abnormality.
【００４６】次に、別の実施形態について説明する。
《第２の実施形態》
第２の実施形態は、請求項６に対応した監視検査システ
ムの実施形態である。図８は、工場のラインなどで使用
される、パターン検査用途の監視検査システム３０を示
す図である。Next, another embodiment will be described. << 2nd Embodiment >> 2nd Embodiment is embodiment of the monitoring inspection system corresponding to Claim 6 . FIG. 8 is a diagram showing a monitoring / inspection system 30 used for pattern inspection, which is used in a factory line or the like.
【００４７】なお、請求項６に記載の構成要素と、図８
に示す各構成との対応関係については、画像特徴抽出装
置は画像特徴抽出装置３１に対応し、監視部は比較処理
部３３および参照情報記憶部３４に対応する。図８にお
いて、画像特徴抽出装置３１の被写界には、検査対象３
２が配置される。この画像特徴抽出装置３１で検出され
たエッジの座標情報は、比較処理部３３に与えられる。
この比較処理部３３は、このエッジの座標情報と、参照
情報記憶部３４に記録された情報（例えば、良品のエッ
ジの座標情報）とを比較して、部品欠損や傷や半田不良
があるか否かなどの良否判定を行う。The components described in claim 6 and FIG.
Regarding the correspondence relationship with each configuration shown in (1), the image feature extraction device corresponds to the image feature extraction device 31, and the monitoring unit corresponds to the comparison processing unit 33 and the reference information storage unit 34. In FIG. 8, the inspection target 3 is included in the field of the image feature extraction device 31.
2 is placed. The coordinate information of the edge detected by the image feature extraction device 31 is given to the comparison processing unit 33.
The comparison processing unit 33 compares the coordinate information of the edge with the information recorded in the reference information storage unit 34 (for example, the coordinate information of the edge of a non-defective product) to determine whether there is a component defect, a scratch, or a solder defect. A pass / fail judgment is made.
【００４８】以上のような動作では、エッジの座標情報
という少ない情報量について良否判定を行えばよい。し
たがって、良否判定の情報処理量が全体的に少なく、良
品検査を高速化できるという利点がある。その結果、作
業速度の高速化が要求される工場ラインや半導体製造ラ
インなどに特に適した監視検査システムとなる。
《第３の実施形態》
第３の実施形態は、請求項７に対応した半導体露光シス
テムの実施形態である。In the above-described operation, the quality judgment may be made for a small amount of information such as edge coordinate information. Therefore, there is an advantage that the amount of information processing for the quality determination is small as a whole and the quality inspection can be speeded up. As a result, the monitoring / inspection system is particularly suitable for a factory line, a semiconductor manufacturing line, or the like that requires a high working speed. << Third Embodiment >> A third embodiment is an embodiment of a semiconductor exposure system corresponding to claim 7 .
【００４９】図９は、半導体製造に使用される、半導体
露光システム４０を示す図である。なお、請求項７に記
載の構成要素と、図９に示す各構成との対応関係につい
ては、画像特徴抽出装置は画像特徴抽出装置４４ａ〜ｃ
に対応し、アライメント検出部はアライメント検出部４
５に対応し、位置制御部は位置制御部４６に対応し、露
光部は露光部４３に対応する。FIG. 9 is a diagram showing a semiconductor exposure system 40 used in semiconductor manufacturing. Regarding the correspondence relationship between the constituent elements described in claim 7 and the respective constituent elements shown in FIG. 9, the image feature extracting device is the image feature extracting devices 44a to 44c.
The alignment detection unit corresponds to the alignment detection unit 4
5, the position control unit corresponds to the position control unit 46, and the exposure unit corresponds to the exposure unit 43.
【００５０】図９において、ステージ４１の上には、ウ
ェハ状の半導体４２が配置される。この半導体４２の上
方には、露光部４３の露光光学系が配置される。この露
光光学系を介して半導体４２上のアライメントマークを
撮像するように、画像特徴抽出装置４４ａ〜ｂが配置さ
れる。また、半導体４２上のアライメントマークを直接
的に撮像するように、画像特徴抽出装置４４ｃが配置さ
れる。In FIG. 9, a wafer-shaped semiconductor 42 is arranged on the stage 41. The exposure optical system of the exposure unit 43 is arranged above the semiconductor 42. The image feature extraction devices 44a-b are arranged so as to image the alignment mark on the semiconductor 42 via this exposure optical system. Further, the image feature extraction device 44c is arranged so as to directly image the alignment mark on the semiconductor 42.
【００５１】これらの画像特徴抽出装置４４ａ〜ｃで検
出されたエッジの座標情報は、アライメント検出部４５
に与えられる。このアライメント検出部４５は、エッジ
の座標情報からアライメントマークの位置検出を行う。
位置制御部４６は、このアライメントマークの位置情報
に基づいてステージ４１を位置制御し、半導体４２の位
置決めを行う。このようにして位置決めされた半導体４
２に対して、露光部４３は所定の半導体回路パターンを
投影する。The coordinate information of the edges detected by the image feature extracting devices 44a to 44c is used as the alignment detecting unit 45.
Given to. The alignment detection unit 45 detects the position of the alignment mark from the coordinate information of the edge.
The position control unit 46 controls the position of the stage 41 based on the position information of the alignment mark, and positions the semiconductor 42. Semiconductor 4 positioned in this way
For 2, the exposure unit 43 projects a predetermined semiconductor circuit pattern.
【００５２】以上のような動作では、エッジの座標情報
という少ない情報量に基づいてアライメントマークの位
置検出を行えばよい。したがって、位置検出の情報処理
量が全体的に少なく、高速に位置検出を行えるという利
点がある。その結果、作業速度の高速化が要求される半
導体製造ラインに特に好適な半導体露光システムとな
る。
《第４の実施形態》
第４の実施形態は、請求項８に対応したインターフェー
スシステムの実施形態である。In the above operation, the position of the alignment mark may be detected based on a small amount of information such as edge coordinate information. Therefore, there is an advantage that the amount of information processing for position detection is small as a whole and position detection can be performed at high speed. As a result, the semiconductor exposure system is particularly suitable for a semiconductor manufacturing line that requires high working speed. << 4th Embodiment >> 4th Embodiment is embodiment of the interface system corresponding to Claim 8 .
【００５３】図１０は、コンピュータ５３に人間の姿勢
情報を入力するインターフェース５０を示す図である。
なお、請求項８に記載の構成要素と、図１０に示す各構
成との対応関係については、画像特徴抽出装置は画像特
徴抽出装置５１に対応し、認識処理部は認識処理部５２
に対応する。FIG. 10 is a diagram showing an interface 50 for inputting human posture information to the computer 53.
Regarding the correspondence relationship between the constituent elements described in claim 8 and each configuration shown in FIG. 10, the image feature extraction device corresponds to the image feature extraction device 51, and the recognition processing unit corresponds to the recognition processing unit 52.
Corresponding to.
【００５４】図１０において、ステージ上の人間を撮像
する位置に、画像特徴抽出装置５１が配置される。この
画像特徴抽出装置５１で検出されたエッジの座標情報
は、認識処理部５２に与えられる。この認識処理部５２
は、エッジの座標情報について認識処理を行い、人間の
姿勢をパターン分類する。認識処理部５２は、このよう
にパターン分類した結果を人間の姿勢情報として、コン
ピュータ５３に入力する。In FIG. 10, an image feature extraction device 51 is arranged at a position on the stage where a person is imaged. The coordinate information of the edge detected by the image feature extraction device 51 is given to the recognition processing unit 52. This recognition processing unit 52
Recognizes edge coordinate information and classifies human postures into patterns. The recognition processing unit 52 inputs the result of pattern classification as described above to the computer 53 as human posture information.
【００５５】コンピュータ５３内では、この人間の姿勢
情報を反映してゲーム画像などを生成し、モニタ画面５
４上に表示する。以上のような動作では、エッジの座標
情報という少ない情報量に基づいて人間の姿勢情報を認
識すればよい。したがって、画像認識の情報処理量が全
体的に少なく、高速に画像認識を行えるという利点があ
る。その結果、高速処理の要求されるゲームマシンなど
に特に好適なインターフェースシステムとなる。In the computer 53, a game image or the like is generated by reflecting the human posture information, and the monitor screen 5 is displayed.
Display on top of 4. In the above operation, the human posture information may be recognized based on a small amount of information such as edge coordinate information. Therefore, there is an advantage that the information processing amount of image recognition is small as a whole and the image recognition can be performed at high speed. As a result, the interface system is particularly suitable for a game machine or the like that requires high-speed processing.
【００５６】なお、本実施形態では、人間の姿勢入力に
ついて説明したが、これに限定されるものではない。本
実施形態のインターフェースシステムは、手のジェスチ
ャー入力（手話入力）などにも適用できる。
《実施形態の補足事項》
なお、上述した実施形態では、固体撮像素子１３におい
て微分画像信号を時間微分に基づいて生成している。こ
のような動作は、背景などの静止画像と区別して、動体
を監視できる点で、非常に優れた動作である。しかしな
がら、この動作に限定されるものではない。例えば、微
分画像信号を隣接画素間の差分（空間微分）から生成し
てもかまわない。このような空間微分による微分画像信
号を生成可能な固体撮像素子としては、特開平１１−２
２５２８９号公報に記載のエッジ検出用固体撮像装置
や、特開平６−１３９３６１号公報に記載の装置や、特
開平８−２７５０５９号公報に記載の受光素子回路アレ
イなどが使用可能である。In the present embodiment, human posture input has been described, but the present invention is not limited to this. The interface system of this embodiment can also be applied to gesture input of a hand (sign language input) and the like. << Supplementary Items of Embodiment >> In the above-described embodiment, the differential image signal is generated in the solid-state image sensor 13 based on time differentiation. Such an operation is a very excellent operation in that the moving object can be monitored by distinguishing it from a still image such as a background. However, the operation is not limited to this. For example, the differential image signal may be generated from the difference between adjacent pixels (spatial differentiation). As a solid-state image pickup device capable of generating a differential image signal by such spatial differentiation, Japanese Patent Laid-Open No. 11-2
The solid-state imaging device for edge detection described in Japanese Patent No. 25289, the device described in Japanese Patent Application Laid-Open No. 6-139361, the light receiving element circuit array described in Japanese Patent Application Laid-Open No. 8-275059, and the like can be used.
【００５７】なお、上述した実施形態では、両端エッジ
の情報から物体の画面内面積を求めて、この画面内面積
に基づいて異常通知を行っている。このような動作は、
物体の大きさを識別する上で、優れた動作である。しか
しながら、この動作に限定されるものではない。例え
ば、マイクロプロセッサ１５が、両端エッジの情報に基
づいて、物体の中心位置を求めてもよい。この場合、マ
イクロプロセッサ１５において、物体の中心位置が画面
内の侵入禁止域内にあるか否かなどが判定可能となる。
したがって、画面内の侵入禁止域に入った侵入者に対し
て、的確に警報を発するなどの動作が実現可能となる。In the above-described embodiment, the in-screen area of the object is obtained from the information of both edges, and the abnormality notification is given based on this in-screen area. This kind of operation
This is an excellent operation for identifying the size of an object. However, the operation is not limited to this. For example, the microprocessor 15 may obtain the center position of the object based on the information on both edges. In this case, the microprocessor 15 can determine whether the center position of the object is within the intrusion prohibited area on the screen.
Therefore, it is possible to perform an operation such as accurately issuing an alarm to an intruder who has entered the intrusion prohibited area on the screen.
【００５８】また例えば、マイクロプロセッサ１５が、
両端エッジから物体の寸法を求めてもよい。この場合、
マイクロプロセッサ１５において、画面内を通過した大
人と子供とを区別して数えるなどの動作が可能となる。Further, for example, the microprocessor 15 is
The size of the object may be obtained from both edges. in this case,
The microprocessor 15 can perform operations such as counting the adults and children who have passed through the screen separately.
【００５９】[0059]
【発明の効果】請求項１または請求項５に記載の発明で
は、両端エッジを対象に膨張および収縮を施すことによ
り、雑音除去を行う。したがって、従来例のような画素
単位の膨張収縮処理が不要となり、メモリ必要量や処理
時間をさらに削減することが可能となる。According to the invention of claim 1 or 5 , noise is removed by expanding and contracting both edges. Therefore, the expansion / contraction process for each pixel as in the conventional example is unnecessary, and it becomes possible to further reduce the memory requirement and the processing time.
【００６０】請求項２に記載の発明では、求めた両端エ
ッジの情報を基礎にして、物体の画面内面積、物体の中
心位置、または物体の寸法の少なくとも一つを算出す
る。これらの算出値は、いずれも物体の特徴を示す有効
な情報であり、このような算出値に基づいて、被写界内
の物体の変化などを客観的かつ的確に判別することが可
能となる。According to the second aspect of the present invention, at least one of the in-screen area of the object, the center position of the object, or the size of the object is calculated based on the information on the obtained edge edges. All of these calculated values are effective information indicating the characteristics of the object, and based on such calculated values, it becomes possible to objectively and accurately determine the change of the object in the scene. .
【００６１】請求項３に記載の発明では、特徴演算部の
算出値に基づいて異常状態を的確に判別して通知するこ
とができる。請求項４に記載の微分画像信号生成部で
は、微分画像信号の生成時に、外部の画像メモリが一切
不要となる。したがって、上記した請求項１〜３の発明
の構成と併せることにより、１画面分の画像メモリなど
が一切不要となり、極めて少容量のメモリ容量しか使用
しない画像特徴抽出装置を実現することが可能となる。According to the third aspect of the present invention, the abnormal state can be accurately discriminated and notified based on the calculated value of the characteristic calculation section. In the differential image signal generating section according to the fourth aspect , no external image memory is required when generating the differential image signal. Therefore, by combining with the configurations of the above-described inventions of claims 1 to 3 , it is possible to realize an image feature extraction device that uses no image memory for one screen at all and uses only an extremely small memory capacity. Become.
【００６２】請求項６〜８に記載の各システムでは、エ
ッジの座標情報を処理するので情報処理量が全体的に少
なく、処理を高速化することができる。In each of the systems described in claims 6 to 8 , since the coordinate information of the edge is processed, the amount of information processing is generally small and the processing can be speeded up.
【図１】監視検査システム１０の構成を示すブロック図
である。FIG. 1 is a block diagram showing a configuration of a surveillance / inspection system 10.
【図２】固体撮像素子１３の内部構成を示す図である。FIG. 2 is a diagram showing an internal configuration of a solid-state image sensor 13.
【図３】両端エッジの検出動作を説明する流れ図であ
る。FIG. 3 is a flowchart illustrating a detection operation of both edges.
【図４】両端エッジの膨張化処理を説明する流れ図であ
る。FIG. 4 is a flowchart illustrating a process of expanding both edges.
【図５】両端エッジの収縮化処理を説明する流れ図であ
る。FIG. 5 is a flowchart for explaining contraction processing of both edges.
【図６】膨張処理および収縮処理による雑音除去効果を
示す説明図である。FIG. 6 is an explanatory diagram showing a noise removal effect by expansion processing and contraction processing.
【図７】面積演算と異常判定処理を説明する流れ図であ
る。FIG. 7 is a flowchart illustrating area calculation and abnormality determination processing.
【図８】監視検査システム３０の構成を示す図である。FIG. 8 is a diagram showing a configuration of a monitoring / inspection system 30.
【図９】半導体露光システム４０の構成を示す図であ
る。FIG. 9 is a diagram showing a configuration of a semiconductor exposure system 40.
【図１０】インターフェースシステム５０の構成を示す
図である。10 is a diagram showing a configuration of an interface system 50. FIG.
【図１１】画像特徴抽出装置の従来例を示すブロック図
である。FIG. 11 is a block diagram showing a conventional example of an image feature extraction device.
ＰＤ ホトダイオード
ＱＴ 電荷転送用のＭＯＳスイッチ
ＱＰ 電荷リセット用のＭＯＳスイッチ
ＱＨ 水平転送用のＭＯＳスイッチ
ＱＶ コンデンサの充電路を形成するためのＭＯＳスイ
ッチ
ＣＶ 電荷保持用のコンデンサ
ＱＸ 行選択用のＭＯＳスイッチ
ＱＲＳＨ リセット用のＭＯＳスイッチ
ＱＡ 接合型電界効果トランジスタからなる増幅素子
１ 単位画素
２ 垂直読み出し線
３ 垂直シフトレジスタ
５ 差分処理回路
６ 異値検出回路
７ 水平読み出し線
８ 水平シフトレジスタ
９ シフトレジスタ
１０，３０ 監視検査システム
１１，３１，４４ａ〜ｃ，５１ 画像特徴抽出装置
１２ 撮影レンズ
１３ 固体撮像素子
１５ マイクロプロセッサ
１６ エッジ座標検出部
１７ 雑音除去部
１８ 面積演算部
１９ 異常信号出力部
２０ システムメモリ
２１ 警報装置
３３ 比較処理部
３４ 参照情報記憶部
４０ 半導体露光システム
５０ インターフェースシステムPD photodiode QT MOS switch for charge transfer QP MOS switch for charge reset QH MOS switch for horizontal transfer QV MOS switch CV for forming a charging path for a capacitor CX capacitor for holding charge QX MOS switch for row selection QRSH reset MOS switch QA for amplification Amplification element consisting of junction field effect transistor 1 Unit pixel 2 Vertical readout line 3 Vertical shift register 5 Difference processing circuit 6 Different value detection circuit 7 Horizontal readout line 8 Horizontal shift register 9 Shift register 10, 30 Monitoring inspection Systems 11, 31, 44a to c, 51 Image feature extraction device 12 Photographing lens 13 Solid-state imaging device 15 Microprocessor 16 Edge coordinate detection part 17 Noise removal part 18 Area calculation part 19 Abnormal signal output part 20 System memory 21 Alarm device 33 Compare unit 34 references the storage section 40 the semiconductor exposure system 50 interface system
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−89243（ＪＰ，Ａ) 特開 平６−231253（ＪＰ，Ａ) 特開 平６−139361（ＪＰ，Ａ) 特開 平９−306977（ＪＰ，Ａ) 特開 昭58−213380（ＪＰ，Ａ) 特開 昭47−31553（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/60 G06T 1/00 280 G06T 1/00 305 G06T 5/00 300 ＪＩＣＳＴファイル（ＪＯＩＳ)─────────────────────────────────────────────────── --- Continuation of the front page (56) Reference JP-A-5-89243 (JP, A) JP-A-6-231253 (JP, A) JP-A-6-139361 (JP, A) JP-A-9- 306977 (JP, A) JP-A-58-213380 (JP, A) JP-A-47-31553 (JP, A) (58) Fields investigated (Int.Cl. 7 , DB name) G06T 7/60 G06T 1 / 00 280 G06T 1/00 305 G06T 5/00 300 JISST file (JOIS)