【０００１】
【発明の属する技術分野】
この発明は、道路脇に設置したカメラによって道路を撮像し、撮像した画像を画像処理することにより、交通量、速度、突発事象などの道路状況を検出するために利用される画像処理領域の決定方法に関する。
【０００２】
【従来の技術】
自動運転用の道路では、走行支援道路システム（ＡＨＳシステム）は道路に設置された磁気ネイルや道路脇に設置されたＣＣＴＶカメラなどにより車両への走行支援を行っている。磁気ネイルは車線中央上で車両進行方向に等間隔に極性が反転するよう多数設置されている。この道路を走行する車両に搭載された磁気センサにより磁気ネイルからのずれ量を計測することにより、車線中央に対する自車の位置を計測することができる。走行支援道路システムはその位置情報に基づいて車線中央へ車両を誘導などする。また、ＣＣＴＶカメラは、落下物等の障害物の検出、車両挙動把握など道路状況把握で重要な役割を果たす。
【０００３】
ＣＣＴＶカメラを使用した車両挙動把握はＣＣＴＶからの画像を画像処理することにより、通行している車両の挙動（道路に対する位置、速度、加速度）、落下物などの障害物などを検出するもので、事故や停止、渋滞などの交通異常を検出することができる。さらに、路車間通信などでＡＨＳ車両（ＡＨＳシステムにおいて自動運転が可能な車両のこと）へ、その情報を伝達することにより安全運転を実現する。また、ＡＨＳシステム導入過渡期においてのＡＨＳ車両、非ＡＨＳ車両混在での車両挙動状況把握でも重要な役割を果たす。そこで、ＣＣＴＶカメラから得られた画像を画像処理することにより道路上の車両や障害物の位置を算出する場合、画像上の座標と実際の道路上の座標との関係を求める必要がある。この関係を求めることによって、走行支援道路システムは画像上の道路領域すなわち画像処理領域を知ることができ、道路を走行している車両が車線上の位置、速度、加速度などを検出することができる。
【０００４】
ＣＣＴＶカメラは道路脇に固定されて設置してあるので、道路に対する位置（路肩からの距離や設置高さ）や光学的条件（画角、集点距離など）は既知である。しかし、ＣＣＴＶカメラの３次元空間における撮像方向は計測して初めて得られる場合が多い。画像処理対象の道路が直線道路で、勾配変化などの道路形状の変化が無い場合、画像処理により道路路内部の白線を検出し、その白線同士の間隔（白線同士の間隔は予めわかっているものとする。）から画面上に表示される位置関係を算出することができる。
【０００５】
しかし、一般に多くの道路は、曲がっていたり、その勾配が変化したりしている。このため、画面上の白線から画像処理領域を算出することができない。そこでこのような道路の場合、実際の道路線形（車線境界線）に沿って、画像処理用の目印としてカラーコーンなどを設置し、その道路上の位置及び画像上の位置を計測することにより、画像上における実際の道路の座標と実際の道路での座標との対応関係を取得し、画像処理領域を設定する。
【０００６】
【発明が解決しようとする課題】
しかしながら、道路が曲がっていたり、その勾配が変化していたりした場合に、前述のカラーコーンを設置する作業は、車両が走行している道路など容易に人が近づけず、危険な作業であるという課題が存在した。
この発明は、このような状況に鑑みてなされたものであり、道路での人間による直接の作業なしに、画像処理用の画像処理領域を決定することができる画像処理領域の決定方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
前記目的を達成するため、請求項１に記載の発明は、道路状況を検出するためのカメラの撮像画像の画像処理領域決定方法であって、標識を備えた車両を道路に走行させ、前記車両の、道路中心に設置されている磁気ネイルからの道路横断方向におけるずれ量を前記磁気ネイルに対する電磁波の送受信に基づいて検出し、前記ずれ量に基づいて前記車両の道路座標系位置を求め記録し、同時に、道路を走行する前記車両を前記カメラによって撮像し、画像処理することにより前記車両の画像座標系位置を算出し、前記車両の画像座標系位置を記録し、前記車両の道路座標系位置と画像座標系位置に基づいて、磁気ネイルの画像座標系位置を算出し、予め記憶されている磁気ネイルの位置情報と道路横方向の道路大きさ情報を読み出し対応付け、前記道路横方向の道路大きさ情報に基づいて、画像処理領域を決定することを特徴とする。
【０００８】
請求項２の発明は、請求項１において、画像処理領域は、車線の領域であることを特徴とする。これにより、車線を走行している車両が、車線からどれだけ外れているかを知ることができる。
【０００９】
【発明の実施の形態】
この発明の一実施の形態について、添付図面を参照して説明する。図１はこの発明が適用される道路やカメラなどの外観を示す。ＣＣＴＶカメラ２は道路４を走行する車両１を撮像する。撮像された画像は画像処理装置３において車両の位置、速度、加速度などが検出され、これらの情報が道路管理センターやこの撮像された車両１へ送信される。これらの構成要素からなるシステムを走行支援道路システムと呼ぶ。道路４の各車線中央には磁気ネイル５が車両進行方向に所定の距離間隔で多数設置されている。この実施の形態においては、図中の左側の車線について説明する。自動走行する車両は、この磁気ネイル５に沿って道路を走行する。曲がり角でも、この磁気ネイル５に沿って走行することことにより車線からはみ出してしまうことはない。車両１が磁気ネイル５を検出する原理については、後述する。なお、図中、白抜き矢印は車両１の進行方向を表す。白線１０は各車線を区切っている。道路４は２車線である。なお、図１において磁気ネイル５が可視的にはっきりと図示されているが、これは説明のためである。実際に道路に設置される磁気ネイルは撮像画像上においては、可視的には道路と区別が困難で、図１にような撮像画像を取得した場合には、撮像画像上において、磁気ネイルは可視的ではない。
【００１０】
図２は画像座標系１２と道路座標系１３との関係を示す。取得画像１１内に道路４が撮像されている。取得画像１１の左上に画像座標系１２の原点０ＩＪが設定されている。この原点０ＩＪから右方向にＩ座標系が設けられ、下方向にＪ座標系が設けられている。一方、道路座標系１３のＸＹは道路４に沿って設けられている。道路進行方向にＸ座標系が設けられ、Ｘ座標系に直行する方向にＹ座標系が設けられている。道路座標系１３の原点０ＸＹは図２の下側ほぼ中央に設けられている。図２のような場合において、画像処理領域決定方法は画像処理領域として、画像座標系１２における道路４の領域を決定することを目的としている。
【００１１】
図３は図２の道路座標系１３の詳細を示す。道路座標系１３のＸ軸は図３において、白抜きの白線１０で示される車両進行方向に沿って設定されている。そして、Ｘ軸に直行するようにＹ軸が設定されている。すなわち、Ｘ軸の任意の座標位置におけるＸ軸の法線方向にＹ軸が設定されている。
【００１２】
図４は磁気ネイル５からのずれ量を検出して記録する車載器のブロック図および車両１の概観図である。車両１には車載器１４が搭載されている。車載器１４は磁気センサ１６、車両位置計測（算出）部１７、時計１８、記録部１９、道路基準位置検出部１３から構成されている。磁気センサ１６は道路上に設置されている磁気ネイル５の有無に基づいた電気信号を出力する。この電気信号に基づいて、車両位置計測部１７は車両進行方向の法線方向である道路横断方向に対して磁気ネイル５からどれだけずれているかを示すずれ量を算出する。ずれ量検出原理については後述する。
【００１３】
一方、道路基準位置検出部１３は道路上に設置されている基準タグ１２の有無を検出する。例えば、道路基準位置検出部１３から所定の周波数の電磁波を道路面に向けて送信することによって、その電磁波に共振することによって発生する基準タグ１２の反射波の有無で基準タグ１２の存在の有無を検出する。磁気ネイル５は道路上に所定の間隔で設置されているので、車両位置計測部１７は基準タグ１２を検出した後に、磁気ネイル５を検出した数を積算することによって、基準タグ１２からの磁気センサ１６が検出した磁気ネイル５までの走行距離を算出する。ここで、車両位置計測部１７が算出した車両走行距離およびずれ量をあわせて車両位置と呼ぶ。車両位置が算出される度に算出された車両位置は時計１８から出力される検出時刻とともに、記録部１９に記録される。車両１の後部に画像処理用標識１５が取り付けられている。ＣＣＴＶカメラ２がこの標識１５を含む画像を取得することによって、ＣＣＴＶカメラ２で取得した取得画像１１における車両１の基準位置が算出される。そして、標識１５と磁気センサ１６との距離は既知であり、その距離を車長補正量１ｃと呼ぶ。
【００１４】
図５は車両１を正面から見たときの車両１に搭載されている磁気センサ１６と道路４上に設置されている磁気ネイル５との位置関係を示す図である。磁気センサ１６における磁気ネイル５の検出素子である磁性薄膜４２は図に示されるように、道路４面に対して道路横断方向に複数設けられている。磁気センサ１６は磁気ネイル５の上を通過するときに各磁性薄膜４２から発生する電気信号の変化量を出力する。そしてこの変化量に応じて磁気ネイル５からの道路横断方向のずれ量を算出する。
【００１５】
図６は磁気センサ１６のブロック図を示す。磁気センサ１６は車両１の幅方向に渡って複数の磁性薄膜４２を備えている。高周波回路４１から各磁性薄膜４２に対して、高周波が供給されている。そして、各電圧計４３は各磁性薄膜４２の電圧を計測する。磁性薄膜４２が磁気ネイル５の付近を通過すると、各磁性薄膜４２の電圧に変化が生じる。その変化を各変化量抽出回路４４が各電圧計４３から抽出する。抽出された各変化量を車両位置計測部１７に出力する。車両位置計測部１７はこれらの変化量の大小に基づいて磁気センサ１６の磁気ネイル５からのずれ量を算出する。
【００１６】
図７に記録部１９に記憶された検出結果の具体例を示す。各検出時刻（単位：秒）毎に、車両１の進行位置（単位：ｍ）および道路横断方向の位置（単位：ｍ）の検出結果が記録されている。道路横断方向の位置で、正の値は車両進行方向に向かって左側にずれていることを示し、負の値は車両進行方向に向かって左側にずれていることを示している。道路基準位置検出部１３で検出された基準位置は時刻０ｓ（秒）のときの進行距離０ｍである。時刻１ｓ以降の位置は磁気センサ１６によって検出されたものである。
【００１７】
次に、図８に概要が示されている路側処理装置について説明する。路側処理装置はＣＣＴＶカメラ２および画像処理装置３から構成されている。画像処理装置３はＡ／Ｄ変換部２１、メモリ２２、標識位置抽出部（ターゲット抽出処理部）２４、時計２３、記録部２５から構成されている。ＣＣＴＶカメラ２は道路４の所定の領域を撮像する。ＣＣＴＶカメラ２からの撮像信号はＡ／Ｄ変換部２１に出力され、アナログ信号からデジタル信号、すなわち画像データに変換される。変換された画像データがメモリ２２に撮像時刻とともに記憶される。なお、撮像時刻は時計２３から取得される。そして、記憶された画像データに基づいて標識位置抽出部２４は画像座標系１２における標識１５の位置を抽出する。なお、時計２３は車両１に搭載されている時計１８と時刻が一致するよう時刻合わせがなされている。
【００１８】
図９に標識１５を取り付けた車両１の外観を示す。これは車両の後方から外観した図である。車両１には標識１５が３つ（１５ａ、１５ｂ、１５ｃ）取り付けられている。標識位置抽出部２４は画像処理によって、３つの標識１５の画像座標系１２における位置を抽出する。
【００１９】
この抽出結果を図１０に示す。各時刻（単位：秒）毎に、画像座標系１２における各標識（１５ａ、１５ｂ、１５ｃ）の位置が記録されている。表の見出しのＩはＩ座標における位置を示し、表の見出しのＪはＪ座標における位置を示している。そして、標識位置抽出部２４はこの３つの標識１５の標識位置抽出結果および撮像時刻を記録部２５に出力する。記録部２５は標識位置抽出結果および撮像時刻を記録する。次に、磁気ネイル５の検出に基づく車両１の位置算出結果、およびＣＣＴＶカメラ２で得られた画像を画像処理し、車両１の位置を算出した結果に基づいて画像処理領域を決定する方法について説明する。
【００２０】
図１１は画像処理領域決定処理の概要を示す。
ステップＳ１において、ＣＣＴＶカメラ２で撮像した画像に基づく車両位置が記録された記録部２５から画像座標系車両位置データおよび時刻データを読み出す。ステップＳ２において、磁気ネイル５の検出結果に基づく車両位置が記録された記録部１９から道路座標系車両位置データおよび時刻データを読み出す。ステップＳ３において、読み出した各時刻を基準として画像座標系車両位置データと道路座標系車両位置データとを対応付ける。ステップＳ４において、対応付けられた画像座標系車両位置データと道路座標系車両位置データとから画像座標系１２における磁気ネイル５の画像座標系１２における位置を算出する。この位置の算出方法について図１２を用いて説明する。
【００２１】
図１２は道路４および磁気ネイル５と標識１５との関係を示したものである。ここには磁気センサ１６によって検出された一つ目の磁気ネイル５が図示されている。図中における記号の下付文字の数字は検出時刻または撮像時刻を意味する。図１２は時刻１ｓにおいて検出および撮像された位置関係を示す。磁気ネイル５は道路中心線３３上に存在する。道路中心線３３が道路座標系１３のＸ軸に相当する。磁気ネイル５の位置は点Ｎ１で示される。中央の標識１５ｂは点Ｐ１ｃで示される。左右の標識１５ａ、１５ｃはそれぞれ点Ｐ１Ｌ、点Ｐ１Ｒで示される。磁気センサ１６から得られた道路座標系１３におけるずれ量はＤｃ１で示される。標識１５ａと１５ｂとの道路座標系１３における距離はＤで示される。また、標識１５ｂと標識１５ｃとの距離も同じくＤで示される。この距離Ｄは既知である。もちろん、磁気センサ１６の位置と標識１５の位置は異なるので、前述した車長補正量１ｃなどの値を使用して、画像上の車両１の基準位置と車両１に搭載されている磁気センサ１６の基準位置とを一致させる。
【００２２】
一方、画像から抽出された標識１５ａと１５ｂとの画像座標系１２における距離はａ１で示される。また、標識１５ｂと標識１５ｃとの距離も同じくａ１で示される。これは既知ではなく、画像上で標識位置抽出部２４で抽出された各標識１５の位置に基づいて算出する。よって、画像座標系１２におけるずれ量ｅ１は（ａ×Ｄｃ１／Ｄ）で算出される。このずれ量ｅ１だけ、画像座標系１２における標識１５ｂの位置Ｐ１ｃを補正することによって、画像座標系１２における道路中位置Ｉｃ１を算出する。このようにして、各時刻毎に画像座標系１２における道路中心位置を求める。
【００２３】
したがって、ＣＣＴＶカメラ２で車両１が写っている画像を撮像したとき、画像座標系１２における道路中心位置を基準としてその車両１が道路４のどの位置を走行しているのかを知ることができる。さらに、図１１のステップＳ３において、道路幅データベースから車線の中心からの車線境界位置までの幅情報を読み出すことによって、ステップＳ４において車線の境界線までの領域を算出する。道路幅データベースには道路座標系１３における車線中心位置、道路座標系１３における車線中心位置からの車線左側の境界線３１までの幅Ｗ１Ｌと、道路座標系１３における車線中心位置からの車線右側の境界線３２までの幅Ｗ１Ｒが記憶されている。よって、画像座標系１２における道路中心位置Ｉ１ｃから車線の左側境界までの幅ｗ１ＬはＷ１Ｌ×ａ１／Ｄによって算出され、道路中心位置Ｉ１ｃから車線の右側境界までの幅ｗ１ＲはＷ１Ｒ×ａ１／Ｄによって算出される。これらの位置情報と幅情報とから、撮像画像における画像座標系１２における道路領域に相当する画像処理領域を決定する。
【００２４】
図１３において、取得画像１１において決定された画像処理領域３５が点線で示されている。画像処理領域を決定することで、道路４を走行している車両１が、ＣＣＴＶカメラ２から得られた画像内の情報から道路４のどの位置を走行しているかを知ることができる。この画像処理領域は、撮像画像に写っている道路４の車線の領域と一致する。
【００２５】
【発明の効果】
この発明によれば、画像上の道路の基準位置に対して道路を走行する車両位置を知ることができ、その結果、従来のような道路での人間による直接の作業なしに、画像処理用の画像処理領域を決定することができるという優れた効果が期待できる。
【図面の簡単な説明】
【図１】この発明の一実施の形態の道路やカメラなどの外観を示す図である。
【図２】画像座標系と道路座標系との関係を示す図である。
【図３】図２の道路座標系の詳細を示す図である。
【図４】磁気ネイルからのずれ量を検出し記録する車載器のブロック図である。
【図５】磁気センサと磁気ネイルとの位置関係を示す図である。
【図６】磁気センサのブロック図である。
【図７】車載器の記録部に記録されるデータの具体例を示す図である。
【図８】路側処理装置のブロック図である。
【図９】車両の後方に取り付けられている標識の外観を示す図である。
【図１０】路側処理装置の記録部に記録されるデータの具体例を示す図である。
【図１１】画像処理領域決定処理の概要図である。
【図１２】画像処理領域決定を説明する図である。
【図１３】決定された画像処理領域を示す図である。
【符号の説明】
１ 車両
２ カメラ
３ 画像処理装置
４ 道路
５ 磁気ネイル
１５ 標識
１６ 磁気センサ
１７ 車両位置計測部
１８ 時計
１９ 記録部
２１ Ａ／Ｄ変換部
２２ メモリ
２３ 時計
２４ 標識位置抽出部
２５ 記録部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention determines an image processing area used for detecting a road condition such as a traffic volume, a speed, and a sudden event by capturing an image of a road by a camera installed on a side of the road and performing image processing on the captured image. About the method.
[0002]
[Prior art]
On a road for automatic driving, a driving support road system (AHS system) supports driving to a vehicle using a magnetic nail installed on the road or a CCTV camera installed on a side of the road. A large number of magnetic nails are installed at the center of the lane so that the polarity is reversed at regular intervals in the vehicle traveling direction. The position of the vehicle with respect to the center of the lane can be measured by measuring the amount of deviation from the magnetic nail using a magnetic sensor mounted on a vehicle traveling on this road. The driving support road system guides the vehicle to the center of the lane based on the position information. The CCTV camera plays an important role in detecting road conditions such as detecting obstacles such as falling objects and grasping vehicle behavior.
[0003]
Vehicle behavior grasp using a CCTV camera detects the behavior of a passing vehicle (position, speed, acceleration with respect to the road), obstacles such as falling objects, and the like by processing images from the CCTV. Traffic abnormalities such as accidents, stops, and traffic jams can be detected. Furthermore, safe driving is realized by transmitting the information to an AHS vehicle (a vehicle capable of automatic driving in the AHS system) by road-to-vehicle communication or the like. In addition, it also plays an important role in grasping the vehicle behavior situation in the case where the AHS vehicle and the non-AHS vehicle coexist in the transition period of the introduction of the AHS system. Therefore, when calculating the positions of vehicles and obstacles on a road by performing image processing on an image obtained from a CCTV camera, it is necessary to find the relationship between the coordinates on the image and the actual coordinates on the road. By calculating this relationship, the driving support road system can know the road area on the image, that is, the image processing area, and can detect the position, speed, acceleration, and the like of the vehicle traveling on the road on the lane. .
[0004]
Since the CCTV camera is fixedly installed on the side of the road, the position with respect to the road (distance from the shoulder and the installation height) and optical conditions (angle of view, distance of the focal point, etc.) are known. However, in many cases, the imaging direction of a CCTV camera in a three-dimensional space can be obtained only after measurement. If the road to be image-processed is a straight road and there is no change in the road shape such as a gradient change, white lines inside the road are detected by image processing, and the distance between the white lines (the distance between the white lines is known in advance) .) Can be calculated from the relationship.
[0005]
However, in general, many roads are curved or have varying slopes. Therefore, the image processing area cannot be calculated from the white line on the screen. Therefore, in the case of such a road, by installing a color cone or the like as a mark for image processing along the actual road alignment (lane boundary line), by measuring the position on the road and the position on the image, The correspondence between the coordinates of the actual road on the image and the coordinates of the actual road is acquired, and the image processing area is set.
[0006]
[Problems to be solved by the invention]
However, when the road is bent or the slope is changing, the work of installing the above-mentioned color cone is dangerous because it is difficult for people to approach the road on which the vehicle is traveling, etc. There were challenges.
The present invention has been made in view of such a situation, and provides a method for determining an image processing area that can determine an image processing area for image processing without direct work by a human on a road. The purpose is to:
[0007]
[Means for Solving the Problems]
To achieve the above object, the invention according to claim 1 is a method for determining an image processing area of a captured image of a camera for detecting a road condition, wherein a vehicle provided with a sign is driven on a road, The amount of deviation in the cross-road direction from the magnetic nail installed at the center of the road is detected based on transmission and reception of electromagnetic waves to and from the magnetic nail, and the position of the road coordinate system of the vehicle is determined and recorded based on the amount of deviation. At the same time, the vehicle traveling on the road is imaged by the camera, and the image coordinate system position of the vehicle is calculated by image processing, the image coordinate system position of the vehicle is recorded, and the road coordinate system position of the vehicle is calculated. Calculates the position of the magnetic nail in the image coordinate system based on the image coordinate system position and reads and associates the previously stored position information of the magnetic nail with the road size information in the lateral direction of the road. Based on the road transverse direction of the road size information, and determines the image processing area.
[0008]
According to a second aspect of the present invention, in the first aspect, the image processing area is a lane area. Thereby, it is possible to know how much the vehicle running in the lane deviates from the lane.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment of the present invention will be described with reference to the accompanying drawings. FIG. 1 shows the appearance of a road or a camera to which the present invention is applied. The CCTV camera 2 captures an image of the vehicle 1 traveling on a road 4. In the imaged image, the position, speed, acceleration, and the like of the vehicle are detected by the image processing device 3, and the information is transmitted to the road management center and the imaged vehicle 1. A system composed of these components is called a driving support road system. At the center of each lane of the road 4, a large number of magnetic nails 5 are provided at predetermined intervals in the vehicle traveling direction. In this embodiment, the left lane in the figure will be described. The automatically traveling vehicle travels on the road along the magnetic nail 5. Even at a corner, traveling along the magnetic nail 5 does not cause the vehicle to run off the lane. The principle by which the vehicle 1 detects the magnetic nail 5 will be described later. Note that, in the figure, the outlined arrows indicate the traveling direction of the vehicle 1. The white line 10 separates each lane. Road 4 has two lanes. In FIG. 1, the magnetic nail 5 is clearly and clearly shown, but this is for the purpose of explanation. Magnetic nails actually installed on roads are difficult to visually distinguish from roads on the captured image, and when a captured image as shown in FIG. 1 is obtained, the magnetic nail is visible on the captured image. Not a target.
[0010]
FIG. 2 shows the relationship between the image coordinate system 12 and the road coordinate system 13. The road 4 is imaged in the acquired image 11. The origin 0 IJ of the image coordinate system 12 is set at the upper left of the acquired image 11. An I coordinate system is provided rightward from the origin 0 IJ , and a J coordinate system is provided downward. On the other hand, XY of the road coordinate system 13 is provided along the road 4. An X coordinate system is provided in the traveling direction of the road, and a Y coordinate system is provided in a direction orthogonal to the X coordinate system. The origin 0 XY of the road coordinate system 13 is provided substantially at the lower center of FIG. In the case as shown in FIG. 2, the image processing area determination method aims to determine the area of the road 4 in the image coordinate system 12 as the image processing area.
[0011]
FIG. 3 shows details of the road coordinate system 13 of FIG. The X axis of the road coordinate system 13 is set along the vehicle traveling direction indicated by a white line 10 in FIG. The Y axis is set so as to be orthogonal to the X axis. That is, the Y axis is set in the normal direction of the X axis at an arbitrary coordinate position of the X axis.
[0012]
FIG. 4 is a block diagram of the vehicle-mounted device for detecting and recording the amount of deviation from the magnetic nail 5 and an overview of the vehicle 1. The vehicle 1 is equipped with an on-vehicle device 14. The vehicle-mounted device 14 includes a magnetic sensor 16, a vehicle position measurement (calculation) unit 17, a clock 18, a recording unit 19, and a road reference position detection unit 13. The magnetic sensor 16 outputs an electric signal based on the presence or absence of the magnetic nail 5 installed on the road. Based on this electric signal, the vehicle position measuring unit 17 calculates a deviation amount indicating how much the vehicle is deviated from the magnetic nail 5 with respect to the road crossing direction which is the normal direction of the vehicle traveling direction. The principle of detecting the shift amount will be described later.
[0013]
On the other hand, the road reference position detector 13 detects the presence or absence of the reference tag 12 installed on the road. For example, by transmitting an electromagnetic wave of a predetermined frequency from the road reference position detection unit 13 toward the road surface, the presence or absence of the reference tag 12 is determined by the presence or absence of a reflected wave of the reference tag 12 generated by resonance with the electromagnetic wave. Is detected. Since the magnetic nails 5 are installed at predetermined intervals on the road, the vehicle position measuring unit 17 detects the reference tag 12 and then adds up the number of detected magnetic nails 5 so that the magnetic field from the reference tag 12 can be obtained. The travel distance to the magnetic nail 5 detected by the sensor 16 is calculated. Here, the vehicle traveling distance and the amount of deviation calculated by the vehicle position measuring unit 17 are collectively referred to as a vehicle position. Each time the vehicle position is calculated, the calculated vehicle position is recorded in the recording unit 19 together with the detection time output from the clock 18. An image processing sign 15 is attached to the rear of the vehicle 1. When the CCTV camera 2 acquires an image including the sign 15, the reference position of the vehicle 1 in the acquired image 11 acquired by the CCTV camera 2 is calculated. The distance between the sign 15 and the magnetic sensor 16 is known, and the distance is referred to as a vehicle length correction amount 1c.
[0014]
FIG. 5 is a diagram showing a positional relationship between the magnetic sensor 16 mounted on the vehicle 1 and the magnetic nail 5 installed on the road 4 when the vehicle 1 is viewed from the front. As shown in the figure, a plurality of magnetic thin films 42, which are detection elements of the magnetic nail 5 in the magnetic sensor 16, are provided in the road cross direction with respect to the road 4 surface. The magnetic sensor 16 outputs a change amount of an electric signal generated from each magnetic thin film 42 when passing over the magnetic nail 5. Then, the amount of deviation from the magnetic nail 5 in the direction crossing the road is calculated according to the amount of change.
[0015]
FIG. 6 shows a block diagram of the magnetic sensor 16. The magnetic sensor 16 includes a plurality of magnetic thin films 42 across the width of the vehicle 1. A high frequency is supplied from the high frequency circuit 41 to each magnetic thin film 42. Each voltmeter 43 measures the voltage of each magnetic thin film 42. When the magnetic thin film 42 passes near the magnetic nail 5, the voltage of each magnetic thin film 42 changes. Each change amount extraction circuit 44 extracts the change from each voltmeter 43. The extracted amounts of change are output to the vehicle position measuring unit 17. The vehicle position measuring unit 17 calculates the amount of deviation of the magnetic sensor 16 from the magnetic nail 5 based on the magnitude of these changes.
[0016]
FIG. 7 shows a specific example of the detection result stored in the recording unit 19. At each detection time (unit: second), the detection result of the traveling position (unit: m) of the vehicle 1 and the position (unit: m) in the cross-road direction is recorded. At a position crossing the road, a positive value indicates that the vehicle is shifted leftward in the vehicle traveling direction, and a negative value indicates that the vehicle is shifted leftward in the vehicle traveling direction. The reference position detected by the road reference position detection unit 13 is a traveling distance of 0 m at time 0 s (second). The position after time 1 s is detected by the magnetic sensor 16.
[0017]
Next, the roadside processing device whose outline is shown in FIG. 8 will be described. The roadside processing device includes a CCTV camera 2 and an image processing device 3. The image processing device 3 includes an A / D conversion unit 21, a memory 22, a marker position extraction unit (target extraction processing unit) 24, a clock 23, and a recording unit 25. The CCTV camera 2 images a predetermined area of the road 4. An imaging signal from the CCTV camera 2 is output to the A / D converter 21 and is converted from an analog signal into a digital signal, that is, image data. The converted image data is stored in the memory 22 together with the imaging time. Note that the imaging time is obtained from the clock 23. Then, the marker position extracting unit 24 extracts the position of the marker 15 in the image coordinate system 12 based on the stored image data. The time of the clock 23 is set so that the time of the clock 23 coincides with the time of the clock 18 mounted on the vehicle 1.
[0018]
FIG. 9 shows the appearance of the vehicle 1 to which the sign 15 is attached. This is an external view from behind the vehicle. Three signs 15 (15a, 15b, 15c) are attached to the vehicle 1. The marker position extracting unit 24 extracts the positions of the three markers 15 in the image coordinate system 12 by image processing.
[0019]
FIG. 10 shows the result of this extraction. At each time (unit: second), the position of each marker (15a, 15b, 15c) in the image coordinate system 12 is recorded. I in the table head indicates the position on the I coordinate, and J in the table head indicates the position on the J coordinate. Then, the marker position extraction unit 24 outputs the marker position extraction results of these three markers 15 and the imaging time to the recording unit 25. The recording unit 25 records the marker position extraction result and the imaging time. Next, a method of performing image processing on a position calculation result of the vehicle 1 based on the detection of the magnetic nail 5 and an image obtained by the CCTV camera 2 and determining an image processing area based on a result of calculating the position of the vehicle 1 explain.
[0020]
FIG. 11 shows an outline of the image processing area determination processing.
In step S1, image coordinate system vehicle position data and time data are read from the recording unit 25 in which the vehicle position based on the image captured by the CCTV camera 2 is recorded. In step S2, road coordinate system vehicle position data and time data are read from the recording unit 19 in which the vehicle position based on the detection result of the magnetic nail 5 is recorded. In step S3, the image coordinate system vehicle position data and the road coordinate system vehicle position data are associated with each other based on the read times. In step S4, the position of the magnetic nail 5 in the image coordinate system 12 in the image coordinate system 12 is calculated from the associated image coordinate system vehicle position data and road coordinate system vehicle position data. A method for calculating this position will be described with reference to FIG.
[0021]
FIG. 12 shows the relationship between the road 4 and the magnetic nail 5 and the sign 15. Here, the first magnetic nail 5 detected by the magnetic sensor 16 is illustrated. The numbers in the subscripts of the symbols in the figure indicate the detection time or the imaging time. FIG. 12 shows the positional relationship detected and imaged at time 1s. The magnetic nail 5 exists on the road center line 33. The road center line 33 corresponds to the X axis of the road coordinate system 13. Position of magnetic nails 5 are indicated by point N 1. Central indicator 15b is indicated by a point P 1 c. The left and right markers 15a and 15c are indicated by points P 1L and P 1R , respectively. Shift amount in the road coordinate system 13 obtained from the magnetic sensor 16 is indicated by Dc 1. The distance between the signs 15a and 15b in the road coordinate system 13 is indicated by D. The distance between the marker 15b and the marker 15c is also indicated by D. This distance D is known. Of course, since the position of the magnetic sensor 16 and the position of the sign 15 are different, the reference position of the vehicle 1 on the image and the magnetic sensor 16 mounted on the vehicle 1 are determined by using the value such as the vehicle length correction amount 1c described above. And the reference position of.
[0022]
On the other hand, the distance in the image coordinate system 12 of the label 15a and 15b extracted from the image represented by a 1. The distance between the label 15b and the label 15c is also well represented by a 1. This is not known, and is calculated based on the position of each marker 15 extracted by the marker position extracting unit 24 on the image. Therefore, the deviation amount e 1 in the image coordinate system 12 is calculated by (a × Dc 1 / D) . Only this amount of deviation e 1, by correcting the position P 1 c of the label 15b in the image coordinate system 12, and calculates the road in position Ic 1 in the image coordinate system 12. In this way, the road center position in the image coordinate system 12 is obtained at each time.
[0023]
Therefore, when the CCTV camera 2 captures an image of the vehicle 1, it is possible to know which position of the road 4 the vehicle 1 is traveling on the basis of the road center position in the image coordinate system 12. Further, in step S3 of FIG. 11, by reading the width information from the road width database to the lane boundary position from the center of the lane, the area to the lane boundary is calculated in step S4. The road width database includes a lane center position in the road coordinate system 13, a width W 1L from the lane center position in the road coordinate system 13 to a boundary line 31 on the left side of the lane, and a right side lane from the lane center position in the road coordinate system 13. The width W1R up to the boundary line 32 is stored. Therefore, the width w 1L from the road center position I 1 c to the left boundary of the lane in the image coordinate system 12 is calculated by W 1L × a 1 / D, and the width w from the road center position I 1 c to the right boundary of the lane is calculated. 1R is calculated by W 1R × a 1 / D. From the position information and the width information, an image processing area corresponding to a road area in the image coordinate system 12 in the captured image is determined.
[0024]
In FIG. 13, the image processing area 35 determined in the acquired image 11 is indicated by a dotted line. By determining the image processing area, it is possible to know which position on the road 4 the vehicle 1 traveling on the road 4 is traveling from information in the image obtained from the CCTV camera 2. This image processing area coincides with the lane area of the road 4 shown in the captured image.
[0025]
【The invention's effect】
According to the present invention, it is possible to know the position of the vehicle traveling on the road with respect to the reference position of the road on the image, and as a result, the image processing for the image processing can be performed without direct work by a human on the road as in the related art. An excellent effect that the image processing area can be determined can be expected.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating the appearance of a road, a camera, and the like according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a relationship between an image coordinate system and a road coordinate system.
FIG. 3 is a diagram showing details of a road coordinate system in FIG. 2;
FIG. 4 is a block diagram of a vehicle-mounted device that detects and records a deviation amount from a magnetic nail.
FIG. 5 is a diagram showing a positional relationship between a magnetic sensor and a magnetic nail.
FIG. 6 is a block diagram of a magnetic sensor.
FIG. 7 is a diagram showing a specific example of data recorded in a recording unit of the vehicle-mounted device.
FIG. 8 is a block diagram of a roadside processing device.
FIG. 9 is a diagram showing the appearance of a sign attached to the rear of the vehicle.
FIG. 10 is a diagram illustrating a specific example of data recorded in a recording unit of the roadside processing device.
FIG. 11 is a schematic diagram of an image processing area determination process.
FIG. 12 is a diagram illustrating an image processing area determination.
FIG. 13 is a diagram illustrating a determined image processing area.
[Explanation of symbols]
Reference Signs List 1 vehicle 2 camera 3 image processing device 4 road 5 magnetic nail 15 sign 16 magnetic sensor 17 vehicle position measuring unit 18 clock 19 recording unit 21 A / D converter 22 memory 23 clock 24 sign position extracting unit 25 recording unit