JP2004128646A - Monitoring system and controller - Google Patents

<P>PROBLEM TO BE SOLVED: To provide a monitoring system which effectively selects a camera and is highly convenient for tailing an object to be photographed by selecting a camera optimal for photographing when a single object is photographed and controlling it to perform photographing at a plurality of angles and magnifications. <P>SOLUTION: A plurality of cameras are normally photographing a preset photographing range. When abnormal objects 1-20 are photographed, they are photographed at a plurality of angles of field using a plurality of cameras suitable for photographing selected from cameras 1-1 to 1-8. Cameras judged unsuitable for photographing continue photographing as they are. A highly convenient monitoring camera is obtained by switching to a suitable camera as a master camera at any time. <P>COPYRIGHT: (C)2004,JPO

【０００１】
【発明の属する技術分野】
本発明は、カメラ監視システム、装置に関し、複数台のカメラによって同一の撮影対象を検出、追尾して撮影するのに好適なものであり、例えば監視システム、セキュリティシステム、インテリジェントビルディングシステム等の産業分野に利用できるものである。
【０００２】
【従来の技術】
従来、ズーム制御機能及び自動合焦機能及び姿勢制御可能な複数のカメラを用いて常時単一の撮影対象の追尾をする監視システムが知られている（例えば、特許文献１参照）。
【０００３】
この種のシステムにおいて、カメラの方向制御及び姿勢制御は一つのカメラの位置情報から他の全てのカメラを動作させるのが一般的である。また、追尾対象の動きに応じて撮影画面内の撮影対象の大きさを一定に保つようにカメラの方向制御及びズーム制御をするのが一般的である。
【０００４】
【特許文献】
特開２００１−２５００３号公報
【０００５】
【発明が解決しようとする課題】
しかし、上記従来技術では単一の撮影対象を撮影するのに適したカメラを選択する手段がなく、撮影対象を撮影するのに適さないカメラまで制御及び追尾をするといった問題がある。
【０００６】
また、撮影対象までの距離に応じてズーム制御をする際、撮影対象が複数の大きさで撮影されるようにカメラを選択、制御する手段はない。このため、撮影画面に対し撮影対象を大きくなるようズーム制御したときの撮影対象確認と、撮影画面に対し撮影対象を小さくなるようズーム制御したときの撮影対象の周囲状況確認が一度に行えないという問題がある。
【０００７】
さらに、撮影画面に対し撮影対象を大きくなるようズーム制御したとき撮影対象に急激な距離変化があると撮影対象を追尾することができなくなるという問題がある。また、撮影対象とその周辺での様子を一度に監視することができなくなるといった問題がある。
【０００８】
本発明は、上記のような事情に鑑みてなされたものであり、単一の撮影対象を撮影する際に撮影に最適な複数のカメラを選択し、複数の角度と複数の倍率で撮影するよう制御し、便利性の高い追尾可能なカメラ監視システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
本願第１の発明は、ズーム制御機能及び自動合焦機能及び撮影対象位置情報取得手段を有し、姿勢制御可能な複数のカメラと、これらのカメラの動作を制御するカメラ制御手段とを備え、カメラ制御手段が、複数のカメラのうち所定の一のカメラから得られる撮影対象の撮影対象位置情報を用いて他のカメラの撮影方向を制御する監視システムであって、複数のカメラのうち各カメラが、あらかじめ設定された撮影範囲を撮影可能であり、カメラ制御手段は、外部から要求があった場合に、複数のカメラのうち所定の複数のカメラが撮影対象を撮影するように制御することを特徴とする。
【００１０】
本願第２の発明は、ズーム制御機能、自動合焦機能及び撮影対象位置情報取得手段を有し、姿勢制御可能であって撮影画像の変化による異常検出可能な複数のカメラと、これらのカメラの動作を制御するカメラ制御手段とを備え、カメラ制御手段が、複数のカメラのうち所定の一のカメラから得られる撮影対象の撮影対象位置情報を用いて他のカメラの撮影方向を制御する監視システムであって、複数のカメラのうち各カメラが、あらかじめ設定された撮影範囲を撮影可能であり、カメラ制御手段は、複数のカメラのうちいずれかのカメラが撮影範囲内で異常を検出した場合に、複数のカメラのうち所定の複数のカメラが撮影対象を撮影するように制御することを特徴とする。
【００１１】
ここで、カメラ制御手段は、外部からの要求があったとき、一のカメラからの撮影対象位置情報に応じて、撮影対象が複数の大きさで撮影されるように撮影に適したカメラを選択し、撮影方向及びズーム倍率を調整することができる。
【００１２】
また、カメラ制御手段は、撮影対象の位置に応じて、撮影対象位置情報を外部に送信するカメラを、一のカメラから他のカメラに自動的に切り替えることができる。
【００１３】
本願第３の発明は、ズーム制御機能、自動合焦機能及び撮影対象位置情報取得手段を有し、姿勢制御可能であって撮影画像の変化による異常検出可能なカメラを制御する制御装置において、カメラに対し、あらかじめ設定された撮影範囲を撮影させるとともに、外部から要求があった場合には撮影対象を撮影させることを特徴とする。
【００１４】
本願第４の発明は、ズーム制御機能、自動合焦機能及び撮影対象位置情報取得手段を有し、姿勢制御可能であって撮影画像の変化による異常検出可能なカメラを制御する制御装置において、カメラに対し、あらかじめ設定された撮影範囲を撮影させるとともに、撮影範囲内で異常を検出した場合には撮影対象を撮影させることを特徴とする。
【００１５】
ここで、外部からの要求があったとき、カメラからの撮影対象位置情報に応じて、撮影対象の撮影に適したカメラか否かを決定し、撮影する場合には撮影方向及びズーム倍率を調整することができる。
【００１６】
また、撮影対象の位置に応じて、撮影対象位置情報を外部に送信するカメラとして適当か否かを判断し、この判断結果に応じて自動的にカメラを切り替えることもできる。
【００１７】
【発明の実施の形態】
以下、図面に基づいて、本発明の実施の形態について説明する。
【００１８】
（第１実施形態）
本発明の第１実施形態では、複数台のカメラの姿勢（撮影方向）を外部制御可能にしたカメラ制御システムにおいて、１つのカメラを選択して撮影対象の撮影及び撮影対象の位置計測を行う。そして、撮影対象の位置情報を他の撮影に適した複数のカメラに送信して、他の複数のカメラを制御することにより、これら複数台のカメラのうち、特定の複数台のカメラが複数のズーム倍率で同時に同一の撮影対象を撮影するカメラ制御システムを構築する。
【００１９】
また、撮影対象を撮影しているスレーブカメラのうちの一つをマスターカメラに自動的に切り替える切替処理を実現する。
【００２０】
以下では、本実施形態のハードウェア構成、制御原理、及び処理手順について説明する。
【００２１】
以下に、本実施形態のハードウェア構成とカメラ制御の原理及び処理手順を説明する。
【００２２】
図１に、本実施形態の全体ハードウェア構成を示す。１つのカメラモジュールは、カメラ制御装置（１−９、１−１０、１−１１、１−１２、１−１３、１−１４、１−１５、１−１６）と、そのカメラ制御装置により姿勢制御が可能なカメラ（１−１、１−２、１−３、１−４、１−５、１−６、１−７、１−８）とが対になって構成されている。そして、これらの複数組（１−９と１−５、１−２と１−１０、１−３と１−１１、１−４と１−１２、１−５と１−１３、１−６と１−１４、１−７と１−１５、１−８と１−１６）が夫々ネットワーク１−１７に接続されている。
【００２３】
なお、図１では８組のカメラモジュールを例示しているが、カメラモジュールは、３組以上であれば何組でも可能である。ネットワーク１−１７には、カメラ操作端末１−１８が接続され、オペレータ１−１９は、そのカメラ操作端末１−１８により、ネットワーク１−１７を通じて、同時に１つ又は複数のカメラの映像を見ることができ、且つ、そのうちの１つのカメラモジュールを制御することができる。
【００２４】
ここでは、ネットワーク１−１７としてＬＡＮを想定しているが、これ以外でも、Ｅｔｈｅｒ　ＮＥＴ、ＡＴＭ、Ｃ／ＦＤＤＩ等、伝送方式は限定されない。
【００２５】
各カメラ制御装置１−９〜１−１６は、映像ソフトウェアとカメラ制御ソフトウェアを搭載している。映像ソフトウェアは、カメラから映像を取り込み、それをネットワーク１−１７に送信する機能を持つ。また、カメラ制御ソフトウェアは、各カメラに割り当てられた役割に応じて、カメラの姿勢を直接制御する機能、撮影対象（１−２０）の位置情報を与えた時に、撮影するのに適したカメラ１−１〜１−９でその撮影対象１−２０を複数の大きさで撮影するように姿勢制御を行う機能、及び、その撮影対象１−２０の位置を計測して、その結果をカメラ制御端末１−１０や他のカメラに伝える機能を持つ。
【００２６】
一方、カメラ操作端末１−１８は、各カメラモジュールからの映像や各種情報の受信及び表示、オペレータ１−１９のカメラ切り替え命令やカメラ制御命令の入力及びカメラ制御装置への転送等の機能を持つハードウェア並びにソフトウェアを搭載している。
【００２７】
以上のシステムにおいて、以降、オペレータ１−１９が直接操作を行うカメラモジュールを「マスターカメラ」と呼び、オペレータ１−１９が直接操作を行わないカメラモジュールを「スレーブカメラ」と呼ぶ。全てのカメラモジュールは同一のハードウェア及びソフトウェアを持ち、使用状況に応じてマスターカメラかスレーブカメラになる。
【００２８】
図２に、各カメラモジュール及びカメラ制御端末のハードウェア内部構成を示す。
【００２９】
各カメラモジュールのハードウェアは、カメラ２−１とカメラ制御装置２−６から構成される。これらは、図１のカメラ１−１〜１−８のうちの１つ、及び、それに対応するカメラ制御装置１−９〜１−１６の１つを夫々図示したものである。
【００３０】
カメラ２−１は、画像を入力する撮影系２−２、撮影の際の各種光学的パラメータを制御する光学的パラメータ制御装置２−３、及び、姿勢制御装置２−４を具備している。ここで、光学的パラメータとは、フォーカス、アイリス、ゲイン、シャッタースピード、ホワイトバランス等を指す。
【００３１】
光学的パラメータ制御装置２−３と姿勢制御装置２−４は、信号線を介して、カメラ制御装置２−６に接続されており、そのカメラ制御装置２−６と通信することによって、各種光学的パラメータや水平（パン）及び垂直（チルト）方向の現在角度の取得並びに設定（制御）が可能である。制御信号方式としては、代表的なものとして、ＲＳ−２３２ＣやパラレルＩＯ等が有るが、それらに限定されるものではない。
【００３２】
カメラ２−１の撮影系２−２から出力される映像出力信号は、ビデオキャプチャーボード２−１２によってデジタル化されて、ネットワーク２−１８（図１のネットワーク１−１７と同じもの）に送られる。ビデオキャプチャーボード２−１２はＶＲＡＭを兼ねており、例えば、モニター２−１３に、カメラの映像とコンピュータの出力とを重畳して表示することができる。出力信号の形式には、ＮＴＳＣ方式やＹ／Ｃ分離方式等が有るが、それらには限定されない。
【００３３】
カメラ制御装置２−６は、ＣＰＵ２−７、ＲＡＭ２−８、ＲＯＭ２−９、二次記憶装置２−１０、カメラとの通信を行う入出力ポート（Ｉ／Ｏ）２−１１、及び、上述したビデオキャプチャーボード２−１２を具備する。また、ネットワーク２−１８を通じて外部からカメラ制御命令を実行したり、外部に映像やカメラの状態を転送したりする通信装置２−１７を具備する。更に、保守・点検用のために、必要に応じて、キーボード２−１４や、マウス等のポインティングデバイス２−１５が接続される。
【００３４】
これらのＣＰＵ２−７、ＲＡＭ２−８、ＲＯＭ２−９、二次記憶装置２−１０、Ｉ／Ｏ２−１１、、ビデオキャプチャーボード２−１２、通信装置２−１７、キーボード２−１４、及び、ポインティングデバイス（マウス）２−１５は全てバス２−１６に接続される。
【００３５】
このようなカメラ制御装置２−６は、汎用のコンピュータシステムにより実現することができる。
【００３６】
カメラ制御装置２−６は、キーボード２−１４及びマウス２−１５からの入力、又は、ネットワーク２−１８を介して外部から受信した制御信号を、制御信号線を通じて、カメラ２−１の光学的パラメータ制御装置２−３及び姿勢制御装置２−４に送信し、それらの装置を制御する。
【００３７】
カメラ制御端末２−１９（図１のカメラ制御端末１−１０と同じもの）のハードウェア構成は、上述したカメラ制御装置２−６の構成において、ビデオキャプチャーボード２−１２を単なるＶＲＡＭ２−２４に変更したこと、及び、接続されているカメラを制御するために必要であったＩ／Ｏ２−１１を除いたこと以外は、上述したカメラ制御装置２−６と同じである。
【００３８】
すなわち、ＣＰＵ２−２０、ＲＯＭ２−２１、ＲＡＭ２−２２、二次記憶装置２−２３、ＶＲＡＭ２−２４、通信装置２−２９、及び、バス２−２８を具備しており、モニター２−２５、キーボード２−２６、及び、ポインティングデバイス（マウス）２−２７が接続される。このカメラ制御端末２−１９も、ネットワークインターフェース及びグラフィック表示機能を有する市販のコンピュータシステムを用いて実現が可能である。
【００３９】
次に、図１を参照して、本実施形態によるカメラ制御方法を説明する。
【００４０】
図１の例では、８組のカメラモジュールが存在する。三次元ワールド座標上での各カメラの位置及び姿勢は既知であるとする。撮影対象１−２０はカメラ前方を移動している。オペレータ１−１１は、まず最初に、カメラ操作端末１−１８のカメラ操作ソフトを用いてマスターカメラを選択し、そのマスターカメラの視線方向を指示して、カメラの制御を行う。
【００４１】
全てのカメラモジュールは、オートフォーカス（自動合焦機能）を利用した距離測定機能を有しており、画像中の或る領域に存在する対象までの距離を計測できる。自動合焦機能の対象となる画像領域は、マスターカメラにおいてはオペレーター１−１９が指定する。また、スレーブカメラでは画像中央に固定する。マスターカメラの視線（方位）方向、撮影対象１−２０の三次元ワールド座標における位置を計測することができる。
【００４２】
ここで、自動合焦機能機能を利用した距離測定方法について説明する。
【００４３】
自動合焦機能機能は、光学的パラメータ制御装置１−９〜１−１６に具備されるものであり、画像中の部分領域画像に対してフォーカスレンズ駆動モータの最適な制御位置を求め、合焦させるものである。このようなフォーカスその他の光学的パラメータの最適化を目的として設定される画像中の部分領域を、以下、「検出領域」と称する。
【００４４】
自動合焦機能動作では、検出領域画像の高周波成分のエネルギーが最大となるようにフォーカスレンズ駆動モータの位置を制御する方式が一般的に知られている。このような自動合焦機能機能は、市販のカメラに実装されている機能を用いて実現が可能である。
【００４５】
そして、フォーカスレンズ駆動モータの制御位置から距離を求める方法としては、予め距離が既知である対象に対して自動合焦機能動作を行い、最適化後のモータの駆動パルス値と距離との関係を測定してこれを表として保持する方法や、光学系の設計から解析的に求める方法等がある。また、ズーム倍率を上げての自動合焦機能機能により撮影対象位置計測精度を向上させるように被写体までの距離を算出する方法もある。
【００４６】
次に、本実施形態におけるカメラ制御の処理動作について説明する。図１を用いて概略を説明すれば、まず、選択したマスターカメラにおいて撮影対象１−２０の位置を計測する。三次元ワールド座標での撮影対象１−２０の位置が決まれば、マスターカメラは、撮影対象１−２０の位置情報をカメラ操作端末１−１８及びスレーブカメラに転送する。
【００４７】
スレーブカメラのカメラ制御装置上のカメラ制御ソフトウェアは、スレーブカメラの三次元ワールド座標上での位置及び姿勢が既知であることから、スレーブカメラから見て撮影対象１−２０がどの方向にあるかを計算する。この結果に基づいて撮影に適したスレーブカメラかどうかを判断し、撮影に適していると判断した場合、スレーブカメラを制御する。さらに制御するカメラは撮影に適したワイド側もしくはテレ側の画角に合わせる。
【００４８】
このように、マスターカメラを選択し、撮影対象１−２０に向けて制御することで、人手を介することなく撮影に適したスレーブカメラを撮影対象１−２０に向けることができ、さらにカメラに適した画角にあわせる。以下、具体的に説明する。
【００４９】
図３は、カメラ操作端末３−２０のユーザインターフェースを構成するＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）の一例を示す。画面には、マスターカメラの映像表示部３−１（図３では撮影対象３−２が映し出されている）、自動合焦機能の対象領域である検出領域３−３、カメラを操作するためのカメラ操作ボタン３−４、自動ズーム制御ボタン３−５、プログラム終了ボタン３−６、撮影対象３−２の位置表示３−７、カメラ選択ボタン３−８が表示されている。
【００５０】
制御を開始するにあたり、オペレータは、まずマスターカメラを選択する。これは、カメラ選択ボタン３−７のうち所望のカメラ番号をマウス等によって指定することにより行われる。
【００５１】
マスターカメラを選択したら、オペレータは、「直接操作」若しくは「対象の指定操作」によりマスターカメラを操作する。
【００５２】
直接操作とは、操作ボタン３−４を使用する方法であり、上下左右、ホームポジションへの移動等の制御を行うことができる。この場合、検出領域３−３の位置は、例えば中央に固定されたまま変化しない。
【００５３】
対象の指定操作とは、検出領域３−３を移動させることによりカメラを制御する方法であり、マウス等のポインティングデバイスを用いてドラッグ操作により検出領域３−３の移動操作を行う。検出領域３−３を画像上の撮影対象３−２に重ね合わせることにより、マスターカメラのカメラ制御装置において自動合焦機能を用いた距離計測を行い、距離と撮影位置とから後述する手法による位置計測を行う。
【００５４】
そして、撮影対象３−２の位置情報をカメラ操作端末１−１８を通じて各スレーブカメラに送信することにより、各スレーブカメラが撮影に適したカメラかどうかを判断し、最終的に各スレーブカメラの操作制御を行う。
【００５５】
次に、図４に従って、マスターカメラにおける撮影対象の位置計測、及びスレーブカメラにおける姿勢制御目標値の計算について説明する。
【００５６】
まず、マスターカメラにおける撮影対象の位置計測について述べる。図４（ａ）において、マスターカメラの視点は三次元座標空間上の点Ｃｍ（Ｘｍ，Ｙｍ，Ｚｍ）にあり、スレーブカメラの視点は点Ｃｓ（Ｘｓ，Ｙｓ，Ｚｓ）にある。又、撮影対象は点Ｐｔ（Ｘｔ，Ｙｔ，Ｚｔ）にある。
【００５７】
ここで、オペレータが、図３に示す画面上で撮影対象３−２に検出領域３−３を重ね合わせたとする。図４（ｂ）は、マスターカメラの画像座標系を表示したものである。
【００５８】
ここでは、画像座標を画像の左上を原点とし、右にＸ軸の正方向、下にＹ軸の正方向をとる。検出領域３−３の画像座標を（ｕｆ，ｖｆ）、画像中心の座標を（ｕｃ，ｖｃ）、とし、レンズの焦点距離をｆｍ［ｍｍ］とすると、マスターカメラから見た撮影対象の方向θｆ、φｆは、下記の式（１）のように表される。
θｆ＝ｔａｎ−１｛ｋＸ｜ｕｆ−ｕｃ｜／ｆｍ｝
φｆ＝ｔａｎ−１｛ｋＹ｜ｖｆ−ｖｃ｜／ｓｑｒｔ［｛ｋＸ｜ｕｆ−ｕｃ｜｝２＋ｆｍ２］｝…（１）
ただし、ｓｑｒｔ（Ｘ）はＸの平方根である。又、ｋＸ、ｋＹは１画素の大きさ（横幅、縦幅）であり、単位は［ｍｍ／ｐｉｘｅｌ］である。これはＣＣＤ撮影素子のサイズ、有効画素数、及び画像平面のサイズ等から計算することができる。
【００５９】
問題の簡素化のために、マスターカメラ座標系のＸＹＺ各軸は三次元ワールド座標系のＸＹＺ各軸と平行であり、パン方向の回転角はＹ軸の正方向を原点とし、Ｚ軸周りにＸ軸の正方向への回転角として定義する。又、チルト方向の回転角はＸＹ平面からの仰角であると定義する。
【００６０】
このように定義すると、図４（ａ）の三次元ワールド座標系において撮影対象の座標（Ｘｔ，Ｙｔ，Ｚｔ）は、マスターカメラからの距離ｒｍｔ、マスターカメラの視点の位置（Ｘｍ，Ｙｍ，Ｚｍ）、マスターカメラの姿勢（マスターカメラから見た撮影対象の方向）θｆ、φｆを用いて、下記の式（２）のように表される。
【００６１】
【数１】

【００６２】
マスターカメラの初期位置及び初期姿勢は、実測により求める。又、動作中の姿勢変化分については、カメラとの通信によって得た値を使用する。一般に三次元空間中においてカメラの位置及び姿勢を求める手法をカメラのキャリブレーションと呼び、公知の研究例［Ｒ．Ｙ．Ｔｓａｉ，｀｀Ａｎ　ｅｆｆｉｃｉｅｎｔ　ａｎｄ　ａｃｃｕｒａｔｅ　ｃａｍｅｒａ　ｃａｌｉｂｒａｔｉｏｎ　ｔｅｃｈｎｉｑｕｅ　ｆ３Ｄ　ｍａｃｈｉｎｅ　ｖｉｓｉｏｎ｀｀，　Ｐｒｏｃ．ｏｆ　ＣＶＰＲ，ｐｐ．３６４−３７４，１９８６］をはじめとして多くの研究例がある。
【００６３】
本実施形態では、マスターカメラはオペレータの操作に応じて視線方向を変更するが、このときに視点の位置とパン・チルト軸の回転中心とがずれている場合、視点の位置が変化する。
【００６４】
しかし、カメラの機構が既知であれば、公知の手法による正確なキャリブレーションにより、カメラの回転運動に伴う視点の移動を計算することが可能である。なお、厳密にはズームやフォーカス変更に伴うレンズ位置の変化によっても視点は変化するが、本実施形態ではその変化分は無視する。
【００６５】
次に、スレーブカメラにおける姿勢制御目標値の計算について述べる。上記のようにして得られた撮影対象の位置情報（撮影対象の座標（Ｘｔ，Ｙｔ，Ｚｔ））からスレーブカメラのパン・チルト制御値θｓｔ、φｓｔを求めると、下記の式（３）のように表される。ここで、スレーブカメラ座標系の原点は点Ｃｓ（Ｘｓ，Ｙｓ，Ｚｓ）であり、ＸＹＺ各軸はマスターカメラ座標系のＸＹＺ各軸と平行に設定する。
θｓｔ＝ｔａｎ−１｛（Ｘｔ−Ｘｓ）／（Ｙｔ−Ｙｓ）｝
φｓｔ＝ｔａｎ−１｛（Ｚｔ−Ｚｓ）／ｓｑｒｔ［（Ｘｔ−Ｘｓ）２＋（Ｙｔ−Ｙｓ）２］｝…（３）
パン・チルト制御値θｓｔ、φｓｔが求まれば、その角度を制御目標値としてスレーブカメラを制御するようにカメラ制御装置から指令を送ればよい。
【００６６】
図５は、カメラ制御装置５−９〜５−１６が撮影対象の撮影にするカメラの選択方法の一例を示す。図５では８組のカメラモジュールが存在する。撮影対象５−２０が領域ａ→ｂ→ｃ→ｄ→ｅの位置に連続的に移動していく様子を示す。またカメラ５−１〜５−８の方向は撮影対象５−２０がＢの位置にいるときのものであり、細い点線は撮影範囲を示している。矢印のでているカメラ５−１〜５−３、５−５〜５−８はこのとき撮影対象５−２０を撮影していることを示す。
【００６７】
今撮影対象５−２０がＢの位置にいて、オペレータ５−１９が図３のＧＵＩ画面でマスターカメラとして５−６を選び、検出領域３−３を撮影対象３−２に重ねたとする。するとマスターカメラが撮影対象５−２０のＢの位置情報をカメラ操作端末を通じて各スレーブカメラに送信する。
【００６８】
撮影に適したカメラかどうかは撮影対象５−２０の位置Ｂから判断する。画角については、テレ画角で撮影するカメラは撮影対象が何であるか判断するため、さまざまな撮影角度から撮影するようにする。また、マスターカメラはワイド画角で撮影しているカメラでありかつ撮影対象Ｂに近いものが選択される。これはオペレータのマスターカメラを選択する手間を省き、検出領域の操作をしやすくするためである。
【００６９】
この場合、まず撮影対象５−２０から距離の短いカメラ５−１〜５−３，５−５〜５−７は撮影に適したカメラと判断され、撮影対象５−２０から距離の長いカメラ５−４、５−８は撮影に適さないカメラと判断される。さらに、撮影に適したカメラと判断されたカメラのうち、撮影対象５−２０との距離がより近いほうのカメラ５−１、５−２、５−５、５−６は撮影画面に対し撮影対象５−２０が大きくなるようテレ側の画角で撮影し、また撮影対象５−２０から少し離れたカメラ５−３，５−７は撮影画面に対し撮影対象５−２０の周囲状況がわかるようワイド側の画角で撮影する。
【００７０】
このように制御をすると例えば図５の撮影対象５−２０のＡ、Ｂ、Ｃ、Ｄ、Ｅの位置におけるカメラ５−１〜５−８の方向制御と画角は図６のように制御することができる。ここで図６において「Ｔ」は撮影対象５−２０を追尾しテレ側の画角に制御、「Ｗ」は撮影対象５−２０を追尾しワイド側の画角に制御、「指」はあらかじめ設定された範囲を撮影するよう制御されることを示す。
【００７１】
ただし、図６の制御は一例であってテレ側の画角で多くの角度から撮影したい場合には撮影対象５−２０に遠いカメラでも撮影に適するカメラと判断しテレ側の画角で撮影してもよい。その場合にはさらに撮影対象５−２０に遠いカメラがワイド画角で撮影するよう制御する。またテレ側の画角で撮影するカメラとワイド側の画角で撮影するカメラの台数をあらかじめ決めておいてもよい。また撮影対象５−２０が一定の大きさより大きく撮影できるカメラを選択しても良い。
【００７２】
以上述べた原理により、オペレータの制御するマスターカメラを用いて撮影対象の位置計測を行い、その結果を使用して撮影に適したスレーブカメラかどうかを判断する。撮影に適していると判断したカメラのみ、さらにズームレンズを広角側と望遠側のどちらかに動作するよう制御することにより、各スレーブカメラを撮影対象の方向に向け適した画角で撮影することができる。
【００７３】
以下、図７、８のフローチャートを用いて、本実施形態のカメラ制御システムの制御処理手順について説明する。
【００７４】
図７は、カメラ操作端末上で動作するカメラ操作ソフトウェアによる処理を示す。まず、処理開始後において、初期化処理を行う（ステップＳ７０１）。これは、図５に示したＧＵＩの表示を初期化する等の処理である。次に、ステップＳ７０２に移行して、入力イベント待ちループに入る。入力イベントには、カメラ操作端末のＧＵＩを通じてのオペレータの制御入力と、マスターカメラからのメッセージとが存在する。
【００７５】
ＧＵＩにおいてカメラの方向ボタン３−４が押された場合や、検出領域３−３を画像中の撮影対象３−２に重ね合わせる操作がされた場合、カメラ移動入力イベントが発生する（ステップＳ７０３）。
【００７６】
この場合、ステップＳ７０４において、マスターカメラの姿勢を変更するモータの制御コマンドを作成する。方向ボタン３−４による入力である場合、単に一定角度回転を行う制御コマンドを生成する。又、検出領域３−３を移動させる入力である場合、上記式（１）におけるθｆ、φｆはカメラの光軸を基準にした対象の角度変位なので、この値θｆ、φｆを移動目標角度とする制御コマンドを生成する。制御コマンド生成後、ステップＳ７０５において、当該制御コマンドをマスターカメラに送信する。
【００７７】
ＧＵＩにおいてマスター選択ボタン３−７が押された場合、マスター選択イベントが発生する（ステップＳ７０６）。この場合、ステップＳ７０７において、制御コマンドを送信するマスターカメラを指定されたカメラに変更する。又、映像受信ソフトウェアにも受信を行うカメラの変更を指示する。
【００７８】
本実施形態では、各カメラの映像受信ソフトウェアはネットワーク上に映像を送り続けて受信側で選択する構成としたが、カメラ操作ソフトウェアからの映像受信要求があるときのみ送信側で映像を送信する方式をとってもよい。
【００７９】
マスターカメラは、後述するようにカメラ制御を行った後に、撮影対象の位置計測を行い、その結果をカメラ操作端末のカメラ操作ソフトウェアに送信する。このメッセージをカメラ操作ソフトウェアが受け取った場合（ステップＳ７０８）、撮影対象の位置に関する表示３−７の更新を行う（ステップＳ７０９）。
【００８０】
ＧＵＩにおいて終了ボタン３−５が押された場合、終了イベントが発生する（ステップＳ７１０）。この場合、ステップＳ７１１において、終了処理として全てのカメラモジュールに処理の終了を告知して、システムを終了する。
【００８１】
図８は、各カメラ制御装置上で動作するカメラ制御ソフトウェアによる処理を示す。マスターカメラとスレーブカメラとは同一のプログラムにより動作し、メッセージの種類に応じてその役割を変更する。
【００８２】
まず、あらかじめ設定された方向を撮影するようカメラの初期化を行い（ステップＳ８２０）、その後メッセージ待ちを行う（ステップＳ８２１）。なんらかのメッセージがあった場合には、ステップＳ８２２、８２３、８２８においてその内容を確認する。
【００８３】
終了イベントであった場合（ステップＳ８２２）、カメラ制御ソフトウェアを終了する。
【００８４】
イベントがモータの回転角度を指定する制御コマンドであった場合（ステップＳ８２３）、マスターカメラとしての動作命令である。この場合、ステップＳ８２４において、制御コマンドに従ってモータの制御を行い、ステップＳ８２５において、上述した手法により撮影対象の位置計測を行う。その計測結果は、カメラ操作端末のカメラ操作ソフトウェアに送信する（ステップＳ８２６）。又、スレーブカメラにも制御命令及び制御情報として送信する（ステップＳ８２７）。
【００８５】
イベントが三次元ワールド座標を指定しての姿勢制御命令であった場合（ステップＳ８２８）、スレーブカメラとしての動作命令である。この場合、ステップＳ８２９において、指定された位置を撮影するのに適したカメラかどうかを判断する。適していればステップＳ８３０において、指定された位置を向くようなカメラの姿勢と撮影画角を計算し、ステップＳ８３１において、モータの制御を行う。この際に、スレーブカメラの移動角度は、上記式（３）で求められるθｓｔ、φｓｔを採用する。
【００８６】
ステップＳ８２７、ステップＳ８３１の後、ステップＳ８３２においてマスターカメラに変更するかどうかを判別する。例えばオペレーター５−１９が検出領域を指定するのに撮影対象の周囲状況が分かった方がいいときには撮影対象５−２０がＢの位置のときワイド画角で撮影していて最もＢに近いカメラをマスターカメラとする。それ以外のカメラはスレーブカメラに切り替える。
【００８７】
また、ステップＳ８２９においてカメラを制御する必要がないと判断された場合にはあらかじめ設定された設定位置へモータの制御を行い（ステップＳ８３５）、スレーブカメラに切り替える。
【００８８】
以上にイベントに対する処理を行ったならば、ステップＳ８２１に戻って設定された撮影範囲を撮影しながらイベント待ちを行う。
【００８９】
以上に説明した本実施形態によれば、姿勢制御可能な複数台のカメラをネットワークで接続し、そのうちの１つのカメラをオペレータが制御するマスターカメラとして選択して制御を行い、残りのカメラをスレーブカメラとしてマスターカメラから得られた情報に従って撮影対象の撮影に適したカメラのみ制御するようにしている。
【００９０】
これにより、システム上で撮影対象を追尾するのに適したカメラのみ姿勢制御及びズーム制御をし、それ以外のカメラは監視を続けるため、柔軟な制御が可能なカメラ制御システムを構築することができる。
【００９１】
また、撮影対象を撮影しているスレーブカメラのうちの一つをマスターカメラに自動的に切り替えることで、撮影対象が急激な動作をしても撮影画面から撮影対象を見失わずに済み、より広い範囲を対象として検出領域を設定できる。
【００９２】
（第２実施形態）
本発明の第２実施形態では、上述した第１実施形態と同様の構成において、マスターカメラとスレーブカメラで異常検出をすることにより、いずれかのカメラで異常が検出されたとき他のカメラとオペレータに位置情報を送信する機能をもたせる。
【００９３】
この結果、オペレータがわざわざ異常検出してカメラの姿勢制御を指示しなくても、各カメラで異常検出し撮影対象の動作にあわせて追尾することができ、なおかつ撮影対象を撮影しているカメラのうちの一つをマスターカメラに自動的に切り替えるカメラ切替処理を実現する。
【００９４】
本実施形態におけるハードウェア構成、全てのカメラ及びカメラの制御装置等の構成は、図１及び図２に示した第１実施形態と同じであるので、その説明は省略する。なお、本実施形態においても、上述した第１実施形態同様、カメラモジュールは３組以上あればよい。
【００９５】
図５、９を参照して、監視システム内のいずれかのカメラにおいて異常検出し、マスターカメラが切り替わっていく様子を説明する。なお、撮影するカメラの選択方法及び画角の選択方法は第１実施形態と同様に行うものとする。
【００９６】
なお、異常検出手段については公知の技術である背景差分に基づく手法を利用する。これは、この手法が移動物体を簡便に検出する技術であるからであり、その他の検出方法を私用しても本実施形態は実現することができる。
【００９７】
この図９は前述した図１、５と略同じものであり、図９は図５の撮影対象５−２０が通過する領域ａ〜ｅを図５のようにカメラ５−１〜５−８が配置されていた場合に領域ごとに姿勢制御及びズーム制御を変えるための割り振りを示す。領域の区切りはカメラ同士の直線を結んだ線分である。
【００９８】
図５において、撮影対象５−２０が左方向から近づいてきたとして、領域ａ→ｂ→ｃ→ｄ→ｅの位置に連続的に移動していくときのマスターカメラの切り替えを以下に説明する。
【００９９】
まず図５のカメラ５−１、５−２において異常検出可能な領域ａに撮影対象５−２０が入るとこれを異常とみなして背景差分の方法により最初にカメラ５−１もしくはカメラ５−５が異常検出をする。撮影対象５−２０を異常として異常検出すると、撮影対象５−２０を向くように姿勢制御し撮影対象５−２０の位置を計測する。
【０１００】
そして、ネットワーク５−１７を介して異常を検出したカメラ５−１もしくはカメラ５−５からカメラ操作端末５−１８へその旨と撮影対象５−２０の位置情報で構成される異常情報を伝える。異常情報を受け取ったカメラ操作端末は最初に異常情報を伝えてきたカメラ（ここではカメラ５−１とする）から受け取った撮影対象５−２０の位置情報及び既に異常検出の旨をシステム内の全てのカメラに送信する。
【０１０１】
もしカメラ５−１と５−５が同時に撮影対象５−２０を検出し、両方のカメラが検出情報を送信したとしてもカメラ操作端末５−１８が先に５−１の異常情報を受け取っているならば、５−１８の異常情報は無視される。
【０１０２】
カメラ制御装置５−１〜５−８は撮影対象５−２０の位置情報を受け取るとカメラ５−１、５−５がテレ画角にて、カメラ５−２及びカメラ５−６がワイド画角にて撮影対象を撮影する。この場合、例えば撮影対象５−２０が図５の領域ａにいるときはカメラ５−６がマスターカメラとなるが、撮影対象５−２０の位置によりカメラ５−２にも切り替えられる。その他のカメラは撮影対象までの距離が遠いので撮影に適さないカメラと判断され、設定された撮影範囲を撮影しつづける。
【０１０３】
撮影対象が５−２０が異常検出領域ａにいる間はマスターカメラ５−６から撮影対象５−２０の位置が随時送信されてくるので、カメラ５−１、５−２、５−５、５−６は受信した位置に方向制御をし、撮影対象の追尾を続ける。
【０１０４】
次に撮影対象が５−２０が異常検出領域ｂに達するとカメラ５−１，５−２，５−５，５−６はテレ画角で撮影し、カメラ５−３、５−７はワイド画角で撮影し、他のカメラ５−４，５−８のみ設定された撮影範囲を撮影する。この場合、例えば撮影対象５−２０が図５の領域ｂにいるときはカメラ５−７がマスターカメラとなるが、撮影対象５−２０の位置によりカメラ５−３にも切り替えられる。
【０１０５】
撮影対象が異常検出領域ｂにいる間はマスターカメラ５−７から撮影対象５−２０の位置が随時送信されてくるので、カメラ５−１〜５−３、５−５〜５−７は受信した位置に方向制御をし、撮影対象の追尾を続ける。
【０１０６】
以下、撮影対象５−２０が異常検出領域ｃ、ｄ、ｅに移動したときも同様に制御が行われる。
【０１０７】
次に、本実施形態のカメラ制御システムの制御処理について説明する。カメラ操作端末上で動作するカメラ操作ソフトウェアによる処理は、基本的には第１実施形態と同じであり、その相違点のみを図７を用いて説明する。本実施形態では、ステップＳ７０８において位置情報と共に異常検出された旨を情報として受け取る。
【０１０８】
そして、ステップＳ７０９において、既に異常が検出されているかどうかをチェックする。始めて検出された場合には、ステップＳ７０４において制御命令を作成する。位置情報は各マスターカメラから断続的に入手できるが、いずれか１つのカメラからの情報が入力されるたびに図３に示したＧＵＩの位置情報３−６を更新する。
【０１０９】
次に、各カメラ制御装置上で動作するカメラ制御ソフトウェアによる処理を説明する。図１０は第１実施形態で説明した図８と基本的には同一であるので相違点のみを説明する。
【０１１０】
動作が異なるのは、ステップＳ１０１１〜ステップＳ１０１５に示す異常検出をする場合であり、それ以外のステップＳ１０１０〜ステップＳ１０３０については図８に示したステップＳ８２０〜ステップＳ８３６と同様である。
【０１１１】
システム上の全てのカメラはステップＳ１０１１において異常検出を行い、異常が検出されなければステップＳ１０１６においてメッセージを受信する。異常が検出された場合にはステップＳ１０１２においてシステム内の他のカメラで既に異常検出されていれば、ステップＳ１０１６においてメッセージを受信する。システム全体で初めての異常検出であればステップＳ１０１３で異常と判断された撮影対象を撮影し、ステップＳ１０１４において撮影対象の位置を計測する。そしてステップＳ１０１５において撮影対象の位置情報と異常検出の旨をカメラ制御端末へ送信する。
【０１１２】
以上述べた本実施形態によれば、システム内の全てのカメラにおいて異常検出が可能になり、人の手を介さなくとも異常撮影対象の追尾が可能になる。
【０１１３】
なお、上記の実施形態において示した各部の計上及び構造は、いずれも本発明を実施するにあたっての具体化の本の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、又はその主要な特徴から逸脱することなく、さまざまな形で実施することができる。
【０１１４】
【発明の効果】
本願第１の発明である監視システムによれば、カメラ制御に無駄がなく臨機応変に監視可能な監視システムを構築することができる。
【０１１５】
また、本願第２の発明である監視システムによれば、カメラ制御に無駄がなく異常検出に人手を介さずに監視可能な、便利性の高い監視システムを構築することができる。
【０１１６】
ここで、外部からの要求があったとき、カメラから撮影対象の位置に応じて撮影対象が複数の大きさで撮影されるようにカメラを選択し、その撮影方向及びズーム倍率を調整することにより、撮影画面に撮影対象が大きく写っている複数の画像からは、ある事件における犯人の特定等に役立ち、撮影対象の周囲状況が分かるように撮像した画像からは犯人の動きを見逃すことなく周囲状況を把握できる等、一度の制御で撮影対象の特定と周囲状況把握の両方が行える、という優れた効果がある。
【０１１７】
また、撮影対象の位置に応じて、撮影対象位置情報を抽出するカメラを一のカメラから他のカメラに自動的に切り替えることで、常に撮影対象の位置を算出するのに適したカメラを選択することが可能になり追尾に役立つという、優れた効果がある。
【０１１８】
以上述べたように本発明によれば、単一の撮影対象を撮影する際に撮影に最適な複数のカメラを選択し、複数の角度と複数の倍率で撮影するよう制御し、便利性の高い追尾可能な監視システムを提供することができる
【図面の簡単な説明】
【図１】第１実施形態における監視システムの構成を示す図である。
【図２】カメラ、カメラ制御装置、及びカメラ操作端末の構成を示す図である。
【図３】カメラ操作端末のユーザインターフェースを構成するＧＵＩ（Ｇｒａｐｈｉｃａｌ　ＵｓｅｒＩｎｔｅｒｆａｃｅ）の一例を示す図である。
【図４】撮影対象の位置計測及びカメラ制御目標値の計算の原理を説明するための図である（ａ、ｂ）。
【図５】第１実施形態における監視システムの構成を示す図である。
【図６】第１実施形態における撮影対象の位置と、カメラのズーム倍率の関係を示す図である。
【図７】第１実施形態におけるカメラ操作ソフトウェアによる処理を示すフローチャートである。
【図８】第１実施形態におけるカメラ制御ソフトウェアによる処理を示すフローチャートである。
【図９】第２実施形態における撮影対象の存在領域を表す図である。
【図１０】第２実施形態におけるカメラ制御ソフトウェアによる処理を示すフローチャートである。
【符号の説明】
１−１〜１−８　　　　　　カメラ
１−９〜１−１６　　　　カメラ制御装置
１−１７　　　　　　　　　　　ネットワーク
１−１８　　　　　　　　　　　カメラ操作端末
１−１９　　　　　　　　　　　オペレータ
１−２０　　　　　　　　　　　撮影対象
２−１　　　　　　　　　　　　　　カメラ
２−２　　　　　　　　　　　　　　撮影系
２−３　　　　　　　　　　　　　　光学的パラメータ制御装置
２−４　　　　　　　　　　　　　　姿勢制御装置
２−６　　　　　　　　　　　　　　カメラ制御装置
２−７　　　　　　　　　　　　　　ＣＰＵ
２−８　　　　　　　　　　　　　　ＲＡＭ
２−９　　　　　　　　　　　　　　ＲＯＭ
２−１０　　　　　　　　　　　二次記憶装置
２−１１　　　　　　　　　　　Ｉ／Ｏ
２−１２　　　　　　　　　　　　ビデオキャプチャボード
２−１３　　　　　　　　　　　　モニタ
２−１４　　　　　　　　　　　キーボード
２−１５　　　　　　　　　　　マウス等のポインティングデバイス
２−１６　　　　　　　　　　　　バス
２−１７　　　　　　　　　　　通信部
２−１８　　　　　　　　　　　ネットワーク
２−１９　　　　　　　　　　　カメラ制御装置
２−２０　　　　　　　　　　　ＣＰＵ
２−２１　　　　　　　　　　　　ＲＯＭ
２−２２　　　　　　　　　　　　ＲＡＭ
２−２３　　　　　　　　　　　　二次記憶装置
２−２４　　　　　　　　　　　ビデオＲＡＭ
２−２５　　　　　　　　　　　モニタ
２−２６　　　　　　　　　　　キーボード
２−２７　　　　　　　　　　　マウス等のポインティングデバイス
２−２８　　　　　　　　　　　バス
２−２９　　　　　　　　　　　通信部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a camera surveillance system and apparatus, which is suitable for detecting and tracking the same photographing target by a plurality of cameras, and for photographing, for example, industrial fields such as surveillance systems, security systems, and intelligent building systems. It can be used for
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there has been known a monitoring system that always tracks a single photographing target by using a plurality of cameras capable of a zoom control function, an automatic focusing function, and a posture control (for example, see Patent Document 1).
[0003]
In this type of system, the direction control and attitude control of a camera generally operate all other cameras based on position information of one camera. Further, it is general to control the direction and zoom of the camera so as to keep the size of the shooting target in the shooting screen constant according to the movement of the tracking target.
[0004]
[Patent Document]
JP 2001-25003 A
[0005]
[Problems to be solved by the invention]
However, in the above-described conventional technology, there is no means for selecting a camera suitable for photographing a single photographing target, and there is a problem that a camera that is not suitable for photographing a photographing target is controlled and tracked.
[0006]
Further, when performing zoom control in accordance with the distance to the shooting target, there is no means for selecting and controlling a camera so that the shooting target is shot in a plurality of sizes. For this reason, it is not possible to check the shooting target when the zoom control is performed to enlarge the shooting target with respect to the shooting screen, and to check the surrounding situation of the shooting target when performing the zoom control so that the shooting target is reduced with respect to the shooting screen. There's a problem.
[0007]
Furthermore, when zoom control is performed so that the imaging target becomes larger than the imaging screen, if the imaging target has a sudden change in distance, the imaging target cannot be tracked. In addition, there is a problem that it is not possible to monitor the state of the imaging target and its surroundings at once.
[0008]
The present invention has been made in view of the above circumstances, and selects a plurality of cameras optimal for photographing when photographing a single photographing target, and performs photographing at a plurality of angles and a plurality of magnifications. An object of the present invention is to provide a camera surveillance system that can be controlled and tracked with high convenience.
[0009]
[Means for Solving the Problems]
The first invention of the present application has a plurality of cameras that have a zoom control function, an automatic focusing function, and a photographing target position information acquiring unit, and that can control a posture, and a camera control unit that controls operations of these cameras, A monitoring system in which a camera control unit controls a shooting direction of another camera using shooting target position information of a shooting target obtained from a predetermined one of the plurality of cameras. However, it is possible to shoot a predetermined shooting range, and the camera control means controls, when externally requested, a predetermined plurality of cameras out of the plurality of cameras to shoot the shooting target. Features.
[0010]
The second invention of the present application has a plurality of cameras that have a zoom control function, an automatic focusing function, and a photographing target position information acquiring unit, are capable of controlling a posture, and are capable of detecting an abnormality due to a change in a photographed image, and A camera control means for controlling operation, wherein the camera control means controls a shooting direction of another camera by using shooting target position information of a shooting target obtained from one of a plurality of cameras. Wherein each of the plurality of cameras can capture an image in a preset shooting range, and the camera control unit determines whether any one of the plurality of cameras detects an abnormality in the shooting range. And controlling the camera so that a predetermined plurality of cameras out of the plurality of cameras photograph the photographing target.
[0011]
Here, when there is an external request, the camera control means selects a camera suitable for shooting so that the shooting target is shot in a plurality of sizes according to the shooting target position information from one camera. Then, the photographing direction and the zoom magnification can be adjusted.
[0012]
Further, the camera control means can automatically switch the camera transmitting the shooting target position information to the outside from one camera to another camera according to the position of the shooting target.
[0013]
According to a third aspect of the present invention, there is provided a control device for controlling a camera having a zoom control function, an automatic focusing function, and a photographing target position information acquiring unit, capable of controlling a posture and capable of detecting an abnormality due to a change in a photographed image. On the other hand, a predetermined shooting range is shot, and when requested externally, a shooting target is shot.
[0014]
According to a fourth aspect of the present invention, there is provided a control device for controlling a camera having a zoom control function, an automatic focusing function, and a photographing target position information acquiring unit, capable of controlling a posture and capable of detecting an abnormality due to a change in a photographed image. On the other hand, a predetermined shooting range is shot, and when an abnormality is detected in the shooting range, the shooting target is shot.
[0015]
Here, when there is a request from the outside, it is determined whether or not the camera is suitable for the shooting of the shooting target according to the shooting target position information from the camera, and when shooting, the shooting direction and the zoom magnification are adjusted. can do.
[0016]
Also, it is possible to determine whether or not the camera is suitable as a camera for transmitting the shooting target position information to the outside according to the position of the shooting target, and to automatically switch the camera according to the determination result.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0018]
(1st Embodiment)
In the first embodiment of the present invention, in a camera control system in which postures (photographing directions) of a plurality of cameras can be externally controlled, one camera is selected to photograph a photographing target and measure the position of the photographing target. Then, by transmitting the position information of the photographing target to a plurality of cameras suitable for other photographing and controlling the other plurality of cameras, a specific plurality of cameras among the plurality of cameras are provided. Construct a camera control system that shoots the same object at the same time at the zoom magnification.
[0019]
Further, a switching process for automatically switching one of the slave cameras that are shooting the shooting target to the master camera is realized.
[0020]
Hereinafter, a hardware configuration, a control principle, and a processing procedure of the present embodiment will be described.
[0021]
Hereinafter, the hardware configuration of the present embodiment, the principle of camera control, and the processing procedure will be described.
[0022]
FIG. 1 shows the overall hardware configuration of the present embodiment. One camera module has a camera control device (1-9, 1-10, 1-11, 1-12, 1-13, 1-14, 1-15, 1-16) and a posture by the camera control device. Controllable cameras (1-1, 1-2, 1-3, 1-4, 1-5, 1-6, 1-7, 1-8) are configured as a pair. Then, these plural sets (1-9 and 1-5, 1-2 and 1-10, 1-3 and 1-11, 1-4 and 1-12, 1-5 and 1-13, 1-6 And 1-14, 1-7 and 1-15, 1-8 and 1-16) are connected to the network 1-17, respectively.
[0023]
Although FIG. 1 illustrates eight camera modules, any number of camera modules can be used as long as there are three or more camera modules. A camera operation terminal 1-18 is connected to the network 1-17, and the operator 1-19 can view images of one or more cameras at the same time through the network 1-17 using the camera operation terminal 1-18. And one of the camera modules can be controlled.
[0024]
Here, a LAN is assumed as the network 1-17, but other than this, the transmission method is not limited, such as Ether NET, ATM, and C / FDDI.
[0025]
Each of the camera control devices 1-9 to 1-16 includes video software and camera control software. The video software has a function of capturing a video from a camera and transmitting it to the network 1-17. Further, the camera control software has a function of directly controlling the posture of the camera according to the role assigned to each camera, and a camera 1 suitable for photographing when the position information of the photographing target (1-20) is given. -1 to 1-9, a function of performing posture control so as to photograph the photographing target 1-20 in a plurality of sizes, and measuring the position of the photographing target 1-20, and transmitting the result to a camera control terminal. It has a function to communicate to 1-10 and other cameras.
[0026]
On the other hand, the camera operation terminal 1-18 has functions such as receiving and displaying images and various information from each camera module, inputting a camera switching command and a camera control command of the operator 1-19, and transferring the command to the camera control device. Equipped with hardware and software.
[0027]
In the above system, the camera module directly operated by the operator 1-19 is hereinafter referred to as "master camera", and the camera module not directly operated by the operator 1-19 is referred to as "slave camera". All camera modules have the same hardware and software, and can be a master camera or a slave camera depending on usage.
[0028]
FIG. 2 shows a hardware internal configuration of each camera module and camera control terminal.
[0029]
The hardware of each camera module includes a camera 2-1 and a camera control device 2-6. These illustrate one of the cameras 1-1 to 1-8 in FIG. 1 and one of the corresponding camera control devices 1-9 to 1-16.
[0030]
The camera 2-1 includes a photographing system 2-2 for inputting an image, an optical parameter control device 2-3 for controlling various optical parameters at the time of photographing, and a posture control device 2-4. Here, the optical parameters refer to focus, iris, gain, shutter speed, white balance, and the like.
[0031]
The optical parameter control device 2-3 and the attitude control device 2-4 are connected to a camera control device 2-6 via signal lines, and communicate with the camera control device 2-6 to perform various optical operations. Acquisition and setting (control) of target parameters and current angles in the horizontal (pan) and vertical (tilt) directions are possible. Typical control signal systems include RS-232C and parallel IO, but are not limited thereto.
[0032]
The video output signal output from the imaging system 2-2 of the camera 2-1 is digitized by the video capture board 2-12 and sent to the network 2-18 (the same as the network 1-17 in FIG. 1). . The video capture board 2-12 also serves as a VRAM, and for example, can superimpose and display the image of the camera and the output of the computer on the monitor 2-13. The output signal format includes, but is not limited to, the NTSC system and the Y / C separation system.
[0033]
The camera control device 2-6 includes a CPU 2-7, a RAM 2-8, a ROM 2-9, a secondary storage device 2-10, an input / output port (I / O) 2-11 for performing communication with the camera, and the above-described configuration. A video capture board 2-12 is provided. In addition, a communication device 2-17 is provided for executing a camera control command from the outside through the network 2-18 and transferring the state of the video and the camera to the outside. Further, a keyboard 2-14 and a pointing device 2-15 such as a mouse are connected as necessary for maintenance and inspection.
[0034]
These CPU 2-7, RAM 2-8, ROM 2-9, secondary storage device 2-10, I / O 2-11, video capture board 2-12, communication device 2-17, keyboard 2-14, and pointing Devices (mouse) 2-15 are all connected to bus 2-16.
[0035]
Such a camera control device 2-6 can be realized by a general-purpose computer system.
[0036]
The camera control device 2-6 transmits an input from a keyboard 2-14 and a mouse 2-15 or a control signal received from the outside via the network 2-18 to an optical signal of the camera 2-1 through a control signal line. The information is transmitted to the parameter control device 2-3 and the attitude control device 2-4 to control those devices.
[0037]
The hardware configuration of the camera control terminal 2-19 (the same as the camera control terminal 1-10 in FIG. 1) is different from the above-described configuration of the camera control device 2-6 in that the video capture board 2-12 is replaced with a simple VRAM 2-24. This is the same as the above-described camera control device 2-6 except that the change is made and the I / O 2-11 necessary for controlling the connected camera is removed.
[0038]
That is, it includes a CPU 2-20, a ROM 2-21, a RAM 2-22, a secondary storage device 2-23, a VRAM 2-24, a communication device 2-29, and a bus 2-28, a monitor 2-25, a keyboard 2-26 and a pointing device (mouse) 2-27 are connected. The camera control terminal 2-19 can also be realized using a commercially available computer system having a network interface and a graphic display function.
[0039]
Next, a camera control method according to the present embodiment will be described with reference to FIG.
[0040]
In the example of FIG. 1, there are eight camera modules. It is assumed that the position and orientation of each camera on three-dimensional world coordinates are known. The imaging target 1-20 is moving in front of the camera. First, the operator 1-11 selects a master camera using the camera operation software of the camera operation terminal 1-18, specifies the line of sight of the master camera, and controls the camera.
[0041]
All camera modules have a distance measuring function using an autofocus (automatic focusing function), and can measure a distance to a target existing in a certain area in an image. The image area to be subjected to the automatic focusing function is specified by the operator 1-19 in the master camera. In the case of a slave camera, it is fixed at the center of the image. It is possible to measure the line of sight (azimuth) direction of the master camera and the position of the imaging target 1-20 in three-dimensional world coordinates.
[0042]
Here, a distance measuring method using the automatic focusing function function will be described.
[0043]
The automatic focusing function is provided in the optical parameter control devices 1-9 to 1-16, and determines the optimal control position of the focus lens driving motor for the partial area image in the image, and performs focusing. It is to let. Such a partial area in an image set for the purpose of optimizing the focus and other optical parameters is hereinafter referred to as a “detection area”.
[0044]
In the operation of the automatic focusing function, a method of controlling the position of the focus lens driving motor so that the energy of the high frequency component of the detection area image is maximized is generally known. Such an automatic focusing function function can be realized by using a function mounted on a commercially available camera.
[0045]
Then, as a method of obtaining the distance from the control position of the focus lens drive motor, an automatic focusing function operation is performed on an object whose distance is known in advance, and the relationship between the drive pulse value of the optimized motor and the distance is determined. There are a method of measuring and storing this as a table, and a method of analytically obtaining it from the design of the optical system. There is also a method of calculating a distance to a subject so as to improve the accuracy of measuring the position of a shooting target by using an automatic focusing function function with an increased zoom magnification.
[0046]
Next, a processing operation of camera control in the present embodiment will be described. Briefly explaining with reference to FIG. 1, first, the position of the imaging target 1-20 is measured by the selected master camera. When the position of the shooting target 1-20 in the three-dimensional world coordinates is determined, the master camera transfers the position information of the shooting target 1-20 to the camera operation terminal 1-18 and the slave camera.
[0047]
Since the position and orientation of the slave camera on the three-dimensional world coordinates are known, the camera control software on the camera control device of the slave camera determines in which direction the subject 1-20 is viewed from the slave camera. calculate. Based on the result, it is determined whether or not the camera is a slave camera suitable for shooting. If it is determined that the camera is suitable for shooting, the slave camera is controlled. Further, the camera to be controlled is adjusted to a wide-angle or tele-angle of view suitable for photographing.
[0048]
In this way, by selecting the master camera and controlling it toward the shooting target 1-20, a slave camera suitable for shooting can be directed toward the shooting target 1-20 without manual intervention, and further suitable for the camera. To the angle of view. This will be specifically described below.
[0049]
FIG. 3 shows an example of a GUI (Graphical User Interface) constituting a user interface of the camera operation terminal 3-20. On the screen, a video display unit 3-1 of the master camera (in FIG. 3, the photographing target 3-2 is shown), a detection region 3-3 which is a target region of the automatic focusing function, and a screen for operating the camera. A camera operation button 3-4, an automatic zoom control button 3-5, a program end button 3-6, a position display 3-7 of the photographing target 3-2, and a camera selection button 3-8 are displayed.
[0050]
To start the control, the operator first selects a master camera. This is performed by designating a desired camera number among the camera selection buttons 3-7 with a mouse or the like.
[0051]
After selecting the master camera, the operator operates the master camera by “direct operation” or “target designation operation”.
[0052]
The direct operation is a method using the operation buttons 3-4, and can control up, down, left, right, movement to a home position, and the like. In this case, the position of the detection area 3-3 does not change while being fixed at the center, for example.
[0053]
The target designation operation is a method of controlling the camera by moving the detection region 3-3, and performs a movement operation of the detection region 3-3 by a drag operation using a pointing device such as a mouse. By superimposing the detection area 3-3 on the photographing target 3-2 on the image, the camera controller of the master camera performs distance measurement using the automatic focusing function, and uses the distance and the photographing position to determine the position according to a method described later. Perform measurement.
[0054]
Then, by transmitting the position information of the shooting target 3-2 to each slave camera through the camera operation terminal 1-18, it is determined whether each slave camera is a camera suitable for shooting, and finally, the operation of each slave camera is performed. Perform control.
[0055]
Next, with reference to FIG. 4, the measurement of the position of the imaging target in the master camera and the calculation of the attitude control target value in the slave camera will be described.
[0056]
First, the measurement of the position of the imaging target in the master camera will be described. In FIG. 4A, the viewpoint of the master camera is at a point Cm (Xm, Ym, Zm) on the three-dimensional coordinate space, and the viewpoint of the slave camera is at a point Cs (Xs, Ys, Zs). The object to be photographed is at the point Pt (Xt, Yt, Zt).
[0057]
Here, it is assumed that the operator has superimposed the detection area 3-3 on the imaging target 3-2 on the screen shown in FIG. FIG. 4B shows an image coordinate system of the master camera.
[0058]
Here, the image coordinates are set with the origin at the upper left of the image, the positive direction of the X axis on the right, and the positive direction of the Y axis on the lower side. Assuming that the image coordinates of the detection area 3-3 are (uf, vf), the coordinates of the image center are (uc, vc), and the focal length of the lens is fm [mm], the direction θf of the photographing target viewed from the master camera is , Φf are represented by the following equation (1).
θf = tan-1 {kX | uf-uc | / fm}
φf = tan-1 {kY | vf-vc | / sqrt [{kX | uf-uc | {2 + fm2]} (1)
Here, sqrt (X) is the square root of X. KX and kY are the size (width and height) of one pixel, and the unit is [mm / pixel]. This can be calculated from the size of the CCD imaging device, the number of effective pixels, the size of the image plane, and the like.
[0059]
To simplify the problem, the XYZ axes of the master camera coordinate system are parallel to the XYZ axes of the three-dimensional world coordinate system. It is defined as the rotation angle of the X axis in the positive direction. The rotation angle in the tilt direction is defined as an elevation angle from the XY plane.
[0060]
With this definition, the coordinates (Xt, Yt, Zt) of the shooting target in the three-dimensional world coordinate system of FIG. 4A are represented by the distance rmt from the master camera and the position (Xm, Ym, Zm) of the viewpoint of the master camera. ), The orientation of the master camera (the direction of the photographing target as viewed from the master camera) θf, φf, and is represented by the following equation (2).
[0061]
(Equation 1)

[0062]
The initial position and initial attitude of the master camera are obtained by actual measurement. Further, as for the posture change during the operation, a value obtained by communication with the camera is used. In general, a method of obtaining the position and orientation of a camera in a three-dimensional space is called camera calibration, and is a known research example [R. Y. Tsai, {An efficient and accumulate camera calibration technique f3D machine vision}, Proc. of CVPR, pp. 364-374, 1986].
[0063]
In the present embodiment, the master camera changes the direction of the line of sight according to the operation of the operator. If the position of the viewpoint and the rotation center of the pan / tilt axis are shifted at this time, the position of the viewpoint changes.
[0064]
However, if the mechanism of the camera is known, it is possible to calculate the movement of the viewpoint accompanying the rotational movement of the camera by accurate calibration by a known method. Strictly speaking, the viewpoint also changes due to a change in the lens position due to a zoom or focus change, but this embodiment ignores the change.
[0065]
Next, calculation of the attitude control target value in the slave camera will be described. When the pan / tilt control values θst and φst of the slave camera are obtained from the position information (the coordinates (Xt, Yt, Zt) of the shooting target) of the shooting target obtained as described above, the following equation (3) is obtained. Is represented by Here, the origin of the slave camera coordinate system is a point Cs (Xs, Ys, Zs), and the XYZ axes are set in parallel with the XYZ axes of the master camera coordinate system.
θst = tan-1 {(Xt-Xs) / (Yt-Ys)}
φst = tan-1 {(Zt-Zs) / sqrt [(Xt-Xs) 2+ (Yt-Ys) 2]} (3)
When the pan / tilt control values θst and φst are obtained, a command may be sent from the camera control device to control the slave camera using the angles as control target values.
[0066]
FIG. 5 shows an example of a method of selecting a camera to be used as an image pickup target by the camera control devices 5-9 to 5-16. In FIG. 5, there are eight camera modules. This shows a state in which the imaging target 5-20 continuously moves to the positions of the areas a, b, c, d, and e. The directions of the cameras 5-1 to 5-8 are those when the imaging target 5-20 is at the position B, and the thin dotted lines indicate the imaging range. At this time, the cameras 5-1 to 5-3 and 5-5 to 5-8 indicated by arrows indicate that the imaging target 5-20 is being imaged.
[0067]
Suppose now that the imaging target 5-20 is at the position B, the operator 5-19 has selected 5-6 as the master camera on the GUI screen of FIG. 3, and has superimposed the detection area 3-3 on the imaging target 3-2. Then, the master camera transmits the position information of B of the imaging target 5-20 to each slave camera through the camera operation terminal.
[0068]
Whether the camera is suitable for photographing is determined from the position B of the photographing target 5-20. Regarding the angle of view, a camera that shoots at the tele angle of view shoots from various shooting angles in order to determine what the shooting target is. The master camera is a camera that shoots at a wide angle of view and is close to the shooting target B. This is because the operator does not have to select the master camera and can easily operate the detection area.
[0069]
In this case, first, the cameras 5-1 to 5-3 and 5-5 to 5-7 that are short in distance from the imaging target 5-20 are determined to be cameras suitable for imaging, and the camera 5 that is long in distance from the imaging target 5-20. -4 and 5-8 are determined to be cameras that are not suitable for photographing. Further, among the cameras determined to be suitable for shooting, the cameras 5-1 5-2, 5-5, and 5-6 that are closer to the shooting target 5-20 shoot the shooting screen. The camera 5-3, 5-7, which is slightly away from the photographing target 5-20, captures the surroundings of the photographing target 5-20 with respect to the photographing screen. Shoot at the wide angle of view.
[0070]
With such control, for example, the direction control and the angle of view of the cameras 5-1 to 5-8 at the positions of A, B, C, D, and E of the photographing target 5-20 in FIG. 5 are controlled as shown in FIG. be able to. Here, in FIG. 6, "T" tracks the shooting target 5-20 and controls the angle of view on the tele side, "W" tracks the shooting target 5-20 and controls the angle of view on the wide side, and "finger" This indicates that control is performed to capture an image in the set range.
[0071]
However, the control of FIG. 6 is an example, and if it is desired to take a picture from a large angle at the telephoto angle of view, a camera far from the photographing target 5-20 is determined to be a camera suitable for photographing, and the camera is photographed at the telephoto angle of view. You may. In this case, control is further performed so that a camera far from the shooting target 5-20 shoots at a wide angle of view. Also, the number of cameras that shoot at the tele side angle of view and the number of cameras that shoot at the wide angle of view may be determined in advance. Alternatively, a camera that can shoot the shooting target 5-20 larger than a certain size may be selected.
[0072]
According to the principle described above, the position of the object to be photographed is measured using a master camera controlled by the operator, and the result is used to determine whether or not the slave camera is suitable for photographing. By controlling only the cameras judged to be suitable for shooting and the zoom lens to operate either the wide-angle side or the telephoto side, each slave camera is aimed at the direction of the shooting target and shooting at an appropriate angle of view Can be.
[0073]
Hereinafter, the control processing procedure of the camera control system of the present embodiment will be described with reference to the flowcharts of FIGS.
[0074]
FIG. 7 shows processing by camera operation software operating on the camera operation terminal. First, after the processing is started, an initialization processing is performed (step S701). This is processing such as initializing the display of the GUI shown in FIG. Next, the process proceeds to step S702, and enters an input event waiting loop. The input event includes an operator's control input through the GUI of the camera operation terminal and a message from the master camera.
[0075]
If the direction button 3-4 of the camera is pressed on the GUI or if the detection area 3-3 is overlaid on the photographing target 3-2 in the image, a camera movement input event occurs (step S703). .
[0076]
In this case, in step S704, a motor control command for changing the attitude of the master camera is created. When the input is made by the direction button 3-4, a control command for simply rotating by a certain angle is generated. If the input is to move the detection area 3-3, θf and φf in the above equation (1) are angular displacements of the target with respect to the optical axis of the camera. Generate control commands. After the generation of the control command, the control command is transmitted to the master camera in step S705.
[0077]
When the master selection button 3-7 is pressed on the GUI, a master selection event occurs (step S706). In this case, in step S707, the master camera that transmits the control command is changed to the designated camera. Also, it instructs the video receiving software to change the camera that receives the video.
[0078]
In the present embodiment, the video receiving software of each camera is configured to continuously transmit the video over the network and to select the video on the receiving side. However, the method of transmitting the video on the transmitting side only when there is a video receiving request from the camera operation software. May be taken.
[0079]
After performing the camera control as described later, the master camera measures the position of the imaging target, and transmits the result to the camera operation software of the camera operation terminal. When this message is received by the camera operation software (step S708), the display 3-7 relating to the position of the imaging target is updated (step S709).
[0080]
When the end button 3-5 is pressed on the GUI, an end event occurs (step S710). In this case, in step S711, the end of processing is notified to all camera modules as end processing, and the system ends.
[0081]
FIG. 8 shows processing by camera control software operating on each camera control device. The master camera and the slave camera operate by the same program, and change their roles according to the type of message.
[0082]
First, the camera is initialized so as to photograph in a preset direction (step S820), and then a message is waited for (step S821). If there is any message, the contents are confirmed in steps S822, 823, and 828.
[0083]
If it is an end event (step S822), the camera control software ends.
[0084]
If the event is a control command for specifying the rotation angle of the motor (step S823), it is an operation command as a master camera. In this case, in step S824, the motor is controlled according to the control command, and in step S825, the position of the imaging target is measured by the method described above. The measurement result is transmitted to the camera operation software of the camera operation terminal (step S826). Further, the control command and the control information are transmitted to the slave camera (step S827).
[0085]
If the event is a posture control command designating three-dimensional world coordinates (step S828), it is an operation command as a slave camera. In this case, in step S829, it is determined whether the camera is suitable for photographing the designated position. If it is appropriate, in step S830, the posture and shooting angle of view of the camera so as to face the designated position are calculated, and in step S831, the motor is controlled. At this time, θst and φst obtained by the above equation (3) are adopted as the movement angles of the slave camera.
[0086]
After steps S827 and S831, it is determined in step S832 whether to change to the master camera. For example, if it is better for the operator 5-19 to know the surroundings of the shooting target to specify the detection area, when the shooting target 5-20 is at the position B, the camera that is shooting at a wide angle of view and is closest to B is selected. Master camera. Other cameras are switched to slave cameras.
[0087]
If it is determined in step S829 that there is no need to control the camera, the motor is controlled to a preset position (step S835), and the camera is switched to a slave camera.
[0088]
If the process for the event has been performed as described above, the process returns to step S821 to wait for the event while photographing the set photographing range.
[0089]
According to the present embodiment described above, a plurality of cameras capable of attitude control are connected via a network, one of the cameras is selected as a master camera controlled by an operator to perform control, and the remaining cameras are slaves. As a camera, only a camera suitable for shooting a shooting target is controlled in accordance with information obtained from a master camera.
[0090]
Thereby, only the camera suitable for tracking the shooting target on the system performs the attitude control and the zoom control, and the other cameras continue to monitor, so that a camera control system capable of flexible control can be constructed. .
[0091]
In addition, by automatically switching one of the slave cameras that are shooting the shooting target to the master camera, even if the shooting target suddenly moves, the shooting target does not lose sight of the shooting screen, and it is wider. A detection area can be set for a range.
[0092]
(2nd Embodiment)
In the second embodiment of the present invention, in a configuration similar to the above-described first embodiment, an abnormality is detected by a master camera and a slave camera, and when an abnormality is detected in one of the cameras, the other camera and the operator are detected. Has a function of transmitting location information.
[0093]
As a result, even if the operator does not bother to detect an abnormality and instruct the camera to control the attitude, it is possible to detect an abnormality in each camera and to track the movement in accordance with the operation of the shooting target, and furthermore, the camera of the camera shooting the shooting target is not required. A camera switching process for automatically switching one of them to the master camera is realized.
[0094]
The hardware configuration, the configuration of all the cameras, the control device of the cameras, and the like in the present embodiment are the same as those in the first embodiment shown in FIGS. In this embodiment, as in the first embodiment described above, it is sufficient that three or more camera modules are provided.
[0095]
With reference to FIGS. 5 and 9, a description will be given of a situation in which an abnormality is detected in one of the cameras in the monitoring system and the master camera is switched. Note that the method of selecting the camera to shoot and the method of selecting the angle of view are the same as in the first embodiment.
[0096]
Note that a method based on a background difference, which is a known technique, is used for the abnormality detection means. This is because this technique is a technique for easily detecting a moving object, and the present embodiment can be realized even by using other detection methods.
[0097]
FIG. 9 is substantially the same as FIGS. 1 and 5 described above, and FIG. 9 shows that the cameras 5-1 to 5-8 as shown in FIG. The allocation for changing the attitude control and the zoom control for each area when they are arranged is shown. The division of the area is a line segment connecting the straight lines of the cameras.
[0098]
In FIG. 5, switching of the master camera when the photographing target 5-20 continuously moves to the position of the area a → b → c → d → e assuming that the photographing object 5-20 approaches from the left will be described below.
[0099]
First, when the imaging target 5-20 enters the area a where abnormality can be detected in the cameras 5-1 and 5-2 in FIG. 5, this is regarded as abnormal and the camera 5-1 or the camera 5-5 is first determined by the background subtraction method. Detects abnormality. When the imaging target 5-20 is detected as abnormal, the attitude is controlled so as to face the imaging target 5-20, and the position of the imaging target 5-20 is measured.
[0100]
Then, via the network 5-17, the camera 5-1 or the camera 5-5 that has detected the abnormality notifies the camera operation terminal 5-18 of the fact and the abnormality information including the position information of the imaging target 5-20. The camera operation terminal that has received the abnormality information notifies the position information of the imaging target 5-20 received from the camera (here, the camera 5-1) that first transmitted the abnormality information and the fact that the abnormality has already been detected in the system. To the camera.
[0101]
If the cameras 5-1 and 5-5 detect the photographing target 5-20 at the same time and both cameras transmit the detection information, the camera operation terminal 5-18 receives the abnormality information 5-1 first. In this case, the abnormality information of 5-18 is ignored.
[0102]
When the camera control devices 5-1 to 5-8 receive the position information of the imaging target 5-20, the cameras 5-1 and 5-5 have the telescopic angle of view, and the cameras 5-2 and 5-6 have the wide angle of view. Shoot the shooting target with. In this case, for example, when the imaging target 5-20 is in the area a in FIG. 5, the camera 5-6 becomes the master camera, but is switched to the camera 5-2 according to the position of the imaging target 5-20. Other cameras are determined to be unsuitable for shooting because the distance to the shooting target is long, and continue shooting in the set shooting range.
[0103]
While the imaging target 5-20 is in the abnormality detection area a, the position of the imaging target 5-20 is transmitted from the master camera 5-6 as needed, so that the cameras 5-1, 5-2, 5-5, 5-5 In the step -6, the direction is controlled to the received position, and the tracking of the shooting target is continued.
[0104]
Next, when the photographing target 5-20 reaches the abnormality detection area b, the cameras 5-1, 5-2, 5-5, and 5-6 photograph at the tele angle of view, and the cameras 5-3 and 5-7 are wide. An image is taken at the angle of view, and an image is taken of the set shooting range only for the other cameras 5-4 and 5-8. In this case, for example, when the photographing target 5-20 is in the area b in FIG. 5, the camera 5-7 becomes the master camera, but is switched to the camera 5-3 depending on the position of the photographing target 5-20.
[0105]
While the imaging target is in the abnormality detection area b, the position of the imaging target 5-20 is transmitted from the master camera 5-7 as needed, so that the cameras 5-1 to 5-3 and 5-5 to 5-7 receive the position. The direction is controlled at the set position, and the tracking of the shooting target is continued.
[0106]
Hereinafter, the same control is performed when the imaging target 5-20 moves to the abnormality detection areas c, d, and e.
[0107]
Next, control processing of the camera control system of the present embodiment will be described. The processing by the camera operation software operating on the camera operation terminal is basically the same as in the first embodiment, and only the differences will be described with reference to FIG. In the present embodiment, information indicating that an abnormality has been detected is received as information together with the position information in step S708.
[0108]
Then, in step S709, it is checked whether an abnormality has already been detected. If it is detected for the first time, a control command is created in step S704. Although the position information can be obtained intermittently from each master camera, the position information 3-6 of the GUI shown in FIG. 3 is updated each time information is input from any one of the cameras.
[0109]
Next, processing by camera control software operating on each camera control device will be described. FIG. 10 is basically the same as FIG. 8 described in the first embodiment, and therefore only different points will be described.
[0110]
The operation is different when the abnormality is detected in steps S1011 to S1015, and other steps S1010 to S1030 are the same as steps S820 to S836 shown in FIG.
[0111]
All the cameras on the system perform abnormality detection in step S1011 and if no abnormality is detected, receive a message in step S1016. If an abnormality is detected, a message is received in step S1016 if another camera in the system has already detected an abnormality in step S1012. If the abnormality is detected for the first time in the entire system, the imaging target determined to be abnormal in step S1013 is imaged, and the position of the imaging target is measured in step S1014. Then, in step S1015, the position information of the photographing target and the effect of the abnormality detection are transmitted to the camera control terminal.
[0112]
According to the present embodiment described above, abnormality detection can be performed in all cameras in the system, and tracking of an abnormal imaging target can be performed without human intervention.
[0113]
It should be noted that each of the units and structures shown in the above embodiments is merely an example of a specific book for carrying out the present invention, and thus the technical scope of the present invention is limited. Should not be interpreted as That is, the present invention can be embodied in various forms without departing from its spirit or its main features.
[0114]
【The invention's effect】
According to the surveillance system of the first aspect of the present invention, it is possible to construct a surveillance system capable of flexibly monitoring without waste in camera control.
[0115]
According to the monitoring system of the second aspect of the present invention, it is possible to construct a highly convenient monitoring system capable of monitoring without waste in camera control and without manual intervention for abnormality detection.
[0116]
Here, when there is a request from the outside, the camera is selected so that the photographing target is photographed in a plurality of sizes according to the position of the photographing target, and the photographing direction and the zoom magnification are adjusted. From the multiple images in which the shooting target is largely shown on the shooting screen, it is useful to identify the criminal in a certain case, etc. For example, there is an excellent effect that both the identification of the shooting target and the grasp of the surrounding situation can be performed with a single control.
[0117]
In addition, a camera suitable for calculating the position of the shooting target is always selected by automatically switching the camera for extracting the shooting target position information from one camera to another camera according to the position of the shooting target. It has an excellent effect that it becomes possible and helps tracking.
[0118]
As described above, according to the present invention, when photographing a single photographing target, a plurality of cameras optimal for photographing are selected, and control is performed so as to photograph at a plurality of angles and a plurality of magnifications. Can provide a surveillance system that can be tracked
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of a monitoring system according to a first embodiment.
FIG. 2 is a diagram illustrating configurations of a camera, a camera control device, and a camera operation terminal.
FIG. 3 is a diagram illustrating an example of a GUI (Graphical User Interface) constituting a user interface of the camera operation terminal.
FIGS. 4A and 4B are diagrams for explaining the principle of position measurement of a photographing target and calculation of a camera control target value (a, b).
FIG. 5 is a diagram illustrating a configuration of a monitoring system according to the first embodiment.
FIG. 6 is a diagram illustrating a relationship between a position of an imaging target and a zoom magnification of a camera in the first embodiment.
FIG. 7 is a flowchart illustrating processing by camera operation software according to the first embodiment.
FIG. 8 is a flowchart illustrating processing by camera control software according to the first embodiment.
FIG. 9 is a diagram illustrating an existing area of an imaging target in a second embodiment.
FIG. 10 is a flowchart illustrating processing by camera control software according to the second embodiment.
[Explanation of symbols]
1-1 to 1-8 Camera
1-9 to 1-16 Camera Control Device
1-17 Network
1-18 Camera operation terminal
1-19 Operator
1-20 Shooting target
2-1 Camera
2-2 Shooting system
2-3 Optical parameter control device
2-4 Attitude control device
2-6 Camera control device
2-7 CPU
2-8 RAM
2-9 ROM
2-10 Secondary storage device
2-11 I / O
2-12 Video capture board
2-13 Monitor
2-14 Keyboard
2-15 Pointing device such as mouse
2-16 Bus
2-17 Communication unit
2-18 Network
2-19 Camera control device
2-20 CPU
2-21 ROM
2-22 RAM
2-23 Secondary storage device
2-24 Video RAM
2-25 Monitor
2-26 Keyboard
2-27 Pointing device such as mouse
2-28 Bus
2-29 Communication unit