patents.google.com

JP2018195254A - Display control program, display control device, and display control method - Google Patents

️Thu Dec 06 2018

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。 Each embodiment will be described below with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, the duplicate description is abbreviate | omitted by attaching | subjecting the same code | symbol.

［第１の実施形態］
＜ＡＲコンテンツ表示システム＞
はじめに、表示情報の一例であるＡＲコンテンツを表示する携帯端末と、該携帯端末にＡＲコンテンツを提供するサーバ装置とを含むＡＲコンテンツ表示システムについて説明する。図１は、ＡＲコンテンツ表示システムの全体構成の一例を示す図である。 [First Embodiment]
<AR content display system>
First, an AR content display system including a mobile terminal that displays AR content, which is an example of display information, and a server device that provides AR content to the mobile terminal will be described. FIG. 1 is a diagram illustrating an example of the overall configuration of an AR content display system.

図１に示すように、ＡＲコンテンツ表示システム１００は、携帯端末１１０とサーバ装置１２０とを有し、携帯端末１１０とサーバ装置１２０とは、ネットワーク１３０を介して接続されている。 As illustrated in FIG. 1, the AR content display system 100 includes a mobile terminal 110 and a server device 120, and the mobile terminal 110 and the server device 120 are connected via a network 130.

携帯端末１１０は、表示制御装置の一例である。第１の実施形態において携帯端末１１０には、表示制御プログラムがインストールされている。携帯端末１１０は、当該表示制御プログラムを実行することで、例えば、携帯端末１１０の撮像部の位置及び向きを特定する。そして、携帯端末１１０は、撮像部の位置及び向きに応じて特定されるエリア内の位置情報に対応付けてサーバ装置１２０に記憶されたＡＲコンテンツを、サーバ装置１２０に対して要求する。 The portable terminal 110 is an example of a display control device. In the first embodiment, a display control program is installed in the mobile terminal 110. For example, the portable terminal 110 specifies the position and orientation of the imaging unit of the portable terminal 110 by executing the display control program. Then, the mobile terminal 110 requests the server device 120 for AR content stored in the server device 120 in association with position information in the area specified according to the position and orientation of the imaging unit.

また、携帯端末１１０は、表示制御プログラムを実行することで、サーバ装置１２０より送信されたＡＲコンテンツを記憶する。そして、携帯端末１１０は、撮像部により撮像された現実世界の撮像画像上の対応する表示位置にＡＲコンテンツを配置した画像を生成し、表示画面に表示する。 In addition, the mobile terminal 110 stores the AR content transmitted from the server device 120 by executing the display control program. And the portable terminal 110 produces | generates the image which has arrange | positioned AR content in the corresponding display position on the captured image of the real world imaged by the imaging part, and displays it on a display screen.

サーバ装置１２０は、携帯端末１１０からの要求に応じて携帯端末１１０に対してＡＲコンテンツを送信する装置である。サーバ装置１２０には、コンテンツ提供プログラムがインストールされており、当該プログラムが実行されることで、サーバ装置１２０はコンテンツ提供部１２１として機能する。 The server device 120 is a device that transmits AR content to the mobile terminal 110 in response to a request from the mobile terminal 110. A content providing program is installed in the server device 120, and the server device 120 functions as the content providing unit 121 by executing the program.

コンテンツ提供部１２１は、ネットワーク１３０を介して携帯端末１１０よりＡＲコンテンツ要求を受信する。ＡＲコンテンツ要求には、携帯端末１１０の撮像部の位置及び向きに応じて特定されるエリアに関する情報が含まれている。コンテンツ提供部１２１は、ＡＲコンテンツ要求に含まれるエリアに関する情報に基づいて、ＡＲコンテンツ情報ＤＢ１２２を参照する。これにより、コンテンツ提供部１２１は、各位置情報（緯度、経度、高度等の世界座標系での位置情報）に対応付けて記憶された複数のＡＲコンテンツの中から、エリア内の位置情報に対応付けて記憶されたＡＲコンテンツを取得する。そして、コンテンツ提供部１２１は、取得したＡＲコンテンツと、該ＡＲコンテンツに対応付けて記憶された位置情報とを、ＡＲコンテンツ要求の要求元である携帯端末１１０に送信する。 The content providing unit 121 receives an AR content request from the mobile terminal 110 via the network 130. The AR content request includes information regarding an area specified according to the position and orientation of the imaging unit of the mobile terminal 110. The content providing unit 121 refers to the AR content information DB 122 based on the information regarding the area included in the AR content request. As a result, the content providing unit 121 corresponds to position information in the area from among a plurality of AR contents stored in association with each piece of position information (position information in the world coordinate system such as latitude, longitude, and altitude). The AR content stored with it is acquired. Then, the content providing unit 121 transmits the acquired AR content and the location information stored in association with the AR content to the mobile terminal 110 that is the request source of the AR content request.

＜ＡＲコンテンツの表示例＞
次に、撮像された撮像画像上の対応する表示位置にＡＲコンテンツが配置された画像を表示した、携帯端末１１０の表示画面の表示例について説明する。図２は、携帯端末により撮像された撮像画像及びＡＲコンテンツの表示例を示す第１の図である。 <Example of AR content display>
Next, a display example of the display screen of the mobile terminal 110 that displays an image in which the AR content is arranged at a corresponding display position on the captured image will be described. FIG. 2 is a first diagram illustrating a display example of captured images and AR content captured by the mobile terminal.

図２に示すように、携帯端末１１０の表示画面２１０に表示される画像２２０には、撮像された現実世界２００の撮像画像（例えば、被写体２４０が含まれる撮像画像）が含まれる。また、画像２２０には、ＡＲコンテンツ２３０が含まれる。なお、ＡＲコンテンツ２３０は、ＡＲコンテンツ２３０に対応付けられた位置情報（緯度、経度、高度）に対応する、撮像画像上の表示位置に配置される。 As illustrated in FIG. 2, the image 220 displayed on the display screen 210 of the mobile terminal 110 includes a captured image of the real world 200 (for example, a captured image including the subject 240). The image 220 includes AR content 230. The AR content 230 is arranged at a display position on the captured image corresponding to position information (latitude, longitude, altitude) associated with the AR content 230.

＜携帯端末のハードウェア構成＞
次に、携帯端末１１０のハードウェア構成について説明する。図３は、携帯端末のハードウェア構成の一例を示す図である。 <Hardware configuration of mobile terminal>
Next, the hardware configuration of the mobile terminal 110 will be described. FIG. 3 is a diagram illustrating an example of a hardware configuration of the mobile terminal.

図３に示すように、携帯端末１１０は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３を有する。ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３は、いわゆるコンピュータを形成する。また、携帯端末１１０は、補助記憶部３０４、通信部３０５、操作部３０６、撮像部３０７、表示部３０８、ＧＰＳ部３０９、センサ部３１０、測距部３１１を有する。なお、携帯端末１１０の各部は、バス３２０を介して相互に接続されている。 As illustrated in FIG. 3, the mobile terminal 110 includes a central processing unit (CPU) 301, a read only memory (ROM) 302, and a random access memory (RAM) 303. The CPU 301, the ROM 302, and the RAM 303 form a so-called computer. The mobile terminal 110 includes an auxiliary storage unit 304, a communication unit 305, an operation unit 306, an imaging unit 307, a display unit 308, a GPS unit 309, a sensor unit 310, and a distance measurement unit 311. Note that the units of the mobile terminal 110 are connected to each other via the bus 320.

ＣＰＵ３０１は、補助記憶部３０４にインストールされた各種プログラム（例えば、表示制御プログラム）を実行する。 The CPU 301 executes various programs (for example, a display control program) installed in the auxiliary storage unit 304.

ＲＯＭ３０２は、不揮発性メモリである。ＲＯＭ３０２は、補助記憶部３０４にインストールされた各種プログラムをＣＰＵ３０１が実行するために必要な各種プログラム、データ等を記憶する、主記憶デバイスとして機能する。具体的には、ＲＯＭ３０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を記憶する。 The ROM 302 is a nonvolatile memory. The ROM 302 functions as a main storage device that stores various programs, data, and the like necessary for the CPU 301 to execute various programs installed in the auxiliary storage unit 304. Specifically, the ROM 302 stores a boot program such as BIOS (Basic Input / Output System) and EFI (Extensible Firmware Interface).

ＲＡＭ３０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ３０３は、補助記憶部３０４にインストールされた各種プログラムがＣＰＵ３０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。 The RAM 303 is a volatile memory such as DRAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory). The RAM 303 functions as a main storage device that provides a work area that is expanded when various programs installed in the auxiliary storage unit 304 are executed by the CPU 301.

補助記憶部３０４は、携帯端末１１０にインストールされた各種プログラムや、各種プログラムを実行する際に用いるデータ等を記憶する補助記憶デバイスである。後述するＡＲコンテンツ管理データベース（以下、ＤＢと略す）は、補助記憶部３０４において実現される。 The auxiliary storage unit 304 is an auxiliary storage device that stores various programs installed in the mobile terminal 110, data used when executing the various programs, and the like. An AR content management database (hereinafter abbreviated as DB), which will be described later, is realized in the auxiliary storage unit 304.

通信部３０５は、携帯端末１１０がネットワーク１３０を介してサーバ装置１２０と通信するための通信デバイスである。操作部３０６は、ユーザが携帯端末１１０に対して各種指示を入力するための操作デバイスである。 The communication unit 305 is a communication device for the mobile terminal 110 to communicate with the server device 120 via the network 130. The operation unit 306 is an operation device for the user to input various instructions to the mobile terminal 110.

撮像部３０７は、現実世界を撮像し撮像画像を生成する撮像デバイスである。表示部３０８は、図２で示した表示画面２１０を含み、画像２２０等を表示する。 The imaging unit 307 is an imaging device that images the real world and generates a captured image. The display unit 308 includes the display screen 210 shown in FIG. 2 and displays the image 220 and the like.

ＧＰＳ部３０９は、ＧＰＳ（Global Positioning System）と通信することで、携帯端末１１０の撮像部３０７の位置（緯度、経度、高度）を検出する。 The GPS unit 309 detects the position (latitude, longitude, altitude) of the imaging unit 307 of the mobile terminal 110 by communicating with GPS (Global Positioning System).

センサ部３１０は、地磁気を検知する地磁気センサと、加速度を検知する加速度センサとを含む。センサ部３１０は、地磁気センサ及び加速度センサの検知結果に基づいて、携帯端末１１０の撮像部３０７の向きを検出する。 The sensor unit 310 includes a geomagnetic sensor that detects geomagnetism and an acceleration sensor that detects acceleration. The sensor unit 310 detects the orientation of the imaging unit 307 of the mobile terminal 110 based on the detection results of the geomagnetic sensor and the acceleration sensor.

測距部３１１は、超音波、赤外線、レーザ等のいずれかの方法により、各被写体までの距離を測定する。あるいは、測距部３１１は、測距可能な単眼カメラであってもよい。測距可能な単眼カメラとは、例えば、レンズ開口部に所定のカラー開口フィルタを取り付け、各被写体までの距離に応じたボケと色ずれを画像解析することで、各被写体までの距離を示す距離情報を画素ごとに算出するカメラである。 The distance measuring unit 311 measures the distance to each subject by any method such as ultrasonic waves, infrared rays, and lasers. Alternatively, the distance measurement unit 311 may be a monocular camera capable of distance measurement. A monocular camera capable of ranging is, for example, a distance indicating the distance to each subject by attaching a predetermined color aperture filter to the lens aperture and analyzing the image of blur and color shift according to the distance to each subject. It is a camera that calculates information for each pixel.

＜表示制御部の機能構成＞
次に、表示制御プログラムが実行されることで携帯端末１１０にて実現される表示制御部の機能構成について説明する。図４は、表示制御部の機能構成の一例を示す図である。図４に示すように、表示制御部４００は、第１の取得部の一例である撮像画像取得部４０１と、特定部の一例である位置取得部４０２及び向き取得部４０３とを有する。また、表示制御部４００は、第２の取得部の一例であるＡＲコンテンツ取得部４０４と、第３の取得部の一例である被写体距離取得部４０５と、判定部の一例であるＡＲコンテンツ編集部４０６と、制御部の一例である画像表示部４０７とを有する。 <Functional configuration of display control unit>
Next, a functional configuration of the display control unit realized by the mobile terminal 110 by executing the display control program will be described. FIG. 4 is a diagram illustrating an example of a functional configuration of the display control unit. As illustrated in FIG. 4, the display control unit 400 includes a captured image acquisition unit 401 that is an example of a first acquisition unit, and a position acquisition unit 402 and a direction acquisition unit 403 that are examples of a specifying unit. The display control unit 400 includes an AR content acquisition unit 404 that is an example of a second acquisition unit, a subject distance acquisition unit 405 that is an example of a third acquisition unit, and an AR content editing unit that is an example of a determination unit. 406 and an image display unit 407 which is an example of a control unit.

撮像画像取得部４０１は、撮像部３０７が現実世界を撮像することで生成した撮像画像を取得し、画像表示部４０７に通知する。 The captured image acquisition unit 401 acquires a captured image generated by the imaging unit 307 capturing an image of the real world and notifies the image display unit 407 of the captured image.

位置取得部４０２は、ＧＰＳ部３０９にて検出されたに基づき、携帯端末１１０の撮像部３０７の位置（緯度、経度、高度）を特定し、ＡＲコンテンツ取得部４０４に位置情報を通知する。 The position acquisition unit 402 specifies the position (latitude, longitude, altitude) of the imaging unit 307 of the mobile terminal 110 based on the detection by the GPS unit 309 and notifies the AR content acquisition unit 404 of the position information.

向き取得部４０３は、センサ部３１０にて検出された向きに基づき、携帯端末１１０の撮像部３０７の向きを特定し、ＡＲコンテンツ取得部４０４に向き情報を通知する。 The orientation acquisition unit 403 identifies the orientation of the imaging unit 307 of the mobile terminal 110 based on the orientation detected by the sensor unit 310 and notifies the AR content acquisition unit 404 of the orientation information.

ＡＲコンテンツ取得部４０４は、位置取得部４０２及び向き取得部４０３よりそれぞれ通知された、撮像部３０７の位置情報及び向き情報に応じたエリアを特定する。また、ＡＲコンテンツ取得部４０４は、特定したエリアに関する情報を含むＡＲコンテンツ要求を、サーバ装置１２０に送信する。また、ＡＲコンテンツ取得部４０４は、ＡＲコンテンツ要求を送信したことに応じてサーバ装置１２０より受信した、ＡＲコンテンツとＡＲコンテンツに対応付けられた位置情報とを取得する。更に、ＡＲコンテンツ取得部４０４は、取得したＡＲコンテンツとＡＲコンテンツに対応付けられた位置情報とを、ＡＲコンテンツ管理ＤＢ４１１に記憶する。 The AR content acquisition unit 404 identifies areas corresponding to the position information and orientation information of the imaging unit 307 notified from the position acquisition unit 402 and the orientation acquisition unit 403, respectively. Further, the AR content acquisition unit 404 transmits an AR content request including information regarding the identified area to the server device 120. The AR content acquisition unit 404 acquires the AR content and the position information associated with the AR content received from the server device 120 in response to the transmission of the AR content request. Furthermore, the AR content acquisition unit 404 stores the acquired AR content and position information associated with the AR content in the AR content management DB 411.

また、ＡＲコンテンツ取得部４０４は、特定したエリアに関する情報を被写体距離取得部４０５に通知するとともに、ＡＲコンテンツ管理ＤＢ４１１を参照し、特定したエリア内の位置情報に対応付けて記憶されたＡＲコンテンツを選択する。また、ＡＲコンテンツ取得部４０４は、選択したＡＲコンテンツと該ＡＲコンテンツに対応付けて記憶された位置情報とを、ＡＲコンテンツ管理ＤＢ４１１から読み出し、ＡＲコンテンツ編集部４０６に通知する。 Further, the AR content acquisition unit 404 notifies the subject distance acquisition unit 405 of information related to the specified area, and refers to the AR content management DB 411 to store the AR content stored in association with the position information in the specified area. select. Further, the AR content acquisition unit 404 reads out the selected AR content and the location information stored in association with the AR content from the AR content management DB 411 and notifies the AR content editing unit 406 of it.

被写体距離取得部４０５は、エリアに含まれる各被写体までの距離を示す距離情報を、測距部３１１より取得する。また、被写体距離取得部４０５は、取得した各被写体までの距離情報を、ＡＲコンテンツ編集部４０６に通知する。 The subject distance acquisition unit 405 acquires distance information indicating the distance to each subject included in the area from the distance measurement unit 311. Also, the subject distance acquisition unit 405 notifies the AR content editing unit 406 of the acquired distance information to each subject.

ＡＲコンテンツ編集部４０６は、ＡＲコンテンツに対応付けて記憶された位置情報に基づいて、携帯端末１１０の撮像部３０７からＡＲコンテンツまでの距離を算出する。また、ＡＲコンテンツ編集部４０６は、算出したＡＲコンテンツまでの距離情報と、被写体距離取得部４０５より通知された各被写体までの距離情報とを対比し、両者の位置関係を判定する。 The AR content editing unit 406 calculates the distance from the imaging unit 307 of the mobile terminal 110 to the AR content based on the position information stored in association with the AR content. In addition, the AR content editing unit 406 compares the calculated distance information to the AR content and the distance information to each subject notified from the subject distance acquisition unit 405, and determines the positional relationship between them.

更に、ＡＲコンテンツ編集部４０６は、対比の結果、撮像部３０７から見てＡＲコンテンツより手前側に位置する被写体の有無を判定し、ＡＲコンテンツを表示画面に表示するか否かを判定する。ＡＲコンテンツ編集部４０６は、手前側に位置する被写体があると判定した場合には、ＡＲコンテンツの全部または一部を表示画面２１０に表示しないと判定する。この場合、ＡＲコンテンツ編集部４０６は、当該被写体に基づいてＡＲコンテンツを編集し、編集済みのＡＲコンテンツを画像表示部４０７に通知する。 Further, as a result of the comparison, the AR content editing unit 406 determines whether or not there is a subject positioned in front of the AR content as viewed from the imaging unit 307, and determines whether or not to display the AR content on the display screen. If the AR content editing unit 406 determines that there is a subject located on the near side, the AR content editing unit 406 determines that all or part of the AR content is not displayed on the display screen 210. In this case, the AR content editing unit 406 edits the AR content based on the subject, and notifies the image display unit 407 of the edited AR content.

具体的には、ＡＲコンテンツ編集部４０６は、当該被写体がＡＲコンテンツの手前側に位置することで、当該被写体に隠れる（当該被写体の背後に重なる）領域を特定し、特定した領域を削除する編集を行ったうえで、編集済みのＡＲコンテンツを画像表示部４０７に通知する。 Specifically, the AR content editing unit 406 identifies an area that is hidden by the subject (overlaps behind the subject) when the subject is positioned on the near side of the AR content, and deletes the identified region. In addition, the edited AR content is notified to the image display unit 407.

画像表示部４０７は、撮像画像取得部４０１より通知された撮像画像と、ＡＲコンテンツ編集部４０６より通知された編集済みのＡＲコンテンツとに基づいて、表示部３０８の表示画面２１０に表示される画像を生成する。画像表示部４０７は、生成した画像を表示部３０８に送信する。 The image display unit 407 is an image displayed on the display screen 210 of the display unit 308 based on the captured image notified from the captured image acquisition unit 401 and the edited AR content notified from the AR content editing unit 406. Is generated. The image display unit 407 transmits the generated image to the display unit 308.

＜ＡＲコンテンツ管理情報＞
次に、ＡＲコンテンツ管理ＤＢ４１１に記憶されるＡＲコンテンツ管理情報について説明する。図５は、ＡＲコンテンツ管理情報の一例を示す図である。図５に示すように、ＡＲコンテンツ管理情報５００には、情報の項目として、“番号”、“位置情報”、“コンテンツＩＤ”、“ＡＲコンテンツ”が含まれる。 <AR content management information>
Next, AR content management information stored in the AR content management DB 411 will be described. FIG. 5 is a diagram illustrating an example of the AR content management information. As shown in FIG. 5, the AR content management information 500 includes “number”, “location information”, “content ID”, and “AR content” as information items.

“番号”には、ＡＲコンテンツ管理ＤＢ４１１に各ＡＲコンテンツが記憶される際に付された通し番号が記憶される。“位置情報”には、ＡＲコンテンツ取得部４０４が取得した、ＡＲコンテンツに対応付けられた位置情報（緯度、経度、高度）が記憶される。 The “number” stores a serial number assigned when each AR content is stored in the AR content management DB 411. In “position information”, position information (latitude, longitude, altitude) acquired by the AR content acquisition unit 404 and associated with the AR content is stored.

“コンテンツＩＤ”には、ＡＲコンテンツを識別するための識別子が記憶される。“ＡＲコンテンツ”には、ＡＲコンテンツ取得部４０４が取得した、ＡＲコンテンツの本体データ及び属性データ（データサイズ等）が記憶される。 “Content ID” stores an identifier for identifying the AR content. The “AR content” stores main data and attribute data (data size, etc.) of the AR content acquired by the AR content acquisition unit 404.

＜ＡＲコンテンツと被写体との位置関係及び位置関係に基づくＡＲコンテンツの編集方法＞
次に、携帯端末１１０の撮像部３０７から見た場合のＡＲコンテンツと被写体との位置関係及び位置関係に基づくＡＲコンテンツの編集方法について説明する。 <Position relationship between AR content and subject and editing method of AR content based on positional relationship>
Next, an AR content editing method based on the positional relationship between the AR content and the subject when viewed from the imaging unit 307 of the mobile terminal 110 and the positional relationship will be described.

図６は、ＡＲコンテンツと被写体との位置関係及び位置関係に基づくＡＲコンテンツの編集方法を示す図である。図６（ａ）に示すように、携帯端末１１０の撮像部３０７から見たＡＲコンテンツ２３０までの距離を示す距離情報は、ＡＲコンテンツ２３０に対応付けられた位置情報（緯度、経度、高度）と、携帯端末１１０の撮像部３０７の位置情報（緯度、経度、高度）とに基づいて算出される。 FIG. 6 is a diagram illustrating a positional relationship between the AR content and the subject and an AR content editing method based on the positional relationship. As shown in FIG. 6A, the distance information indicating the distance to the AR content 230 viewed from the imaging unit 307 of the mobile terminal 110 includes position information (latitude, longitude, altitude) associated with the AR content 230. , Based on the position information (latitude, longitude, altitude) of the imaging unit 307 of the mobile terminal 110.

具体的には、ＡＲコンテンツ２３０に対応付けられた位置情報として、ＡＲコンテンツ取得部４０４が、緯度＝“ａ”、経度＝“ｂ”、高度＝“ｃ”を取得したとする。また、携帯端末１１０の撮像部３０７の位置を示す位置情報として、位置取得部４０２が、緯度＝“Ａ”、経度＝“Ｂ”、高度＝“Ｃ”を取得したとする。この場合、携帯端末１１０の撮像部３０７とＡＲコンテンツ２３０との間の球面上の距離を示す距離情報ｘは、半径１の球面では、余弦定理を適用することで、下式で表すことができる。 Specifically, it is assumed that the AR content acquisition unit 404 acquires latitude = “a”, longitude = “b”, and altitude = “c” as position information associated with the AR content 230. Further, it is assumed that the position acquisition unit 402 acquires latitude = “A”, longitude = “B”, and altitude = “C” as position information indicating the position of the imaging unit 307 of the mobile terminal 110. In this case, the distance information x indicating the distance on the spherical surface between the imaging unit 307 of the mobile terminal 110 and the AR content 230 can be expressed by the following equation by applying the cosine theorem on a spherical surface with a radius of 1. .

地球の半径をＲとし、距離情報ｘをラジアン変換すると、携帯端末１１０の撮像部３０７とＡＲコンテンツ２３０との間の球面上の距離を示す距離情報Ｌは、下式で表すことができる。 When the radius of the earth is R and the distance information x is converted by radians, the distance information L indicating the distance on the spherical surface between the imaging unit 307 of the mobile terminal 110 and the AR content 230 can be expressed by the following equation.

したがって、携帯端末１１０の撮像部３０７から見たＡＲコンテンツ２３０までの距離を示す距離情報Ｌ_ａｒは、下式となる。 Therefore, the distance information L _ar indicating the distance from the imaging unit 307 of the mobile terminal 110 to the AR content 230 is expressed by the following equation.

一方、ＡＲコンテンツ編集部４０６は、携帯端末１１０の撮像部３０７から被写体２４０までの距離情報Ｌ_ｓｕｂを、被写体距離取得部４０５より通知を受けることで取得する。 On the other hand, the AR content editing unit 406 acquires the distance information L _sub from the imaging unit 307 of the mobile terminal 110 to the subject 240 by receiving a notification from the subject distance acquisition unit 405.

これにより、ＡＲコンテンツ編集部４０６は、距離情報Ｌ_ａｒと距離情報Ｌ_ｓｕｂとを対比することができる。この結果、ＡＲコンテンツ編集部４０６は、携帯端末１１０の撮像部３０７から見て、被写体２４０の方が手前に位置するのか、ＡＲコンテンツ２３０の方が手前側に位置するのかの位置関係を判定することができる。具体的には、Ｌ_ａｒ＞Ｌ_ｓｕｂの場合、ＡＲコンテンツ編集部４０６は、被写体２４０の方が手前側に位置すると判定し、Ｌ_ａｒ≦Ｌ_ｓｕｂの場合、ＡＲコンテンツ編集部４０６は、ＡＲコンテンツ２３０の方が手前側に位置すると判定する。 Thereby, the AR content editing unit 406 can compare the distance information L _ar with the distance information L _sub . As a result, the AR content editing unit 406 determines the positional relationship as to whether the subject 240 is positioned in front or the AR content 230 is positioned in front as viewed from the imaging unit 307 of the mobile terminal 110. be able to. Specifically, when L _ar > L _sub , the AR content editing unit 406 determines that the subject 240 is positioned on the near side, and when L _ar ≦ L _sub , the AR content editing unit 406 determines that the AR content It is determined that 230 is located on the near side.

ＡＲコンテンツと被写体との位置関係を判定すると、ＡＲコンテンツ編集部４０６は、ＡＲコンテンツを編集する。図６（ｂ）は編集方法を簡易化して示した例である。図６（ｂ）の上段に示すように、被写体距離取得部４０５は、エリアに基づく被写体距離取得範囲６１０において、被写体２４０、６１１までの距離情報（Ｌ_ｓｕｂ１、Ｌ_ｓｕｂ２等）を撮像画像６３０の各画素の位置と対応付けて取得しているものとする。被写体６１１は、ここでは、背景の道路である。なお、被写体２４０、６１１までの距離情報は、被写体距離取得範囲６１０内を超音波、赤外線、レーザ等のいずれかの方法により測定することで取得してもよいし、測距可能な単眼カメラで測定してもよい。測距可能な単眼カメラを用いる場合、撮像画像６３０に含まれる各画素に対して、該画素に対応する被写体までの距離情報を容易に対応付けることができる。 When determining the positional relationship between the AR content and the subject, the AR content editing unit 406 edits the AR content. FIG. 6B shows an example in which the editing method is simplified. As shown in the upper part of FIG. 6B, the subject distance acquisition unit 405 obtains distance information (L _sub1 , L _sub2, etc.) to the subjects 240 and 611 in the captured image 630 in the subject distance acquisition range 610 based on the area. It is assumed that it is acquired in association with the position of each pixel. The subject 611 is a background road here. The distance information to the subjects 240 and 611 may be acquired by measuring the subject distance acquisition range 610 by any method such as ultrasonic, infrared, and laser, or may be a monocular camera capable of distance measurement. You may measure. When a monocular camera capable of ranging is used, distance information to a subject corresponding to the pixel can be easily associated with each pixel included in the captured image 630.

また、図６（ｂ）の中段に示すように、ＡＲコンテンツ編集部４０６は、携帯端末１１０の撮像部３０７からの距離を示す距離情報がＬ_ａｒのＡＲコンテンツ２３０（Ｌ_ｓｕｂ１＞Ｌ_ａｒ＞Ｌ_ｓｕｂ２）を、被写体距離取得範囲６１０の対応する位置に配置する。これにより、ＡＲコンテンツ編集部４０６は、ＡＲコンテンツ２３０に対応付けられた位置情報に応じた表示位置にある被写体２４０までの距離情報（ＡＲコンテンツの表示位置に対応する画素に対応付けられた距離情報）を取得することができる。この結果、ＡＲコンテンツ編集部４０６は、ＡＲコンテンツ２３０のうち、被写体２４０に隠れる領域を特定することができる。 6B, the AR content editing unit 406 has an AR content 230 (L _sub1 > L _ar > L) whose distance information indicating the distance from the imaging unit 307 of the mobile terminal 110 is L _ar. _sub2 ) are arranged at corresponding positions in the subject distance acquisition range 610. As a result, the AR content editing unit 406 displays the distance information to the subject 240 at the display position corresponding to the position information associated with the AR content 230 (distance information associated with the pixel corresponding to the display position of the AR content). ) Can be obtained. As a result, the AR content editing unit 406 can identify an area hidden in the subject 240 in the AR content 230.

更に、図６（ｂ）の下段に示すように、ＡＲコンテンツ編集部４０６は、特定した領域を削除する編集を行うことで、編集済みのＡＲコンテンツ２３０’を生成する。そして、画像表示部４０７は、撮像画像６３０上の対応する位置に、編集済みのＡＲコンテンツ２３０’を配置することで、画像６４０を生成する。 Furthermore, as shown in the lower part of FIG. 6B, the AR content editing unit 406 generates an edited AR content 230 'by performing editing to delete the specified area. Then, the image display unit 407 generates the image 640 by arranging the edited AR content 230 ′ at a corresponding position on the captured image 630.

このようにして、画像表示部４０７では、ＡＲコンテンツと被写体との位置関係に基づいて編集されたＡＲコンテンツを含む画像を生成することができる。 In this way, the image display unit 407 can generate an image including the AR content edited based on the positional relationship between the AR content and the subject.

＜表示制御処理の流れ＞
次に、表示制御部４００による表示制御処理の流れについて説明する。図７は、表示制御処理の第１のフローチャートである。表示制御部４００が起動することで、図７に示す表示制御処理が開始される。 <Flow of display control processing>
Next, the flow of display control processing by the display control unit 400 will be described. FIG. 7 is a first flowchart of the display control process. When the display control unit 400 is activated, the display control process shown in FIG. 7 is started.

ステップＳ７０１において、位置取得部４０２は、ＧＰＳ部３０９にて検出された、携帯端末１１０の撮像部３０７の位置（緯度、経度、高度）を特定する。また、向き取得部４０３は、センサ部３１０にて検出された、携帯端末１１０の撮像部３０７の向きを特定する。 In step S 701, the position acquisition unit 402 identifies the position (latitude, longitude, altitude) of the imaging unit 307 of the mobile terminal 110 detected by the GPS unit 309. In addition, the orientation acquisition unit 403 identifies the orientation of the imaging unit 307 of the mobile terminal 110 detected by the sensor unit 310.

ステップＳ７０２において、ＡＲコンテンツ取得部４０４は、携帯端末１１０の撮像部３０７の位置及び向きに応じたエリアを特定し、特定したエリアに関する情報を含むＡＲコンテンツ要求をサーバ装置１２０に送信する。また、ＡＲコンテンツ取得部４０４は、サーバ装置１２０から送信されたＡＲコンテンツとＡＲコンテンツに対応付けられた位置情報とを取得し、ＡＲコンテンツ管理ＤＢ４１１に記憶する。なお、サーバ装置１２０は、ＡＲコンテンツ要求を受信した際、携帯端末１１０に既に送信済みのＡＲコンテンツ以外のＡＲコンテンツとＡＲコンテンツに対応付けられた位置情報とを携帯端末１１０に送信するものとする。 In step S 702, the AR content acquisition unit 404 specifies an area corresponding to the position and orientation of the imaging unit 307 of the mobile terminal 110, and transmits an AR content request including information regarding the specified area to the server device 120. Further, the AR content acquisition unit 404 acquires the AR content transmitted from the server device 120 and the position information associated with the AR content, and stores them in the AR content management DB 411. Note that, when receiving the AR content request, the server device 120 transmits, to the mobile terminal 110, AR content other than the AR content that has already been transmitted to the mobile terminal 110 and location information associated with the AR content. .

ステップＳ７０３において、撮像画像取得部４０１は、撮像部３０７により撮像された撮像画像を取得する。 In step S 703, the captured image acquisition unit 401 acquires the captured image captured by the imaging unit 307.

ステップＳ７０４において、ＡＲコンテンツ取得部４０４は、特定したエリア内の位置情報に対応付けて記憶されたＡＲコンテンツを選択して、ＡＲコンテンツ管理ＤＢ４１１から読み出す。また、ＡＲコンテンツ取得部４０４は、読み出したＡＲコンテンツに対応付けて記憶された位置情報を、ＡＲコンテンツ管理ＤＢ４１１から読み出す。 In step S 704, the AR content acquisition unit 404 selects the AR content stored in association with the position information in the identified area, and reads it from the AR content management DB 411. In addition, the AR content acquisition unit 404 reads position information stored in association with the read AR content from the AR content management DB 411.

ステップＳ７０５において、ＡＲコンテンツ編集部４０６は、読み出されたＡＲコンテンツに対応付けられた位置情報に基づいて、携帯端末１１０の撮像部３０７から該ＡＲコンテンツまでの距離情報を算出する。 In step S705, the AR content editing unit 406 calculates distance information from the imaging unit 307 of the mobile terminal 110 to the AR content based on the position information associated with the read AR content.

ステップＳ７０６において、被写体距離取得部４０５は、特定されたエリアに基づく被写体距離取得範囲に含まれる各被写体までの距離情報を、測距部３１１より取得する。 In step S 706, the subject distance acquisition unit 405 acquires distance information to each subject included in the subject distance acquisition range based on the specified area from the distance measurement unit 311.

ステップＳ７０７において、ＡＲコンテンツ編集部４０６は、ＡＲコンテンツと被写体との位置関係（ＡＲコンテンツが被写体よりも手前側に位置するのか否か）を判定する。ステップＳ７０７において、ＡＲコンテンツが、被写体より手前側に位置すると判定した場合には（ステップＳ７０７においてＹｅｓの場合には）、ステップＳ７０８に進む。 In step S707, the AR content editing unit 406 determines the positional relationship between the AR content and the subject (whether the AR content is located on the near side of the subject). If it is determined in step S707 that the AR content is located in front of the subject (Yes in step S707), the process proceeds to step S708.

ステップＳ７０８において、画像表示部４０７は、ＡＲコンテンツが最前面となるように撮像画像上の対応する表示位置にＡＲコンテンツを配置することで画像を生成する。また、画像表示部４０７は、生成した画像を表示部３０８に表示する。 In step S708, the image display unit 407 generates an image by arranging the AR content at a corresponding display position on the captured image so that the AR content is in the foreground. The image display unit 407 displays the generated image on the display unit 308.

一方、ステップＳ７０７において、ＡＲコンテンツが、被写体よりも手前側に位置していないと判定した場合には（ステップＳ７０７においてＮｏの場合には）、ステップＳ７０９に進む。 On the other hand, if it is determined in step S707 that the AR content is not located on the front side of the subject (No in step S707), the process proceeds to step S709.

ステップＳ７０９において、ＡＲコンテンツ編集部４０６は、ＡＲコンテンツに対して、手前側に位置する被写体に隠れる領域を削除する編集を行う。また、画像表示部４０７は、編集済みのＡＲコンテンツを撮像画像上の対応する表示位置に配置することで画像を生成し、表示部３０８に表示する。 In step S 709, the AR content editing unit 406 performs editing to delete the area hidden by the subject located on the near side of the AR content. In addition, the image display unit 407 generates an image by arranging the edited AR content at a corresponding display position on the captured image, and displays the image on the display unit 308.

ステップＳ７１０において、表示制御部４００は、表示制御処理を終了するか否かを判定する。表示制御部４００の機能が継続して利用される場合には（ステップＳ７１０においてＮｏの場合には）、ステップＳ７０１に戻る。 In step S710, the display control unit 400 determines whether to end the display control process. When the function of the display control unit 400 is continuously used (No in step S710), the process returns to step S701.

一方、表示制御部４００の機能が停止された場合には（ステップＳ７１０においてＹｅｓの場合には）、表示制御処理を終了する。 On the other hand, when the function of the display control unit 400 is stopped (in the case of Yes in step S710), the display control process is terminated.

＜ＡＲコンテンツの表示例＞
次に、ＡＲコンテンツ編集部４０６において編集された編集済みのＡＲコンテンツ２３０’の表示例について説明する。図８は、携帯端末により撮像された撮像画像及びＡＲコンテンツの表示例を示す第２の図である。図８に示すように、編集済みのＡＲコンテンツ２３０’の場合、被写体２４０が手前側に位置しているため、被写体２４０に隠れる領域は、表示画面２１０には表示されない。 <Example of AR content display>
Next, a display example of the edited AR content 230 ′ edited by the AR content editing unit 406 will be described. FIG. 8 is a second diagram illustrating a display example of captured images and AR content captured by the mobile terminal. As shown in FIG. 8, in the case of the edited AR content 230 ′, since the subject 240 is positioned on the near side, the area hidden by the subject 240 is not displayed on the display screen 210.

以上の説明から明らかなように、第１の実施形態に係る携帯端末１１０は、撮像部の位置及び向きに応じたエリアを特定し、特定したエリア内の位置情報に対応付けて記憶されたＡＲコンテンツを、撮像画像上の対応する表示位置に表示する。その際、第１の実施形態に係る携帯端末１１０は、撮像部から見た場合のＡＲコンテンツまでの距離を示す距離情報と、撮像画像に含まれる被写体までの距離情報とに基づき、ＡＲコンテンツと被写体との位置関係を判定し、判定した位置関係に基づきＡＲコンテンツを編集する。 As is clear from the above description, the mobile terminal 110 according to the first embodiment specifies an area according to the position and orientation of the imaging unit, and stores the AR stored in association with the position information in the specified area. The content is displayed at a corresponding display position on the captured image. At that time, the mobile terminal 110 according to the first embodiment, based on the distance information indicating the distance to the AR content when viewed from the imaging unit, and the distance information to the subject included in the captured image, The positional relationship with the subject is determined, and the AR content is edited based on the determined positional relationship.

このように、ＡＲコンテンツまでの距離情報に応じて、撮像画像におけるＡＲコンテンツの表示を制御することで、携帯端末１１０によれば、ＡＲコンテンツが対応付けられた位置情報に応じた撮像画像上での位置を把握しやすくすることができる。この結果、撮像された被写体がＡＲコンテンツより手前側に位置しているにも関わらず、ＡＲコンテンツの方が手前側に表示されるといった事態を回避することが可能となり、表示態様の違和感を低減させることができる。 In this way, by controlling the display of the AR content in the captured image in accordance with the distance information to the AR content, according to the mobile terminal 110, the captured image according to the position information associated with the AR content is displayed. It is possible to make it easier to grasp the position of. As a result, it is possible to avoid a situation in which the AR content is displayed on the near side even though the imaged subject is located on the near side with respect to the AR content, and the discomfort of the display mode is reduced. Can be made.

［第２の実施形態］
上記第１の実施形態では、撮像部から見た場合のＡＲコンテンツと被写体との位置関係に基づいて、ＡＲコンテンツについて、被写体に隠れている領域を削除する編集を行う場合について説明した。これに対して、第２の実施形態では、撮像部から見た場合のＡＲコンテンツまでの距離を示す距離情報に基づいて、ＡＲコンテンツのサイズを変更する編集を行う場合について説明する。なお、以下では、上記第１の実施形態との相違点を中心に説明を行う。 [Second Embodiment]
In the first embodiment, the case has been described in which the AR content is edited to delete the area hidden by the subject based on the positional relationship between the AR content and the subject as viewed from the imaging unit. On the other hand, in the second embodiment, a case will be described in which editing for changing the size of the AR content is performed based on distance information indicating the distance to the AR content when viewed from the imaging unit. In the following, description will be made centering on differences from the first embodiment.

＜複数のＡＲコンテンツの位置関係＞
はじめに、携帯端末１１０の撮像部３０７から見た場合の複数のＡＲコンテンツの位置関係について説明する。 <Position relationship between multiple AR contents>
First, the positional relationship between a plurality of AR contents when viewed from the imaging unit 307 of the mobile terminal 110 will be described.

図９は、複数のＡＲコンテンツの位置関係を示す図である。上述したとおり、携帯端末１１０の撮像部３０７から見た場合の各ＡＲコンテンツ９１０〜９３０までの距離を示す距離情報は、各ＡＲコンテンツ９１０〜９３０に対応付けられた位置情報と、携帯端末１１０の撮像部３０７の位置を示す位置情報とに基づいて上式（数１）を用いて算出される。 FIG. 9 is a diagram illustrating a positional relationship between a plurality of AR contents. As described above, the distance information indicating the distance to each AR content 910 to 930 when viewed from the imaging unit 307 of the mobile terminal 110 includes the position information associated with each AR content 910 to 930, and the mobile terminal 110. Based on the position information indicating the position of the imaging unit 307, the calculation is performed using the above equation (Equation 1).

例えば、図９に示すように、ＡＲコンテンツ編集部４０６は、携帯端末１１０の撮像部３０７からＡＲコンテンツ９１０までの距離情報として、Ｌ_ａｒ１を算出する。また、ＡＲコンテンツ編集部４０６は、携帯端末１１０の撮像部３０７からＡＲコンテンツ９２０までの距離情報として、Ｌ_ａｒ２を算出する。更に、ＡＲコンテンツ編集部４０６は、携帯端末１１０の撮像部３０７からＡＲコンテンツ９３０までの距離情報として、Ｌ_ａｒ３を算出する。なお、図９の例は、ＡＲコンテンツ９１０〜９３０が、Ｌ_ａｒ１＜Ｌ_ａｒ２＜Ｌ_ａｒ３の位置関係を有していることを示している。 For example, as illustrated in FIG. 9, the AR content editing unit 406 calculates L _ar1 as distance information from the imaging unit 307 of the mobile terminal 110 to the AR content 910. Further, the AR content editing unit 406 calculates L _ar2 as distance information from the imaging unit 307 of the mobile terminal 110 to the AR content 920. Furthermore, the AR content editing unit 406 calculates L _ar3 as distance information from the imaging unit 307 of the mobile terminal 110 to the AR content 930. The example in FIG. 9 indicates that the AR contents 910 to 930 have a positional relationship of L _ar1 <L _ar2 <L _ar3 .

＜表示制御処理の流れ＞
次に、表示制御部４００による表示制御処理の流れについて説明する。図１０は、表示制御処理の第２のフローチャートである。図７との相違点は、ステップＳ１００１、ステップＳ１００２である。 <Flow of display control processing>
Next, the flow of display control processing by the display control unit 400 will be described. FIG. 10 is a second flowchart of the display control process. The difference from FIG. 7 is step S1001 and step S1002.

ステップＳ１００１において、ＡＲコンテンツ編集部４０６は、撮像部３０７から各ＡＲコンテンツまでの距離情報（Ｌ_ａｒ１、Ｌ_ａｒ２、Ｌ_ａｒ３）に応じて、各ＡＲコンテンツ９１０〜９３０のサイズを変更する編集を行う。 In step S1001, the AR content editing unit 406 performs editing to change the size of each AR content 910 to 930 according to distance information (L _ar1 , L _ar2 , L _ar3 ) from the imaging unit 307 to each AR content. .

ステップＳ１００２において、画像表示部４０７は、サイズが変更された編集済みの各ＡＲコンテンツ９１０〜９３０を撮像画像上の対応する表示位置に配置することで画像を生成し、生成した画像を表示部３０８に表示する。 In step S 1002, the image display unit 407 generates an image by arranging the edited AR contents 910 to 930 whose sizes have been changed at corresponding display positions on the captured image, and the generated image is displayed on the display unit 308. To display.

＜ＡＲコンテンツの表示例＞
次に、ＡＲコンテンツ編集部４０６において編集された編集済みの各ＡＲコンテンツ９１０〜９３０の表示例について説明する。図１１は、携帯端末により撮像された撮像画像及びＡＲコンテンツの表示例を示す第３の図である。図１１に示すように、ＡＲコンテンツ９１０は、他のＡＲコンテンツ９２０、９３０よりも、撮像部３０７からの距離が短いため、表示画面２１０に大きく表示される。一方、ＡＲコンテンツ９２０、９３０は、撮像部３０７からの距離が長いため、表示画面２１０に表示されるサイズが小さくなる。 <Example of AR content display>
Next, a display example of each edited AR content 910 to 930 edited by the AR content editing unit 406 will be described. FIG. 11 is a third diagram illustrating a display example of captured images and AR content captured by the mobile terminal. As shown in FIG. 11, the AR content 910 is displayed larger on the display screen 210 because the distance from the imaging unit 307 is shorter than the other AR content 920 and 930. On the other hand, since the AR contents 920 and 930 have a long distance from the imaging unit 307, the size displayed on the display screen 210 is small.

以上の説明から明らかなように、第２の実施形態に係る携帯端末１１０は、撮像部の位置及び向きに応じたエリアを特定し、特定したエリア内の位置情報に対応付けられたＡＲコンテンツを、撮像画像上の対応する表示位置に表示する。その際、第２の実施形態に係る携帯端末１１０は、撮像部から見た場合の各ＡＲコンテンツまでの距離を示す距離情報に基づき、各ＡＲコンテンツのサイズを変更する編集を行う。 As is clear from the above description, the mobile terminal 110 according to the second embodiment specifies an area corresponding to the position and orientation of the imaging unit, and stores AR content associated with position information in the specified area. And displayed at a corresponding display position on the captured image. At that time, the mobile terminal 110 according to the second embodiment performs editing for changing the size of each AR content based on distance information indicating the distance to each AR content when viewed from the imaging unit.

このように、ＡＲコンテンツまでの距離情報に応じて、撮像画像におけるＡＲコンテンツの表示を制御することで、携帯端末１１０によれば、ＡＲコンテンツが対応付けられた位置情報に応じた撮像画像上での位置を把握しやすくすることができる。この結果、ＡＲコンテンツが遠くに位置しているにも関わらず、大きく表示されるといった事態を回避することが可能となり、表示態様の違和感を低減させることができる。 In this way, by controlling the display of the AR content in the captured image in accordance with the distance information to the AR content, according to the mobile terminal 110, the captured image according to the position information associated with the AR content is displayed. It is possible to make it easier to grasp the position of. As a result, it is possible to avoid a situation in which the AR content is displayed in a large size even though the AR content is located far away, and the discomfort in the display mode can be reduced.

［第３の実施形態］
上記第１の実施形態において、被写体距離取得部４０５は、撮像部３０７の位置及び向きに応じて特定されるエリアに含まれる全ての被写体について撮像部３０７からの距離を示す距離情報を取得するものとして説明した。これに対して、第３の実施形態では、撮像部３０７の位置及び向きに応じて特定されるエリア内の位置情報に対応付けて記憶されたＡＲコンテンツの周辺に位置する被写体を対象に、撮像部３０７からの距離を示す距離情報を取得する。被写体との位置関係に基づいてＡＲコンテンツの編集が必要になるのは、ＡＲコンテンツの周辺に位置する被写体に限られるからである。 [Third Embodiment]
In the first embodiment, the subject distance acquisition unit 405 acquires distance information indicating the distance from the imaging unit 307 for all subjects included in the area specified according to the position and orientation of the imaging unit 307. As explained. In contrast, in the third embodiment, imaging is performed on a subject located around the AR content stored in association with the positional information in the area specified according to the position and orientation of the imaging unit 307. The distance information indicating the distance from the unit 307 is acquired. The reason that the AR content needs to be edited based on the positional relationship with the subject is that the subject is located only around the AR content.

図１２は、被写体距離取得部による被写体距離取得範囲の一例を示す図である。図１２において、領域１２００は、エリア内の位置情報に対応付けて記憶されたＡＲコンテンツの周辺の領域を示したものであり、被写体距離取得部４０５が、撮像部３０７からの距離を示す距離情報を取得する被写体距離取得範囲を示している。 FIG. 12 is a diagram illustrating an example of a subject distance acquisition range by the subject distance acquisition unit. In FIG. 12, an area 1200 indicates an area around the AR content stored in association with position information in the area, and the subject distance acquisition unit 405 indicates distance information indicating the distance from the imaging unit 307. The subject distance acquisition range for acquiring is shown.

図１２に示すように、撮像部３０７の位置及び向きに応じて特定されるエリア内の位置情報に対応付けて記憶されたＡＲコンテンツとして、ＡＲコンテンツ取得部４０４が、ＡＲコンテンツ１２１０を取得したとする。この場合、被写体距離取得部４０５は、被写体距離取得範囲を、エリアではなく、ＡＲコンテンツ１２１０が含まれる領域１２００（エリアよりも狭い領域）に基づいて、特定する。具体的には、被写体距離取得部４０５は、被写体距離取得範囲を、ＡＲコンテンツ１２１０に対応付けられた位置情報と、撮像部３０７の位置及び向きとに基づいて領域１２００を算出することで、特定する。 As illustrated in FIG. 12, the AR content acquisition unit 404 acquires the AR content 1210 as the AR content stored in association with the position information in the area specified according to the position and orientation of the imaging unit 307. To do. In this case, the subject distance acquisition unit 405 specifies the subject distance acquisition range based on the area 1200 (area narrower than the area) including the AR content 1210, not the area. Specifically, the subject distance acquisition unit 405 specifies the subject distance acquisition range by calculating the area 1200 based on the position information associated with the AR content 1210 and the position and orientation of the imaging unit 307. To do.

このように、被写体距離取得部４０５は、撮像部３０７からの距離情報を取得する被写体距離取得範囲を絞り、当該範囲内の被写体までの距離情報を取得することにより、携帯端末１１０の処理負荷を低減させることが可能になる。 In this way, the subject distance acquisition unit 405 narrows down the subject distance acquisition range for acquiring the distance information from the imaging unit 307, and acquires the distance information to the subject within the range, thereby reducing the processing load of the mobile terminal 110. It becomes possible to reduce.

［第４の実施形態］
上記第１乃至第３の実施形態では測距部３１１を配し、被写体距離取得部４０５が、測距部３１１より、各被写体までの距離情報を取得するものとして説明した。しかしながら、被写体距離取得部４０５は、各被写体までの距離情報を、例えば、撮像部３０７により撮像された撮像画像より取得してもよい。 [Fourth Embodiment]
In the first to third embodiments, the distance measurement unit 311 is provided, and the subject distance acquisition unit 405 has been described as acquiring distance information to each subject from the distance measurement unit 311. However, the subject distance acquisition unit 405 may acquire distance information to each subject from, for example, a captured image captured by the imaging unit 307.

具体的には、被写体距離取得部４０５が、撮像部３０７の撮像時の高さと、撮像画像内における被写体の表示位置とに基づき、三角法を用いて被写体までの距離を示す距離情報を算出する。 Specifically, the subject distance acquisition unit 405 calculates distance information indicating the distance to the subject using trigonometry based on the height at the time of imaging of the imaging unit 307 and the display position of the subject in the captured image. .

図１３は、被写体距離取得部による被写体距離算出処理の一例を示す図である。図１３に示すように、撮像部３０７の高さｈを設定し、センサ部３１０の加速度センサの検知結果から算出される携帯端末１１０の傾きに基づいて、被写体２４０の俯角θを算出することで、三角法により距離情報Ｌ_ｓｕｂを算出することができる。 FIG. 13 is a diagram illustrating an example of subject distance calculation processing by the subject distance acquisition unit. As shown in FIG. 13, by setting the height h of the imaging unit 307 and calculating the depression angle θ of the subject 240 based on the inclination of the mobile terminal 110 calculated from the detection result of the acceleration sensor of the sensor unit 310. The distance information L _sub can be calculated by trigonometry.

このように、被写体距離取得部４０５が撮像画像に基づいて被写体までの距離情報を算出することで、第３の実施形態に係る携帯端末１１０によれば、測距部３１１を配する必要がなくなる。 As described above, the subject distance acquisition unit 405 calculates the distance information to the subject based on the captured image, so that according to the mobile terminal 110 according to the third embodiment, it is not necessary to provide the distance measurement unit 311. .

［その他の実施形態］
上記第１の実施形態では、撮像部から見た場合のＡＲコンテンツと被写体との位置関係に基づいて、ＡＲコンテンツについて、被写体に隠れている領域を削除する編集を行う場合について説明した。また、第２の実施形態では、撮像部から見た場合のＡＲコンテンツまでの距離を示す距離情報に基づいて、ＡＲコンテンツのサイズを変更する編集を行う場合について説明した。しかしながら、ＡＲコンテンツ編集部４０６は、これら両方の処理を行うようにしてもよい。あるいは、ＡＲコンテンツ編集部４０６は、削除やサイズ変更以外の方法で表示態様を変える編集を行うようにしてもよい。 [Other Embodiments]
In the first embodiment, the case has been described in which the AR content is edited to delete the area hidden by the subject based on the positional relationship between the AR content and the subject as viewed from the imaging unit. Further, in the second embodiment, a case has been described in which editing for changing the size of the AR content is performed based on distance information indicating the distance to the AR content when viewed from the imaging unit. However, the AR content editing unit 406 may perform both of these processes. Alternatively, the AR content editing unit 406 may perform editing that changes the display mode by a method other than deletion or size change.

また、上記第１、第３、第４の実施形態では、ＡＲコンテンツが図柄であるとし、図柄の一部が被写体に隠れる場合に、ＡＲコンテンツの一部を表示画面２１０に表示しないと判定する（隠れる領域を削除する編集を行う）ものとして説明した。しかしながら、ＡＲコンテンツは、図柄に限られず、例えば文字データであってもよい。この場合、文字データの一部が被写体に隠れる状況においては、ＡＲコンテンツの（一部ではなく）全部を表示しないと判定してもよい。文字データの場合、一部が表示されても、ユーザにとっては意味がない場合が多いからである。 Further, in the first, third, and fourth embodiments, it is determined that the AR content is a symbol, and a part of the AR content is not displayed on the display screen 210 when a part of the symbol is hidden by the subject. It has been described as (performs editing to remove the hidden area). However, the AR content is not limited to symbols, and may be, for example, character data. In this case, in a situation where a part of the character data is hidden by the subject, it may be determined that not all (but not all) of the AR content is displayed. This is because, in the case of character data, even if a part is displayed, it is often meaningless to the user.

また、上記第１の実施形態では、携帯端末１１０の撮像部３０７から見てＡＲコンテンツより手前側に位置する被写体があると判定した場合の処理について説明した。しかしながら、被写体がないと判定した場合には、通常どおり、ＡＲコンテンツを撮像画像に重畳する処理を行うことはいうまでもない。また、手前側に位置する被写体があると判定した場合であって、ＡＲコンテンツの全部が被写体に隠れる場合には、ＡＲコンテンツを表示しないことはいうまでもない。つまり、上記第１の実施形態において、ＡＲコンテンツは常に編集されるとは限られず、ＡＲコンテンツに対して編集を行うことなく、表示画面２１０に表示される画像を生成する場合があることはいうまでもない。 Further, in the first embodiment, the processing when it is determined that there is a subject located in front of the AR content as viewed from the imaging unit 307 of the mobile terminal 110 has been described. However, when it is determined that there is no subject, it goes without saying that processing for superimposing the AR content on the captured image is performed as usual. Needless to say, if it is determined that there is a subject located on the near side and the entire AR content is hidden by the subject, the AR content is not displayed. That is, in the first embodiment, the AR content is not always edited, and an image displayed on the display screen 210 may be generated without editing the AR content. Not too long.

また、上記第１乃至第４の実施形態では、ＡＲコンテンツ取得部４０４が、撮像部３０７の位置及び向きに応じて特定されたエリア内の位置情報に対応付けて記憶されたＡＲコンテンツをリアルタイムに取得する場合について説明した。しかしながら、ＡＲコンテンツ取得部４０４がＡＲコンテンツを取得するタイミングはこれに限定されない。例えば、表示制御部４００が起動した際に、携帯端末１１０の撮像部３０７の位置を基準とする所定範囲内の位置情報に対応付けて記憶された全てのＡＲコンテンツを取得し、ＡＲコンテンツ管理ＤＢ４１１に記憶するようにしてもよい。なお、ここでいう所定範囲は、携帯端末１１０の撮像部３０７の位置及び向きにより特定されるエリアよりも広い範囲を指すものとする。これにより、ＡＲコンテンツ取得部４０４がサーバ装置１２０と通信する回数を減らすことができる。 In the first to fourth embodiments, the AR content acquisition unit 404 stores the AR content stored in association with the position information in the area specified according to the position and orientation of the imaging unit 307 in real time. Explained the case of acquisition. However, the timing at which the AR content acquisition unit 404 acquires the AR content is not limited to this. For example, when the display control unit 400 is activated, all AR contents stored in association with position information within a predetermined range based on the position of the imaging unit 307 of the mobile terminal 110 are acquired, and the AR content management DB 411 is acquired. You may make it memorize. The predetermined range here refers to a range wider than the area specified by the position and orientation of the imaging unit 307 of the mobile terminal 110. Thereby, the frequency | count that AR content acquisition part 404 communicates with the server apparatus 120 can be reduced.

また、上記第１乃至第４の実施形態では、ＡＲコンテンツ表示システム１００において、携帯端末を用いる場合について説明したが、ＡＲコンテンツの表示は、例えば、ヘッドマウントディスプレイ等の装着型の携帯端末を用いて行ってもよい。また、ヘッドマウントディスプレイ等の装着型の携帯端末において、表示部は、例えば、透過型であってもよい。なお、透過型の表示部の場合、ＡＲコンテンツは、撮像された撮像画像上の対応する表示位置に配置されることなく、表示部（例えば、眼鏡型のヘッドマウントディスプレイの場合、眼鏡のガラスに相当する部分）の対応する表示位置に直接表示されることになる。 Further, in the first to fourth embodiments, the case where the mobile terminal is used in the AR content display system 100 has been described. However, for example, the AR content is displayed using a wearable mobile terminal such as a head-mounted display. You may go. Further, in a wearable portable terminal such as a head mounted display, the display unit may be, for example, a transmissive type. In the case of a transmissive display unit, the AR content is not arranged at a corresponding display position on the captured image, and the display unit (for example, in the case of a spectacle-type head-mounted display, on the glasses glass). The corresponding part) is directly displayed at the corresponding display position.

なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
撮像装置により撮像された撮像画像を取得し、
センサにより検出された前記撮像装置の位置及び向きを特定し、
表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、
取得した前記撮像画像に含まれる被写体のうち、取得した前記表示情報に対応付けられた位置情報に応じた表示位置にある被写体までの距離情報を取得し、
取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する、
処理をコンピュータに実行させる表示制御プログラム。 In addition, in the disclosed technology, forms such as the following supplementary notes are conceivable.
(Appendix 1)
Obtain a captured image captured by the imaging device,
Identifying the position and orientation of the imaging device detected by the sensor;
With reference to a storage unit that stores display information in association with position information, display information associated with position information in an area corresponding to the position and orientation of the identified imaging device, and association with the display information Obtained location information,
Obtaining distance information to a subject at a display position corresponding to the position information associated with the acquired display information among the subjects included in the acquired captured image;
It is determined whether to display the acquired display information on a display unit based on the acquired distance information and position information associated with the acquired display information.
A display control program that causes a computer to execute processing.

（付記２）
撮像装置により撮像され、複数の画素それぞれの画素値と、前記複数の画素それぞれに対応する被写体までの距離情報とを含む撮像画像を取得し、
センサにより検出された前記撮像装置の位置及び向きを特定し、
表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、
取得した前記撮像画像に含まれる画素のうち、取得した前記表示情報の表示位置に対応する画素に対応付けられた距離情報を取得し、
取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する、
処理をコンピュータに実行させる表示制御プログラム。
（付記３）
取得した前記表示情報について、取得した前記表示情報に対応付けられた位置情報に応じた表示位置にある被写体の背後に重なる領域を削除する編集を行い、
編集された前記表示情報と、取得した前記撮像画像とを含む画像を、前記表示部に表示する、
処理を前記コンピュータに実行させる付記１に記載の表示制御プログラム。
（付記４）
撮像装置により撮像された撮像画像を取得し、
センサにより検出された前記撮像装置の位置及び向きを特定し、
表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、
特定した前記撮像装置の位置と、取得した前記表示情報に対応付けられた位置情報に応じた位置との間の距離情報を算出し、
取得した前記表示情報を、算出した前記距離情報に応じた態様で表示部に表示する、
処理をコンピュータに実行させる表示制御プログラム。
（付記５）
取得した前記表示情報について、算出した前記距離情報に応じたサイズに変更する編集を行い、
編集された前記表示情報と、取得した前記撮像画像とを含む画像を、前記表示部に表示する、
処理を前記コンピュータに実行させる付記４に記載の表示制御プログラム。
（付記６）
撮像装置により撮像された撮像画像を取得する第１の取得部と、
センサにより検出された前記撮像装置の位置及び向きを特定する特定部と、
表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得する第２の取得部と、
取得した前記撮像画像に含まれる被写体のうち、取得した前記表示情報に対応付けられた位置情報に応じた表示位置にある被写体までの距離情報を取得する第３の取得部と、
取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する判定部と
を有することを特徴とする表示制御装置。
（付記７）
撮像装置により撮像され、複数の画素それぞれの画素値と、前記複数の画素それぞれに対応する被写体までの距離情報とを含む撮像画像を取得する第１の取得部と、
センサにより検出された前記撮像装置の位置及び向きを特定する特定部と、
表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得する第２の取得部と、
取得した前記撮像画像に含まれる画素のうち、取得した前記表示情報の表示位置に対応する画素に対応付けられた距離情報を取得する第３の取得部と、
取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する判定部と
を有することを特徴とする表示制御装置。
（付記８）
撮像装置により撮像された撮像画像を取得する第１の取得部と、
センサにより検出された前記撮像装置の位置及び向きを特定する特定部と、
表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得する第２の取得部と、
特定した前記撮像装置の位置と、取得した前記表示情報に対応付けられた位置情報に応じた位置との間の距離情報を算出する第３の取得部と、
取得した前記表示情報を、算出した前記距離情報に応じた態様で表示部に表示する制御部と
を有することを特徴とする表示制御装置。
（付記９）
撮像装置により撮像された撮像画像を取得し、
センサにより検出された前記撮像装置の位置及び向きを特定し、
表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、
取得した前記撮像画像に含まれる被写体のうち、取得した前記表示情報に対応付けられた位置情報に応じた表示位置にある被写体までの距離情報を取得し、
取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する、
処理をコンピュータが実行する表示制御方法。
（付記１０）
撮像装置により撮像され、複数の画素それぞれの画素値と、前記複数の画素それぞれに対応する被写体までの距離情報とを含む撮像画像を取得し、
センサにより検出された前記撮像装置の位置及び向きを特定し、
表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、
取得した前記撮像画像に含まれる画素のうち、取得した前記表示情報の表示位置に対応する画素に対応付けられた距離情報を取得し、
取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する、
処理をコンピュータが実行する表示制御方法。
（付記１１）
撮像装置により撮像された撮像画像を取得し、
センサにより検出された前記撮像装置の位置及び向きを特定し、
表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、
特定した前記撮像装置の位置と、取得した前記表示情報に対応付けられた位置情報に応じた位置との間の距離情報を算出し、
取得した前記表示情報を、算出した前記距離情報に応じた態様で表示部に表示する、
処理をコンピュータが実行する表示制御方法。 (Appendix 2)
Captured images captured by the imaging device, each including a pixel value of each of a plurality of pixels and distance information to a subject corresponding to each of the plurality of pixels,
Identifying the position and orientation of the imaging device detected by the sensor;
With reference to a storage unit that stores display information in association with position information, display information associated with position information in an area corresponding to the position and orientation of the identified imaging device, and association with the display information Obtained location information,
Obtaining distance information associated with a pixel corresponding to a display position of the obtained display information among pixels contained in the obtained captured image;
It is determined whether to display the acquired display information on a display unit based on the acquired distance information and position information associated with the acquired display information.
A display control program that causes a computer to execute processing.
(Appendix 3)
For the acquired display information, edit to delete an area behind the subject at the display position according to the position information associated with the acquired display information,
Displaying the edited display information and the acquired captured image on the display unit;
The display control program according to appendix 1, which causes the computer to execute processing.
(Appendix 4)
Obtain a captured image captured by the imaging device,
Identifying the position and orientation of the imaging device detected by the sensor;
With reference to a storage unit that stores display information in association with position information, display information associated with position information in an area corresponding to the position and orientation of the identified imaging device, and association with the display information Obtained location information,
Calculating distance information between the identified position of the imaging device and a position corresponding to the positional information associated with the acquired display information;
The acquired display information is displayed on the display unit in a mode according to the calculated distance information.
A display control program that causes a computer to execute processing.
(Appendix 5)
For the acquired display information, edit to change the size according to the calculated distance information,
Displaying the edited display information and the acquired captured image on the display unit;
The display control program according to appendix 4, which causes the computer to execute processing.
(Appendix 6)
A first acquisition unit that acquires a captured image captured by the imaging device;
A specifying unit that specifies the position and orientation of the imaging device detected by the sensor;
With reference to a storage unit that stores display information in association with position information, display information associated with position information in an area corresponding to the position and orientation of the identified imaging device, and association with the display information A second obtaining unit for obtaining the obtained position information;
A third acquisition unit that acquires distance information to a subject at a display position corresponding to the position information associated with the acquired display information among the subjects included in the acquired captured image;
A determination unit configured to determine whether to display the acquired display information on a display unit based on the acquired distance information and position information associated with the acquired display information. Display control device.
(Appendix 7)
A first acquisition unit that acquires a captured image that is captured by an imaging device and includes pixel values of each of a plurality of pixels and distance information to a subject corresponding to each of the plurality of pixels;
A specifying unit that specifies the position and orientation of the imaging device detected by the sensor;
With reference to a storage unit that stores display information in association with position information, display information associated with position information in an area corresponding to the position and orientation of the identified imaging device, and association with the display information A second obtaining unit for obtaining the obtained position information;
A third acquisition unit that acquires distance information associated with a pixel corresponding to a display position of the acquired display information among the pixels included in the acquired captured image;
A determination unit configured to determine whether to display the acquired display information on a display unit based on the acquired distance information and position information associated with the acquired display information. Display control device.
(Appendix 8)
A first acquisition unit that acquires a captured image captured by the imaging device;
A specifying unit that specifies the position and orientation of the imaging device detected by the sensor;
With reference to a storage unit that stores display information in association with position information, display information associated with position information in an area corresponding to the position and orientation of the identified imaging device, and association with the display information A second obtaining unit for obtaining the obtained position information;
A third acquisition unit that calculates distance information between the identified position of the imaging device and a position corresponding to the position information associated with the acquired display information;
And a control unit that displays the acquired display information on the display unit in a manner corresponding to the calculated distance information.
(Appendix 9)
Obtain a captured image captured by the imaging device,
Identifying the position and orientation of the imaging device detected by the sensor;
With reference to a storage unit that stores display information in association with position information, display information associated with position information in an area corresponding to the position and orientation of the identified imaging device, and association with the display information Obtained location information,
Obtaining distance information to a subject at a display position corresponding to the position information associated with the acquired display information among the subjects included in the acquired captured image;
It is determined whether to display the acquired display information on a display unit based on the acquired distance information and position information associated with the acquired display information.
A display control method in which processing is executed by a computer.
(Appendix 10)
Captured images captured by the imaging device, each including a pixel value of each of a plurality of pixels and distance information to a subject corresponding to each of the plurality of pixels,
Identifying the position and orientation of the imaging device detected by the sensor;
With reference to a storage unit that stores display information in association with position information, display information associated with position information in an area corresponding to the position and orientation of the identified imaging device, and association with the display information Obtained location information,
Obtaining distance information associated with a pixel corresponding to a display position of the obtained display information among pixels contained in the obtained captured image;
It is determined whether to display the acquired display information on a display unit based on the acquired distance information and position information associated with the acquired display information.
A display control method in which processing is executed by a computer.
(Appendix 11)
Obtain a captured image captured by the imaging device,
Identifying the position and orientation of the imaging device detected by the sensor;
With reference to a storage unit that stores display information in association with position information, display information associated with position information in an area corresponding to the position and orientation of the identified imaging device, and association with the display information Obtained location information,
Calculating distance information between the identified position of the imaging device and a position corresponding to the positional information associated with the acquired display information;
The acquired display information is displayed on the display unit in a mode according to the calculated distance information.
A display control method in which processing is executed by a computer.

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。 Note that the present invention is not limited to the configurations shown here, such as combinations with other elements, etc., in the configurations described in the above embodiments. These points can be changed without departing from the spirit of the present invention, and can be appropriately determined according to the application form.