KR102701038B1 - Hologram Display System And Control Method Of The Same - Google Patents

이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명하기로 한다. 그러나, 본 발명은 여기서 설명된 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록, 그리고 당업자에게 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다. 명세서 전체에 걸쳐서 동일한 참조 번호들은 동일한 구성요소들을 나타낸다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the attached drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided so that the disclosed contents can be thorough and complete, and so that the spirit of the invention can be sufficiently conveyed to those skilled in the art. Like reference numerals represent like elements throughout the specification.

도 1은 본 발명에 따른 홀로그램 디스플레이 시스템의 전체 구성도를 도시한다.Figure 1 illustrates the overall configuration of a holographic display system according to the present invention.

본 발명에 따른 홀로그램 디스플레이 시스템은 홀로그램 영상을 제어하고자 하는 사람(이하, '사용자'라 함)의 손 동작을 인공지능 알고리즘이 자동으로 감지하여 홀로그램 영상을 비 접촉 방식으로 제어할 수 있도록 구성된다.The holographic display system according to the present invention is configured so that an artificial intelligence algorithm automatically detects hand movements of a person (hereinafter referred to as a “user”) who wishes to control a holographic image and controls the holographic image in a non-contact manner.

도 1에 도시된 바와 같이, 본 발명에 따른 홀로그램 디스플레이 시스템은 홀로그램 영상이 투사되어 표시되는 디스플레이 장치(100), 사용자의 손 동작을 촬영하여 이미지를 획득하는 촬영장치(200) 및 미리 학습된 인공지능 알고리즘으로 상기 촬영장치(200)에서 획득된 이미지로부터 손 동작에 대한 3차원 공간 정보를 획득하고, 상기 획득된 3차원 공간 정보로부터 상기 디스플레이 장치(100)의 제어 신호를 생성하여 상기 제어 신호에 따라 상기 디스플레이 장치(100)에 표시된 홀로그램 영상을 제어하기 위한 제어장치(300);를 포함하여 구성된다.As illustrated in FIG. 1, a holographic display system according to the present invention comprises a display device (100) on which a holographic image is projected and displayed, a photographing device (200) for photographing a user's hand movements to obtain an image, and a control device (300) for obtaining three-dimensional spatial information about the hand movements from the image obtained by the photographing device (200) using a pre-learned artificial intelligence algorithm, generating a control signal of the display device (100) from the obtained three-dimensional spatial information, and controlling the holographic image displayed on the display device (100) according to the control signal.

본 발명에 따른 홀로그램 디스플레이 시스템의 디스플레이 장치(100)는 상기 시스템이 의료 영상 진단 분야에 적용되는 경우 환자의 장기, 예를 들면 심장, 위, 간 등에서 병변 위치 부위나 진단 대상 부위 또는 환자의 치아 구조물 등에 관한 홀로그램 영상을 표시할 수 있다. 물론, 상기 디스플레이 장치(100)를 통해 표시되는 홀로그램 영상은 상기에 국한되지 않으며 시스템의 적용 분야에 따라 다양하게 변경될 수 있다.The display device (100) of the holographic display system according to the present invention can display a holographic image of a lesion location area, a diagnostic target area, or a patient's dental structure in an organ of a patient, such as the heart, stomach, or liver, when the system is applied to the field of medical imaging diagnosis. Of course, the holographic image displayed through the display device (100) is not limited to the above and may be variously changed depending on the field of application of the system.

상기 촬영장치(200)는 상기 디스플레이 장치(100)에 구현된 홀로그램 영상을 제어하기 위하여 제스처를 취하는 사용자의 손 동작을 촬영하기 위한 장치이다.The above-mentioned photographing device (200) is a device for photographing the hand movements of a user making a gesture to control a holographic image implemented in the above-mentioned display device (100).

상기 촬영장치(200)는 사용자의 손 동작에 대한 컬러(RGB) 이미지 및 깊이(Depth) 이미지를 각각 획득하기 위한 RGB-D 카메라를 포함할 수 있다.The above-mentioned photographing device (200) may include an RGB-D camera for obtaining color (RGB) images and depth images of the user's hand movements, respectively.

여기서, 상기 RGB-D 카메라는 사용자의 손 동작에 대한 컬러 정보와 깊이 정보를 모두 측정할 수 있는 카메라로서, 예를 들면 스테레오 방식 카메라, 라이다(LiDAR) 방식 카메라, TOF(Time of Flight) 방식 카메라 등을 사용할 수 있으며, 바람직하게는 스테레오 방식 카메라가 사용될 수 있다.Here, the RGB-D camera is a camera that can measure both color information and depth information about the user's hand movements, and for example, a stereo camera, a LiDAR camera, a TOF (Time of Flight) camera, etc. can be used, and preferably, a stereo camera can be used.

상기 RGB-D 카메라로서 스테레오 방식 카메라를 적용하는 경우, 높은 수준의 해상도, 시야각(angle of view, field of view, FOV) 및 초당 프레임(fps)를 구현 가능하면서도 손 동작에 관한 깊이 정보를 우수하게 감지 및 측정할 수 있는 장점이 있다.When a stereo camera is applied as the above RGB-D camera, it has the advantage of being able to implement a high level of resolution, field of view (FOV), and frames per second (fps), while also being able to excellently detect and measure depth information regarding hand movements.

상기 촬영장치(200)의 RGB-D 카메라를 통해 획득된 컬러(RGB) 이미지와 깊이(Depth) 이미지는 상기 제어장치(300) 측으로 전송된다.The color (RGB) image and depth image acquired through the RGB-D camera of the above-mentioned photographing device (200) are transmitted to the control device (300).

이를 위해, 본 발명에 따른 홀로그램 디스플레이 시스템은 상기 RGB-D 카메라에서 획득된 이미지 데이터를 상기 제어장치(300)로 전송하기 위한 유무선 통신수단(미도시)이 구비될 수 있다.To this end, the hologram display system according to the present invention may be equipped with a wired or wireless communication means (not shown) for transmitting image data acquired from the RGB-D camera to the control device (300).

상기 제어장치(300)는 상기 촬영장치(200)에서 획득된 이미지로부터 사용자의 손 동작에 대한 3차원 공간 정보를 획득하고, 상기 획득된 3차원 공간 정보를 사용하여 디스플레이 장치(100)에 표시된 홀로그램 영상을 제어하기 위한 제어 신호를 생성하기 위한 인공지능 알고리즘이 프로그래밍 될 수 있다.The above control device (300) may be programmed with an artificial intelligence algorithm to obtain three-dimensional spatial information about the user's hand movements from an image obtained from the photographing device (200) and generate a control signal for controlling a holographic image displayed on the display device (100) using the obtained three-dimensional spatial information.

구체적으로, 상기 제어장치(300)는 상기 촬영장치(200)에서 전송된 이미지로부터 3차원 이미지를 획득하는 3차원 이미지 획득부(310), 상기 3차원 이미지로부터 손 모양 정보와 손 동작 정보를 획득하여 사용자의 손 동작을 인식하는 손 동작 인식부(320), 상기 홀로그램 영상을 제어하기 위하여 제스처를 취하는 손의 위치 좌표를 상기 홀로그램 영상이 표시되는 가상의 3차원 패널에 지정하는 손 위치 지정부(330) 및 상기 3차원 패널에 지정된 3차원 위치 좌표를 사용하여 상기 홀로그램 영상을 제어하기 위한 제어 신호를 생성하는 제어 신호 생성부(340)를 포함하여 구성된다.Specifically, the control device (300) is configured to include a three-dimensional image acquisition unit (310) that acquires a three-dimensional image from an image transmitted from the photographing device (200), a hand motion recognition unit (320) that acquires hand shape information and hand motion information from the three-dimensional image to recognize a user's hand motion, a hand position designation unit (330) that designates position coordinates of a hand making a gesture to control the hologram image to a virtual three-dimensional panel on which the hologram image is displayed, and a control signal generation unit (340) that generates a control signal for controlling the hologram image using the three-dimensional position coordinates designated to the three-dimensional panel.

상기 제어장치(300)의 3차원 이미지 획득부(310)는 상기 촬영장치(200)에서 전송된 RGB 이미지와 깊이(depth) 이미지를 결합하여 3차원 이미지를 획득하고, 획득된 3차원 이미지(30)는 상기 손 동작 인식부(320) 측으로 전송된다.The 3D image acquisition unit (310) of the above control device (300) acquires a 3D image by combining the RGB image and depth image transmitted from the above photographing device (200), and the acquired 3D image (30) is transmitted to the hand movement recognition unit (320).

상기 제어장치(300)의 손 동작 인식부(320)는 상기 3차원 이미지(30)에서 3차원 공간 정보를 획득하고, 상기 획득된 3차원 공간 정보를 분석하여 사용자의 손 동작을 인식할 수 있다.The hand motion recognition unit (320) of the above control device (300) can obtain three-dimensional space information from the three-dimensional image (30) and recognize the user's hand motion by analyzing the obtained three-dimensional space information.

구체적으로, 상기 제어장치(300)의 손 동작 인식부(320)는 RGB-D 카메라를 통해 획득된 깊이(Depth) 이미지를 기반으로 사용자의 손 동작에 대한 3차원 깊이 정보, 즉 Z 좌표값을 산출한다. 상기 깊이(Depth) 이미지는 각 픽셀마다 Z 좌표값을 가진다.Specifically, the hand motion recognition unit (320) of the control device (300) calculates three-dimensional depth information, i.e., Z coordinate values, for the user's hand motion based on a depth image acquired through an RGB-D camera. The depth image has a Z coordinate value for each pixel.

또한, 상기 제어장치(300)의 손 동작 인식부(320)는 RGB-D 카메라를 통해 획득된 RGB 이미지를 기반으로 사용자의 손 영역(30h)을 인식하고, 손 영역 내에서 2차원 정보, 즉 X 좌표값과 Y 좌표값을 RGB 픽셀 단위로 산출한다. 상기 손 동작 인식부(320)는 RGB 이미지에서 나타난 색상 정보를 통해 손의 경계 영역과 각 손가락의 끝점, 그리고 팔의 경계 영역을 인식하고, 이들을 직선 연결하여 사용자의 손 영역(30h)에서 손바닥과 손가락을 각각 구분할 수 있다.In addition, the hand motion recognition unit (320) of the control device (300) recognizes the user's hand area (30h) based on an RGB image acquired through an RGB-D camera, and calculates two-dimensional information, i.e., X-coordinate values and Y-coordinate values, in RGB pixel units within the hand area. The hand motion recognition unit (320) recognizes the boundary area of the hand, the end points of each finger, and the boundary area of the arm through color information shown in the RGB image, and connects them with a straight line to distinguish the palm and the fingers in the user's hand area (30h).

따라서, 상기 제어장치(300)의 손 동작 인식부(320)는 깊이(Depth) 이미지에서 각 픽셀에서 Z좌표값을 획득하고, 깊이(Depth) 이미지의 픽셀에 대응하는 RGB 이미지의 픽셀에서 X좌표값 및 Y좌표값을 획득하여, 해당 픽셀에 대한 XYZ 좌표값을 산출하여 이미지의 각 픽셀에 대한 3차원 공간 정보가 획득될 수 있다.Accordingly, the hand motion recognition unit (320) of the control device (300) obtains the Z coordinate value from each pixel in the depth image, obtains the X coordinate value and the Y coordinate value from the pixel of the RGB image corresponding to the pixel of the depth image, and calculates the XYZ coordinate value for the corresponding pixel, so that three-dimensional spatial information for each pixel of the image can be obtained.

상기 제어장치(300)는 기 학습된 인공지능 알고리즘을 이용하여 3차원 이미지(30)로부터 손 모양 정보와 손 동작 정보를 획득하여 제어 동작을 수행하는 사용자의 손 동작을 인식하고, 홀로그램 영상을 제어하기 위하여 특정 제스처를 취하는 손의 위치를 3차원 공간 상에서 감지하여 제어 신호를 생성한다.The above control device (300) obtains hand shape information and hand movement information from a three-dimensional image (30) using a pre-learned artificial intelligence algorithm to recognize the hand movement of a user performing a control operation, and detects the position of the hand making a specific gesture in three-dimensional space to control a hologram image and generates a control signal.

도 2 내지 도 4는 본 발명에 따른 홀로그램 디스플레이 시스템의 인공지능 알고리즘을 사용하여 3차원 이미지를 기반으로 사용자의 손 모양 정보와 손 동작 정보를 획득하는 과정에 관한 여러 실시예를 도시한다.FIGS. 2 to 4 illustrate several embodiments of a process for obtaining a user's hand shape information and hand movement information based on a three-dimensional image using an artificial intelligence algorithm of a holographic display system according to the present invention.

상기 인공지능 알고리즘은 학습용 데이터로서 RGB-D 카메라로 획득된 3차원 이미지(30)를 사용하고, 상기 3차원 이미(30)지의 3차원 공간 정보를 사용하여 손의 골격을 이루는 복수 개의 특징점(31,32)을 획득하고, 상기 획득된 복수 개의 특징점(31,32)을 기반으로 손 모양 정보와 손 동작 정보를 획득하도록 반복 학습된다.The above artificial intelligence algorithm uses a three-dimensional image (30) acquired by an RGB-D camera as learning data, acquires a plurality of feature points (31, 32) forming a hand skeleton by using three-dimensional spatial information of the three-dimensional image (30), and repeatedly learns to acquire hand shape information and hand movement information based on the acquired plurality of feature points (31, 32).

도 2는 인공지능 알고리즘을 사용하여 손 모양 정보와 손 동작 정보를 획득하는 하나의 실시예의 구체적인 과정을 도시한다.Figure 2 illustrates a specific process of one embodiment of obtaining hand shape information and hand motion information using an artificial intelligence algorithm.

도 2를 참조하면, 인공지능 알고리즘은 3차원 이미지(30)에서 각각의 손가락 영역으로부터 재1 특징점(31)과 제2 특징점(32)이 획득되고, 상기 제1 및 제2 특징점(31,32)에 대한 좌표 정보를 획득한다. 상기 제1 특징점(31)에 대한 좌표 정보는 손가락 끝점에서 획득될 수 있고, 제2 특징점(32)에 대한 좌표 정보는 손가락과 손바닥의 경계 영역에서 획득될 수 있다.Referring to FIG. 2, the artificial intelligence algorithm acquires a first feature point (31) and a second feature point (32) from each finger region in a three-dimensional image (30), and acquires coordinate information for the first and second feature points (31, 32). The coordinate information for the first feature point (31) can be acquired at the fingertip, and the coordinate information for the second feature point (32) can be acquired at the boundary area between the finger and the palm.

인공지능 알고리즘은 손가락 영역들 각각에서 획득된 상기 제1 및 제2 특징점(31, 32)에 대한 좌표 정보를 통해 해당 손가락의 접힘 또는 펼침 상태를 인식할 수 있다. 구체적으로, 상기 제1 및 제2 특징점(31, 32)에 대한 좌표 정보를 잇는 선분의 길이와 이들의 길이 차이를 비교하여 개별 손가락의 접힘 또는 펼침 상태를 인식할 수 있다. 이러한 방법으로 사용자의 손 모양 정보를 획득할 수 있다.The artificial intelligence algorithm can recognize the folding or unfolding state of the corresponding finger through the coordinate information for the first and second feature points (31, 32) acquired in each of the finger regions. Specifically, the folding or unfolding state of each finger can be recognized by comparing the length of the line segment connecting the coordinate information for the first and second feature points (31, 32) and the difference in their lengths. In this way, the user's hand shape information can be acquired.

그리고 인공지능 알고리즘은 상기 제1 및 제2 특징점(31, 32)에 대한 좌표 정보가 갖는 X좌표값, Y좌표값, 그리고 Z좌표값을 상기 3차원 이미지(30)의 프레임별로 추적하여 손 동작 정보를 획득할 수 있다.And the artificial intelligence algorithm can obtain hand movement information by tracking the X-coordinate value, Y-coordinate value, and Z-coordinate value of the coordinate information for the first and second feature points (31, 32) for each frame of the three-dimensional image (30).

도 3은 인공지능 알고리즘을 사용하여 손 모양 정보와 손 동작 정보를 획득하는 다른 실시예의 구체적인 과정을 도시한다.Figure 3 illustrates a specific process of another embodiment of obtaining hand shape information and hand motion information using an artificial intelligence algorithm.

도 3을 참조하면, 인공지능 알고리즘은 3차원 이미지(30)로부터 손 영역(30h)을 인식한다. 손 영역(30h)은 앞에서 설명한 바와 같이, 손의 경계 영역과 각 손가락의 끝점, 그리고 팔의 경계 영역을 통해 인식한다. 인공지능 알고리즘은 손 영역(30h)에서 기준점(A), 교차점(C1 내지 C4), 그리고 손목 기준점(D1, D2)을 도출한다.Referring to Fig. 3, the artificial intelligence algorithm recognizes a hand region (30h) from a three-dimensional image (30). The hand region (30h) is recognized through the boundary region of the hand, the end points of each finger, and the boundary region of the arm, as described above. The artificial intelligence algorithm derives a reference point (A), intersection points (C1 to C4), and wrist reference points (D1, D2) from the hand region (30h).

기준점(A)은 손 바닥 영역에서 인식한다. 일 예에 의하면, 기준점(A)은 손 바닥 영역의 중심점이 될 수 있다.The reference point (A) is recognized in the palm area. In one example, the reference point (A) can be the center point of the palm area.

교차점(C1 내지 C4)은 손가락들 사이에서 추출된다. 구체적으로, 5개의 손가락 중 인접한 손가락 영역의 끝점(B1 내지 B5)끼리 연결하여 연결선(L1)을 도출하고, 연결선(L1)과 인접한 손가락 영역의 경계선(L2)으로 이루어진 닫힘 영역(E) 내에서 교차점(C1)을 추출한다. 일 예에 의하면, 교차점(C1)은 인접한 손가락 영역의 끝점(B1, B2) 각각에서 거리가 가장 먼 지점일 수 있다. 다른 예에 의하면, 연결선(L1)에 수직한 방향으로 연결선(L1)으로부터 거리가 가장 먼 지점일 수 있다. 교차점(C1)은 손가락 사이에서 골의 깊이가 가장 깊은 지점을 나타내며, 최대 4개(C1 내지 C4) 추출될 수 있다.Intersection points (C1 to C4) are extracted between the fingers. Specifically, a connecting line (L1) is derived by connecting the endpoints (B1 to B5) of adjacent finger regions among five fingers, and the intersection point (C1) is extracted within a closed region (E) formed by the connecting line (L1) and the boundary line (L2) of the adjacent finger regions. In one example, the intersection point (C1) may be the point that is the farthest from each of the endpoints (B1, B2) of the adjacent finger regions. In another example, the intersection point (C1) may be the point that is the farthest from the connecting line (L1) in a direction perpendicular to the connecting line (L1). The intersection point (C1) indicates the point with the deepest valley depth between the fingers, and up to four (C1 to C4) may be extracted.

손목 기준점(D1, D2)은 손과 팔의 경계 영역에서 추출된다. 구체적으로, 인공지능 알고리즘은 손의 경계선과 팔의 경계선이 만나는 지점에서 두 개의 손목 기준점(D1, D2)을 추출한다.Wrist reference points (D1, D2) are extracted from the boundary area of the hand and arm. Specifically, the AI algorithm extracts two wrist reference points (D1, D2) from the point where the boundary line of the hand and the boundary line of the arm meet.

인공지능 알고리즘은 5개의 손가락의 끝점(B1 내지 B5)과 기준점(A)을 각각 연결하고, 4개의 교차점(C1 내지 C4)과 기준점(A)을 각각 연결하고, 손목 기준선(D1, D2)과 기준점(A)을 각각 연결한다. 인공지능 알고리즘은 상술한 점들을 연결한 연결선들의 사이 각도 및 길이를 이용하여 손 모양 정보와 손가락 벡터(finger vector) 정보를 추출할 수 있다. 그리고 상술한 기준점(A), 손가락의 끝점(B1 내지 B5), 교차점(C1 내지 C4), 그리고 손목 기준점(D1, D2)들 각각의 X좌표값, Y좌표값, 그리고 Z좌표값을 이미지 프레임별로 추적하여 사용자의 손 동작 정보를 획득할 수 있다.The artificial intelligence algorithm connects the five finger tips (B1 to B5) to the reference point (A), respectively, connects the four intersection points (C1 to C4) to the reference point (A), and connects the wrist reference lines (D1, D2) to the reference point (A). The artificial intelligence algorithm can extract hand shape information and finger vector information using the angles and lengths of the connecting lines connecting the above-described points. In addition, the artificial intelligence algorithm can obtain the user's hand motion information by tracking the X-coordinate value, Y-coordinate value, and Z-coordinate value of each of the above-described reference point (A), finger tips (B1 to B5), intersection points (C1 to C4), and wrist reference points (D1, D2) for each image frame.

도 4는 인공지능 알고리즘을 사용하여 손 모양 정보와 손 동작 정보를 획득하는 또 다른 실시예의 구체적인 과정을 도시한다.Figure 4 illustrates a specific process of another embodiment of obtaining hand shape information and hand motion information using an artificial intelligence algorithm.

도 4를 참조하면, 인공지능 알고리즘은 3차원 이미지(30)로부터 손 영역(30h)을 인식하고, 컨투어(contour)를 통해 각 손가락의 끝점(B1 내지 B5)을 추출한다. 그리고 각 손가락의 끝점(B1 내지 B5)을 기준으로 손가락 벡터(finger vector)를 추출한다. 구체적으로, 인공지능 알고리즘은 손가락 끝점(B1 내지 B5)을 중심으로 제1반경 (r1)의 제1 기준원(K1)을 그리고, 제1 기준원(K1)과 교차하는 손가락의 경계선에서 한 쌍의 제1 경계점(E1, E2)을 추출한다. 그리고 한 쌍의 제1 경계점(E1, E2)을 잇는 선분을 이등분하는 지점에서 제1 기준점(F1)을 추출한다.Referring to FIG. 4, the artificial intelligence algorithm recognizes a hand area (30h) from a three-dimensional image (30), and extracts the end points (B1 to B5) of each finger through a contour. Then, the artificial intelligence algorithm extracts a finger vector based on the end points (B1 to B5) of each finger. Specifically, the artificial intelligence algorithm draws a first reference circle (K1) of a first radius (r1) centered on the finger end points (B1 to B5), and extracts a pair of first boundary points (E1, E2) from the boundary line of the finger intersecting the first reference circle (K1). Then, the first reference point (F1) is extracted from a point that bisects a line segment connecting the pair of first boundary points (E1, E2).

그리고 손가락 끝점(B3)을 중심으로 제1 반경(r1)보다 큰 제2 반경(r2)의 제2 기준원(K2)을 그리고, 제2 기준원(K 2)과 교차하는 손가락의 경계선에서 한 쌍의 제2 경계점(E3, E4)을 추출한다. 그리고 한 쌍의 제2 경계점(E3, E 4)을 잇는 선분을 이등분하는 지점에서 제2기준점(F2)을 추출한다. 상술한 과정으로, 인공지능 알고리즘은 기준원의 반경을 증가시키면서 손가락 영역 내에서 복수 개의 기준점(F1, F2, F3 등)들을 추출한다. 기준점(F1, F2, F3 등)들의 추출은 기준점(F1, F2, F3 등)이 손가락과 손바닥 경계 영역에 도달할 때까지 반복된다. 추출되는 기준점(F1, F2, F3 등)들의 수와 기준점(F1, F2, F3 등)들의 사이 간격은 사용자에 의해 설정될 수 있다. 추출되는 기준점(F1, F2, F3 등)들의 수와 기준점(F1, F2, F3 등)들이 사이 간격이 좁을수록 손가락 벡터의 정확도는 향상될 수 있다.Then, a second reference circle (K2) having a second radius (r2) larger than the first radius (r1) is drawn centered on the fingertip (B3), and a pair of second boundary points (E3, E4) are extracted from the boundary line of the finger intersecting the second reference circle (K 2). Then, a second reference point (F2) is extracted from a point that bisects the line segment connecting the pair of second boundary points (E3, E 4). Through the above-described process, the artificial intelligence algorithm extracts a plurality of reference points (F1, F2, F3, etc.) within the finger area while increasing the radius of the reference circle. The extraction of the reference points (F1, F2, F3, etc.) is repeated until the reference points (F1, F2, F3, etc.) reach the boundary area between the finger and the palm. The number of extracted reference points (F1, F2, F3, etc.) and the interval between the reference points (F1, F2, F3, etc.) can be set by the user. The accuracy of the finger vector can be improved as the number of extracted reference points (F1, F2, F3, etc.) and the spacing between the reference points (F1, F2, F3, etc.) become narrower.

인공지능 알고리즘은 추출된 기준점(F1, F2, F3 등)들을 통해 손가락 벡터를 산출한다. 일 예에 의하면, 인공지능 알고리즘은 선형 회귀 분석(linear regression analysis)을 통해 상기 기준점(F1, F2, F3 등)들로부터 손가락 벡터를 산출할 수 있다. 인공지능 알고리즘은 손가락들 각각에 대해 손가락 벡터를 산출하여 사용자의 손 모양 정보를 산출할 수 있다.The AI algorithm derives a finger vector from the extracted reference points (F1, F2, F3, etc.). For example, the AI algorithm can derive a finger vector from the reference points (F1, F2, F3, etc.) through linear regression analysis. The AI algorithm can derive the user's hand shape information by derive a finger vector for each finger.

또한, 인공지능 알고리즘은 기준점(F1, F2, F3 등)들의 X좌표값, Y좌표값, 그리고 Z좌표값을 3차원 이미지(30)의 프레임별로 추적하여 손 동작 정보를 획득할 수 있다.In addition, the artificial intelligence algorithm can obtain hand movement information by tracking the X-coordinate values, Y-coordinate values, and Z-coordinate values of reference points (F1, F2, F3, etc.) for each frame of a three-dimensional image (30).

상기 제어장치(300)는 상술한 과정으로 획득된 사용자의 손 모양 정보와 손 동작 정보에 따라 홀로그램 영상의 제어 동작을 수행하는 사용자의 다양한 손 동작을 인식할 수 있다.The above control device (300) can recognize various hand movements of the user performing control operations of the holographic image based on the user's hand shape information and hand movement information acquired through the above-described process.

도 5는 본 발명에 따른 홀로그램 디스플레이 시스템에서 디스플레이 장치에 표시된 홀로그램 영상을 제어하기 위한 다양한 손 동작(gesture)를 도시한다.FIG. 5 illustrates various hand gestures for controlling a holographic image displayed on a display device in a holographic display system according to the present invention.

도 5의 (A)를 참조하면, 사용자가 5개 손가락 모두를 쫙 펼칠 경우, 개별 제어 모드가 활성화될 수 있다.Referring to Fig. 5 (A), when the user spreads out all five fingers, the individual control mode can be activated.

도 5의 (B)를 참조하면, 사용자가 5개의 손가락을 전방으로 펼친 상태에서 좌우 방향으로 손을 이동할 경우, 디스플레이 장치(100)에 표시된 홀로그램 영상이 다른 영상으로 변경될 수 있다.Referring to (B) of FIG. 5, when a user moves his/her hand in the left/right direction while spreading five fingers forward, the holographic image displayed on the display device (100) may change to a different image.

도 5의 (C)를 참조하면, 사용자가 엄지손가락과 검지손가락의 붙였다 손가락 사이를 벌릴 경우, 디스플레이 장치(100)에 표시된 홀로그램 영상이 확대될 수 있고, 반대로 엄지손가락과 검지손가락을 다시 모을 경우 디스플레이 장치(100)에 표시된 홀로그램 영상이 축소될 수 있다.Referring to (C) of FIG. 5, when a user spreads the space between the thumb and index finger, the holographic image displayed on the display device (100) may be enlarged, and conversely, when the thumb and index finger are brought back together, the holographic image displayed on the display device (100) may be reduced.

도 5의 (D)를 참조하면, 사용자가 검지손가락을 펼친 상태에서 손을 이동하는 경우 디스플레이 장치(100)에 표시된 홀로그램 영상이 검지손가락의 방향을 따라 소정 거리 이동될 수 있다.Referring to (D) of FIG. 5, when a user moves his/her hand with the index finger spread out, a holographic image displayed on the display device (100) can move a predetermined distance along the direction of the index finger.

도 5의 (E)를 참조하면, 사용자가 5개의 손가락을 펼친 상태에서 손바닥을 좌우방향으로 회전시킬 경우, 디스플레이 장치(100)에 표시된 홀로그램 영상은 소정 각도로 회전될 수 있다.Referring to (E) of FIG. 5, when a user rotates his or her palm left and right while spreading out five fingers, a holographic image displayed on the display device (100) can be rotated at a predetermined angle.

도 5를 참조하여 설명한 손 동작 이외에도 디스플레이 장치(100)에 표시된 홀로그램 영상은 미리 결정되어 저장된 특정 손 동작에 대응하여 다양한 제어 기능이 수행될 수 있다. 예를 들면, 영상의 확대 축소 제어방법도 전술한 방법 외에 검지 손가락을 시계방향 또는 반시계 방향으로 그리는 동작에 대응하여, 상기 디스플레이 장치(100)를 통해 표시된 홀로그램 영상은 확대되거나 축소될 수 있다.In addition to the hand gestures described with reference to FIG. 5, the holographic image displayed on the display device (100) can perform various control functions in response to specific hand gestures that are determined and stored in advance. For example, in addition to the method described above, the image enlargement/reduction control method can also be used in response to a gesture of drawing the index finger in a clockwise or counterclockwise direction, so that the holographic image displayed through the display device (100) can be enlarged or reduced.

이와 같이, 도 5의 (A) 내지 (E)를 참조하여 홀로그램 영상 제어를 위한 다양한 손 동작에 관해 설명하였으나, 상기 도시된 예들은 다양한 손 제어 동작 중 예시일 뿐 이에 한정되지는 않는다.In this way, various hand movements for controlling holographic images have been described with reference to (A) to (E) of FIGS. 5, but the illustrated examples are only examples of various hand control movements and are not limited thereto.

또한, 디스플레이 장치(100)의 전원 온오프 제어 역시 미리 결정된 손동작, 예를 들면 주먹 쥐기와 손가락 펴기 등의 동작으로 제어되도록 할 수 있다.Additionally, the power on/off control of the display device (100) can also be controlled by a predetermined hand motion, such as making a fist and spreading fingers.

상기 손 위치 지정부(330)는 앞서 살펴본 바와 같이 사용자가 다양한 손 동작을 취하는 경우 해당 손의 위치에 대응하는 3차원 위치 좌표를 상기 홀로그램 영상이 표시되는 가상의 3차원 패널(40)에 지정하고, 상기 3차원 패널(40)에 지정된 위치 좌표에 따라 제어 신호를 생성한다.As previously discussed, the hand position designation unit (330) designates three-dimensional position coordinates corresponding to the position of the hand when the user makes various hand movements to a virtual three-dimensional panel (40) on which the hologram image is displayed, and generates a control signal according to the position coordinates designated to the three-dimensional panel (40).

도 6은 본 발명에 따른 홀로그램 디스플레이 시스템에서 홀로그램 영상을 제어하기 위한 손의 3차원 위치 좌표를 3차원 패널 상에 지정하는 방법을 도시한다.FIG. 6 illustrates a method for specifying three-dimensional position coordinates of a hand for controlling a holographic image on a three-dimensional panel in a holographic display system according to the present invention.

도 6을 참조하면, 상기 손 위치 지정부(330)는 제어 동작 제스처를 취하는 사용자의 손과 상기 3차원 패널(40)이 교차하는 교차점(T)에 대한 3차원 위치 좌표(T_c)를 제1 손 위치 지정 방법으로 지정된 제1 교차점 위치 좌표(I_c)와 제2 손 위치 지정 방법으로 지정된 제2 교차점 위치 좌표(A'_c)를 사용하여 결정할 수 있다.Referring to FIG. 6, the hand position designation unit (330) can determine the three-dimensional position coordinates (T _c ) for the intersection point (T) where the hand of the user making the control action gesture intersects the three-dimensional panel (40) by using the first intersection point position coordinates (I _c ) designated by the first hand position designation method and the second intersection point position coordinates (A' _c ) designated by the second hand position designation method.

구체적으로, 상기 손 위치 지정부(330)의 제1 손 위치 지정 방법은 아래 [수학식 1]를 사용하여, 손바닥 영역의 중심점에 대응하는 손바닥 기준점(A)과 손가락의 끝점(B)을 연결하는 손가락 벡터(finger vector)와 상기 3차원 패널(40)이 교차하는 제1 교차점(I)에 대한 3차원 위치 좌표를 상기 제1 교차점 위치 좌표(I_c)로 지정한다.Specifically, the first hand position designation method of the hand position designation unit (330) uses the following [Mathematical Formula 1] to designate the three-dimensional position coordinates for the first intersection point (I) where the three-dimensional panel (40) intersects the finger vector connecting the palm reference point (A) corresponding to the center point of the palm area and the tip point (B) of the finger as the first intersection point position coordinates (I _c ).

[수학식 1][Mathematical formula 1]

여기서, 는 제1 교차점 위치 좌표, 는 손바닥 기준점(A)의 위치 좌표, 는 손바닥 기준점(A)과 제1 교차점(I) 사이의 거리 정보, 는 손가락 벡터이다.Here, is the first intersection location coordinate, is the position coordinate of the palm reference point (A), is the distance information between the palm reference point (A) and the first intersection point (I). is a finger vector.

또한, 상기 제2 손 위치 지정 방법은 기준점은 손바닥 영역의 중심점에 대응하는 손바닥 기준점(A)을 상기 3차원 패널(40) 상에 수직 방향으로 투사(project)하였을 때 투사점에 대응하는 제2 교차점(A')에 대한 3차원 위치 좌표를 상기 제2 교차점 위치 좌표(A'_c)로 지정한다.In addition, the second hand position designation method designates the three-dimensional position coordinates for the second intersection point (A') corresponding to the projection point when the palm reference point (A) corresponding to the center point of the palm area is vertically projected onto the three-dimensional panel (40) as the second intersection point position coordinates (A' _c ).

구체적으로, 상기 손 위치 지정부(330)의 상기 제2 손 위치 지정 방법은 아래 [수학식 2]를 사용하여 상기 3차원 패널(40) 상에 상기 제2 교차점 위치 좌표(A'_c)를 지정할 수 있다.Specifically, the second hand position designation method of the hand position designation unit (330) can designate the second intersection point position coordinate (A' _c ) on the three-dimensional panel (40) using the following [Mathematical Formula 2].

[수학식 2][Mathematical formula 2]

여기서, 는 제2 교차점 위치 좌표, 는 손바닥 기준점(A)의 위치 좌표, 는 손바닥 기준점(A)과 상기 제2 교차점(A') 사이의 거리 정보, 은 3차원 패널(40) 상에서의 법선 벡터(normal vector)이다.Here, is the second intersection location coordinate, is the position coordinate of the palm reference point (A), is the distance information between the palm reference point (A) and the second intersection point (A'). is a normal vector on the three-dimensional panel (40).

그리고, 상기 손 위치 지정부(330)는 최종적으로 제어 동작을 취하는 사용자의 손과 상기 3차원 패널(40)이 교차하는 교차점(T)에 대한 3차원 위치 좌표를 상기 3차원 패널(40) 상에 지정된 제1 교차점 위치 좌표(I_c)와 제2 교차점 위치 좌표(A'_c) 사이를 연결하는 연결선 상에 지정할 수 있다.In addition, the hand position designation unit (330) can designate the three-dimensional position coordinates for the intersection point (T) where the hand of the user performing the final control action intersects the three-dimensional panel (40) on the connecting line connecting the first intersection point position coordinate (I _c ) and the second intersection point position coordinate (A' _c ) designated on the three-dimensional panel (40).

여기서, 상기 손 위치 지정부(330)는 전술한 방법으로 상기 3차원 패널(40) 상에 지정된 제1 교차점 위치 좌표(I_c)와 상기 제2 교차점 위치 좌표(A'_c)에 민감성 계수(f, sensitive coefficient)를 적용하여, 제어 동작 제스처를 취하는 사용자의 손과 상기 3차원 패널(40)이 교차하는 교차점(T)에 대한 3차원 위치 좌표(T_c)를 결정할 수 있다.Here, the hand position designation unit (330) can apply a sensitivity coefficient (f, sensitive coefficient) to the first intersection point position coordinate (I _c ) and the second intersection point position coordinate (A' _c ) designated on the three-dimensional panel (40) using the above-described method, thereby determining the three-dimensional position coordinate (T _c ) for the intersection point (T) where the hand of the user making the control action gesture intersects the three-dimensional panel (40).

구체적으로, 상기 손 위치 지정부(330)는 민감성 계수(f, sensitive coefficent)를 기반으로 아래 [수학식 3]를 통하여 상기 3차원 패널(40) 상에 지정된 3차원 위치 좌표(T_c)를 산출할 수 있다.Specifically, the hand position designation unit (330) can calculate the 3D position coordinates (T _c ) designated on the 3D panel (40) through the following [Mathematical Formula 3] based on the sensitivity coefficient (f).

[수학식 3][Mathematical formula 3]

여기서, 는 상기 교차점(T)에 대한 3차원 위치 좌표, f는 민감성 계수, 는 제1 교차점 위치 좌표, 는 제2 교차점 위치 좌표이다.Here, is the three-dimensional position coordinate for the above intersection point (T), f is the sensitivity coefficient, is the first intersection location coordinate, is the second intersection location coordinate.

이와 같이, 상기 손 위치 지정부(330)는 0 이상 1 이하를 갖는 민감성 계수(f)의 값을 조정하여 상기 제1 교차점 위치 좌표(I_c)와 상기 제2 교차점 위치 좌표(A'_c)사이에서 보간 정도를 조절할 수 있다. In this way, the hand position designation unit (330) can adjust the degree of interpolation between the first intersection point position coordinate (I _c ) and the second intersection point position coordinate (A' _c ) by adjusting the value of the sensitivity coefficient (f) having 0 or more and 1 or less.

즉, 상기 손 위치 지정부(330)는 사용자의 손 동작에 따라 자유로운 사용성을 갖는 제1 손 위치 지정 방법을 통해 획득한 제1 교차점 위치 좌표()와 안정성을 갖는 제2 손 위치 지정 방법을 통해 획득한 제2 교차점 위치 좌표()의 상호 보완적인 관계를 이용하여 상기 가상의 3차원 패널(40)과 제어 동작 제스처를 취하는 손이 교차하는 교차점(T)에 관한 좌표 정보(T_c)를 최종적으로 지정할 수 있다.That is, the hand position designation unit (330) obtains the first intersection point position coordinates ( ) through the first hand position designation method that has free usability according to the user's hand movements. ) and the second intersection point position coordinates obtained through the second hand positioning method having stability ( ) can be used to finally specify coordinate information (T _c ) regarding the intersection point (T) where the virtual three-dimensional panel (40) and the hand making the control action gesture intersect.

상기 제어 신호 생성부(340)는 앞서 설명한 방법으로 상기 3차원 패널(40)에 지정된 3차원 좌표 정보(T_c)를 사용하여 제어 신호를 생성한다.The above control signal generating unit (340) generates a control signal using the three-dimensional coordinate information (T _c ) specified in the three-dimensional panel (40) using the method described above.

그리고, 상기 디스플레이 장치(100)를 통해 표시된 홀로그램 영상은 상기 제어 신호 생성부(340)에서 전송된 제어 신호에 대응하여 홀로그램 영상의 제어 기능을 수행한다.And, the holographic image displayed through the display device (100) performs a control function of the holographic image in response to the control signal transmitted from the control signal generating unit (340).

예를 들면, 상기 제어 신호 생성부(340)는 홀로그램 영상의 확대 기능, 축소 기능, 회전 기능, 이동 기능, 다른 영상으로 전환 기능, 모드 선택 기능, 밝기 조절 기능 중 적어도 하나의 기능을 수행하기 위한 제어 신호를 생성한다.For example, the control signal generating unit (340) generates a control signal for performing at least one of the following functions: enlargement function, reduction function, rotation function, movement function, switching to another image function, mode selection function, and brightness adjustment function of a holographic image.

한편, 도 1을 참조하면, 상기 디스플레이 장치(100)는 홀로그램 영상 외에 음향을 함께 출력하기 위한 적어도 하나의 스피커(100s)가 더 구비될 수 있다. 상기 스피커(100s)는 상기 디스플레이 장치(100)와 연동되어 음향을 출력할 수 있다.Meanwhile, referring to Fig. 1, the display device (100) may further be equipped with at least one speaker (100s) for outputting sound in addition to the holographic image. The speaker (100s) may be linked with the display device (100) to output sound.

이 경우, 상기 제어 신호 생성부(340)는 사용자의 손 동작 제스처에 대응하여 상기 디스플레이 장치(100)에 표시된 홀로그램 영상이 음향 정보를 포함하는 경우 음향 출력을 위한 제어신호를 생성할 수 있다.In this case, the control signal generation unit (340) can generate a control signal for sound output when the holographic image displayed on the display device (100) includes sound information in response to a user's hand motion gesture.

상기 제어 신호 생성부(340)는 사용자의 특정 손 동작을 인식하여 홀로그램 영상의 음향을 확대, 증폭 또는 축소하거나 음향 파일을 변경 또는 선택하는 기능을 수행할 수 있다.The above control signal generation unit (340) can perform a function of recognizing a specific hand movement of the user to enlarge, amplify, or reduce the sound of a holographic image or change or select a sound file.

예를 들면, 사용자가 검지 손가락을 펼친 상태에서 검지 손가락을 시계 방향으로 회전시킬 경우 볼륨 업(volume up)으로 인식되어, 스피커(100s)에서 출력되는 소리가 커질 수 있다. 소리는 검지 손가락의 회전 속도에 비례하여 커지는 속도가 조절될 수 있다.For example, when a user spreads out his or her index finger and rotates the index finger clockwise, the volume may be recognized as up, and the sound output from the speaker (100s) may increase. The speed at which the sound increases may be adjusted in proportion to the rotation speed of the index finger.

반면, 사용자가 검지 손가락을 펼친 상태에서 검지 손가락을 반시계 방향으로 회전시킬 경우 볼륨 다운(volume down)으로 인식되어, 스피커(100s)에서 출력되는 소리가 작아질 수 있다. 소리는 검지 손가락의 회전 속도에 비례하여 작아지는 속도가 조절될 수 있다.On the other hand, if the user rotates the index finger counterclockwise while spreading the index finger, it is recognized as a volume down, and the sound output from the speaker (100s) may become smaller. The speed at which the sound becomes smaller can be adjusted in proportion to the rotation speed of the index finger.

나아가, 도 1을 참조하면, 본 발명에 따른 홀로그램 디스플레이 시스템은 사용자의 음성을 인식하여 음성 기반 제어 명령을 분석하는 음성 신호 분석장치(400)를 더 포함하되, 상기 제어장치(300)는 상기 음성 신호 분석장치(400)에서 분석된 사용자의 음성 신호에 따라 상기 디스플레이 장치(100)에 표시된 홀로그램 영상을 제어할 수 있다.Furthermore, referring to FIG. 1, the hologram display system according to the present invention further includes a voice signal analysis device (400) that recognizes a user's voice and analyzes a voice-based control command, and the control device (300) can control a hologram image displayed on the display device (100) according to the user's voice signal analyzed by the voice signal analysis device (400).

구체적으로, 상기 음성 신호 분석장치(400)는 사용자의 음성을 감지하여 전기적 신호로 변환하는 마이크(410) 및 상기 마이크(410)에 감지된 사용자의 음성을 인식하고, 인식된 음성을 분석하여 제어 명령으로 도출하는 분석부(420)를 포함하여 구성된다.Specifically, the voice signal analysis device (400) is configured to include a microphone (410) that detects a user's voice and converts it into an electrical signal, and an analysis unit (420) that recognizes the user's voice detected by the microphone (410), analyzes the recognized voice, and derives a control command.

상기 음성 신호 분석장치(400)의 분석부(420)는 사용자의 음성에 포함된 메시지의 의도를 식별하기 위하여 음성 인식 기술 또는 자연어 처리 기술((Natural Language Processing; NLP) 등을 적용할 수 있다.The analysis unit (420) of the above voice signal analysis device (400) may apply voice recognition technology or natural language processing technology (NLP) to identify the intent of the message included in the user's voice.

상기 제어장치(300)의 제어 신호 생성부(340)는 상기 음성 신호 분석장치(400)에서 제어 명령이 수신되면, 전송된 제어 신호를 기반으로 홀로그램 영상을 제어하기 위한 제어 신호를 생성한다.When a control command is received from the voice signal analysis device (400), the control signal generation unit (340) of the above control device (300) generates a control signal for controlling a hologram image based on the transmitted control signal.

앞서 기술한 사용자의 손 동작을 사용한 제어 프로세스와 마찬가지로, 상기 음성 신호 분석장치(400)는 사용자의 음성을 인식하여 이를 기반으로 제어 명령을 생성하고 상기 제어 명령에 따라 상기 디스플레이 장치(100)를 통해 구현된 홀로그램 영상의 각종 제어 기능이 수행될 수 있다.As with the control process using the user's hand movements described above, the voice signal analysis device (400) recognizes the user's voice and generates a control command based on the same, and various control functions of the holographic image implemented through the display device (100) can be performed according to the control command.

마찬가지로, 상기 디스플레이 장치(100)를 통해 표시된 홀로그램 영상은 상기 제어 신호 생성부(340)에서 전송된 제어 명령에 대응하여 제어신호를 발생시켜 홀로그램 영상의 확대 기능, 축소 기능, 회전 기능, 이동 기능, 다른 영상으로 전환 기능, 모드 선택 기능 이외에도 손동작 명령으로 구분이 쉽지 않은 홀로그램 영상의 밝기, 채도 또는 콘트라스트 등의 조절 등의 다양한 제어 기능을 수행하도록 구성될 수 있다.Likewise, the holographic image displayed through the display device (100) can be configured to perform various control functions, such as adjusting brightness, saturation or contrast of the holographic image, which are not easily distinguished by hand gesture commands, in addition to the enlargement function, reduction function, rotation function, movement function, switching to another image function, and mode selection function of the holographic image by generating a control signal in response to the control command transmitted from the control signal generating unit (340).

만약, 사용자가 “다음 영상 파일”이라고 말하면, 상기 음성 신호 분석장치(400)는 사용자의 음성을 인식 및 분석하고, 제어 신호를 전송하여 상기 홀로그램 영상을 다음 영상으로 전환할 수 있다.If the user says “next video file,” the voice signal analysis device (400) can recognize and analyze the user’s voice and transmit a control signal to change the holographic image to the next image.

또는 사용자가 “어둡게”라고 말하면, 상기 음성 신호 분석장치(400)는 사용자의 음성을 인식 및 분석하고, 제어 신호를 전송하여 상기 홀로그램 영상의 밝기를 낮출 수 있다.Or, if the user says “dark,” the voice signal analysis device (400) can recognize and analyze the user’s voice and transmit a control signal to lower the brightness of the holographic image.

그리고, 상기 제어 신호 생성부(340)에서 전송된 음성 기반 제어 신호 역시 상기 디스플레이 장치(100)의 스피커를 통해 출력되는 음향 출력을 제어할 수 있음은 물론이다.Additionally, it goes without saying that the voice-based control signal transmitted from the control signal generation unit (340) can also control the sound output through the speaker of the display device (100).

예를 들어, 사용자가 “볼륨 크게”라고 말하면, 상기 음성 신호 분석장치(400)는 사용자의 음성을 인식 및 분석하고, 제어 명령을 전송하여 상기 스피커(100s)를 통해 출력되는 홀로그램 영상의 음향 출력의 볼륨을을 높일 수 있다.For example, when a user says “turn up the volume,” the voice signal analysis device (400) recognizes and analyzes the user’s voice and transmits a control command to increase the volume of the sound output of the holographic image output through the speaker (100s).

이와 같이, 본 발명에 따른 홀로그램 디스플레이 시스템은 사용자의 손 동작뿐만 아니라 사용자의 음성을 인식하여 홀로그램 영상을 제어할 수 있으므로 사용 편리성이 향상된다.In this way, the holographic display system according to the present invention can control a holographic image by recognizing not only the user's hand movements but also the user's voice, thereby improving the convenience of use.

또한, 본 발명은 상기 홀로그램 디스플레이 시스템을 사용한 홀로그램 영상 제어방법을 제공할 수 있다.In addition, the present invention can provide a holographic image control method using the above holographic display system.

도 7은 본 발명에 따른 홀로그램 디스플레이 시스템 제어방법의 순서도를 도시한다.Figure 7 illustrates a flowchart of a method for controlling a hologram display system according to the present invention.

도 7을 참조하여, 본 발명에 따른 홀로그램 영상 제어방법은 상기 촬영장치(200)에서 촬영된 이미지로부터 3차원 이미지(30)를 획득하는 단계(S100); 상기 3차원 이미지(30)를 사용하여 사용자의 손 모양 정보와 손 동작 정보를 획득하여 손 동작을 인식하는 단계(S200); 상기 디스플레이 장치(100)를 통해 상기 홀로그램 영상이 표시되는 3차원 패널(40) 상에 제어 동작 제스처를 취하는 사용자의 손과 상기 3차원 패널(40)이 교차하는 지점의 3차원 위치 좌표를 지정하는 단계(S300); 및 상기 3차원 패널(40) 상에 지정된 위치 좌표에 기반하여 제어 신호를 생성하고 상기 제어 신호에 따라 상기 홀로그램 영상이 제어되는 단계(S400);를 포함한다.With reference to FIG. 7, a holographic image control method according to the present invention includes a step (S100) of obtaining a three-dimensional image (30) from an image captured by the photographing device (200); a step (S200) of recognizing a hand movement by using the three-dimensional image (30) to obtain hand shape information and hand movement information of the user; a step (S300) of designating three-dimensional position coordinates of a point where a hand of the user making a control movement gesture intersects the three-dimensional panel (40) on which the holographic image is displayed through the display device (100); and a step (S400) of generating a control signal based on the position coordinates designated on the three-dimensional panel (40) and controlling the holographic image according to the control signal.

나아가, 본 발명에 따른 홀로그램 디스플레이 시스템 제어방법은 사용자의 음성을 인식하고, 인식된 음성을 분석하여 상기 홀로그램 영상을 제어하기 위한 제어 명령을 신호를 생성하는 단계(S500);를 더 포함할 수 있다.Furthermore, the method for controlling a hologram display system according to the present invention may further include a step (S500) of recognizing a user's voice, analyzing the recognized voice, and generating a signal for a control command for controlling the hologram image.

이 경우, 본 발명에 따른 홀로그램 디스플레이 시스템 제어방법은 사용자가 손 동작 제스처를 취할 수 없는 상황에서도 사용자의 음성 기반 제어 명령에 기반하여 제어 신호를 생성할 수 있으며, 이후 상기 제어 신호에 따라 상기 홀로그램 영상이 제어되는 단계(S400);가 마찬가지로 수행될 수 있다.In this case, the method for controlling a holographic display system according to the present invention can generate a control signal based on a user's voice-based control command even in a situation where the user cannot make a hand motion gesture, and then the step (S400) of controlling the holographic image according to the control signal can be performed in the same manner.

도 8 내지 도 10는 본 발명에 따른 홀로그램 디스플레이 시스템 및 홀로그램 영상 제어방법을 통해 홀로그램 영상이 제어되는 다양한 상태를 도시한다.FIGS. 8 to 10 illustrate various states in which a hologram image is controlled through a hologram display system and a hologram image control method according to the present invention.

도 8 내지 도 10에 도시된 실시예에서 상기 디스플레이 장치(100)는 내부에 홀로그램 영상(H)이 표시되는 공간이 형성되는 프레임부(110), 상기 프레임부(110)의 상부에 구비되며 홀로그램 영상(H)의 근간이 되는 2차원 이미지 정보를 투사하는 투사부(120); 및 상기 투사부(120)에서 투사된 2차원 이미지 정보를 반사시켜 입체적인 홀로그램 영상(H)으로 생성하는 반사부(130);를 포함하여 구성될 수 있다.In the embodiments illustrated in FIGS. 8 to 10, the display device (100) may be configured to include a frame portion (110) in which a space is formed inside which a holographic image (H) is displayed; a projection portion (120) provided on the upper portion of the frame portion (110) and which projects two-dimensional image information that is the basis of the holographic image (H); and a reflection portion (130) which reflects the two-dimensional image information projected from the projection portion (120) to create a three-dimensional holographic image (H).

상기 디스플레이 장치(100)의 투사부(120)는 상기 프레임부(110)의 내부 공간에서 중앙을 향해 배치될 수 있으며, 2차원 이미지 정보를 투사하기 위한 반사부(130)가 설치될 수 있다.The projection unit (120) of the above display device (100) can be positioned toward the center in the internal space of the frame unit (110), and a reflection unit (130) for projecting two-dimensional image information can be installed.

상기 반사부(130)는 상기 투사부(120)와 대향되는 공간에 배치될 수 있으며, 상기 반사부(130)는 피라미드 형상의 사면체로 구성되어 홀로그램 영상(H)이 투영되는 4개의 반사면을 형성할 수 있다.The above reflective part (130) can be placed in a space facing the above projection part (120), and the above reflective part (130) can be configured as a pyramid-shaped tetrahedron to form four reflective surfaces on which a holographic image (H) is projected.

상기 촬영장치(200)는 상기 프레임부(110)의 전방에 설치될 수 있으며, 홀로그램 영상을 제어하는 사용자의 손 동작을 촬영할 수 있다. 일 예에 의하면, 상기 촬영장치(300)는 스테레오 렌즈와 일반 렌즈를 구비한 RGB-D 카메라를 구비하여 사용자의 손 동작에 대한 컬러(RGB) 이미지와 깊이(Depth) 이미지를 각각 생성한다.The above-described photographing device (200) can be installed in front of the frame portion (110) and can capture the user's hand movements for controlling the holographic image. According to one example, the photographing device (300) has an RGB-D camera with a stereo lens and a general lens to generate a color (RGB) image and a depth image for the user's hand movements, respectively.

상기 홀로그램 영상장치(300)는 컬러(RGB) 이미지와 깊이(Depth) 이미지를 결합하여 획득한 3차원 이미지(30)를 사용하므로 사용자의 손 동작을 감지하여 제어 신호를 생성할 수 있다.The above holographic imaging device (300) uses a three-dimensional image (30) obtained by combining a color (RGB) image and a depth image, so it can detect the user's hand movements and generate a control signal.

예를 들면, 도 8을 참조하면, 본 발명은 사용자의 손이 회전하는 제스처를 감지 및 손의 위치를 인식하여 상기 디스플레이 장치(100)에 표시된 홀로그램 영상(H), 예를 들면 심장 등의 의료용 영상이 상기 제어 동작 제스처의 회전 방향 또는 회전 속도에 따라 회전되도록 제어할 수 있다.For example, referring to FIG. 8, the present invention can detect a gesture of a user's hand rotating and recognize the position of the hand to control a holographic image (H), for example, a medical image such as a heart, displayed on the display device (100) to rotate according to the rotation direction or rotation speed of the control action gesture.

또한, 도 9를 참조하면, 본 발명은 사용자의 검지손가락과 엄지손가락 사이 거리가 좁아졌다 늘어졌다 하는 제스처를 감지 및 손의 위치를 인식하여 상기 디스플레이 장치(100)에 표시된 홀로그램 영상(H), 예를 들면 심장 등의 의료용 영상이 상기 제어 동작 제스처에 따라 확대 또는 축소되도록 제어할 수 있다.In addition, referring to FIG. 9, the present invention detects a gesture of narrowing or stretching the distance between the user's index finger and thumb and recognizes the position of the hand, and controls a holographic image (H), for example, a medical image such as a heart, displayed on the display device (100) to be enlarged or reduced according to the control operation gesture.

또한, 도 10을 참조하면, 본 발명은 사용자의 검지손가락이 이동하는 제스처를 감지 및 손의 위치를 인식하여 상기 디스플레이 장치에 표시된 홀로그램 영상(H), 예를 들면 심장 등의 의료용 영상이 상기 손가락의 방향을 짜라 이동되도록 제어할 수 있다.In addition, referring to FIG. 10, the present invention can detect a gesture in which a user's index finger moves and recognize the position of the hand, and control a holographic image (H), for example a medical image such as a heart, displayed on the display device to move in the direction of the finger.

또한, 상기 디스플레이 장치(100)는 상기 프레임부(110) 근방에 홀로그램 영상(H)의 음향을 출력하기 위한 스피커(100s)가 구비될 수 있다. 본 발명은 사용자의 특정 손 동작 또는 음성을 인식하여 홀로그램 영상의 음향 크기 등을 제어하고, 상기 제어된 홀로그램 영상의 음향 신호는 상기 스피커(100s)를 통해 외부로 출력된다.In addition, the display device (100) may be equipped with a speaker (100s) for outputting the sound of the holographic image (H) near the frame portion (110). The present invention recognizes a specific hand movement or voice of a user to control the sound size of the holographic image, and the sound signal of the controlled holographic image is output to the outside through the speaker (100s).

나아가, 상기 디스플레이 장치(100)는 사용자의 음성을 감지하기 위한 마이크(410)가 구비될 수 있다. 이를 통해, 본 발명은 사용자의 음성을 기반으로 홀로그램 영상(H) 또는 음성 출력을 제어할 수 있도록 구성된다.In addition, the display device (100) may be equipped with a microphone (410) for detecting the user's voice. Through this, the present invention is configured to control a holographic image (H) or voice output based on the user's voice.

이와 같이, 본 발명에 따른 홀로그램 디스플레이 시스템 및 그 제어방법은 RGB-D 카메라에서 획득된 3차원 이미지(30)에서 사용자의 손 모양 정보 및 손 동작 정보를 획득하여 사용자의 손 동작을 인식하고, 제어 동작 제스처를 취하는 해당 손의 3차원 위치 좌표를 홀로그램 영상(H)이 표시되는 3차원 패널(40) 상에 지정함으로써 디스플레이 장치(100)를 통해 표시된 홀로그램 영상(H)의 영상 정보 및 소리 정보를 비 접촉 방식으로 제어할 수 있다.In this way, the hologram display system and its control method according to the present invention acquire the user's hand shape information and hand motion information from a three-dimensional image (30) acquired from an RGB-D camera, recognizes the user's hand motion, and designates the three-dimensional position coordinates of the corresponding hand making a control motion gesture on a three-dimensional panel (40) on which the hologram image (H) is displayed, thereby enabling control of the image information and sound information of the hologram image (H) displayed through the display device (100) in a non-contact manner.

본 명세서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 당업자는 이하에서 서술하는 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경 실시할 수 있을 것이다. 그러므로 변형된 실시가 기본적으로 본 발명의 특허청구범위의 구성요소를 포함한다면 모두 본 발명의 기술적 범주에 포함된다고 보아야 한다.Although this specification has been described with reference to preferred embodiments of the present invention, those skilled in the art will be able to modify and change the present invention in various ways without departing from the spirit and scope of the present invention as set forth in the claims below. Therefore, if the modified implementation basically includes the elements of the claims of the present invention, it should be considered that it is included in the technical scope of the present invention.