KR102352933B1 - Method and apparatus for processing 3 dimensional image - Google Patents

3차원(3D) 이미지를 프로세싱하기 위한 방법이 개시된다. 상기 방법은, 3D 이미지를 2차원(2D) 이미지로 프로젝션하는 과정, 2D 이미지를 구성하는 복수의 영역들을 패킹하여 패킹된 2D 이미지를 생성하는 과정, 상기 패킹된 2D 이미지를 인코딩하는 것에 의하여 인코딩된 데이터를 생성하는 과정, 및 상기 인코딩된 데이터를 전송하는 과정을 포함한다.A method for processing three-dimensional (3D) images is disclosed. The method includes a process of projecting a 3D image into a two-dimensional (2D) image, a process of generating a packed 2D image by packing a plurality of regions constituting the 2D image, and encoding the packed 2D image. It includes a process of generating data, and a process of transmitting the encoded data.

3차원 이미지를 프로세싱하기 위한 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING 3 DIMENSIONAL IMAGE}METHOD AND APPARATUS FOR PROCESSING 3 DIMENSIONAL IMAGE

본 발명은 3차원 이미지를 프로세싱하기 위한 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for processing a three-dimensional image.

인터넷은 인간이 정보를 생성하고 소비하는 인간 중심의 연결 망에서, 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 사물인터넷 (Internet of Things, IoT) 망으로 진화하고 있다. IoE (Internet of Everything) 기술은 클라우드 서버 등과의 연결을 통한 빅데이터 (Big data) 처리 기술 등이 IoT 기술에 결합된 하나의 예가 될 수 있다.The Internet is evolving from a human-centered connection network where humans create and consume information to an Internet of Things (IoT) network that exchanges and processes information between distributed components such as objects. Internet of Everything (IoE) technology may be an example in which big data processing technology through connection with cloud servers, etc. are combined with IoT technology.

IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술 등과 같은 기술 요소 들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크 (sensor network), 사물 통신 (Machine to Machine, M2M), MTC (Machine Type Communication) 등의 기술이 연구되고 있다.In order to implement IoT, technology elements such as sensing technology, wired/wireless communication and network infrastructure, service interface technology, and security technology are required. , M2M), and MTC (Machine Type Communication) are being studied.

IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT (Internet Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT 기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 스마트 그리드, 헬스 케어, 스마트 가전, 첨단의료서비스 등의 분야에 응용될 수 있다.한편, IoT을 구현을 위한 콘텐트들 역시 진화하고 있다. 즉, 흑백 컨텐트에서 컬러 컨텐트, 고선명(High Definition : HD), 초고선명(Ultra High Definition Television : UHD), 최근의 HDR(high dynamic range) 컨텐트의 표준화 및 배포로 계속 진화해 감에 따라, 오큘러스(Oculus), 삼성 기어 VR(virtual reality) 등과 같은 VR 장치들에서 재생될 수 있는 가상 현실(VR) 콘텐트에 대한 연구가 진행 중이다. VR 시스템은 사용자를 모니터링하여, 사용자가 어떤 종류의 제어기를 사용하여 콘텐트 디스플레이 장치나 프로세싱 유닛으로 피드백 입력을 제공할 수 있게 하면 그 장치나 유닛이 해당 입력을 처리하여 콘텐트를 그에 맞춰 조정함으로써 인터랙션을 가능하게 하는 시스템이다.In the IoT environment, intelligent IT (Internet Technology) services that create new values in human life by collecting and analyzing data generated from connected objects can be provided. IoT can be applied to fields such as smart home, smart building, smart city, smart car or connected car, smart grid, health care, smart home appliance, and advanced medical service through convergence and complex between existing IT technology and various industries. On the other hand, contents for implementing IoT are also evolving. In other words, as it continues to evolve from black and white content to color content, High Definition (HD), Ultra High Definition Television (UHD), and the recent standardization and distribution of high dynamic range (HDR) content, Oculus (Oculus) and Samsung Gear VR (virtual reality), such as VR devices, such as research on virtual reality (VR) content that can be played is in progress. The VR system monitors the user, allowing the user to provide feedback input to a content display device or processing unit using some kind of controller, which device or unit processes that input and adjusts the content accordingly to facilitate the interaction. system that makes it possible.

VR 에코시스템 안의 기본 구성들은 예를 들어, HMD(head mounted display), 무선, 모바일 VR, TV들, CA VE(cave automatic virtual environment)들, 주변기기 및 햅틱스[VR에 입력을 제공하기 위한 다른 제어기들], 콘텐트 캡처[카메라, 비디오 스티칭], 콘텐트 스튜디오[게임, 라이브, 영화, 뉴스 및 다큐멘터리], 산업적 응용[교육, 건강관리, 부동산, 건설, 여행], 생산 도구 및 서비스[3D 엔진, 프로세싱 파워], 앱 스토어[VR 미디어 컨텐트용] 등을 포함하여 구성될 수 있다.Basic components within the VR ecosystem include, for example, head mounted displays (HMDs), wireless, mobile VR, TVs, cave automatic virtual environments (CA VEs), peripherals and haptics [other controllers to provide input to VR. field], content capture [camera, video stitching], content studio [game, live, film, news and documentary], industrial applications [education, healthcare, real estate, construction, travel], production tools and services [3D engine, processing] Power], the app store [for VR media content], and the like may be configured.

VR 디바이스에서 재생되는 3 차원(3 dimensional: 3D) 이미지는 구형 또는 원통형과 같은 입체적인 이미지일 수 있다. VR 디바이스는 사용자의 시선 방향 등을 고려하여 3D 이미지의 특정한 영역을 디스플레이할 수 있다.A three-dimensional (3D) image reproduced in the VR device may be a three-dimensional image such as a sphere or a cylinder. The VR device may display a specific area of the 3D image in consideration of the user's gaze direction, and the like.

VR을 위한 360도 이미지(또는 3D 이미지, 전방향(omnidirectional) 이미지)를 위한 저장, 압축 및 전송 시스템에서, 다수의 카메라로 촬영한 다수의 이미지들을 3D 모델(예를 들어, 구(sphere) 모델, 큐브(cube) 모델 및 실린더(cylinder) 모델 등)의 표면에 맵핑하여 HMD 디바이스에서 특정 뷰(view)에 대응하는 영역을 렌더링하여 디스플레이한다. 이러한 경우, 원격에 있는 사용자에게 3D 이미지를 제공하기 위해 기존의 2D 이미지를 압축/저장/전송하기 위한 시스템을 활용할 수 있다. 3D 이미지를 2D 이미지로 맵핑(또는 프로젝션(projection))하기 위해 예를 들어, 정방형 도법(ERP: equirectangular projection)이 사용될 수 있다. ERP를 이용하여 3D 이미지를 2D 이미지로 변환한 후, 기존의 2D 이미지에 대한 압축/저장/전송 시스템을 이용하여 원격의 사용자에게 전달할 수 있다. 원격의 사용자는 수신한 2D 이미지를 디코딩한 후 ERP의 역변환을 통해 다시 3D 이미지를 복원할 수 있다. 도 1은 예시적인 ERP 역변환을 나타낸다. 도 1을 참조하면, 직사각형 형태의 2D 이미지는 구 형상의 3D 이미지로 ERP 역변환을 통해 변환될 수 있다. In a storage, compression and transmission system for 360-degree images (or 3D images, omnidirectional images) for VR, a number of images captured by a number of cameras are converted into a 3D model (eg, a sphere model). , a cube model, a cylinder model, etc.) to render and display an area corresponding to a specific view in the HMD device. In this case, in order to provide a 3D image to a remote user, an existing system for compressing/storing/transmitting a 2D image may be utilized. For example, equirectangular projection (ERP) may be used to map (or project) a 3D image to a 2D image. After converting a 3D image into a 2D image using ERP, it can be delivered to a remote user using the existing compression/storage/transmission system for 2D images. After decoding the received 2D image, the remote user can restore the 3D image again through inverse transformation of ERP. 1 shows an exemplary ERP inverse transformation. Referring to FIG. 1 , a rectangular 2D image may be converted into a spherical 3D image through inverse ERP transformation.

3D 이미지를 2D 이미지로 맵핑하기 위해, ERP 이외에도 실린더(cylinder) 프로젝션 또는 큐브(cube) 프로젝션이 사용될 수 있으며, 그 밖에도 다양한 맵핑 방식들이 사용될 수 있다. 실린더 프로젝션 또는 큐브 프로젝션을 이용하여 2D 이미지로 변환된 3D 이미지를 수신한 VR 디바이스는 실린더 프로젝션의 역변환 또는 큐브 프로젝션의 역변환을 통해 3D 이미지를 복원할 수 있다. 도 2는 예시적인 실린더 프로젝션의 역변환을 나타낸다. 도 2를 참고하면, 직사각형 형태의 2D 이미지는 원통(실린더) 형태의 3D 이미지로 실린더 프로젝션의 역변환을 통해 변환될 수 있다. 도 3은 예시적인 큐브 프로젝션을 나타낸다. 도 3을 참고하면, 큐브 프로젝션을 통해 생성된 2D 이미지는 6면체(큐브)의 면(face)들에 대응하는 6개의 직사각형(또는 정사각형) 형태의 서브-이미지들을 포함할 수 있다. 큐브 프로젝션의 역변환을 통해, 6개의 서브-이미지들 각각을 6면체의 면에 대응시켜 6면체 형태의 3D 이미지를 복원할 수 있다.In order to map a 3D image to a 2D image, in addition to ERP, a cylinder projection or a cube projection may be used, and various other mapping methods may be used. A VR device that receives a 3D image converted into a 2D image by using a cylinder projection or a cube projection may restore the 3D image through inverse transformation of the cylinder projection or the inverse transformation of the cube projection. 2 shows the inverse transformation of an exemplary cylinder projection. Referring to FIG. 2 , a rectangular 2D image may be converted into a cylindrical (cylinder) 3D image through inverse transformation of cylinder projection. 3 shows an exemplary cube projection. Referring to FIG. 3 , a 2D image generated through cube projection may include six rectangular (or square) sub-images corresponding to faces of a hexahedron (cube). Through the inverse transformation of the cube projection, each of the six sub-images may correspond to the face of the hexahedron to reconstruct a 3D image in the form of a hexahedron.

도 1 내지 도 3을 통해 설명드린 프로젝션 방법들 및 프로젝션의 역변환 방법들에 의하는 경우, 각 프로젝션 방법에 따라 특정 영역의 영상이 왜곡(distortion)되거나, 특정 영역에 대한 과도한 여분의(redundant) 데이터가 생성될 수 있다. 예를 들어, ERP 경우, 2D 이미지의 상측 및 하측 가장자리들에서 중앙보다 심한 왜곡이 발생할 수 있다. 따라서, HMD 디바이스를 통해 이미지의 상측 및 하측의 극점들(poles)을 보았을 때, 왜곡으로 인해 몰입감이 저하될 수 있다. 또한, 극점에서는 점에 해당하는 데이터가 직선으로 업샘플링(upsampling)되어 2D 이미지로 프로젝션되므로, 불필요한 데이터가 증가하여, 2D 이미지를 전송하기 위한 비트레이트를 증가시킬 수 있다.In the case of the projection methods and the inverse transformation methods of projection described with reference to FIGS. 1 to 3 , an image of a specific area is distorted or excessive redundant data for a specific area according to each projection method can be created. For example, in the case of ERP, distortion more severe than the center may occur at the upper and lower edges of the 2D image. Accordingly, when viewing poles on the upper and lower sides of the image through the HMD device, the sense of immersion may be reduced due to distortion. In addition, at the pole, data corresponding to the point is upsampled in a straight line and projected as a 2D image, so unnecessary data increases and a bit rate for transmitting the 2D image may be increased.

3D 이미지로부터 EPR 등을 이용하여 프로젝션된 이미지 데이터는 종래의 2D 이미지에 비하여 데이터 양이 매우 클 수 있다. 따라서, 데이터 전송의 부담을 경감시키기 위해, 프로젝션된 2D 이미지를 다수의 타일(tile)들로 분할하여, 현재의 FOV(field of view)에 대응되는 영역의 타일들에 대한 데이터만을 전송하는 방법이 고려될 수 있다. 그러나 이러한 방식에 의하는 경우, 타일들마다 프로젝션에 따른 왜곡의 정도가 상이하여, 뷰포트(viewport) 별로 균일한 시각적 품질(visual quality)를 보장할 수 없으며, 여분의 데이터를 전송하게 되는 문제가 있다. 또한, 타일 별로 분할(partition)되어 압축 및 전송되므로, 구획화 현상(blocking artifact)이 발생하는 문제가 있다.Image data projected from a 3D image using EPR or the like may have a very large amount of data compared to a conventional 2D image. Therefore, in order to reduce the burden of data transmission, there is a method of dividing the projected 2D image into a plurality of tiles and transmitting only data for tiles in an area corresponding to the current field of view (FOV). can be considered. However, in the case of this method, since the degree of distortion due to projection is different for each tile, uniform visual quality cannot be guaranteed for each viewport, and there is a problem in that extra data is transmitted. . In addition, since it is compressed and transmitted after being partitioned for each tile, there is a problem in that a blocking artifact occurs.

3D 이미지로부터 EPR 등을 이용하여 프로젝션된 이미지 데이터는 종래의 2D 이미지에 비하여 데이터 양이 매우 클 수 있다. 따라서, 데이터 전송의 부담을 경감시키기 위해, 프로젝션된 2D 이미지를 다수의 타일(tile)들로 분할하여, 현재의 FOV(field of view)에 대응되는 영역의 타일들에 대한 데이터만을 전송하는 방법이 고려될 수 있다. 그러나 이러한 방식에 의하는 경우, 타일들마다 프로젝션에 따른 왜곡의 정도가 상이하여, 뷰포트(viewport) 별로 균일한 시각적 품질(visual quality)를 보장할 수 없으며, 여분의 데이터를 전송하게 되는 문제가 있다. 또한, 타일 별로 분할(partition)되어 압축 및 전송되므로, 구획화 현상(blocking artifact)이 발생하는 문제가 있다.Image data projected from a 3D image using EPR or the like may have a very large amount of data compared to a conventional 2D image. Therefore, in order to reduce the burden of data transmission, there is a method of dividing the projected 2D image into a plurality of tiles and transmitting only data for tiles in an area corresponding to the current field of view (FOV). can be considered. However, in the case of this method, since the degree of distortion due to projection is different for each tile, uniform visual quality cannot be guaranteed for each viewport, and there is a problem in that extra data is transmitted. . In addition, since it is compressed and transmitted after being partitioned for each tile, there is a problem in that a blocking artifact occurs.

이에 본 발명이 해결하고자 하는 과제는 3D 이미지로부터 프로젝션된 2D 이미지를 효율적으로 분할 및 변환하여, 전송 효율과 복원 화질을 개선하고자 하는 것이다.Accordingly, an object of the present invention is to efficiently divide and convert a 2D image projected from a 3D image to improve transmission efficiency and reconstructed image quality.

본 발명의 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명의 일 실시예에 따른 3차원(3D) 이미지를 프로세싱하기 위한 방법은, 3D 이미지를 2차원(2D) 이미지로 프로젝션하는 과정, 2D 이미지를 구성하는 복수의 영역들을 패킹하여 패킹된 2D 이미지를 생성하는 과정, 상기 패킹된 2D 이미지를 인코딩하는 것에 의하여 인코딩된 데이터를 생성하는 과정, 및 상기 인코딩된 데이터를 전송하는 과정을 포함한다.A method for processing a three-dimensional (3D) image according to an embodiment of the present invention includes a process of projecting a 3D image into a two-dimensional (2D) image, a packed 2D image by packing a plurality of regions constituting the 2D image and generating encoded data by encoding the packed 2D image, and transmitting the encoded data.

본 발명의 다른 실시예에 따른 3D 이미지를 프로세싱하기 위한 송신기는, 통신 인터페이스, 및 상기 통신 인터페이스에 연결된 프로세서를 포함하고, 상기 프로세서는, 3D 이미지를 2차원(2D) 이미지로 프로젝션하고, 2D 이미지를 구성하는 복수의 영역들을 패킹하여 패킹된 2D 이미지를 생성하고, 패킹된 2D 이미지를 인코딩하는 것에 의하여 인코딩된 데이터를 생성하고, 그리고 상기 인코딩된 데이터를 전송하도록 구성된다.A transmitter for processing a 3D image according to another embodiment of the present invention includes a communication interface, and a processor connected to the communication interface, wherein the processor projects the 3D image into a two-dimensional (2D) image, the 2D image and generate a packed 2D image by packing a plurality of regions constituting the , generate encoded data by encoding the packed 2D image, and transmit the encoded data.

본 발명의 또 다른 실시예에 따른 3차원(3D) 이미지를 디스플레이하기 위한 방법은, 인코딩된 데이터를 수신하는 과정, 인코딩된 데이터를 디코딩하여 복수의 영역들로 패킹된 2차원(2D) 이미지를 생성하는 과정, 상기 패킹된 2D 이미지를 패킹해제(unpacking)하여 3D 이미지로부터 프로젝션된 2D 이미지를 생성하는 과정, 및 상기 프로젝션된 2D 이미지에 기초하여 상기 3D 이미지를 디스플레이하는 과정을 포함한다.A method for displaying a three-dimensional (3D) image according to another embodiment of the present invention includes a process of receiving encoded data, decoding the encoded data, and generating a two-dimensional (2D) image packed into a plurality of regions. generating, unpacking the packed 2D image to generate a projected 2D image from a 3D image, and displaying the 3D image based on the projected 2D image.

본 발명의 또 다른 실시예에 따른 3차원(3D) 이미지를 디스플레이하기 위한 장치는, 통신 인터페이스 및 상기 통신 인터페이스에 연결된 프로세서를 포함하고, 상기 프로세서는, 인코딩된 데이터를 수신하고, 인코딩된 데이터를 디코딩하여 복수의 영역들로 패킹된 2차원(2D) 이미지를 생성하고, 상기 패킹된 2D 이미지를 패킹해제(unpacking)하여 3D 이미지로부터 프로젝션된 2D 이미지를 생성하고, 그리고 상기 프로젝션된 2D 이미지에 기초하여 상기 3D 이미지를 디스플레이하도록 구성된다.An apparatus for displaying a three-dimensional (3D) image according to another embodiment of the present invention includes a communication interface and a processor connected to the communication interface, the processor receiving encoded data and receiving the encoded data Decoding to generate a two-dimensional (2D) image packed into a plurality of regions, unpacking the packed 2D image to generate a projected 2D image from the 3D image, and based on the projected 2D image to display the 3D image.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Details of other embodiments are included in the detailed description and drawings.

본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.According to the embodiments of the present invention, there are at least the following effects.

즉, 3D 이미지로부터 프로젝션된 2D 이미지의 전송 효율을 개선하고, 복원 화질을 향상시킬 수 있다. That is, it is possible to improve the transmission efficiency of the 2D image projected from the 3D image and improve the restored image quality.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.The effect according to the present invention is not limited by the contents exemplified above, and more various effects are included in the present specification.

도 1은 예시적인 ERP의 역변환을 나타낸다.
도 2는 예시적인 실린더 프로젝션의 역변환을 나타낸다.
도 3은 예시적인 큐브 프로젝션의 역변환을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 송신기의 시스템을 도시한다.
도 5는 본 발명의 일 실시예에 따른 수신기의 시스템을 도시한다.
도 6은 본 발명의 일 실시예에 따른 WU(warping unit)들을 설정하는 방법을 도시한다.
도 7은 본 발명의 다른 실시예에 따른 WU들을 설정하는 방법을 도시한다.
도 8은 본 발명의 실시예들에 따른 WU를 변환하는 방법들을 도시한다.
도 9는 본 발명의 일 실시예에 따른 WU들을 변환하는 방법을 도시한다.
도 10은 본 발명의 일 실시예에 따른 WU들을 재조합하는 방법을 도시한다.
도 11은 본 발명의 일 실시예에 따른 WU의 샘플링 레이트에 대한 가중치를 나타낸 그래프이다.
도 12는 본 발명의 일 실시예에 따른 3D 이미지를 2D 이미지로 맵핑하는 방법을 나타낸 도면이다.
도 13은 도 12의 3D 이미지를 2D 이미지로 맵핑하는 방법에서 3D 이미지의 영역들과 2D 이미지의 영역들의 맵핑 관계를 나타낸다.
도 14는 도 13의 1 내지 4 영역들의 맵핑 방법을 나타낸다.
도 15는 도 13의 5 내지 8 영역들의 맵핑 방법을 나타낸다.
도 16은 도 13의 9 내지 12 영역들의 맵핑 방법을 나타낸다.
도 17은 도 13의 13 내지 15 영역들의 맵핑 방법을 나타낸다.
도 18은 도 13의 17 내지 19 영역들의 맵핑 방법을 나타낸다.
도 19 및 도 20은 도 13의 20 영역의 맵핑 방법을 나타낸다.
도 21 및 도 22는 도 13의 16 영역의 맵핑 방법을 나타낸다.
도 23는 본 발명의 다른 실시예에 따른 3D 이미지를 2D 이미지로 맵핑하는 방법을 나타낸다.
도 24는 본 발명의 또 다른 실시예에 따른 3D 이미지를 2D 이미지로 맵핑하는 방법을 나타낸다.
도 25는 본 발명의 또 다른 실시예에 따른 3D 이미지를 2D 이미지로 맵핑하는 방법을 나타낸다.
도 26은 본 발명의 또 다른 실시예에 따른 3D 이미지를 2D 이미지로 맵핑하는 방법을 나타낸다.
도 27 및 도 28은 본 발명의 또 다른 실시예에 따른 3D 이미지를 2D 이미지로 맵핑하는 방법을 나타낸다.
도 29 및 도 30은 본 발명의 또 다른 실시예에 따른 3D 이미지를 2D 이미지로 맵핑하는 방법을 나타낸다.
도 31은 본 발명의 또 다른 실시예에 따른 마름모 형상의 영역을 직사각형 또는 정사각형 형태의 영역으로 변환하기 위한 패치를 나타낸다.
도 32는 본 발명의 또 다른 실시예에 따른 2D 이미지를 나타낸다.
도 33은 본 발명의 일 실시예에 다른 송신기를 나타내는 블록도이다.
도 34는 본 발명의 일 실시예에 따른 수신기를 나타내는 블록도이다.1 shows the inverse transformation of an exemplary ERP.
2 shows the inverse transformation of an exemplary cylinder projection.
3 shows the inverse transformation of an exemplary cube projection.
4 shows a system of a transmitter according to an embodiment of the present invention.
5 shows a system of a receiver according to an embodiment of the present invention.
6 illustrates a method of setting warping units (WUs) according to an embodiment of the present invention.
7 illustrates a method for configuring WUs according to another embodiment of the present invention.
8 shows methods for transforming a WU according to embodiments of the present invention.
9 shows a method of transforming WUs according to an embodiment of the present invention.
10 illustrates a method of recombining WUs according to an embodiment of the present invention.
11 is a graph showing weights for sampling rates of WUs according to an embodiment of the present invention.
12 is a diagram illustrating a method of mapping a 3D image to a 2D image according to an embodiment of the present invention.
13 illustrates a mapping relationship between regions of a 3D image and regions of a 2D image in the method of mapping the 3D image to a 2D image of FIG. 12 .
FIG. 14 shows a mapping method of regions 1 to 4 of FIG. 13 .
FIG. 15 shows a mapping method of regions 5 to 8 of FIG. 13 .
FIG. 16 shows a mapping method of regions 9 to 12 of FIG. 13 .
17 illustrates a mapping method of regions 13 to 15 of FIG. 13 .
18 illustrates a mapping method of regions 17 to 19 of FIG. 13 .
19 and 20 show a mapping method of area 20 of FIG. 13 .
21 and 22 show a mapping method of area 16 of FIG. 13 .
23 illustrates a method of mapping a 3D image to a 2D image according to another embodiment of the present invention.
24 shows a method of mapping a 3D image to a 2D image according to another embodiment of the present invention.
25 illustrates a method of mapping a 3D image to a 2D image according to another embodiment of the present invention.
26 illustrates a method of mapping a 3D image to a 2D image according to another embodiment of the present invention.
27 and 28 show a method of mapping a 3D image to a 2D image according to another embodiment of the present invention.
29 and 30 show a method of mapping a 3D image to a 2D image according to another embodiment of the present invention.
31 shows a patch for converting a rhombus-shaped region into a rectangular or square-shaped region according to another embodiment of the present invention.
32 shows a 2D image according to another embodiment of the present invention.
33 is a block diagram illustrating a transmitter according to an embodiment of the present invention.
34 is a block diagram illustrating a receiver according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention belongs It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims.

비록 제 1, 제 2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제 1 구성요소는 본 발명의 기술적 사상 내에서 제 2 구성요소일 수도 있음은 물론이다.Although the first, second, etc. are used to describe various elements, these elements are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first component mentioned below may be the second component within the spirit of the present invention.

도 4는 본 발명의 일 실시예에 따른 송신기의 시스템을 도시한다. 송신기는 3D 이미지와 관련된 데이터 또는 서비스를 제공하기 위한 서버일 수 있다. 여기서 3D 이미지는 동적 이미지 및 정적 이미지 모두를 지칭할 수 있다. 송신기는 3D 이미지를 생성하거나 또는 수신할 수 있다 (410). 송신기는 여러 방향에서 촬영된 다수의 카메라들로부터의 이미지들을 이어붙여(stitching) 3D 이미지를 생성할 수 있다. 송신기는 이미 만들어진 3D 이미지에 관한 데이터를 외부로부터 수신할 수도 있다. 4 shows a system of a transmitter according to an embodiment of the present invention. The transmitter may be a server for providing data or services related to 3D images. Here, the 3D image may refer to both a dynamic image and a static image. The transmitter may generate or receive the 3D image ( 410 ). The transmitter may create a 3D image by stitching images from multiple cameras taken from multiple directions. The transmitter may receive data related to an already created 3D image from the outside.

송신기는 3D 이미지를 2D 이미지로 프로젝션 할 수 있다 (420). 3D 이미지를 2D 이미지로 프로젝션하기 위해, ERP, 실린더 프로젝션, 큐브 프로젝션 및 본원 명세서에서 이후 설명될 다양한 프로젝션 방법들 중 어느 하나가 사용될 수 있으며, 이에 한정되는 것이 아니다.The transmitter may project the 3D image into a 2D image ( 420 ). In order to project a 3D image into a 2D image, ERP, cylinder projection, cube projection, and any one of various projection methods to be described later in this specification may be used, but is not limited thereto.

송신기는 프로젝션된 2D 이미지의 영역들을 패킹(packing)할 수 있다 (430). 여기서, 패킹하는 것은 2D 이미지를 WU(Warping Uint)들로 지칭될 수 있는 다수의 영역들로 분할하고, WU들을 변형하고, 그리고/또는 WU들을 재구성(또는 재배치)하는 것을 포함할 수 있으며, 이를 통해 패킹된 2D 이미지를 생성하는 것을 지칭할 수 있다. WU들은 2D 이미지를 구성하는 영역들로서, 단순히 영역들, 구역들, 파티션들 등과 같이 유사한 다른 용어들로 대체될 수 있다. 이하, 도 6 및 도 7을 참고하여, WU를 설정하는 방법에 관하여 보다 상세히 설명하도록 한다.The transmitter may pack the regions of the projected 2D image ( 430 ). Here, packing may include segmenting the 2D image into multiple regions, which may be referred to as Warping Uints (WUs), transforming the WUs, and/or reconstructing (or relocating) the WUs, which It may refer to generating a packed 2D image through WUs are regions constituting a 2D image, and may be simply replaced with other similar terms such as regions, regions, partitions, and the like. Hereinafter, a method of setting a WU will be described in more detail with reference to FIGS. 6 and 7 .

도 6은 본 발명의 일 실시예에 따른 WU들을 설정하는 방법을 도시한다. 도 6에서, 2D 이미지(600)는 다수의 WU들(610, 620)로 구분될 수 있다. 다수의 WU들(610, 620)은 서로 중첩되지 않도록 설정될 수 있다. 6 illustrates a method for configuring WUs according to an embodiment of the present invention. In FIG. 6 , the 2D image 600 may be divided into a plurality of WUs 610 and 620 . The plurality of WUs 610 and 620 may be configured not to overlap each other.

도 7은 본 발명의 다른 실시예에 따른 WU들을 설정하는 방법을 도시한다. 도 7에서, 2D 이미지(700)는 다수의 WU들(710, 720)로 구분될 수 있다. 다수의 WU들(710, 720) 각각은 적어도 하나의 인접한 다른 WU와 중첩되도록 설정될 수 있다. 몇몇 실시예들에 의하면, WU들 중의 일부는 다른 WU와 중첩하고, 다른 일부는 WU와 중첩하지 않도록 설정될 수도 있다. WU들이 중첩되는 경우, 중첩되는 영역에 대응하는 이미지는 각 WU에 중복하여 존재한다. 이러한 중첩을 통해, 수신기에서 WU들에 중복된 영역을 조합(blending)하도록 함으로써, 구획화 현상(blocking artifact)를 감소시킬 수 있다. 또한 중첩되는 WU들 각각은 중첩되지 않는 WU보다 넓은 FOV를 제공할 수 있으므로, 특정 뷰포트에 대응하는 WU를 전송할 때, 보다 적은 수의 WU를 전송함으로써, 상기 뷰포트에 대응하는 정보를 전송할 수 있다.7 illustrates a method for configuring WUs according to another embodiment of the present invention. In FIG. 7 , the 2D image 700 may be divided into a plurality of WUs 710 and 720 . Each of the plurality of WUs 710 and 720 may be configured to overlap at least one adjacent other WU. According to some embodiments, some of the WUs may be configured to overlap with other WUs, and other WUs may be configured not to overlap with the WUs. When WUs are overlapped, an image corresponding to the overlapping area is overlapped in each WU. Through such overlapping, the receiver may reduce a blocking artifact by allowing the WUs to combine overlapping regions. In addition, since each of the overlapping WUs can provide a wider FOV than non-overlapping WUs, when transmitting a WU corresponding to a specific viewport, by transmitting a smaller number of WUs, information corresponding to the viewport can be transmitted.

다시 도 4를 참고하면, WU들을 변형하는 것은 WU들 각각의 형상을 변형(예를 들어, 직사각형으로부터 삼각형, 사다리꼴 등으로 변형)하는 것, WU들 중 적어도 일부를 회전시키는 것, 및/또는 반전시키는 것(mirroring)을 포함할 수 있다. Referring again to FIG. 4 , transforming the WUs includes transforming the shape of each of the WUs (eg, transforming from a rectangle to a triangle, trapezoid, etc.), rotating at least some of the WUs, and/or inverting This may include mirroring.

WU들을 재구성(또는 재배치)하는 것은 다수의 WU들 중 적어도 일부를 회전하는 것, 미러링하는 것 및/또는 이동시키는 것(shifting)을 포함할 수 있다. 몇몇 실시예들에 따르면, WU들은 패딩 영역(padding region)을 최소화하도록 재구성될 수 있으나, 반드시 이에 한정되는 것은 아니다. 여기서, 패딩 영역은 패킹된 2D 이미지 상에서 3D 이미지에 대응되는 영역들을 제외한 부가적인 영역을 의미할 수 있다.Reconfiguring (or relocating) the WUs may include rotating, mirroring, and/or shifting at least some of the multiple WUs. According to some embodiments, WUs may be reconfigured to minimize a padding region, but is not limited thereto. Here, the padding area may mean an additional area on the packed 2D image except for areas corresponding to the 3D image.

송신기는 패킹된 2D 이미지를 인코딩할 수 있다 (440). 인코딩은 기존에 알려진 2D 이미지에 대한 인코딩 방식을 이용하여 수행될 수 있다. WU들 각각에 대하여 독립적으로 인코딩이 수행될 수 있다. 몇몇 실시예들에 의하면, 변환된 WU들을 그룹화하여 형성된 하나의 이미지에 대하여 인코딩이 수행될 수 있다.The transmitter may encode the packed 2D image (440). Encoding may be performed using a known encoding method for a 2D image. Encoding may be performed independently for each of the WUs. According to some embodiments, encoding may be performed on one image formed by grouping the transformed WUs.

송신기는 인코딩된 데이터를 캡슐화(encapsulation)할 수 있다 (450). 캡슐화는 인코딩된 데이터를 분할하고, 분할물들에 헤더를 부가하는 등의 프로세싱을 통해 정해진 전송 프로토콜에 따르도록 인코딩된 데이터를 가공하는 것을 의미할 수 있다. 송신기는 캡슐화된 데이터를 전송할 수 있다. WU들 각각에 대하여 캡슐화가 수행될 수 있다. 몇몇 실시예들에 의하면, 변환된 WU들을 그룹화하여 형성된 하나의 이미지에 대하여 캡슐화가 수행될 수 있다.The transmitter may encapsulate the encoded data (450). Encapsulation may mean processing the encoded data to conform to a predetermined transmission protocol through processing such as dividing the encoded data and adding a header to the fragments. A transmitter may transmit encapsulated data. Encapsulation may be performed for each of the WUs. According to some embodiments, encapsulation may be performed on one image formed by grouping the transformed WUs.

도 5는 본 발명의 일 실시예에 따른 수신기의 시스템을 도시한다. 수신기는 송신기로부터 전송된 3D 이미지에 관한 데이터를 수신할 수 있다. 수신기는 수신된 데이터에 대하여 캡슐화 해제(decapsulation)를 수행할 수 있다 (510). 캡슐화 해제(510)를 통하여, 도 4에서의 인코딩(440)을 통해 생성된 인코딩된 데이터가 생성될 수 있다.5 shows a system of a receiver according to an embodiment of the present invention. The receiver may receive data about the 3D image transmitted from the transmitter. The receiver may perform decapsulation on the received data ( 510 ). Through de-encapsulation 510 , the encoded data generated through encoding 440 in FIG. 4 may be generated.

수신기는 캡슐화 해제(510)된 데이터에 대하여 디코딩을 수행할 수 있다 (520). 디코딩(520)을 통해 패킹된 2D 이미지가 복원될 수 있다.The receiver may perform decoding on the de-encapsulated (510) data (520). The packed 2D image may be reconstructed through the decoding 520 .

수신기는 디코딩된 데이터(즉, 패킹된 2D 이미지)에 대하여 패킹해제(unpacking)를 수행할 수 있다 (530). 패킹해제를 통해 도 4에서의 프로젝션(420)을 통해 생성된 2D 이미지가 복원될 수 있다. 패킹해제를 수행하는 것은 도 4에서의 패킹(430)에서 수행된 WU들의 재구성, 변형, 및/또는 2D 이미지의 WU들로의 분할의 역변환이 수행될 수 있다. 이를 위해 패킹(430)의 방법에 대하여 수신기는 알고 있을 필요가 있다. 패킹(430)의 방법은 수신기와 송신기 사이에 미리 정해져 있을 수 있다. 몇몇 실시예들에 의하면 송신기는 패킹(430)의 방법에 관한 정보를 메타데이터와 같은 별도의 메시지를 통해 수신기에 전달할 수 있다. 몇몇 실시예들에 의하면, 캡슐화(450)를 통해 생성된 전송 데이터는, 예를 들어 헤더 내부에, 패킹(430)의 방법에 관한 정보를 포함할 수도 있다. 패킹해제(530)는 WU별로 독립적으로 수행될 수 있다. 만약, WU들이 도 7에서와 같이 서로 중첩하도록 설정된 경우라면, 수신기는 중첩된 영역을 조합(blending)함으로써 스무딩(smooting)하여, 인접한 WU들의 이미지들을 연결(stitching)함으로써, 2D 이미지를 생성할 수 있다.The receiver may perform unpacking on the decoded data (ie, the packed 2D image) ( 530 ). Through unpacking, the 2D image generated through the projection 420 in FIG. 4 may be restored. Performing unpacking may be performed by reconstruction, transformation of WUs performed in packing 430 in FIG. 4 , and/or inverse transformation of division of a 2D image into WUs. For this purpose, the receiver needs to know the method of the packing 430 . The method of packing 430 may be predetermined between the receiver and the transmitter. According to some embodiments, the transmitter may transmit information on the method of the packing 430 to the receiver through a separate message such as metadata. According to some embodiments, the transmission data generated through the encapsulation 450 may include information about the method of the packing 430 , for example, in a header. Unpacking 530 may be independently performed for each WU. If the WUs are set to overlap each other as in FIG. 7, the receiver smoothes by combining the overlapping regions, and by stitching images of adjacent WUs, a 2D image can be generated. have.

수신기는 패킹해제된 2D 이미지를 3D 이미지로 프로젝션할 수 있다 (540). 수신기는 2D 이미지를 3D 이미지로 프로젝션하기 위해 도 4에서 2D 이미지로 프로젝션(420)하기 위해 사용된 프로젝션의 역의 프로젝션을 사용할 수 있으나, 반드시 이에 한정되는 것은 아니다. 수신기는 패킹해제된 2D 이미지를 3D 이미지로 프로젝션하여 3D 이미지를 생성할 수 있다.The receiver may project the unpacked 2D image into a 3D image (540). The receiver may use, but is not limited to, the inverse projection of the projection used to project the 2D image 420 into the 2D image in FIG. 4 to project the 2D image into the 3D image. The receiver may generate a 3D image by projecting the unpacked 2D image into the 3D image.

수신기는 3D 이미지의 적어도 일부를 디스플레이 장치를 통해 디스플레이할 수 있다(550). 예를 들어, 수신기는 3D 이미지 중, 현재의 FOV(field of view)에 대응하는 데이터만을 추출하여 렌더링할 수 있다. The receiver may display at least a part of the 3D image through the display device ( 550 ). For example, the receiver may extract and render only data corresponding to the current field of view (FOV) from among the 3D images.

이하, 프로젝션된 2D 이미지로부터의 WU들을 변환하는 방법에 대하여 보다 상세히 설명하도록 한다. 분할된 WU들은 통상적으로 사각형 또는 다면체의 형태일 수 있다. WU는 프로젝션된 2D 이미지 내에서의 위치에 따라 왜곡의 정도 및 잉여 데이터(redundant data)의 비가 상이할 수 있다. 효과적으로 데이터를 압축하기 위해 불필요한 데이터를 다운 샘플링을 통해 감소시키거나, 또는 왜곡의 정도에 따라 영상을 변환(warping)하여 왜곡을 감소시킬 수 있다. Hereinafter, a method of converting WUs from a projected 2D image will be described in more detail. The divided WUs may typically be in the form of a rectangle or a polyhedron. The WU may have a different degree of distortion and a different ratio of redundant data depending on a location in the projected 2D image. In order to effectively compress data, unnecessary data may be reduced through downsampling, or distortion may be reduced by warping an image according to the degree of distortion.

예를 들어, WU 데이터에 대하여 수평 방향과 수직 방향에 따라 상이한 샘플링 레이트를 적용하여 업샘플링 또는 다운샘플링을 수행함으로써, WU의 폭 및 높이가 리사이징(resizing)될 수 있다. 또는 변환을 통해, WU의 형태가 삼각형, 사다리꼴, 사각형, 마름모꼴 사각형(rhombus), 원 등의 다양한 형태로 변환될 수 있다. 이와 관련하여, 도 8을 참고하여 보다 상세히 설명하도록 한다. For example, by performing upsampling or downsampling by applying different sampling rates in horizontal and vertical directions to WU data, the width and height of the WU may be resized. Alternatively, through transformation, the shape of the WU may be converted into various shapes such as a triangle, a trapezoid, a quadrangle, a rhombus, and a circle. In this regard, it will be described in more detail with reference to FIG. 8 .

도 8은 본 발명의 실시예들에 따른 WU를 변환하는 방법들을 도시한다. 도 8을 참고하면, 정사각형 형태의 WU(810)는 삼각형 형태의 WU(820), 직사각형 형태의 WU(830), 또는 사다리꼴 형태의 WU(840)으로 변환될 수 있다. 삼각형 형태의 WU(820)를 생성하기 위해, 정사각형 형태의 WU(810)의 수평 방향에 대한 샘플링 레이트를 일정하게 유지하며, 수직 방향에 대한 샘플링 레이트를 최상단에서 0이 되도록 하측에서부터 상측으로 선형적으로 감소시킬 수 있다. 직사각형 형태의 WU(830)를 생성하기 위해 WU(810)의 수평 방향에 대한 샘플링 레이트를 수직 방향에 대한 샘플링 레이트보다 크게 설정할 수 있다. 사다리꼴 형태의 WU(840)을 생성하기 위해, 정사각형 형태의 WU(810)의 수평 방향에 대한 샘플링 레이트를 일정하게 유지하며, 수직 방향에 대한 샘플링 레이트를 최상단에서 0보다 큰 값을 갖도록 하측에서부터 상측으로 선형적으로 감소시킬 수 있다.8 shows methods for transforming a WU according to embodiments of the present invention. Referring to FIG. 8 , a square-shaped WU 810 may be converted into a triangular-shaped WU 820 , a rectangular-shaped WU 830 , or a trapezoidal WU 840 . In order to generate the triangular-shaped WU 820, the horizontal sampling rate of the square-shaped WU 810 is maintained constant, and the vertical sampling rate is linear from the bottom to the top so that the sampling rate becomes 0 at the top. can be reduced to In order to generate the rectangular WU 830 , the horizontal sampling rate of the WU 810 may be set to be greater than the vertical sampling rate. In order to generate the trapezoidal WU 840 , the horizontal sampling rate of the square-shaped WU 810 is constantly maintained, and the vertical sampling rate is set from the bottom to the top to have a value greater than 0 at the top. can be reduced linearly.

앞서 설명한 바와 같이, WU들을 다양한 형상으로 변환할 수 있으나, 어떠한 형상으로 변환할 것인지 및 어떠한 샘플링 레이트를 적용할 것인지는 컨텐트 제작자의 선택, WU 내의 xy 좌표, 전체 이미지 내에서의 WU의 위치, 컨텐트의 특징, 컨텐트의 복잡도 및 괌심 영역(ROI: region of interest)중 하나 이상을 고려하여 결정될 수 있다. 샘플링 방법 및 보간(interpolation)의 방법은 WU별로 결정될 수 있다. 예를 들어, WU별로 서로 상이한 안티-얼라이어싱(anti-aliasing) 필터 및 보간 필터가 결정될 수 있고, WU 별로 상이한 수직 샘플링 레이트 및 수평 샘플링 레이트가 결정될 수 있다. 보간 시, nearest neighbor, liner, B-spline 등과 같은 다양한 보간 방법들 중 WU 별로 상이한 보간 방법이 선택될 수 있다. 또한, WU 내에서도 위도(latitude) 및 경도(longitude) 좌표에 따라 샘플링 레이트가 조절될 수 있다. As described above, WUs can be converted into various shapes, but the choice of the content creator, the xy coordinates in the WU, the location of the WU within the entire image, and the content It may be determined in consideration of at least one of a feature, content complexity, and a region of interest (ROI). A sampling method and an interpolation method may be determined for each WU. For example, different anti-aliasing filters and interpolation filters may be determined for each WU, and different vertical and horizontal sampling rates may be determined for each WU. During interpolation, a different interpolation method may be selected for each WU from among various interpolation methods such as nearest neighbor, liner, and B-spline. In addition, the sampling rate may be adjusted according to latitude and longitude coordinates even within the WU.

도 9는 본 발명의 일 실시예에 따른 WU들을 변환하는 방법을 도시한다. 도 9를 참고하면, 2D 이미지(910)는 다수의 WU들로 분할될 수 있으며, 다수의 WU들에 상이한 변환들이 적용되어, 변환된 2D 이미지(920)가 생성될 수 있다. 구체적으로, 북극 영역(즉, 2D 이미지(910)의 상단)에 가까운 WU들은 정삼각형 형태로 샘플링될 수 있다. 남극 영역(즉, 2D 이미지(910)의 하단)에 가가운 WU들은 역삼각형 형태로 샘플링될 수 있다. 적도 부분에 가까운 영역(즉, 2D 이미지(910)의 수직 방향으로 중앙 영역)사각형 형태로 샘플링 될 수 있다. 이러한 맵핑 방식을 이용하는 경우, WU별로 맵핑을 위한 패치 형태가 결정될 수 있고, WU 단위로 전송될 때, 샘플링된 패치 형태 단위로 렌더링이 가능할 수 있다. 9 shows a method of transforming WUs according to an embodiment of the present invention. Referring to FIG. 9 , a 2D image 910 may be divided into a plurality of WUs, and different transforms may be applied to the plurality of WUs to generate a transformed 2D image 920 . Specifically, WUs close to the North Pole region (ie, the upper end of the 2D image 910 ) may be sampled in the form of an equilateral triangle. WUs close to the south pole region (ie, the lower end of the 2D image 910 ) may be sampled in the form of an inverted triangle. The region close to the equator (ie, the central region in the vertical direction of the 2D image 910) may be sampled in a rectangular shape. When such a mapping method is used, a patch type for mapping may be determined for each WU, and when transmitted in WU units, rendering may be possible in units of sampled patch types.

샘플링 방식들은 규칙적(regular) 샘플링 방식과 불규칙적(irregular) 샘플링 방식을 포함한다. 규칙적 샘플링 방식은 WU 내에서 같은 X 좌표(또는 Y 좌표)를 갖는 라인(line) 내에서는 동일한 레이트로 샘플링을 수행하는 것이다. 규칙적 샘플링 방식으로 샘플링된 WU들은 수신기에서 반드시 역변환(inverse warping) 과정을 통해 ERP 형태의 2D 이미지로 복원한 다음에 구형의 3D 이미지로 렌더링이 가능하다. 예를 들어, ERP 이미지를 8개의 WU로 분할하고, 각각 정삼각형으로 변환하여 정8면체(octahedron)과 동일한 기하(geometry) 형태로 구성이 가능하더라도, 규칙적으로 샘플링된 WU는 ERP로 역변환한 후 렌더링되어야 한다. 뷸규칙적 샘플링의 경우 매 라인마다 기하구조(geometry)의 표면에서 각도가 회전되는 단위로 샘플링을 수행하면, 역변환 없이 해당 기하구조에서 직접적으로 렌더링이 가능할 수 있다. 다만, 이러한 경우 계산의 복잡도가 증가할 수 있다. The sampling methods include a regular sampling method and an irregular sampling method. In the regular sampling method, sampling is performed at the same rate within a line having the same X coordinate (or Y coordinate) in the WU. WUs sampled by the regular sampling method must be restored to an ERP-type 2D image through an inverse warping process in the receiver, and then rendered as a spherical 3D image. For example, even if the ERP image is divided into 8 WUs and each converted into an equilateral triangle to form the same geometry as an octahedron, the regularly sampled WU is inversely converted to ERP and then rendered. should be In the case of irregular sampling, if sampling is performed in units of rotation of an angle on the surface of a geometry for every line, it may be possible to render directly from the geometry without inverse transformation. However, in this case, calculation complexity may increase.

WU들은 서로 상이한 형태일 수 있다. WU의 형상이 사각형이 아닌 경우 주변의 블랭크 영역들에 대한 패딩이 필요할 수 있다. WU들에 관한 데이터들은 독립적으로 압축 및 전송될 수도 있으나, 몇몇 실시예들에 의하면, 블랭크 영역의 크기를 감소시키기 위해 WU들을 그룹화하여 하나의 이미지로 재패킹(re-packing)할 수 있다. 그룹화되는 WU들은 현재의 FOV에 대응하는 WU들일 수 있으나 반드시 이에 한정되는 것은 아니다. 이와 관련하여 도 10을 참고하여 보다 구체적으로 설명하도록 한다. 도 10은 본 발명의 일 실시예에 따른 WU들을 재조합하는 방법을 도시한다. 도 10에서와 같이, 3개의 WU들(1010, 1020, 1030)을 그룹화하고 조합하여 하나의 이미지(1040)가 생성될 수 있다. 생성된 이미지(1040)의 블랭크 영역을 감소시키기 위해 삼각형 형태의 WU들(1010, 1030)을 각각 180도 회전시킨 후 WU들(1010, 1020, 1030)의 조합이 수행될 수 있다. 도 10은 예시에 불과하며, 조합된 이미지의 블랭크 영역을 감소시키기 위해 다양한 방법의 변환들(예를 들어, 회전, 미러링, 및 시프팅 등)이 WU에 적용될 수 있다. 그룹화된 이미지(1040)은 하나의 이미지로서 압축 및 전송될 수 있다.WUs may have different shapes. When the shape of the WU is not a rectangle, padding for surrounding blank areas may be required. Data regarding the WUs may be independently compressed and transmitted, but according to some embodiments, the WUs may be grouped to reduce the size of the blank area and re-packed into one image. The grouped WUs may be WUs corresponding to the current FOV, but are not limited thereto. In this regard, it will be described in more detail with reference to FIG. 10 . 10 illustrates a method of recombining WUs according to an embodiment of the present invention. As shown in FIG. 10 , one image 1040 may be generated by grouping and combining three WUs 1010 , 1020 , and 1030 . In order to reduce the blank area of the generated image 1040 , the WUs 1010 , 1020 , and 1030 may be combined after each of the triangular-shaped WUs 1010 and 1030 are rotated by 180 degrees. 10 is merely an example, and various methods of transformations (eg, rotation, mirroring, and shifting, etc.) may be applied to the WU to reduce the blank area of the combined image. The grouped images 1040 may be compressed and transmitted as one image.

수신기는, 도 10과 관련하여 설명된 WU들의 그룹화 및 조합에 대한 역변환을 수행함으로써, 독립적인 WU의 이미지를 추출할 수 있다. 추출된 WU에 대하여 개별적인 WU에 대하여 수행된 변환의 역변환을 수행한 후, 이어붙이기(stitching) 및 블렌딩(blending) 절차를 수행함으로써, 3D 이미지가 렌더링될 수 있다.The receiver may extract an image of an independent WU by performing inverse transform on the grouping and combination of WUs described with reference to FIG. 10 . A 3D image may be rendered by performing inverse transformation of the transformation performed on individual WUs on the extracted WU, and then performing stitching and blending procedures.

WU들이 서로 중첩되는 경우, 수신기는 3D 영상을 렌더링하기 위해, 가중 합(weighted sum)을 이용한 블렌딩을 수행할 수 있다. 가중 합을 이용한 블렌딩에 적용되는 가중치(weight value)는 이미지 내의 픽셀의 위치에 따라 결정될 수 있다. 예를 들어, 가중치는 각 WU의 중심점에서 멀어짐에 따라 작은 값을 가질 수 있다. 이러한 유형의 가중치는 도 11의 (a)에 예시적으로 도시되어 있다. 도 11은 본 발명의 일 실시예에 따른 가중 합을 이용한 블렌딩에서 WU에 적용되는 가중치를 나타낸 그래프이다. 도 11에서, w_i,j[s]는 WU_i,j의 중심으로부터 s만큼 떨어진 곳에 위치한 픽셀에 적용되는 가중치를 나타낸다. 도 11에 기재된 window coefficient는 가중치와 동일한 의미로 해석될 수 있다. 몇몇 실시예들에 따르면, 가중치는 컨텐트-적응적(content-adaptive)으로 조절될 수 있으며, 도 11의 (b)는 이를 예시한다. 도 11의 (b)에서 w_i,j[s]의 가중치는 컨텐트에 따라 w'_i,j[s]로 조절된다.When the WUs overlap each other, the receiver may perform blending using a weighted sum to render a 3D image. A weight value applied to blending using a weighted sum may be determined according to a position of a pixel in an image. For example, the weight may have a small value as it moves away from the center point of each WU. This type of weight is exemplarily shown in Fig. 11A. 11 is a graph illustrating weights applied to WU in blending using a weighted sum according to an embodiment of the present invention. In FIG. 11 , w _i,j [s] represents a weight applied to a pixel positioned s away from the center _{of WU i,j .} The window coefficient described in FIG. 11 may be interpreted as having the same meaning as a weight. According to some embodiments, the weight may be content-adaptively adjusted, and FIG. 11B exemplifies this. FIG weight of w _{i, j} [s] at 11 (b) is adjusted according to the content in _{w 'i, j [s]} .

몇몇 실시예들에 의하면, 수신기는 가중 합을 이용한 블렌딩 대신, 중첩되는 이미지에 대한 데이터들 중 하나를 선택하여, 3D 이미지를 렌더링할 수 있다.According to some embodiments, the receiver may render a 3D image by selecting one of data for an overlapping image instead of blending using a weighted sum.

이하, 본 발명의 예시적인 3D 이미지를 2D 이미지로 맵핑하는 방법들에 대하여 설명하도록 한다. Hereinafter, exemplary methods for mapping a 3D image to a 2D image of the present invention will be described.

도 12는 본 발명의 일 실시예에 따른 3D 이미지를 2D 이미지로 맵핑하는 방법을 나타낸 도면이다. 도 12의 실시예에서, 3D 이미지(1210)는 정육면체(cube)의 형상으로 렌더링될 수 있다. 3D 이미지(1210)는 2D 이미지(1220)로 맵핑될 수 있다. 정육면체 형상의 3D 이미지(1210)의 측면들(1211)은 2D 이미지(1220)의 중앙의 영역들(1221)에 맵핑될 수 있다. 3D 이미지(1210)의 상부면은 상부면의 대각선들과 상부면의 중심과 동일한 중심을 갖는 상부면보다 작은 크기의 정사각형의 변들에 의해 8개의 영역들로 구분될 수 있다. 8개의 영역들은 사다리꼴 형상의 영역(1212) 및 정삼각형 형상의 영역(1213)으로 구분될 수 있다. 사다리꼴 형상의 영역(1212)은 2D 이미지(1220)에서 대응되는 사다리꼴 형상의 영역(1222)에 맵핑될 수 있다. 정삼각형 형상의 영역(1213)은 상하가 반전되거나, 또는 180도 회전되어, 2D 이미지(1220)에서 사다리꼴 형상의 영역(1222)들 사이에 삽입되어, 2D 이미지(1220)가 직사각형의 형태를 갖도록 할 수 있다. 하부면에도 상부면과 같은 방식의 맵핑이 적용될 수 있다. 3D 이미지(1210)의 상부면과 하부면에 대응하는 2D 이미지(1220)의 영역들(1222, 1223)에는 이미지의 불연속성(discontinuity)를 감소시키기 위해, 로우 패스 필터링이 적용될 수 있다. 3D 이미지(1210)의 각각의 영역들과 3D 이미지(1220)의 각각의 영역들의 구체적인 맵핑 관계는 도 13에 도시되어 있다. 도 13은 도 12의 3D 이미지를 2D 이미지로 맵핑하는 방법에서 3D 이미지의 영역들과 2D 이미지의 영역들의 맵핑 관계를 나타낸다. 도 13에서 동일한 인덱스를 갖는 3D 이미지(1210) 상의 영역과 2D 이미지(1220) 상의 영역은 서로 대응된다. 12 is a diagram illustrating a method of mapping a 3D image to a 2D image according to an embodiment of the present invention. In the embodiment of FIG. 12 , the 3D image 1210 may be rendered in the shape of a cube. The 3D image 1210 may be mapped to the 2D image 1220 . Sides 1211 of the cube-shaped 3D image 1210 may be mapped to central regions 1221 of the 2D image 1220 . The upper surface of the 3D image 1210 may be divided into eight regions by diagonals of the upper surface and sides of a square smaller than the upper surface having the same center as the center of the upper surface. The eight regions may be divided into a trapezoid-shaped region 1212 and an equilateral triangle-shaped region 1213 . The trapezoidal-shaped region 1212 may be mapped to the corresponding trapezoidal-shaped region 1222 in the 2D image 1220 . The equilateral triangle-shaped region 1213 is upside down or rotated 180 degrees, and is inserted between the trapezoid-shaped regions 1222 in the 2D image 1220 so that the 2D image 1220 has a rectangular shape. can The same method of mapping as the upper surface may be applied to the lower surface. In order to reduce discontinuity of the image, low-pass filtering may be applied to regions 1222 and 1223 of the 2D image 1220 corresponding to the upper and lower surfaces of the 3D image 1210 . A detailed mapping relationship between each region of the 3D image 1210 and each region of the 3D image 1220 is illustrated in FIG. 13 . 13 illustrates a mapping relationship between regions of a 3D image and regions of a 2D image in the method of mapping the 3D image to a 2D image of FIG. 12 . In FIG. 13 , the region on the 3D image 1210 and the region on the 2D image 1220 having the same index correspond to each other.

도 12 및 도 13에서의 맵핑 방법을 특정하기 위한 메시지는 예시적으로 다음과 같이 표현될 수 있다.The message for specifying the mapping method in FIGS. 12 and 13 may be exemplarily expressed as follows.

if(geometry_type != sphere){if(geometry_type != sphere){

unsigned int(8) num_of_regions; unsigned int(8) num_of_regions;

for(i=0; i < num_of_regions ; i++){for(i=0; i < num_of_regions ; i++){

unsigned int(16) region_top_left_x;unsigned int(16) region_top_left_x;

unsigned int(16) region_top_left_y;unsigned int(16) region_top_left_y;

unsigned int(16) region_width;unsigned int(16) region_width;

unsigned int(16) region_height;unsigned int(16) region_height;

if(geometry_type == carousel_cube){if(geometry_type == carousel_cube){

unsigned int(16) carousel_cube_surface_id;unsigned int(16) carousel_cube_surface_id;

unsigned int(16) orientation_of_surface;unsigned int(16) orientation_of_surface;

unsigned int(16) area_top_left_x;unsigned int(16) area_top_left_x;

unsigned int(16) area_top_left_y;unsigned int(16) area_top_left_y;

unsigned int(16) area_width;unsigned int(16) area_width;

unsigned int(16) area_height;unsigned int(16) area_height;

}}

}}

}}

위 메시지에서 필드들의 의미는 다음과 같다.The meanings of the fields in the above message are as follows.

geometry_type: 전방향 미디어(즉, 3D 이미지)의 렌더링을 위한 기하 구조를 나타낸다. 회전목마 정육면체(carousel_cube, 즉, 도 12 및 13에서의 기하구조)이외에도 구, 실린더, 정육면체 등을 나타낼 수 있다.geometry_type: Represents a geometry for rendering of omnidirectional media (ie, 3D images). In addition to the merry-go-round cube (carousel_cube, that is, the geometric structure in FIGS. 12 and 13), a sphere, a cylinder, a cube, and the like may be represented.

num_of_regions: 참조되는 트랙 내에서 영상을 분할하는 영역들의 수를 나타낸다. 참조되는 트랙 내에서의 영상은 이 필드의 값에 의해 주어지는 수의 비-중첩되는 영역들로 분할될 것이며, 각각의 영역은 기하구조의 영역들 및 특정한 표면에 별개로 맵핑될 것이다.num_of_regions: Indicates the number of regions dividing an image within a referenced track. The image within the referenced track will be divided into the number of non-overlapping regions given by the value of this field, each region mapped separately to regions of the geometry and to a particular surface.

region_top_left_x 및 region_top_left_y: 각각 참조되는 트랙 내의 영상의 분할된 영역의 좌측 상단 모서리의 수평 및 수직 좌표들을 나타낸다.region_top_left_x and region_top_left_y: respectively indicate horizontal and vertical coordinates of the upper left corner of the divided region of the image in the referenced track.

region_width 및 region_height: 각각 참조되는 트랙 내의 영상의 분할된 영역의 폭 및 높이를 나타낸다.region_width and region_height: indicate the width and height of the divided region of the image in the referenced track, respectively.

carousel_surface_id: 도 13에서 예시적으로 정의된 바와 같이, 분할된 영역이 맵핑될 회전목마 정육면체의 표면들의 식별자를 나타낸다.carousel_surface_id: As exemplarily defined in FIG. 13 , indicates the identifier of the surfaces of the merry-go-round to which the divided area is to be mapped.

orientation_of_surface: 도 13에서 예시적으로 보여진 바와 같은, 표면의 형상의 배향(orientation)을 나타낸다.orientation_of_surface: indicates the orientation of the shape of the surface, as exemplarily shown in FIG. 13 .

area_top_left_x and area_top_left_y: 각각 기하구조 표면 상의 특정한 영역의 좌측 상단 모서리의 수평 및 수직 좌표들을 나타낸다.area_top_left_x and area_top_left_y: represent the horizontal and vertical coordinates of the upper left corner of a specific area on the geometry surface, respectively.

area_width 및 area_height: 각각 기하구조 표면 상의 특정한 영역의 폭 및 높이를 나타낸다.area_width and area_height: represent the width and height of a specific area on the geometry surface, respectively.

도 14는 도 13의 1 내지 4 영역들의 맵핑 방법을 나타낸다. 도 14를 참고하면, 도 13에서 1 내지 4의 surface ID 값들을 갖는 영역들에 대하여, orientation_of_surface는 0으로 설정될 것이다 (즉, 배향이 없음). 각각의 정사각형 영역의 크기 및 위치는, region_top_left_x, region_top_left_y, region_width 및 region_height의 값들로 정의될 것이다.FIG. 14 shows a mapping method of regions 1 to 4 of FIG. 13 . Referring to FIG. 14 , for regions having surface ID values of 1 to 4 in FIG. 13 , orientation_of_surface will be set to 0 (ie, no orientation). The size and position of each square region will be defined by values of region_top_left_x, region_top_left_y, region_width and region_height.

도 15는 도 13의 5 내지 8 영역들의 맵핑 방법을 나타낸다. 도 15를 참고하면, 5 내지 8의 surface ID 값들을 갖는 영역들에 대하여, orientation_of_surface의 값은 1로 설정될 것이다 (즉, 직립(upright) 배향). 각각의 영역의 크기 및 위치는, region_top_left_x, region_top_left_y, region_width 및 region_height의 값들로 정의될 것이다.FIG. 15 shows a mapping method of regions 5 to 8 of FIG. 13 . Referring to FIG. 15 , for regions with surface ID values of 5 to 8, the value of orientation_of_surface will be set to 1 (ie, upright orientation). The size and position of each region will be defined by values of region_top_left_x, region_top_left_y, region_width and region_height.

도 16은 도 13의 9 내지 12 영역들의 맵핑 방법을 나타낸다. 도 16를 참고하면, 9 내지 12의 surface ID 값들을 갖는 영역들에 대하여, orientation_of_surface의 값은 2로 설정될 것이다 (즉, 뒤집힌(upside down) 배향). 각각의 영역의 크기 및 위치는, region_top_left_x, region_top_left_y, region_width 및 region_height의 값들로 정의될 것이다.FIG. 16 shows a mapping method of regions 9 to 12 of FIG. 13 . Referring to FIG. 16 , for regions with surface ID values of 9 to 12, the value of orientation_of_surface will be set to 2 (ie, upside down orientation). The size and position of each region will be defined by values of region_top_left_x, region_top_left_y, region_width and region_height.

도 17은 도 13의 13 내지 15 영역들의 맵핑 방법을 나타낸다. 도 17를 참고하면, 13 내지 15의 surface ID 값들을 갖는 영역들에 대하여, orientation_of_surface의 값은 2로 설정될 것이다 (즉, 뒤집힌(upside down) 배향). 각각의 영역의 크기 및 위치는, region_top_left_x, region_top_left_y, region_width 및 region_height의 값들로 정의될 것이다.17 illustrates a mapping method of regions 13 to 15 of FIG. 13 . Referring to FIG. 17 , for regions with surface ID values of 13 to 15, the value of orientation_of_surface will be set to 2 (ie, upside down orientation). The size and position of each region will be defined by values of region_top_left_x, region_top_left_y, region_width and region_height.

도 18은 도 13의 17 내지 19 영역들의 맵핑 방법을 나타낸다. 도 17를 참고하면, 17 내지 19의 surface ID 값들을 갖는 영역들에 대하여, orientation_of_surface의 값은 1로 설정될 것이다 (즉, 직립 배향). 각각의 영역의 크기 및 위치는, region_top_left_x, region_top_left_y, region_width 및 region_height의 값들로 정의될 것이다.18 illustrates a mapping method of regions 17 to 19 of FIG. 13 . Referring to FIG. 17 , for regions having surface ID values of 17 to 19, the value of orientation_of_surface will be set to 1 (ie, upright orientation). The size and position of each region will be defined by values of region_top_left_x, region_top_left_y, region_width and region_height.

도 19 및 도 20은 도 13의 20 영역의 맵핑 방법을 나타낸다. 도 19 및 20을 참고하면, 20의 surface ID 값을 갖는 영역들에 대하여, orientation_of_surface의 값들은 5(도 19, 직립 우반 배향(upright right half orientation)) 및 6(도 20, 직립 좌반 배향(upright left half orientation))과 같이 설정될 수 있다. 각각의 영역의 크기 및 위치는, region_top_left_x, region_top_left_y, region_width 및 region_height의 값들로 정의될 것이다.19 and 20 show a mapping method of area 20 of FIG. 13 . 19 and 20, for regions with a surface ID value of 20, the values of orientation_of_surface are 5 (FIG. 19, upright right half orientation) and 6 (FIG. 20, upright half orientation). left half orientation)). The size and position of each region will be defined by values of region_top_left_x, region_top_left_y, region_width and region_height.

도 21 및 도 22는 도 13의 16 영역의 맵핑 방법을 나타낸다. 도 21 및 22을 참고하면, 16의 surface ID 값을 갖는 영역들에 대하여, orientation_of_surface의 값들은 7(도 21, 뒤집한 우반 배향(upside down right half orientation)) 및 8(도 22, 뒤집힌 좌반 배향(upside down left half orientation))과 같이 설정될 수 있다.21 and 22 show a mapping method of area 16 of FIG. 13 . Referring to FIGS. 21 and 22 , for regions with a surface ID value of 16, the values of orientation_of_surface are 7 ( FIG. 21 , upside down right half orientation) and 8 ( FIG. 22 , upside down left half orientation). (upside down left half orientation)).

도 23는 본 발명의 다른 실시예에 따른 3D 이미지를 2D 이미지로 맵핑하는 방법을 나타낸다. 도 23에서 상부 및 하부가 사각뿔의 형상을 갖는 사각기둥 형태의 3D 이미지(2310)가 렌더링될 수 있다. 이러한 3D 이미지(2310)는 3D 이미지(2310)의 전개도와 같은 방식으로 2D 이미지(2320)로 맵핑될 수 있다. 2D 이미지(2320)를 직사각형 형태로 만들기 위해 패딩 영역이 부가될 수 있다. 몇몇 실시예들에서, 3D 이미지(2310)로부터 직사각형 형태의 2D 이미지를 형성하기 위하여, 도 12 및 13에서 직육면체 형상의 3D 이미지(1210)의 상부면 및 하부면에 적용된 것과 같은 맵핑 방식이 적용될 수 있다. 이를 통해 도 24에 도시된 것과 같은 2D 이미지(2400)가 생성될 수 있다.23 illustrates a method of mapping a 3D image to a 2D image according to another embodiment of the present invention. In FIG. 23 , a 3D image 2310 in the form of a quadrangular prism having upper and lower portions of a quadrangular pyramid may be rendered. The 3D image 2310 may be mapped to the 2D image 2320 in the same manner as the development view of the 3D image 2310 . A padding area may be added to make the 2D image 2320 in a rectangular shape. In some embodiments, in order to form a rectangular 2D image from the 3D image 2310, a mapping method such as that applied to the upper and lower surfaces of the cuboid-shaped 3D image 1210 in FIGS. 12 and 13 may be applied. have. Through this, a 2D image 2400 as shown in FIG. 24 may be generated.

도 25는 본 발명의 또 다른 실시예에 따른 3D 이미지를 2D 이미지로 맵핑하는 방법을 나타낸다. 육각 기둥 형태로 렌더링된 3D 이미지(2510) 또한, 도 23 및 도 24에서 3D 이미지(2310)가 2D 이미지(2400)로 맵핑된 것과 유사한 방식으로, 2D 이미지(2520)로 맵핑될 수 있다. 25 illustrates a method of mapping a 3D image to a 2D image according to another embodiment of the present invention. The 3D image 2510 rendered in the form of a hexagonal pillar may also be mapped to the 2D image 2520 in a manner similar to that the 3D image 2310 is mapped to the 2D image 2400 in FIGS. 23 and 24 .

도 26은 본 발명의 또 다른 실시예에 따른 3D 이미지를 2D 이미지로 맵핑하는 방법을 나타낸다. 팔각 기둥 형태로 렌더링된 3D 이미지(2610) 또한, 도 23 및 도 24에서 3D 이미지(2310)가 2D 이미지(2400)로 맵핑된 것과 유사한 방식으로, 2D 이미지(2620)로 맵핑될 수 있다.26 illustrates a method of mapping a 3D image to a 2D image according to another embodiment of the present invention. The 3D image 2610 rendered in the form of an octagonal pole may also be mapped to the 2D image 2620 in a manner similar to that the 3D image 2310 is mapped to the 2D image 2400 in FIGS. 23 and 24 .

도시되지는 않았지만 프로젝트 비욘드(Project Beyond)에서처럼 16개의 수평 카메라가 존재하고, 상측 및 하측에 각각 하나씩의 카메라가 존재하는 경우는 16각 기둥의 기하형상으로 렌더링되는 3D 이미지가 구성될 수 있다. 16각 기둥 형상의 3D 이미지는 도 23 내지 도 26에서 설명된 방식과 유사한 방식으로 2D 이미지로 맵핑될 수 있다. Although not shown, as in Project Beyond, when 16 horizontal cameras exist, and one camera is located at the upper and lower sides, a 3D image rendered in the geometry of 16 poles can be configured. The 3D image of the hexagonal column shape may be mapped to the 2D image in a manner similar to the method described with reference to FIGS. 23 to 26 .

이러한 맵핑 방식을 나타내는 메시지는 예시적으로 다음과 같이 구성될 수 있다. A message indicating such a mapping method may be exemplarily configured as follows.

unsigned int(16) center_pitch_offset;unsigned int(16) center_pitch_offset;

unsigned int(16) center_yaw_offset;unsigned int(16) center_yaw_offset;

unsigned int(8) num_of_regions; unsigned int(8) num_of_regions;

for(i=0; i < num_of_regions ; i++){for(i=0; i < num_of_regions ; i++){

unsigned int(16) region_id;unsigned int(16) region_id;

unsigned int(16) region_top_left_x;unsigned int(16) region_top_left_x;

unsigned int(16) region_top_left_y;unsigned int(16) region_top_left_y;

unsigned int(16) region_width;unsigned int(16) region_width;

unsigned int(16) region_height;unsigned int(16) region_height;

if(geometry_type == carousel){ if(geometry_type == carousel){

unsigned int(8) surface_id; unsigned int(8) surface_id;

unsigned int(1) shape_of_surface; unsigned int(1) shape_of_surface;

if{shape_of_surface == 1){if{shape_of_surface == 1){

unsigned int(1) orientation_of_triangle; unsigned int(1) orientation_of_triangle;

} }

unsigned int(16) area_top_left_x; unsigned int(16) area_top_left_x;

unsigned int(16) area_top_left_y;unsigned int(16) area_top_left_y;

unsigned int(16) area_width;unsigned int(16) area_width;

unsigned int(16) area_height; unsigned int(16) area_height;

} }

}}

위 메시지에서 필드들의 의미는 다음과 같다.The meanings of the fields in the above message are as follows.

center_pitch_offset 및 center_yaw_offset: 각각 영상의 중앙의 픽셀이 렌더링되는 점의 좌표의 피치(pitch) 및 요우(yaw) 각들의 오프셋 값들을 나타낸다.center_pitch_offset and center_yaw_offset: Represent offset values of pitch and yaw angles of coordinates of a point at which a pixel in the center of an image is rendered, respectively.

num_of_regions: 참조되는 트랙 내의 영상을 분할하는 영역들의 수를 나타낸다.num_of_regions: Indicates the number of regions dividing an image in a referenced track.

region_top_left_x 및 region_top_left_y: 각각 참조되는 트랙 내의 영상의 분할된 영역의 좌측 상단 모서리의 수평 및 수직 좌표들을 나타낸다.region_top_left_x and region_top_left_y: respectively indicate horizontal and vertical coordinates of the upper left corner of the divided region of the image in the referenced track.

region_width 및 region_height: 각각 참조되는 트랙 내의 영상의 분할된 영역의 폭 및 높이를 나타낸다.region_width and region_height: indicate the width and height of the divided region of the image in the referenced track, respectively.

surface_id: 기하구조의 표면들에 대한 식별자를 나타낸다.surface_id: Indicates an identifier for the surfaces of the geometry.

shape_of_surface: 기하구조의 표면의 형상을 나타내는 수이다. shape_of_surface가 0인 경우 기하구조의 표면의 형상은 사각형일 수 있다. shape_of_surface가 1인 경우 기하구조의 표면의 형상은 삼각형일 수 있다.shape_of_surface: A number indicating the shape of the surface of the geometry. When shape_of_surface is 0, the shape of the surface of the geometry may be a rectangle. When shape_of_surface is 1, the shape of the surface of the geometry may be a triangle.

area_top_left_x and area_top_left_y: 각각 기하구조 표면 상의 특정한 영역의 좌측 상단 모서리의 수평 및 수직 좌표들을 나타낸다.area_top_left_x and area_top_left_y: represent the horizontal and vertical coordinates of the upper left corner of a specific area on the geometry surface, respectively.

area_width 및 area_height: 각각 기하구조 표면 상의 특정한 영역의 폭 및 높이를 나타낸다.area_width and area_height: represent the width and height of a specific area on the geometry surface, respectively.

orientation_of_triangle: 삼각형의 배향을 나타내는 수이다. orientation_of_triangle이 0인 경우, 삼각형은 도 18에서 설명된 바와 같이 표현될 수 있다. orientation_of_triangle이 1인 경우 삼각형은 도 19에서 설명된 바와 같이 표현될 수 있다. orientation_of_triangle: A number indicating the orientation of the triangle. When orientation_of_triangle is 0, a triangle may be expressed as described in FIG. 18 . When orientation_of_triangle is 1, a triangle may be expressed as described in FIG. 19 .

회전목마_실린더와 같은 기하구조 맵핑을 정의하는 데 있어, 참조되는 트랙 내의 평면의(planar) 영상은 아래의 신택스(syntax)에 따라 맵핑될 수 있다.In defining geometric mapping such as merry-go-round_cylinder, a planar image in a referenced track may be mapped according to the following syntax.

if(geometry_type != sphere){if(geometry_type != sphere){

unsigned int(8) num_of_regions; unsigned int(8) num_of_regions;

for(i=0; i < num_of_regions ; i++){for(i=0; i < num_of_regions ; i++){

unsigned int(16) region_top_left_x;unsigned int(16) region_top_left_x;

unsigned int(16) region_top_left_y;unsigned int(16) region_top_left_y;

unsigned int(16) region_width;unsigned int(16) region_width;

unsigned int(16) region_height;unsigned int(16) region_height;

if(geometry_type == carousel_cylinder){if(geometry_type == carousel_cylinder){

unsigned int(16) carousel_cylinder_surface_id;unsigned int(16) carousel_cylinder_surface_id;

unsigned int(16) orientation_of_surface;unsigned int(16) orientation_of_surface;

unsigned int(16) area_top_left_x;unsigned int(16) area_top_left_x;

unsigned int(16) area_top_left_y;unsigned int(16) area_top_left_y;

unsigned int(16) area_width;unsigned int(16) area_width;

unsigned int(16) area_height;unsigned int(16) area_height;

}}

}}

}}

상기 신택스에서 필드들의 의미는 다음과 같다.The meanings of fields in the syntax are as follows.

geometry_type: 전방향 미디어(즉, 3D 이미지)의 렌더링을 위한 기하 구조를 나타낸다. 회전목마 실린더(carousel_cylinder, 즉, 도 23 내지 26에서의 기하구조)이외에도 구, 실린더, 정육면체 등을 나타낼 수 있다.geometry_type: Represents a geometry for rendering of omnidirectional media (ie, 3D images). In addition to the merry-go-round cylinder (carousel_cylinder, that is, the geometric structure in FIGS. 23 to 26), it may represent a sphere, a cylinder, a cube, and the like.

num_of_regions: 참조되는 트랙 내에서 영상을 분할하는 영역들의 수를 나타낸다. 참조되는 트랙 내에서의 영상은 이 필드의 값에 의해 주어지는 수의 비-중첩되는 영역들로 분할될 것이며, 각각의 영역은 기하구조의 영역들 및 특정한 표면에 별개로 맵핑될 것이다.num_of_regions: Indicates the number of regions dividing an image within a referenced track. The image within the referenced track will be divided into the number of non-overlapping regions given by the value of this field, each region mapped separately to regions of the geometry and to a particular surface.

region_top_left_x 및 region_top_left_y: 각각 참조되는 트랙 내의 영상의 분할된 영역의 좌측 상단 모서리의 수평 및 수직 좌표들을 나타낸다.region_top_left_x and region_top_left_y: respectively indicate horizontal and vertical coordinates of the upper left corner of the divided region of the image in the referenced track.

region_width 및 region_height: 각각 참조되는 트랙 내의 영상의 분할된 영역의 폭 및 높이를 나타낸다.region_width and region_height: indicate the width and height of the divided region of the image in the referenced track, respectively.

carousel_surface_id: 분할된 영역이 맵핑될 회전목마 실린더의 표면들의 식별자를 나타낸다. surface ID들은 앞서 설명된 회전목마 직육면체 에서와 유사하게 정의될 수 있다 (도 13 참고). carousel_surface_id: Indicates the identifiers of the surfaces of the merry-go-round cylinder to which the divided area is to be mapped. The surface IDs can be defined similarly to the above-described merry-go-round cube (refer to FIG. 13).

orientation_of_surface: 앞서 회전목마 직육면체와 관련하여에서 정의된 바와 같은, 표면의 형상의 배향(orientation)을 나타낸다.orientation_of_surface: Indicates the orientation of the shape of the surface, as previously defined in relation to the carousel cuboid.

area_top_left_x and area_top_left_y: 각각 기하구조 표면 상의 특정한 영역의 좌측 상단 모서리의 수평 및 수직 좌표들을 나타낸다.area_top_left_x and area_top_left_y: represent the horizontal and vertical coordinates of the upper left corner of a specific area on the geometry surface, respectively.

area_width 및 area_height: 각각 기하구조 표면 상의 특정한 영역의 폭 및 높이를 나타낸다.area_width and area_height: represent the width and height of a specific area on the geometry surface, respectively.

도 27 및 도 28은 본 발명의 또 다른 실시예에 따른 3D 이미지를 2D 이미지로 맵핑하는 방법을 나타낸다. 3D 이미지는 정다면체의 형태로 렌더링될 수 있다. 예시적으로, 도 27의 3D 이미지 (2710)과 같이 정20면체로 렌더링될 수 있다. 다른 예시들에서, 3D 이미지는 정4면체, 정6면체, 정8면체, 또는 정12면체로 렌더링될 수 있다. 3D 이미지(2710)는 정20면체의 전개도와 같은 형태의 2D 이미지(2720)로 프로젝션될 수 있다. 몇몇 실시예들에서는, 2D 이미지(2720)에는 직사각형의 2D 이미지를 형성하기 위해 패딩 영역이 추가될 수도 있다. 몇몇 실시예들에서는 도 27의 2D 이미지(2720)의 상부의 삼각형들 및 하부의 삼각형들을 분할, 회전 및 재배치하여 도 28에서와 같은 직사각형 형태의 2D 이미지(2800)를 형성할 수도 있다. 이러한 삼각형들의 분할 및 재배치는 도 12 및 13의 실시예에서 설명된 것과 실질적으로 동일한 방식으로 수행될 수 있다. 27 and 28 show a method of mapping a 3D image to a 2D image according to another embodiment of the present invention. The 3D image may be rendered in the form of a regular polyhedron. For example, the 3D image 2710 of FIG. 27 may be rendered as an icosahedron. In other examples, the 3D image may be rendered as a tetrahedron, hexahedron, octahedron, or dodecahedron. The 3D image 2710 may be projected as a 2D image 2720 having the same shape as the developed view of an icosahedron. In some embodiments, a padding region may be added to the 2D image 2720 to form a rectangular 2D image. In some embodiments, upper triangles and lower triangles of the 2D image 2720 of FIG. 27 may be divided, rotated, and rearranged to form a rectangular 2D image 2800 as shown in FIG. 28 . The division and rearrangement of these triangles may be performed in substantially the same manner as described in the embodiment of FIGS. 12 and 13 .

몇몇 실시예들에 따르면, 롬빅(Rhombic) 다면체로 렌더링된 3D 이미지 또한, 앞서 설명한 실시예들과 유사하게 2D 이미지로 맵핑할 수 있다. 도 29 및 도 30은 본 발명의 또 다른 실시예에 따른 3D 이미지를 2D 이미지로 맵핑하는 방법을 나타낸다. 도 29에서와 같이 롬빅 12면체로 렌더링된 3D 이미지(2910)는 전개도와 같은 형태의 2D 이미지(2920)로 프로젝션될 수 있다. 몇몇 실시예들에서는, 2D 이미지(2920)에는 직사각형의 2D 이미지를 형성하기 위해 패딩 영역이 추가될 수도 있다. 몇몇 실시예들에서는 도 29의 2D 이미지(2920)의 상부의 삼각형들 및 하부의 삼각형들을 분할, 회전 및 재배치하여 도 30에서와 같은 직사각형 형태의 2D 이미지(3000)를 형성할 수도 있다. 이러한 삼각형들의 분할 및 재배치는 도 12 및 13의 실시예에서 설명된 것과 실질적으로 동일한 방식으로 수행될 수 있다. According to some embodiments, a 3D image rendered as a Rhombic polyhedron may also be mapped to a 2D image similar to the above-described embodiments. 29 and 30 show a method of mapping a 3D image to a 2D image according to another embodiment of the present invention. As shown in FIG. 29 , the 3D image 2910 rendered as a Rombic dodecahedron may be projected as a 2D image 2920 having the same shape as the development view. In some embodiments, a padding region may be added to the 2D image 2920 to form a rectangular 2D image. In some embodiments, upper triangles and lower triangles of the 2D image 2920 of FIG. 29 may be divided, rotated, and rearranged to form a rectangular 2D image 3000 as shown in FIG. 30 . The division and rearrangement of these triangles may be performed in substantially the same manner as described in the embodiment of FIGS. 12 and 13 .

몇몇 실시예들에 따르면 도29의 2D 이미지(2920)의 마름모 형상의 영역들(즉, WU들) 각각을 직사각형 또는 정사각형의 형태로 변환할 수 있다. 2D 이미지(2920)의 영역들을 직사각형 또는 정사각형의 형태로 변환하기 위해 도 31에서와 같은 패치(patch)가 사용될 수 있다. 도 31은 마름모 형상의 영역을 직사각형 또는 정사각형 형태의 영역으로 변환하기 위한 패치를 나타낸다. 패치된 영역(3100)은 제 1 영역(3110) 및 제 2 영역(3120)을 포함할 수 있다. 제 1 영역(3110)에는 2D 이미지(2920)의 영역들 각각이 대응될 수 있다. 제 2 영역(3120)에는 패치된 영역(3100)의 형상을 직사각형 또는 정사각형으로 만들기 위한 부가 데이터가 포함될 수 있다.According to some embodiments, each of the diamond-shaped regions (ie, WUs) of the 2D image 2920 of FIG. 29 may be converted into a rectangular or square shape. A patch as in FIG. 31 may be used to transform regions of the 2D image 2920 into a rectangular or square shape. 31 shows a patch for converting a rhombus-shaped region into a rectangular or square-shaped region. The patched area 3100 may include a first area 3110 and a second area 3120 . Each of the regions of the 2D image 2920 may correspond to the first region 3110 . Additional data for making the shape of the patched area 3100 a rectangle or a square may be included in the second area 3120 .

몇몇 실시예들에 따르면, 도 29의 2D 이미지(2920)의 영역들에 도 31의 패치가 적용된 후 도 32에서와 같이 평면에 배열될 수 있다. 도 32는 본 발명의 또 다른 실시예에 따른 2D 이미지를 나타낸다. 도 32에서 빈 블록(empty block)(즉, 빈 영역)에는 대응하는 이미지가 존재하지 않는다. 이러한 경우 해당 블록에 대한 skip_block_flag의 값을 1로 설정하여 해당 블록을 디코딩하지 않을 수 있다. 만약 빈 블록에 대한 skip_block_flag의 값이 1로 설정된다면, 해당 블록은 디코딩될 것이지만 복원된 이미지의 값은 유효하지 않을(invalid) 수 있다.According to some embodiments, after the patch of FIG. 31 is applied to areas of the 2D image 2920 of FIG. 29 , it may be arranged in a plane as in FIG. 32 . 32 shows a 2D image according to another embodiment of the present invention. In FIG. 32 , a corresponding image does not exist in an empty block (ie, an empty area). In this case, by setting the value of skip_block_flag for the corresponding block to 1, the corresponding block may not be decoded. If the value of skip_block_flag for an empty block is set to 1, the corresponding block will be decoded, but the value of the reconstructed image may be invalid.

도 32와 같이 사각형으로 영역을 분할하여 맵핑하는 경우, 사각형들 사이의 경계 영역에서 구획화 현상이 발생할 수 있으며, 모션 추정(ME: motion estimation) 및 모션 보상(MC: motion compensation)을 수행할 때, 이미지 블록의 주변의 데이터가 없는 경우(즉, 이미지 블록 주변에 빈 블록이 존재하는 경우), ME 및 MC가 효율적으로 수행되지 못할 수 있다. 효율적인 ME 및 MC를 위해, 패딩 블록이 부가될 수 있다. 패딩 블록은 이미지 블록의 주변에 배치될 수 있다. 패딩 블록에는 실제 이미지의 데이터가 포함되지 않을 수 있다. 따라서, 패딩 블록은 수신기 측에서 렌더링되지 않을 수 있다. 패딩 블록에는 공간적으로 인접한 영역의 가장 가까운 이미지의 값을 카피한 데이터가 채워지거나, 인접한 영역의 이미지들에 대한 값들에 대하여 가중 합(weighted sum)이 적용된 데이터가 채워질 수 있다. 몇몇 실시예들에 의하면, 각 기하구조에서 연속되는 주변 영상 데이터를 이용한 카피 및 채우기를 통하여 패딩 블록의 데이터가 형성될 수 있다. 패딩 블록은 수신기측에서 3D 이미지를 재생하기 위해 렌더링되지 않을 수 있으나, 렌더링되는 영역(즉, 이미지 블록에 대응하는 영역)의 렌더링 품질을 향상시키기 위해 이용될 수 있다. 패딩 영역과 관련하여, 롬빅 다면체와 관련된 실시예에서 설명되었으나, 2D 이미지에 빈 영역이 존재하는 경우라면, 렌더링 품질의 향상을 위해 패딩 영역이 적용될 수 있음이 용이하게 이해될 수 있을 것이다.When a region is divided into a rectangle and mapped as shown in FIG. 32, a partitioning phenomenon may occur in the boundary region between the rectangles, and when motion estimation (ME) and motion compensation (MC) are performed, When there is no data around the image block (ie, empty blocks exist around the image block), ME and MC may not be efficiently performed. For efficient ME and MC, a padding block may be added. The padding block may be disposed around the image block. The padding block may not include data of an actual image. Accordingly, the padding block may not be rendered at the receiver side. The padding block may be filled with data obtained by copying values of the closest image of a spatially adjacent area, or may be filled with data to which a weighted sum is applied to values of images of an adjacent area. According to some embodiments, data of the padding block may be formed through copying and filling using continuous surrounding image data in each geometry. The padding block may not be rendered in order to reproduce the 3D image on the receiver side, but may be used to improve rendering quality of a rendered area (ie, an area corresponding to the image block). With respect to the padding area, although described in the embodiment related to the Rombic polyhedron, it will be easily understood that the padding area may be applied to improve rendering quality if a blank area exists in the 2D image.

도 33은 본 발명의 일 실시예에 다른 송신기를 나타내는 블록도이다. 도 11은 본 발명의 일 실시예에 따른 송신기를 나타낸 블록도이다. 송신기(3300)는 서버로도 지칭될 수 있다. 송신기(3300)는 메모리(3310), 통신 인터페이스(3320) 및 프로세서(3330)를 포함할 수 있다. 송신기(3300)는 앞서 실시예들을 통해 설명된 송신기(3300)의 동작(즉, 3D 이미지를 2D 이미지로 맵핑하는 것에 관련된 동작들 등)을 수행하도록 구성될 수 있다. 프로세서(3330)는 메모리(3310) 및 통신 인터페이스(3320)에 통신 가능하게, 그리고 전기적으로 연결될 수 있다. 통신 인터페이스(3320)를 통해 송신기(3300)는 데이터를 송신하고 그리고 수신할 수 있다. 메모리(3310)에는 송신기(3300)의 동작을 위한 정보들이 저장될 수 있다. 프로세서(3330)를 제어하기 위한 명령들 또는 코드들이 메모리(3310)에 저장될 수 있다. 추가적으로, 프로세서(3330)의 연산을 위해 필요한 일시적 또는 지속적 데이터들이 메모리(1110)에 저장될 수 있다. 프로세서(3330)는 하나의 프로세서일 수 있으며, 몇몇 실시예들에 따르면, 기능들에 따라 구분된 복수의 프로세서들의 집합을 의미할 수도 있다. 프로세서(3330)는 송신기(3300)의 동작을 제어하도록 구성될 수 있다. 앞서 설명된 송신기(3300)의 동작들은 실질적으로 프로세서(3330)에 의해 처리되고 실행될 수 있다. 비록 데이터를 송신하고 수신하는 것이 통신 인테페이스(3320)를 통해 이루어지고, 데이터 및 명령들을 저장하는 것이 메모리(3310)에 의해 수행되더라도, 통신 인터페이스(3320) 및 메모리(3310)의 동작들은 프로세서(3330)에 의해 제어될 수 있으므로, 데이터를 송신 및 수신하는 것 및 명령들을 저장하는 것 또한 프로세서(3330)에 의해 수행되는 것으로 간주될 수 있다.33 is a block diagram illustrating a transmitter according to an embodiment of the present invention. 11 is a block diagram illustrating a transmitter according to an embodiment of the present invention. The transmitter 3300 may also be referred to as a server. The transmitter 3300 may include a memory 3310 , a communication interface 3320 , and a processor 3330 . The transmitter 3300 may be configured to perform operations (ie, operations related to mapping a 3D image to a 2D image, etc.) of the transmitter 3300 described above through the embodiments. The processor 3330 may be communicatively and electrically coupled to the memory 3310 and the communication interface 3320 . Transmitter 3300 may transmit and receive data via communication interface 3320 . Information for the operation of the transmitter 3300 may be stored in the memory 3310 . Instructions or codes for controlling the processor 3330 may be stored in the memory 3310 . Additionally, temporary or persistent data necessary for the operation of the processor 3330 may be stored in the memory 1110 . The processor 3330 may be one processor, and according to some embodiments, may refer to a set of a plurality of processors divided according to functions. The processor 3330 may be configured to control the operation of the transmitter 3300 . The operations of the transmitter 3300 described above may be substantially processed and executed by the processor 3330 . Although sending and receiving data is via the communication interface 3320 and storing data and instructions is performed by the memory 3310 , the operations of the communication interface 3320 and memory 3310 are performed by the processor 3330 . ), sending and receiving data and storing instructions may also be considered to be performed by the processor 3330 .

도 34는 본 발명의 일 실시예에 따른 수신기를 나타내는 블록도이다. 수신기(3400)는 HMD 디바이스와 같은 VR 디바이스일 수 있다. 수신기(3400)는 3D 이미지에 관한 데이터(2D로 프로젝션된 이미지에 관한 데이터)를 수신하고, 3D 이미지를 디스플레이할 수 있다. 수신기(3400)는 메모리(3410), 통신 인터페이스(3420), 프로세서(3430) 및 디스플레이(3440)를 포함할 수 있다. 메모리(3410), 통신 인터페이스(3420), 및 프로세서(3430)에 관한 설명은 송신기(3300)의 메모리(3310), 통신 인터페이스(3320), 및 프로세서(3330)에 대한 설명과 실질적으로 동일하다. 디스플레이(3440)는 3D 이미지의 적어도 일부 영역을 재생할 수 있다. 디스플레이(3440)의 동작 또한 프로세서(3430)에 의해 제어될 수 있다. 34 is a block diagram illustrating a receiver according to an embodiment of the present invention. The receiver 3400 may be a VR device, such as an HMD device. The receiver 3400 may receive data about a 3D image (data about a 2D projected image) and display the 3D image. The receiver 3400 may include a memory 3410 , a communication interface 3420 , a processor 3430 , and a display 3440 . Descriptions of the memory 3410 , the communication interface 3420 , and the processor 3430 are substantially the same as the descriptions of the memory 3310 , the communication interface 3320 , and the processor 3330 of the transmitter 3300 . The display 3440 may reproduce at least a partial area of the 3D image. The operation of the display 3440 may also be controlled by the processor 3430 .

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. Although the embodiments of the present invention have been described above with reference to the accompanying drawings, those of ordinary skill in the art to which the present invention pertains may be embodied in other specific forms without changing the technical spirit or essential features of the present invention. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.