KR100630983B1 - Image processing method, and image encoding apparatus and image decoding apparatus capable of employing the same - Google Patents

화상의 용도가 변화될 때마다 일반적으로 화상의 스케일링이나 부호화, 복호를 행하므로 효율이 나쁘다. 본 발명은, 원화상 OI에 웨이브릿 변환을 가하여 제1 계층의 화상 WI1을 생성한다. 이때, LL 서브밴드 성분을 중간 화상 II로서 중간 화상 메모리(28)에 기록하여 둔다. 원화상 OI에 대한 웨이브릿 변환은 제3 계층의 화상 WI3까지 진행하고, 이후, 양자화 등을 거쳐 JPEG 2000에 기초한 부호화 화상 데이터가 생성된다. 한편, 화상의 용도가 비교적 작은 사이즈의 화상을 요구하는 경우, 일부러 원화상 OI로 리턴하여 부호화를 개시하지 않고, 중간 화상 메모리(28)에 기록된 중간 화상 I1을 새로운 원화상(40)으로 하여 부호화한다.Whenever the use of an image changes, the image is generally scaled, encoded, or decoded, resulting in poor efficiency. According to the present invention, the wavelet transform is applied to the original image OI to generate the image WI1 of the first layer. At this time, the LL subband component is recorded in the intermediate image memory 28 as the intermediate image II. The wavelet transform on the original image OI proceeds to the image WI3 of the third layer, and then encoded image data based on JPEG 2000 is generated through quantization or the like. On the other hand, when the use of the image requires an image of a relatively small size, the intermediate image I1 recorded in the intermediate image memory 28 is used as a new original image 40 without returning to the original image OI on purpose. Encode

화상 처리, 웨이브릿 변환, 부호화, 복호 장치, 원화상, 중간 화상, 스케일링, 서브밴드Image processing, wavelet transform, encoding, decoding device, original image, intermediate image, scaling, subband

화상 처리 방법과, 이 방법을 이용가능한 화상 부호화 장치 및 화상 복호 장치{IMAGE PROCESSING METHOD, AND IMAGE ENCODING APPARATUS AND IMAGE DECODING APPARATUS CAPABLE OF EMPLOYING THE SAME}IMAGE PROCESSING METHOD, AND IMAGE ENCODING APPARATUS AND IMAGE DECODING APPARATUS CAPABLE OF EMPLOYING THE SAME}

도 1은 실시 형태 1에 따른 화상 부호화 장치의 구성도.1 is a block diagram of a picture coding apparatus according to a first embodiment.

도 2는 실시 형태 1에 따른 처리 수순을 도시한 도면.2 is a diagram showing a processing procedure according to the first embodiment.

도 3은 실시 형태 1에서 중간 화상 메모리에 기록되는 화상 데이터의 구조를 도시한 도면.FIG. 3 shows the structure of image data recorded in the intermediate image memory in Embodiment 1; FIG.

도 4는 도 3에 도시한 화상 데이터 중 헤더 영역의 구조를 도시한 도면.4 is a diagram showing the structure of a header area in the image data shown in FIG.

도 5는 도 1에 도시한 화상 사이즈 테이블의 내부 구성을 도시한 도면.FIG. 5 is a diagram showing an internal configuration of the image size table shown in FIG. 1; FIG.

도 6은 실시 형태 2에 따른 화상 복호 장치의 구성도.6 is a configuration diagram of an image decoding device according to a second embodiment.

도 7은 실시 형태 2에 따른 처리 수순을 도시한 도면.7 is a diagram showing a processing procedure according to the second embodiment.

도 8은 실시 형태 3에 따른 디지털 카메라의 구성도.8 is a configuration diagram of a digital camera according to the third embodiment;

도 9는 실시 형태 4에 따른 TV 수신 장치의 구성도.9 is a configuration diagram of a TV receiver according to a fourth embodiment.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

10 : 화상 부호화 장치10: picture coding apparatus

12 : 부호화 유닛12: coding unit

14 : 웨이브릿 변환기14: Wavelet Converter

16 : 프레임 버퍼16: frame buffer

28 : 중간 화상 메모리28: intermediate picture memory

32 : 화상 메모리 제어기32: image memory controller

34 : 화상 사이즈 판정기34: image size determiner

36 : 화상 사이즈 테이블36: Image size table

38 : 화상 선택 유닛38: image selection unit

50 : 화상 데이터 구조50: image data structure

52 : 제1 영역52: first region

54 : 제2 영역54: second area

56 : 헤더 영역56: header area

100 : 화상 복호 장치100: image decoding device

110 : 복호 유닛110: decoding unit

112 : 웨이브릿 역변환기112: wavelet inverse converter

124 : 복호 화상 메모리124: decoded image memory

200 : 디지털 카메라200: digital camera

202 : 촬상 블록202: imaging block

204 : 기구 제어 블록204: instrument control block

206 : 처리 블록206: processing block

300 : TV 수신 장치300: TV receiver

304 : 수신 블록304: receiving block

306 : 처리 블록306: processing block

308 : 재생 블록308: play block

336 : 인터페이스 블록336: interface block

본 발명은 화상 처리 기술에 관한 것으로, 특히 화상 처리 방법과, 이 방법을 이용가능한 화상 부호화 장치 및 화상 복호 장치에 관한 것이다.The present invention relates to an image processing technique, and more particularly, to an image processing method, and an image coding apparatus and an image decoding apparatus which can use the method.

20세기는 "영상의 세기"라고 하듯이, 영화, TV 방송을 비롯하여 다종 다양한 영상 및 화상이 생산되고 이용되어 왔다. 특히 1990년대에 들어서, PC(퍼스널 컴퓨터)를 대표로 하는 각종 정보 기기의 보급, 디지털 카메라나 컬러 프린터 등의 대중화, 인터넷 인구의 폭발적인 증가 등에 따라, 일반인의 일상 생활에 디지털 화상의 문화가 깊이 침투하게 되었다. 이러한 상황 하에서, 정지화상, 동화상에 대해서는, 각각 JPEG(Joint Photographic Expert Group), MPEG(Motion Picture Expert Group) 등의 부호화 압축 기술이 표준화되어, CD-ROM 등의 기록 매체나, 네트워크 또는 방송파 등의 전송 매체를 통한 화상의 배신 및 재생의 이용 편의성이 개선되어 왔다. JPEG 계열에 있어서, 그 진화판이라고도 할 수 있는 JPEG 2000이 발표되어 있고, 또한 MPEG에 대해서도 중장기에 걸친 목표가 책정되어 있어, 앞으로도 화상 처리 기술의 세련됨이 인간을 보다 깊게 디지털 화상의 세계로 이끄는 것에는 틀림이 없다.As the twentieth century is called "the century of imagery," a variety of images and images have been produced and used, including movies and television broadcasts. Particularly in the 1990s, the culture of digital images has deeply infiltrated into the daily life of the general public due to the spread of various information devices such as personal computers (PCs), popularization of digital cameras and color printers, and the explosive growth of the Internet population. Was done. Under such a situation, for still and moving pictures, encoding and compression techniques such as Joint Photographic Expert Group (JPEG) and Motion Picture Expert Group (MPEG) are standardized, respectively, and recording media such as CD-ROM, network or broadcast wave, etc. The ease of use of delivery and reproduction of images via a transmission medium has been improved. In the JPEG series, JPEG 2000, an evolutionary version of the JPEG series, has been announced, and a long-term goal has been set for MPEG, and in the future, the refinement of image processing technology will lead humans to the world of digital images more deeply. Definitely

또한, 화상 데이터 형식의 표준화는 디지털 기기간의 데이터 송수신을 촉진하는 효과를 갖는다. 예를 들면, 명함의 절반 정도가 되는 메모리 카드를 이용함으로써, 휴대 기기나 정보 기기간에서 극히 간단하게 데이터를 교환할 수 있게 되었다. 디지털 카메라로 촬영한 화상 데이터는 동일한 데이터 형식을 지원하는 고선명 컬러 프린터로 용이하게 출력할 수 있다. 향후에도 다양한 기기에 걸쳐서 화상 데이터가 이용되는 경우가 증가할 것으로 예상된다.In addition, standardization of the image data format has the effect of facilitating data transmission and reception between digital devices. For example, by using a memory card that is about half the size of a business card, data can be exchanged very simply between a portable device and an information device. Image data shot with a digital camera can be easily output to a high definition color printer supporting the same data format. In the future, it is expected that image data will be used in various devices.

본 발명자는 이러한 상황에서 이하의 과제를 인식하기에 이르렀다. 즉, 예를 들면, 디지털 카메라로 촬영한 화상이 원래 640 ×480의 해상도를 가질때, 이를 320 ×200의 LCD에 표시하려고 하면, 화상의 스케일링이 필요하게 된다. 한편, 120 ×80의 섬네일 화상을 작성하고자 할 경우에도, 역시 스케일링을 요한다. 일반적으로 스케일링은 처리를 실시하고자 하는 원래의 화상 사이즈에 거의 비례한 처리 시간과 메모리 액세스량, 즉 대역폭을 요한다. 따라서, 본 예에서는, LCD 출력용 화상 데이터의 생성 및 섬네일용 화상 데이터의 생성에는 모두 원화상의 640 ×480이라고 하는 사이즈에 비례한 부하가 생긴다.The present inventors came to recognize the following subjects in such a situation. That is, for example, when an image photographed with a digital camera originally has a resolution of 640x480, and attempts to display it on a 320x200 LCD, scaling of the image is necessary. On the other hand, scaling is also required when a thumbnail image of 120 x 80 is to be created. In general, scaling requires a processing time and an amount of memory access, that is, a bandwidth, which is almost proportional to the original image size to be processed. Therefore, in this example, both the generation of the LCD output image data and the generation of the thumbnail image data have a load proportional to the size of 640 x 480 of the original image.

본 발명은 이러한 고찰에 기초하여 안출된 것으로서, 그 목적은, 화상 처리, 특히 화상 부호화 또는 화상 복호를 수반하는 처리의 경우에 처리 부하를 감소시켜, 처리 시간 및 소비 전력을 저감시킬 수 있는 기술을 제공하는데에 있다.SUMMARY OF THE INVENTION The present invention has been made based on such considerations, and an object thereof is to provide a technique capable of reducing processing load and reducing processing time and power consumption in the case of image processing, in particular, processing involving image encoding or image decoding. To provide.

본 발명의 하나의 특징은, 화상 처리 방법, 특히 화상 부호화 방법에 관한 것이다. 이 방법은 원화상을 부호화하는 과정에서 생성되는 중간 화상을 보존하여 두고, 이를 새로운 원화상으로 하여 이용한다. "원화상"이란, 예를 들면, 부호화의 개시에 맞춰 투입되는 화상을 의미한다. 화상을 부호화하는 경우, 그 부호화의 최종 결과 데이터만을 취득하면 되지만, 본 특징에서는, 구태여 처리 도중의 중간 화상을 버리지 않고 남겨서 이를 재이용한다. 중간 화상의 해상도가 원화상보다 낮고, 또 현재 요구되고 있는 부호화 화상의 해상도가 낮은 경우, 일부러 원화상을 순서대로 부호화하여 가는 것보다, 중간 화상을 개시점으로 하여 부호화하는 쪽이 처리면에서 수월하다. 또, 본 명세서에서는 이후, 부호화가 완료되어 얻어지는 최종적인 화상 데이터에 한정하여 "부호화 화상" 또는 "부호화 화상 데이터"라고 하고, 이것은 중간 화상을 포함하지 않는 것으로 한다.One aspect of the present invention relates to an image processing method, in particular an image encoding method. This method saves the intermediate image generated in the process of encoding the original image and uses it as a new original image. "Original image" means, for example, an image to be input in accordance with the start of encoding. In the case of encoding an image, only the final result data of the encoding may be acquired, but in this feature, the intermediate image in the idle process is left without being discarded and reused. If the resolution of the intermediate image is lower than that of the original image, and the resolution of the currently encoded image is low, it is easier to process the intermediate image as the starting point than to encode the original image in order. Do. In the present specification, "encoded picture" or "coded picture data" will be referred to as "encoded picture" or "encoded picture data" only in the final picture data obtained by encoding.

중간 화상은 원화상을 계층화하여 부호화하는 과정에서 생성되는 중간 계층의 화상이어도 무방하다. 이 경우, 중간 계층의 화상은 계층화 처리 과정에서 자연히 발생하는 것이 많아 유용하다. 이하, 단지 중간 화상이라고 할 때, 이것은 "중간 계층의 화상"도 포함하는 것으로 한다.The intermediate image may be an intermediate layer image generated in the process of layering and encoding the original image. In this case, the intermediate layer image is useful because it often occurs naturally in the layering process. In the following, when only referred to as an intermediate image, this also includes an "intermediate layer image".

중간 화상을 새로운 원화상으로 고려하여, 이를 소망의 처리에 투입할 수 있다. 소망의 처리로서는, 부호화, 스케일링, 즉 화상 사이즈 또는 해상도의 확대 또는 축소, 회전, 트리밍, 에지 강조 또는 고역 통과 필터링, 평활화 또는 노이즈 저감 또는 저역 통과 필터링, 색변환, 그 밖의 다양한 화상 처리가 있다.Considering the intermediate image as a new original image, it can be put into a desired process. Desirable processes include encoding, scaling, i.e., enlargement or reduction, rotation, trimming, edge enhancement or high pass filtering, smoothing or noise reduction or low pass filtering, color conversion, and various other image processing of the image size or resolution.

본 발명의 다른 특징은, 화상 처리 방법, 특히 화상 복호 방법에 관한 것이다. 이 방법은, 원화상을 부호화하여 생성된 부호화 화상 데이터를 복호하는 과정 에서 생성되는 중간 화상을 최종적인 복호 화상과는 별도로 보존하여 두고, 용도에 맞게 이 중간 화상을 최종적인 복호 화상 대신에 이용한다.Another feature of the present invention relates to an image processing method, and in particular to an image decoding method. In this method, the intermediate image generated in the process of decoding the encoded image data generated by encoding the original image is stored separately from the final decoded image, and the intermediate image is used instead of the final decoded image for use.

통상 화상을 복호하는 경우, 당연히 복호가 완료되어 얻어지는 화상만을 취득하면 되지만, 본 특징에서는 일부러 중간 화상을 취득하여 이용한다. 예를 들면, 중간 화상이 최종적으로 복호 화상보다 해상도가 낮거나 저주파 성분을 주체로 하고 있어도 표시할 수 있으면 이용가능하다. 용도에 따라서는, 해상도가 낮은 쪽이 유용한 것도 있어, 본 특징은 그러한 경우에 바람직하다. 또, "복호 화상"이란 부호화된 화상 데이터를 복호하여 생성되는 화상 데이터를 가르키는 것으로 하고, 따라서 부호화와 복호가 무손실이면, 복호 화상은 원화상과 일치한다. 또한, "복호 화상"은 특별히 한정하지 않고 복호가 완료되어 얻어지는 최종적인 화상을 가르키는 것으로 하고, 따라서 중간 화상을 포함하지 않는 것으로 한다.In the case of decoding an image normally, only an image obtained by decoding is naturally obtained, but in this feature, an intermediate image is obtained and used on purpose. For example, the intermediate image can be used as long as it can be displayed even if the resolution is finally lower than that of the decoded image or mainly consists of low frequency components. Depending on the application, the lower resolution may be useful, and the present feature is preferable in such a case. The "decoded image" refers to image data generated by decoding the encoded image data. Therefore, if the encoding and decoding are lossless, the decoded image corresponds to the original image. In addition, a "decoded image" is not specifically limited, It shall refer to the final image obtained by completing decoding, and therefore shall not contain an intermediate image.

본 발명의 또 다른 특징은, 컴퓨터로 판독 및 이용이 가능한 데이터의 구조에 관한 것이다. 본 데이터 구조는, 원화상의 식별 정보를 보존하는 제1 데이터 영역과, 원화상의 부호화 과정에서 생성된 중간 화상을 보존하는 제2 데이터 영역과, 이들 두 영역을 관련시키기 위한 링크 정보를 포함하는 헤더 영역을 포함한다. 헤더 영역은 제1 데이터 영역과 제2 데이터 영역 중 어느 하나에 포함되어 있어도 무방하다. 본 데이터 구조에 따르면, 용도에 맞게 원화상 또는 중간 화상을 선택하여 이용할 수 있다.Another aspect of the invention relates to a structure of data that can be read and used by a computer. The data structure includes a first data area for storing identification information of the original picture, a second data area for storing an intermediate image generated in the encoding process of the original picture, and link information for associating these two areas. Contains the header area. The header area may be included in either the first data area or the second data area. According to this data structure, an original image or an intermediate image can be selected and used according to a use.

특히, 중간 화상과 원화상이 동일한 표시 체계로 표시할 수 있는 경우, 이들의 상호 대체성이 높다. 이를 위해서는, 부호화가, 그에 의해서 생성된 화상이 복 호 처리를 실시하지 않고도 원화상과 마찬가지의 표시가 가능한 범위에 속하는 제1 처리 단계와, 어떠한 복호 처리를 실시하지 않으면 원화상과 마찬가지의 표시가 불가능하게 되는 제2 처리 단계를 포함한다고 하면, 중간 화상은 제1 처리 단계의 범위에서 생성된 것이어도 무방하다.In particular, when the intermediate image and the original image can be displayed in the same display system, their mutual substitution is high. For this purpose, the encoding is performed by the first processing step in which the image generated thereby falls within the range in which the image generated thereby does not have to be decoded, and the display similar to the original image is performed without any decoding processing. Supposing that the second processing step becomes impossible, the intermediate image may be generated in the range of the first processing step.

본 발명의 또 다른 특징은, 화상 부호화 장치에 관한 것이다. 본 장치는, 원화상을 부호화하는 부호화 유닛과, 부호화의 과정에서 생성되는 중간 화상을 최종적인 부호화 화상과는 별도로 보존하는 중간 화상 메모리를 포함한다.Another feature of the present invention relates to a picture coding apparatus. The apparatus includes an encoding unit for encoding an original image, and an intermediate image memory for storing an intermediate image generated in the encoding process separately from the final encoded image.

부호화 유닛은, 원화상을 계층화하거나 원화상의 해상도를 저하시키거나, 원화상의 저주파 성분을 이용하여 중간 화상을 생성하여도 된다. 또한, 원화상에 2차원 웨이브릿(wavelet) 변환을 실시하였을 때에 나타나는, 2차원과 함께 저주파 성분으로 이루어지는 서브밴드에 의해서 중간 화상을 생성하여도 된다.The coding unit may layer the original image, lower the resolution of the original image, or generate an intermediate image using low frequency components of the original image. In addition, you may generate an intermediate image by the subband which consists of a low frequency component with two dimensions appearing when two-dimensional wavelet transformation is performed on an original image.

본 장치는 화상의 용도에 맞게 원화상 또는 중간 화상 중 한쪽을 선택하여 부호화 유닛에 투입하는 화상 선택 유닛을 더 포함하여도 된다. 화상의 용도를 판정하기 위해서, 용도와 화상 사이즈 기타 화상의 속성을 대응시켜서 기억하는 테이블을 구비하여도 된다.The apparatus may further include an image selection unit which selects one of an original image or an intermediate image and inserts it into the coding unit according to the use of the image. In order to determine the use of the image, a table for storing the use, image size, and other attributes of the image in association with each other may be provided.

본 발명의 또 다른 특징도 화상 부호화 장치에 관한 것이다. 본 장치는 촬상 블록과, 그것을 기구면에서 제어하는 기구 제어 블록과, 촬상에 의해서 얻어진 디지털 화상을 처리하는 처리 블록을 포함하고, 이 처리 블록은, 상기 디지털 화상을 부호화하는 부호화 유닛과, 그 부호화 과정에서 생성되는 중간 화상을 최종적인 부호화 화상과는 별도로 보존하는 중간 화상 메모리를 포함한다. 본 특징에 따르 면, 복수의 용도에 대하여 일부러 매회 원화상을 부호화할 필요가 없으므로, 장치의 처리 부하의 저감, 처리 시간의 단축에 기여한다.Another aspect of the present invention also relates to a picture coding apparatus. The apparatus includes an imaging block, a mechanism control block for controlling it in an instrument plane, a processing block for processing a digital image obtained by imaging, and the processing block includes a coding unit for encoding the digital image, and the coding thereof. An intermediate picture memory for storing the intermediate picture generated in the process separately from the final coded picture is included. According to this aspect, since it is not necessary to encode the original image every time for a plurality of uses, it contributes to reducing the processing load of the apparatus and shortening the processing time.

본 발명의 또 다른 특징은 화상 복호 장치에 관한 것이다. 본 장치는 원화상을 부호화하여 생성된 부호화 화상 데이터를 복호하는 복호 유닛과, 복호 과정에서 생성되는 중간 화상을 상기 복호에 의해서 최종적으로 얻어지는 복호 화상과는 별도로 보존하는 중간 화상 메모리를 포함한다. 본 특징에 따르면, 용도에 맞게 중간 화상 또는 복호 화상 중 한쪽을 선택할 수 있다. 이를 위해, 중간 화상 메모리는 중간 화상과 최종적으로 얻어지는 복호 화상을 관련시켜서 기억하고 있어도 된다. 본 장치는, 화상의 용도에 맞게 상기 최종적인 복호 화상 또는 중간 화상 중의 한쪽을 선택하여 출력하는 화상 선택 유닛을 포함하여도 된다.Another feature of the present invention relates to an image decoding device. The apparatus includes a decoding unit for decoding the encoded image data generated by encoding the original image, and an intermediate image memory for storing the intermediate image generated in the decoding process separately from the decoded image finally obtained by the decoding. According to this aspect, one of the intermediate image or the decoded image can be selected according to the use. For this purpose, the intermediate image memory may store the intermediate image in association with the decoded image finally obtained. The apparatus may include an image selection unit that selects and outputs one of the final decoded image or the intermediate image according to the use of the image.

복호 유닛은 복호 과정에서 2차원 웨이브릿 역변환을 실시하고, 2차원과 함께 저주파 성분으로 이루어지는 서브밴드에 의해서 중간 화상을 생성하여도 된다.The decoding unit may perform two-dimensional wavelet inverse transformation in the decoding process, and generate an intermediate image by subbands made of low frequency components together with two dimensions.

본 발명의 또 다른 특징도 화상 복호 장치에 관한 것이다. 본 장치는 수신 블록과, 수신 신호를 처리하는 처리 블록과, 처리 후의 신호를 재생하는 재생 블록을 포함하고, 상기 처리 블록은, 상기 수신 신호로부터 추출된 디지털 화상의 부호화 화상 데이터를 복호하는 복호 유닛과, 그 복호 과정에서 생성되는 중간 화상을 상기 복호에 의해서 최종적으로 얻어지는 복호 화상과는 별도로 보존하는 중간 화상 메모리를 포함하고, 본 장치는 또한 상기 중간 화상을 외부 기기로 출력하기 위한 인터페이스 블록을 포함한다. "외부 기기"는 네트워크 등의 전송로나 메모리 등의 수동 소자이어도 된다. 본 특징에 따르면, 복호 화상을 얻을 때에 부산물적 으로 또는 일시적으로 생성되는 중간 화상을 유효하게 이용할 수 있기 때문에, 일련의 복호 처리로 서로 다른 복수의 용도에 적합한 화상을 얻을 수 있다.Another aspect of the present invention also relates to an image decoding device. The apparatus includes a receiving block, a processing block for processing a received signal, and a reproduction block for reproducing a signal after processing, wherein the processing block is a decoding unit for decoding coded image data of a digital image extracted from the received signal. And an intermediate image memory for storing the intermediate image generated in the decoding process separately from the decoded image finally obtained by the decoding, and the apparatus further includes an interface block for outputting the intermediate image to an external device. do. The "external device" may be a transmission element such as a network or a passive element such as a memory. According to this aspect, since an intermediate image generated by-product or temporarily can be effectively used when obtaining a decoded image, a series of decoding processes can obtain an image suitable for a plurality of different uses.

본 발명의 또 다른 특징은 화상 처리 방법에 관한 것이다. 본 방법은 원화상을 소정의 목적에 맞게 처리할 때, 그 처리 도중에서 생성되는 화상 중 원화상과 동일한 표시 체계로 표시 가능한 범위에 있는 것을 원화상과는 별도로 보존하여 용도에 맞게 재이용한다.Another aspect of the invention relates to an image processing method. In the present method, when an original image is processed for a predetermined purpose, one of the images generated during the processing that is within the range that can be displayed in the same display system as the original image is preserved separately from the original image and reused for the purpose.

본 발명의 또 다른 특징도 화상 처리 방법에 관한 것이다. 본 방법은 화상 데이터를 복원할 때, 그 처리 도중에서 생성되는 화상 중 최종적으로 얻게 될 화상과 동일한 표시 체계로 표시 가능한 범위에 들어가는 것이 발생하였을 때, 이 화상을 상기 최종적으로 얻게 될 화상과는 별개로 추출하여 이용한다.Another aspect of the invention also relates to an image processing method. The present method, when restoring image data, when the image generated during the processing falls within the displayable range in the same display system as the image to be finally obtained, is different from the image to be finally obtained. Extract it and use it.

또한, 전술한 구성 요소의 임의의 조합, 본 발명의 표현을 방법, 장치, 시스템, 컴퓨터 프로그램, 데이터 구조, 상기 기록 매체 등의 사이에서 변환한 것도 또한, 본 발명의 특징으로서 유효하다.In addition, any combination of the above-described components and conversion of the expression of the present invention between a method, an apparatus, a system, a computer program, a data structure, the recording medium and the like are also effective as features of the present invention.

이하, 본 발명의 바람직한 실시 형태를 설명한다. 실시 형태에서는, 화상 처리로서 JPEG 2000을 이용한 부호화 및 복호를 고려한다. JPEG 2000의 개요 자체는 이미 공지되어 있기 때문에, 이하 그 부분에 대해서는 상술하지 않는다.EMBODIMENT OF THE INVENTION Hereinafter, preferred embodiment of this invention is described. In the embodiment, coding and decoding using JPEG 2000 are considered as image processing. Since the outline itself of JPEG 2000 is already known, the part is not described in detail below.

<실시 형태 1><Embodiment 1>

도 1은 실시 형태 1에 따른 화상 부호화 장치(10)의 구성도이다. 이 구성은 하드웨어적으로는 임의의 컴퓨터의 CPU, 메모리, 기타 LSI로 실현될 수 있고, 소프트웨어적으로는 메모리에 로드된 부호화 기능이 있는 프로그램 등으로 실현되지만, 여기서는 이들을 병용하여 실현되는 기능 블록을 나타내고 있다. 따라서, 이들 기능 블록이 하드웨어만, 소프트웨어만, 또는 이들의 조합에 의해서 다양한 형태로 실현될 수 있는 것은 당업자에게는 이해될 것이다.1 is a configuration diagram of a picture coding apparatus 10 according to the first embodiment. This configuration can be realized by hardware of CPU, memory, other LSI in hardware, and by software having encoding function loaded into memory in software. It is shown. Thus, it will be understood by those skilled in the art that these functional blocks may be realized in various forms by hardware only, software only, or a combination thereof.

화상 부호화 장치(10)의 주요한 구성은, 부호화 유닛(12), 원화상 메모리(26), 중간 화상 메모리(28), 화상 선택 유닛(38)이다. 부호화 유닛(12)은, JPEG 2000의 사양에 기초한 부호화 처리를 담당하는 것으로, 웨이브릿 변환기(14), 프레임 버퍼(16), 양자화기(18), 비트 플레인 부호화기(20), 산술 부호화기(22) 및 스트림 생성기(24)를 포함한다. 부호화 처리의 개시에 있어서, 원화상 OI(Original Image)가 프레임 버퍼(16)에 입력되는데, 이는 외부로부터 프레임 버퍼(16)에 직접 입력되어도 되고, 일단 원화상 메모리(26)를 통해서 입력되어도 된다. 이하, 원화상 메모리(26)를 통해서 입력되는 경우를 상정한다.The main structure of the image coding apparatus 10 is the coding unit 12, the original image memory 26, the intermediate image memory 28, and the image selection unit 38. The encoding unit 12 is responsible for encoding processing based on the JPEG 2000 specification, and includes a wavelet converter 14, a frame buffer 16, a quantizer 18, a bit plane encoder 20, and an arithmetic encoder 22. ) And stream generator 24. At the start of the encoding process, an original image OI (Original Image) is input to the frame buffer 16, which may be directly input to the frame buffer 16 from the outside, or may be input via the original image memory 26 once. . Hereinafter, the case where it inputs through the original image memory 26 is assumed.

프레임 버퍼(16)에 입력된 원화상 OI는 웨이브릿 변환기(14)에 의해 계층화된다. JPEG 2000에서의 웨이브릿 변환기(14)는 도비치스(Daubechies) 필터를 이용한다. 도 2에 도시하는 것과 같이, 이 필터는 화상의 x, y 각각의 방향에서 동시에 저역 통과 필터 및 고역 통과 필터로서 작용하는 것으로, 하나의 화상을 4개의 주파수 서브밴드로 분할한다. 이들 서브밴드는 x, y의 양방향에서 저주파 성분을 갖는 LL 서브밴드와, x, y 중 어느 하나의 방향에서 저주파 성분을 가지며, 또한 다른 한쪽 방향에서 고주파 성분을 가지는 HL 및 LH 서브밴드와, x, y의 양방향에서 고주파 성분을 가지는 HH 서브밴드이다. 각 서브밴드의 종횡의 화소수는 각각 처리 이전 화상의 1/2로서, 일회의 필터링으로 해상도 즉, 화상 사이즈가 1/4인 서 브밴드 화상이 얻어진다.The original picture OI input to the frame buffer 16 is layered by the wavelet converter 14. The wavelet converter 14 in JPEG 2000 uses a Dobechies filter. As shown in Fig. 2, this filter acts as a low pass filter and a high pass filter simultaneously in the x and y directions of the image, and divides one image into four frequency subbands. These subbands are LL subbands having low frequency components in both directions of x and y, HL and LH subbands having low frequency components in either of x and y directions and high frequency components in the other direction, and x , HH subband having a high frequency component in both directions of y. The number of vertical and horizontal pixels of each subband is 1/2 of the image before processing, and a single filtering results in a subband image having a resolution, that is, an image size of 1/4.

웨이브릿 변환기(14)는 이렇게 얻어진 서브밴드 중 LL 서브밴드에 대하여 재차 필터링 처리를 행하고, 이를 다시 LL, HL, LH, HH의 4개의 서브밴드로 분할한다. 필터링은 소정의 회수만큼 행해지고, 최후의 필터링에서 생성된 LL 서브밴드가 원화상 OI에서 DC 성분에 가장 가까운 화상으로서 취득된다. 이하, 동일 계층의 각 서브밴드 즉, 동일 회수 필터링을 실시하여 얻어진 4개의 서브밴드는 LL, HL 및 LH, HH의 순으로 점점 고주파 성분을 포함하고, 이들 서브밴드보다도 더 고주파 성분을 포함하는 화상이 일전의 필터링 처리에서 얻어진 4개의 서브밴드로서 이어진다. 이하, 도 2의 예에서는, 좌측 상부로부터 순서대로 우측 하부로 갈수록 고주파 성분을 포함하는 화상으로서 계층화 화상이 얻어진다.The wavelet converter 14 performs the filtering process again on the LL subband among the subbands thus obtained, and divides it into four subbands of LL, HL, LH, and HH again. The filtering is performed for a predetermined number of times, and the LL subband generated in the last filtering is obtained as the image closest to the DC component in the original image OI. Hereinafter, each subband of the same layer, that is, four subbands obtained by performing the same number of filtering gradually contains high frequency components in the order of LL, HL, LH, and HH, and further includes high frequency components than these subbands. This is followed by four subbands obtained in the previous filtering process. Hereinafter, in the example of FIG. 2, a layered image is obtained as an image containing a high frequency component from the upper left to the lower right in order.

이하, 상술하지 않았지만, 웨이브릿 변환기(14)에 의해 계층화된 화상이 저주파 성분부터 순서대로 양자화기(18), 비트 플레인 부호화기(20), 산술 부호화기(22), 스트림 생성기(24)에 의한 처리를 거쳐 최종적인 부호화 화상 데이터 CI(Coded Image)로서 출력된다.Hereinafter, although not described above, the image layered by the wavelet converter 14 is processed by the quantizer 18, the bit plane encoder 20, the arithmetic encoder 22, and the stream generator 24 in order from the low frequency component. It is output as final coded image data CI (Coded Image) via.

중간 화상 메모리(28)는 본 실시 형태에 특징적인 구성으로서, 웨이브릿 변환기(14)에 의한 처리 도중에서 얻어지는 중간 화상 II(Intermediate Image)을 적절히 보존한다. 통상, 이러한 중간 화상 II는 프레임 버퍼(16)에서 일시적으로 생성되는 것으로, 그 자체의 특별한 용도는 가지고 있지 않다. 그렇지만, 본 실시 형태에서는 이 중간 화상을 적극적으로 이용함으로써 후술하는 장점을 얻는다.The intermediate image memory 28 is a characteristic feature of the present embodiment, and appropriately stores the intermediate image II (Intermediate Image) obtained during the processing by the wavelet converter 14. Normally, such intermediate picture II is generated temporarily in the frame buffer 16, and has no special use of its own. However, in the present embodiment, the advantages described later are obtained by actively using this intermediate image.

화상 선택 유닛(38)은 화상 메모리 제어기(32), 화상 사이즈 판정기(34) 및 화상 사이즈 테이블(36)을 포함한다. 화상에는, 예를 들면, 고선명으로 인쇄하거나, 단지 섬네일 화상으로서 보존하는 등의 다양한 용도가 있다. 용도에 따라, 화질이나 해상도가 상이하다. 이 점에 착안하여, 화상 사이즈 판정기(34)는 사용자로부터 화상 용도의 입력을 받는다. 화상 사이즈 테이블(36)에는 화상 용도와 그에 적합한 해상도 또는 화상 사이즈가 사전에 기록되어 있다. 화상 사이즈 판정기(34)는 사용자로부터 입력된 화상의 용도를 화상 사이즈 테이블(36)에 조회함으로써, 적절한 화상 사이즈를 판정한다. 판정 결과는 화상 메모리 제어기(32)에 통지되고, 화상 메모리 제어기(32)는 그 화상 사이즈에 부합하여 원화상 메모리(26)로부터 원화상 OI를 프레임 버퍼(16)에 투입하거나, 또는 중간 화상 메모리(28)로부터 적절한 화상 사이즈의 중간 화상 II를 프레임 버퍼(16)에 투입한다.The image selection unit 38 includes an image memory controller 32, an image size determiner 34, and an image size table 36. There are various uses for the image, for example, printing in high definition, or simply storing it as a thumbnail image. Depending on the use, the image quality and the resolution are different. With this in mind, the image size determiner 34 receives an input of image use from the user. In the image size table 36, an image use and a resolution or image size suitable for the image are recorded in advance. The image size determiner 34 determines the appropriate image size by querying the image size table 36 for the purpose of the image input from the user. The determination result is notified to the image memory controller 32, and the image memory controller 32 inputs the original image OI from the original image memory 26 to the frame buffer 16 or the intermediate image memory in accordance with the image size. From (28), the intermediate image II of the appropriate image size is put into the frame buffer 16.

도 2는, 웨이브릿 변환기(14)에 의한 원화상 OI의 처리와 중간 화상 메모리(28)에 저장되는 중간 화상 II의 관계를 도시한다. 원화상 OI는 웨이브릿 변환기(14)에서의 첫회의 필터링에 의해 제1 계층의 화상 WI1로 된다. 이 화상 WI1의 LL 서브밴드에 대하여 다시 필터링이 행해져서, 도 2의 경우, 최종적으로 제3 계층의 화상 WI3이 생성된다. 이 화상은 이후 양자화기(18) 이하의 처리를 받는다.2 shows the relationship between the processing of the original image OI by the wavelet converter 14 and the intermediate image II stored in the intermediate image memory 28. The original picture OI becomes the picture WI1 of the first layer by the first filtering in the wavelet converter 14. Filtering is performed again on the LL subband of this picture WI1, and finally, the picture WI3 of the third layer is generated in the case of FIG. This image is then subjected to processing below the quantizer 18.

중간 화상 메모리(28)에는 웨이브릿 변환기(14)의 처리 도중에 생성되는 LL 서브밴드의 화상이 중간 화상으로서 보존된다. 본 예의 경우, 제1 계층의 화상층 WI1의 LL 서브밴드가 그대로 중간 화상 II로서 보존되어 있다. 보존된 중간 화상 II는, 사용자에 의해 지정된 용도에 맞게 재이용된다. 예를 들면, 지정된 용도에 대하여, 원화상 OI의 1/4 사이즈의 화상으로 충분한 경우, 중간 화상 메모리(28)에 기록된 중간 화상 II이 판독되고, 이것이 새로운 원화상(40)으로 하여 프레임 버퍼(16)에 도입되며, 웨이브릿 변환기(14) 이하의 처리가 실시되어, 부호화 화상 데이터(42)가 생성된다. 중간 화상 II를 이용하는 장점은 이하와 같다.In the intermediate image memory 28, an image of the LL subband generated during the processing of the wavelet converter 14 is stored as an intermediate image. In this example, the LL subband of the picture layer WI1 of the first layer is stored as an intermediate picture II as it is. The saved intermediate image II is reused for the purpose designated by the user. For example, for a designated use, if an image of a size 1/4 of the original image OI is sufficient, the intermediate image II recorded in the intermediate image memory 28 is read out, and this is the new original image 40 and the frame buffer is read. Introduced at (16), the following processing is performed on the wavelet converter 14 to generate coded image data 42. The advantages of using the intermediate image II are as follows.

1. 통상, 화상 부호화 장치(10)에서의 부호화 처리는, 원화상 OI의 입력으로부터 개시된다. 따라서, 부호화 화상 데이터가 필요로 하게 되었을 때 원화상 OI가 입력되고, 그 때마다 부호화가 행해진다. 그렇지만, 경우에 따라서는 사이즈가 작은 화상으로 충분한 용도도 있고, 그 경우에 일부러 사이즈가 큰 원화상 OI를 기점으로 하는 부호화를 재실시하는 것은 큰 손실을 초래한다. 전술한 바와 같이, 일반적으로 화상 처리는 화상 사이즈에 비례하는 처리 부하를 초래하기 때문에, 도 2의 예에서는, 사이즈가 1/4인 중간 화상 II를 부호화의 개시 화상으로 함으로써, 처리 부담을 대략 1/4로 저감시킬 수 있다. 그 결과, 처리 시간, 프레임 버퍼(16)의 점유율, 소비 전력 어느 면에서도 개선 효과를 기대할 수 있다.1. Usually, the encoding process in the image encoding apparatus 10 is started from the input of an original image OI. Therefore, when encoded image data is needed, an original image OI is input, and encoding is performed every time. In some cases, however, there are some uses that are sufficient for small-size images. In that case, re-coding based on the large original image OI intentionally causes a great loss. As described above, in general, the image processing incurs a processing load proportional to the image size. In the example of FIG. 2, the processing burden is approximately 1 by making the intermediate image II having a size 1/4 as the start image of the encoding. It can be reduced to / 4. As a result, an improvement effect can be expected in terms of processing time, occupancy of the frame buffer 16 and power consumption.

2. 경우에 따라, 스케일링 처리를 생략할 수 있다. 도 2의 예에서는, 사용자의 용도가 1/4 사이즈의 화상을 요구하고 있을 때, 원화상 OI에 대하여 어느 하나의 단계에서 화상 사이즈를 1/4로 축소하는 스케일링이 필요하다. 그렇지만, 중간 화상 II를 이용하면, 이미 제1 계층의 화상 WI1의 LL 서브밴드를 추출한 시점에서, 사실상 스케일링 처리가 완료되어 있는 효과를 갖는다. 따라서, 이 의미로 볼 때도 처리 효율의 개선이 도모된다.2. In some cases, the scaling process can be omitted. In the example of Fig. 2, when the user's use requires a 1/4 size image, scaling is required to reduce the image size to 1/4 in one step with respect to the original image OI. However, using the intermediate picture II has the effect that the scaling process is actually completed when the LL subband of the picture WI1 of the first layer has already been extracted. Therefore, even in this sense, the treatment efficiency can be improved.

3. 화질면에서도 유리하다. JPEG 2000의 웨이브릿 변환기(14)는 저비트 레이트에서의 화질도 중시하여 설계되어 있으므로, 제1 계층의 화상 WI1의 LL 서브밴드는, 통상 원화상 OI에 대하여 스케일링을 실시할 때에 이용되는 일반적인 필터와 비교할 때, 동등하거나 그에 상당하는 양호한 화질을 실현하는 경우가 많다. 따라서, LL 서브밴드의 추출로 스케일링을 겸하는 경우, JPEG 2000의 화질면에서의 장점을 가질 수 있다.3. It is advantageous in terms of image quality. The JPEG 2000 wavelet converter 14 is designed with emphasis on image quality at low bit rates. Therefore, the LL subband of the image WI1 of the first layer is a general filter used when scaling with respect to the original image OI. In comparison with the above, good image quality equivalent or equivalent is often achieved. Therefore, in the case of combining scaling with extraction of the LL subband, it may have an advantage in terms of image quality of JPEG 2000.

4. 중간 화상을 다시 이용할 수 있게 되는 배경으로서, 그 데이터 포맷이 원화상 OI의 포맷과 동일한 것을 예로 들수 있다. 즉, 웨이브릿 변환기(14)에 의한 처리는 화소를 단위로 하는 필터링으로서, 화소치 및 화상 사이즈는 변화하지만, 원화상 OI와 동일한 표시 체계로 표시가능한 범위로 한정된다. 따라서, 중간 화상 II를 새로운 원화상으로 하여 이용할 수 있을 뿐만 아니라, 중간 화상을 그대로 표시하는 용도에도 적용할 수 있다.4. As a background in which an intermediate picture is available again, for example, the data format is the same as that of the original picture OI. In other words, the processing by the wavelet converter 14 is a pixel-based filtering, in which the pixel value and the image size change, but are limited to the range that can be displayed with the same display system as the original image OI. Therefore, not only the intermediate image II can be used as a new original image, but also it is applicable to the use which displays an intermediate image as it is.

또한, 제1 계층 WI1의 LL 서브밴드보다도 작은 화상이 필요한 경우, 도 2와 같이, 중간 화상 메모리(28)로부터 판독된 새로운 원화상(40)에 대해서 스케일링을 실시하여 필요한 크기의 화상(44)를 생성하고, 이를 기점으로 하여 부호화 처리를 실시함으로써, 소망의 부호화 화상 데이터(46)를 얻을 수 있다. 물론, 웨이브릿 변환에 의해서 얻어지는 제2 계층의 화상의 LL 서브밴드나, 제3 계층의 화상 WI3의 LL 서브밴드를 중간 화상 II로서 이용하여도 된다. 어느 쪽이든, 원화상보다도 사이즈가 작은 화상으로부터 처리가 시작되기 때문에 효율이 좋다.In addition, when an image smaller than the LL subband of the first layer WI1 is required, the new original image 40 read out from the intermediate image memory 28 is scaled as shown in FIG. Is generated and the encoding process is performed using this as a starting point, whereby the desired coded image data 46 can be obtained. Of course, you may use the LL subband of the image of the 2nd layer obtained by wavelet transformation, and the LL subband of the image WI3 of a 3rd layer as an intermediate image II. Either way, the efficiency is good because the processing starts from an image having a smaller size than the original image.

도 3은 중간 화상 메모리(28)에 기록된 화상 데이터(50)의 구조를 도시한다. 화상 데이터(50)는 원화상 OI의 식별 ID(도면에서 "ID(OI)")를 저장하는 제1 데이터 영역(52)과 중간 화상 II의 데이터를 저장하는 제2 데이터 영역(54)를 포함한다. 제2 데이터 영역(54)은 또한 중간 화상 II에 관한 헤더 정보(도면에서 "II 헤더")를 기록하는 헤더 영역(56)과, 중간 화상 II 본체의 데이터(도면 "II 데이터")를 저장하는 데이터 영역(58)으로 분할된다. 헤더 영역(56)에는 이 중간 화상 II가 원화상 OI에 관해서 얻어진 것을 나타내기 위해, 제1 데이터 영역(52)에 대한 링크가 기록되어 있다.3 shows the structure of the image data 50 recorded in the intermediate image memory 28. As shown in FIG. The image data 50 includes a first data area 52 storing an identification ID of the original image OI ("ID (OI)" in the drawing) and a second data area 54 storing data of the intermediate image II. do. The second data area 54 also stores a header area 56 for recording header information ("II header " in the drawing) relating to the intermediate picture II, and stores data of the intermediate picture II main body (Fig. &Quot; II data "). It is divided into a data area 58. In the header area 56, a link to the first data area 52 is recorded to indicate that this intermediate picture II has been obtained with respect to the original picture OI.

도 4는 헤더 영역(56)의 상세 구조를 도시한다. 헤더 영역(56)은 중간 화상 II의 식별 ID(도면에서 "ID(II)")를 저장하는 제1 서브영역(56a)과, 중간 화상 II의 해상도 정보를 저장하는 제2 서브영역(56b)과, 중간 화상 II의 화질 정보를 저장하는 제3 서브영역(56c)과, 그 이외의 정보를 저장하는 제4 서브영역(56d)를 포함한다. 4 shows a detailed structure of the header area 56. The header area 56 includes a first sub area 56a for storing the identification ID of the intermediate picture II (" ID (II) " in the drawing), and a second sub area 56b for storing the resolution information of the intermediate picture II. And a third subregion 56c for storing image quality information of the intermediate image II, and a fourth subregion 56d for storing other information.

제1 서브영역(56a)의 내용에 따라 중간 화상 II와 원화상 OI의 대응 관계가 판명된다. 제2 서브영역(56b)의 내용에 따라 화상 메모리 제어기(32)는 중간 화상 메모리(28) 내에서 적절한 중간 화상 II를 검출할 수 있다. 제3 서브영역(56c)은 임의의 구성으로 중간 화상 II의 화질에 관한 객관 정보 또는 주관 정보를 포함한다. 전자의 예로서는 원화상 OI에 대한 중간 화상 II의 오차가 있고, 후자의 예로서는 화상의 용도에 부합한 적부 판단 기준이 있다. 예를 들면, 300dpi 정도의 프린터에 의한 인쇄에는 감당하지만, 1200dpi의 프린터에는 부적합한 중간 화상 II에 대해서는 그 취지가 이 영역에 기록된다. 제3 서브영역(56c)도 화상 메모리 제어 기(32)로부터 참조되어, 어떤 중간 화상 II가 사용자가 요구하는 용도에 부적합한 경우, 별도의 중간 화상 II 또는 원화상 OI가 프레임 버퍼(16)에 투입된다. 제4 서브영역(56d)도 임의의 구성으로서, 예를 들면 원화상 OI로부터 중간 화상 II를 생성한 과정이 기록되어 있다. 이 정보는, 예를 들면, 새로이 중간 화상 II를 생성하는 경우 등에 적절히 참조된다.Corresponding relationship between the intermediate image II and the original image OI is found in accordance with the contents of the first subregion 56a. The image memory controller 32 can detect the appropriate intermediate image II in the intermediate image memory 28 in accordance with the contents of the second sub-region 56b. The third sub-region 56c includes objective information or subjective information regarding the image quality of the intermediate image II in any configuration. An example of the former is an error of the intermediate image II with respect to the original image OI, and an example of the suitability judgment criteria corresponding to the use of the image is the latter example. For example, the effect is recorded in this area for the intermediate image II which is suitable for printing by a printer of about 300 dpi, but unsuitable for a 1200 dpi printer. The third sub-region 56c is also referenced from the image memory controller 32, so that if any intermediate image II is unsuitable for the use required by the user, a separate intermediate image II or original image OI is put into the frame buffer 16. do. The fourth sub-region 56d also has any configuration, and for example, a process of generating the intermediate image II from the original image OI is recorded. This information is appropriately referred to, for example, when newly generating the intermediate image II.

도 5는 화상 사이즈 테이블(36)의 상세 구성을 도시한다. 화상 사이즈 테이블(36)은 용도 란(70)과 화상 사이즈 란(72)을 갖는다. 용도 란(70)에는, 예를 들면, "디지털 카메라"의 "정지화상", "동화상" 등 사용자가 화상을 이용하는 목적이 기술된다. 한편, 화상 사이즈 란(72)에는 이러한 용도에 대하여 가장 알맞는 화상 사이즈가, 예를 들면 640 ×480이라고 하는 형태로 기술된다. 용도 란(70)에 기술되는 각 용도는 화상 사이즈 판정기(34)를 통해서 사용자에게 표시되고, 사용자는 이들 중에서 소망의 용도를 선택할 수 있는 것으로 한다. 각 용도에 대하여 기술된 화상 사이즈는, 예를 들면, 사용자가 갖는 디지털 카메라의 사양이나, 디지털 카메라가 일반적으로 갖는 사양 등에 기초하여 정해진다.5 shows a detailed configuration of the image size table 36. The image size table 36 has a usage field 70 and an image size column 72. In the application field 70, for example, an object such as a "still image" and a "movie image" of a "digital camera" is described. On the other hand, in the image size column 72, the most suitable image size for this purpose is described in the form of 640x480, for example. Each use described in the use field 70 is displayed to the user via the image size determiner 34, and the user can select a desired use from these. The image size described for each application is determined based on, for example, the specifications of the digital camera that the user has, the specifications that the digital camera generally has, and the like.

가령, 현재의 원화상 OI의 사이즈가 640 ×480이고, 사용자가 용도로서 디지털 카메라의 정지화상을 지시한 것으로 한다. 이 경우, 도 5에 따르면, 그 용도에 적절한 사이즈도 640 ×480이기 때문에, 원화상 OI는 그대로 부호화 유닛(12)에 투입되고, 부호화 화상 데이터 CI가 생성된다. 이 부호화의 처리중에 중간 화상 II가 중간 화상 메모리(28)에 기록된다. 설명의 편의상, 웨이브릿 변환기(14)의 1회째의 필터링에 의해서 얻어지는 320 ×240의 중간 화상 II와 2회째의 필터링에 의 해서 얻어지는 160 ×120의 중간 화상 II가 모두 중간 화상 메모리(28)에 기록되는 것으로 한다.For example, it is assumed that the size of the current original image OI is 640 x 480, and the user has instructed a still image of the digital camera as the purpose. In this case, according to Fig. 5, since the size suitable for the purpose is also 640 x 480, the original image OI is put into the coding unit 12 as it is, and the encoded image data CI is generated. The intermediate image II is recorded in the intermediate image memory 28 during this encoding process. For convenience of explanation, the intermediate image memory 28 includes both the 320 × 240 intermediate image II obtained by the first filtering of the wavelet converter 14 and the 160 × 120 intermediate image II obtained by the second filtering. It is to be recorded.

이 상황에서, 사용자가 다음에 디지털 카메라에 의한 동화상 기록을 지시한 것으로 한다. 이때 도 5의 화상 사이즈 란(72)에 따르면, 동화상으로서 필요한 사이즈는 300 ×200으로서, 화상 사이즈 판정기(34) 및 화상 메모리 제어기(32)의 제휴에 의해 중간 화상 메모리(28)로부터 사이즈가 320 ×240인 중간 화상 II가 판독되어, 프레임 버퍼(16)에 투입된다. 이어서, 도시하지 않은 CPU 또는 DSP 등의 처리에 의해, 이 중간 화상 II의 사이즈가 300 ×200으로 스케일 다운되고, 이하 웨이브릿 변환기(14), 양자화기(18) 등의 처리를 거쳐 최종적으로 300 ×200의 사이즈를 갖는 부호화 화상 데이터 CI가 출력된다. 화상 사이즈를 300 ×240부터 300 ×200으로 스케일 다운하는 처리는, 전술한 바와 같이, 원화상 OI를 기점으로 하였을 때와 비교하여 대략 1/4의 부하로 해결된다.In this situation, it is assumed that the user has instructed moving picture recording by the digital camera next. At this time, according to the image size column 72 of FIG. 5, the size required as the moving image is 300 × 200, and the size is changed from the intermediate image memory 28 by the cooperation of the image size determiner 34 and the image memory controller 32. An intermediate image II of 320 x 240 is read and put into the frame buffer 16. Subsequently, the size of the intermediate image II is scaled down to 300 x 200 by a process such as a CPU or a DSP (not shown), and is subsequently processed through the wavelet converter 14, the quantizer 18, and the like. Encoded image data CI having a size of 200 is output. The process of scaling down the image size from 300 x 240 to 300 x 200 is solved with a load of approximately 1/4 compared with the case where the original image OI is the starting point as described above.

또한, 사용자가 디지털 카메라로 촬영한 화상을 전자 앨범의 섬네일 화상으로서 보존하는 취지를 지시한 것으로 한다. 이 용도에 적합한 화상 사이즈는, 화상 사이즈 란(72)에 의해 120 ×80으로 판명된다. 따라서, 화상 사이즈 판정기(34)와 화상 메모리 제어기(32)의 제휴에 의해, 중간 화상 메모리(28)로부터 화상 사이즈가 160 ×120인 중간 화상 II가 판독되어, 프레임 버퍼(16)에 투입된다. 이 중간 화상 II에도 스케일링이 실시되고, 화상 사이즈가 120 ×80으로 스케일 다운된 것 중에서, 웨이브릿 변환기(14), 양자화기(18) 등의 처리를 거쳐, 최종적으로 120 ×80의 사이즈를 갖는 부호화 화상 데이터 CI가 얻어진다. 이 처리에 서의 스케일링은 원화상 OI를 기점으로 하는 경우에 비해 대략 1/16의 부하로 해결된다.In addition, it is assumed that the user intends to save the image photographed by the digital camera as a thumbnail image of the electronic album. An image size suitable for this use is found to be 120 × 80 by the image size column 72. Therefore, due to the cooperation of the image size determiner 34 and the image memory controller 32, the intermediate image II having an image size of 160 x 120 is read from the intermediate image memory 28 and is put into the frame buffer 16. . Scaling is also performed on the intermediate image II, and the image size is scaled down to 120 x 80, and is processed through the wavelet converter 14, the quantizer 18, and the like, and finally has a size of 120 x 80. Encoded image data CI is obtained. Scaling in this process is solved with a load of approximately 1/16 compared with the case where the original image OI is the starting point.

또한, 사용자가 디지털 카메라로 촬영한 화상을 전자 앨범에 정지화상으로서 기록하는 취지를 지시하였을 때, 이를 위한 화상 사이즈는 화상 사이즈 란(72)에 의해 320 ×240으로 판명된다. 이 경우, 화상 사이즈 판정기(34)와 화상 메모리 제어기(32)의 제휴에 의해, 중간 화상 메모리(28)로부터 화상 사이즈 320 ×240인 중간 화상 II가 판독되어, 프레임 버퍼(16)에 투입된다. 이 중간 화상 II의 사이즈는 최종 목적의 화상 사이즈와 처음부터 일치하고 있기 때문에, 스케일링 처리를 생략할 수 있다. 이하, 웨이브릿 변환기(14), 양자화기(18) 등의 처리를 거쳐 최종적으로 원하는 사이즈의 부호화 화상 데이터 CI가 얻어진다.Further, when the user has instructed to record an image taken with a digital camera as a still image in the electronic album, the image size for this is found to be 320 x 240 by the image size field 72. In this case, due to the cooperation of the image size determiner 34 and the image memory controller 32, the intermediate image II having an image size of 320 x 240 is read from the intermediate image memory 28 and inserted into the frame buffer 16. . Since the size of this intermediate image II coincides with the image size of the final object from the beginning, the scaling process can be omitted. Hereinafter, the coded image data CI of a desired size is finally obtained through processes of the wavelet converter 14, the quantizer 18, and the like.

이와 같이 본 실시 형태에 따르면, 스케일링의 처리 시간 및 대역폭이 큰폭으로 삭감되기 때문에, 예를 들면 디지털 카메라에 의해서 고해상도의 정지화상 기록과 동화상 촬영을 동시에 행하는 것이 용이하게 된다. 마찬가지로, 디지털 카메라에 의해서 정지화상과 섬네일 화상을 동시에 기록하는 경우에도, 예를 들면, 고속 연속 사진 촬영이 용이하게 된다. 따라서, JPEG 2000의 처리의 프로세스와 구성을 잘 이용하고, 또한 JPEG 2000의 고화질 필터에 주목함으로써, 비교적 용이한 구성으로 화상 처리의 효율 개선이 실현된다. 나아가서는, 디지털 카메라를 비롯한 그 밖의 화상 처리 장치의 상품 가치의 향상 및 조작성의 개선이 실현된다.As described above, according to the present embodiment, since the processing time and bandwidth of scaling are greatly reduced, it is easy to simultaneously perform high resolution still image recording and moving image shooting by, for example, a digital camera. Similarly, even when a still image and a thumbnail image are simultaneously recorded by a digital camera, for example, high speed continuous picture taking becomes easy. Therefore, by making good use of the process and configuration of the JPEG 2000 processing and paying attention to the high-definition filter of the JPEG 2000, improvement in image processing efficiency can be realized with a relatively easy configuration. Furthermore, the improvement of the commodity value and the operability of a digital camera and other image processing apparatuses are realized.

<실시 형태 2><Embodiment 2>

도 6은 실시 형태 2에 따른 화상 복호 장치(100)의 구성도이다. 화상 복호 장치(100)는 JPEG 2000의 복호 수순을 실현한 것으로, 그 주된 처리는 도 1의 화상 부호화 장치(10)의 역변환이라고 할 수 있다. 또한, 도 1과 유사한 구성에는 동일한 부호를 부여하고, 그에 대한 설명을 적절히 생략한다.6 is a configuration diagram of the image decoding device 100 according to the second embodiment. The image decoding apparatus 100 realizes the decoding procedure of JPEG 2000, and the main processing thereof can be said to be an inverse transformation of the image encoding apparatus 10 of FIG. In addition, the same code | symbol is attached | subjected to the structure similar to FIG. 1, and the description is abbreviate | omitted suitably.

화상 복호 장치(100)는 복호 유닛(110), 복호 화상 메모리(124), 중간 화상 메모리(28) 및 화상 선택 유닛(38)을 구비한다. 복호 유닛(110)은, 부호화 화상 데이터 CI에 대하여 순차 처리를 가하는 스트림 해석부(120), 산술 복호기(118), 비트 플레인 복호기(116), 역양자화기(114), 웨이브릿 역변환기(112) 및 작업 영역으로서 사용되는 프레임 버퍼(16)를 포함한다.The image decoding device 100 includes a decoding unit 110, a decoded image memory 124, an intermediate image memory 28, and an image selection unit 38. The decoding unit 110 includes a stream analyzer 120, an arithmetic decoder 118, a bit plane decoder 116, an inverse quantizer 114, and a wavelet inverse transformer 112 that sequentially apply encoded image data CI. ) And a frame buffer 16 used as a working area.

우선 일반적인 처리로서, 부호화 화상 데이터 CI에 대해서 스트림 해석기(120) 이하의 처리가 실시되고, 최종적으로 복호 화상 DI(Decoded Image)가 복호 화상 메모리(124)에 저장된다. 물론 복호 화상 DI는 그대로 출력되어도 되지만, 이하에서는 복호 화상 메모리(124)에 저장되는 예를 고려한다.First, as a general process, the following process is performed on the stream analyzer 120 for the encoded image data CI, and finally, the decoded image DI (Decoded Image) is stored in the decoded image memory 124. Of course, the decoded image DI may be output as it is, but consider an example stored in the decoded image memory 124 below.

한편, 본 실시 형태에 특징적인 처리는 웨이브릿 역변환기(112)의 처리 도중에 생성되는 중간 화상 II가 중간 화상 메모리(28)에 적절히 기록되는 점에 있다.On the other hand, the processing characteristic of the present embodiment lies in that the intermediate image II generated during the processing of the wavelet inverse transformer 112 is appropriately recorded in the intermediate image memory 28.

도 7은 화상 복호 장치(100)에 의한 처리 수순을 도시한다. 우선, 투입된 부호화 화상 데이터 CI는 스트림 해석기(120), 산술 복호기(118), 비트 플레인 복호기(116) 및 역양자화기(114)의 처리를 거쳐, 도 2에서의 제3 계층인 화상 WI3의 상태로 리턴된다. 이어서, 웨이브릿 역변환기(112)에 의한 1회째의 역변환에 의해 제2 계층의 화상이 얻어지고, 그 LL 서브밴드(150)가 중간 화상 메모리(28)에 기록된다. 다음에, 웨이브릿 역변환기(112)에 의한 2회째의 역변환에 의해서 제1 계층 에 상당하는 화상이 얻어지고, 그 LL 서브밴드(152)가 재차 중간 화상 메모리(28)에 기록된다. 마지막으로, 3회째의 역변환에 의해서 복호 화상 DI이 얻어지고, 이것이 복호 화상 메모리(124)에 저장된다.7 shows a processing procedure by the image decoding device 100. First, the input coded image data CI is processed by the stream analyzer 120, the arithmetic decoder 118, the bit plane decoder 116, and the dequantizer 114, and the state of the image WI3 which is the third layer in FIG. Is returned. Subsequently, the first inverse transform is performed by the wavelet inverse transformer 112 to obtain an image of the second layer, and the LL subband 150 is recorded in the intermediate image memory 28. Next, an image corresponding to the first layer is obtained by the second inverse transform by the wavelet inverse transformer 112, and the LL subband 152 is recorded in the intermediate image memory 28 again. Finally, the decoded picture DI is obtained by the third inverse transform, which is stored in the decoded picture memory 124.

따라서, 예를 들면, 1회째의 역변환에 의해서 얻어진 작은 LL 서브밴드(150)를 섬네일 화상으로서 이용하고, 2회째의 역변환에 의해서 얻어진 LL 서브밴드(152)를 LCD로 출력하며, 최종적으로 얻어진 최대 화상 사이즈의 복호 화상 DI를 외부 모니터나 프린터로 출력하는 것이 가능하다.Thus, for example, the small LL subband 150 obtained by the first inverse transform is used as a thumbnail image, and the LL subband 152 obtained by the second inverse transform is output to the LCD, and the maximum obtained finally. It is possible to output the decoded image DI of the image size to an external monitor or a printer.

본 실시 형태에 따르면, 통상은 목적에 맞게 그 때마다 복호되어 있는 복수의 화상 사이즈의 화상을 1회의 복호 처리로 얻을 수 있다. 즉, 본 실시 형태 1에서 설명한 것과 마찬가지로, 처리의 부하 경감 측면에서 유리할 뿐만 아니라, 스케일링 처리를 생략할 수도 있다.According to this embodiment, normally, the image of several image sizes decoded each time according to the objective can be obtained by one decoding process. That is, as described in the first embodiment, not only is it advantageous in terms of load reduction of the processing, but also the scaling processing can be omitted.

본 실시 형태에 있어서도, JPEG 2000이 갖는 고화질의 필터를 그대로 이용함으로써, 하드웨어의 증가를 상당히 억제하면서 큰 효과를 발휘할 수 있다. 실시 형태 1과 마찬가지로, 중간 화상 II를 추출하는 단계에서는, 이전에 중간 화상 II와 복호 화상 DI가 동일한 표시 체계로 표시가능한 범위에 들어 있어, 이 사실이 이용된다. 즉, 여러가지의 화상 사이즈를 각각 요구하는 각종 기기에 대하여, 원하는 사이즈의 중간 화상 II를 효율적으로 제공할 수 있다.Also in this embodiment, by using the high quality filter which JPEG 2000 has as it is, the big effect can be exhibited, suppressing the increase of hardware considerably. Similarly to the first embodiment, in the step of extracting the intermediate image II, the intermediate image II and the decoded image DI previously fall within the displayable range with the same display system, and this fact is used. That is, the intermediate image II of desired size can be efficiently provided with respect to the various apparatuses which each require various image sizes.

<실시 형태 3><Embodiment 3>

도 8은 실시 형태 3에 따른 디지털 카메라(200)의 구성을 도시한다. 디지털 카메라(200)는, 촬상 블록(202), 기구 제어 블록(204), 처리 블록(206), LCD 모니 터(208), 및 조작 버튼 그룹(210)을 포함한다.8 shows the configuration of a digital camera 200 according to the third embodiment. The digital camera 200 includes an imaging block 202, an instrument control block 204, a processing block 206, an LCD monitor 208, and an operation button group 210.

촬상 블록(202)은, 도시하지 않은 렌즈, 조리개, 광학 LPF(low pass filter), CCD, 신호 처리부 등을 포함한다. CCD의 수광면 상에 결상된 피사체상의 광량에 따라서 CCD에 전하가 축적되고, 전압 신호로서 판독된다. 전압 신호는 신호 처리부에서 R, G, B 성분으로 분해되고, 화이트 밸런스 조정, 감마 보정이 행해진다. 그 후, R, G, B 신호는 A/D 변환에 의해 디지털 화상 데이터로 되어 처리 블록(206)으로 출력된다.The imaging block 202 includes a lens (not shown), an aperture, an optical low pass filter (LPF), a CCD, a signal processor, and the like. In accordance with the amount of light on the subject formed on the light receiving surface of the CCD, charges are accumulated in the CCD and read out as a voltage signal. The voltage signal is decomposed into R, G, and B components in the signal processing section, and white balance adjustment and gamma correction are performed. Thereafter, the R, G, and B signals are converted into digital image data by A / D conversion and output to the processing block 206.

기구 제어 블록(204)는 촬상 블록(202)의 광학계의 제어 즉, 줌, 포커스, 조리개 등의 구동을 제어한다.The mechanism control block 204 controls the control of the optical system of the imaging block 202, that is, the driving of the zoom, focus, and iris.

처리 블록(206)은, 디지털 카메라(200) 전체의 제어에 이용되는 CPU(220)와 메모리(222) 이외에, YC 처리부(226), 카드 제어부(228) 및 통신부(224)를 갖는다. 이들 중에서, CPU(220)의 기능의 일부와 메모리(222)에 로드된 화상 부호화 프로그램이 실시 형태 1에 따른 화상 부호화 장치(10)에 상당한다. 실시 형태 1의 프레임 버퍼(16), 원화상 메모리(26) 및 중간 화상 메모리(28)도 이 메모리(222)의 일부를 이용하여 실현할 수 있다.The processing block 206 includes a YC processing unit 226, a card control unit 228, and a communication unit 224 in addition to the CPU 220 and the memory 222 used for the control of the entire digital camera 200. Among these, a part of the function of the CPU 220 and the picture coding program loaded into the memory 222 correspond to the picture coding apparatus 10 according to the first embodiment. The frame buffer 16, the original image memory 26, and the intermediate image memory 28 of the first embodiment can also be realized by using a part of this memory 222. FIG.

YC 처리부(226)는 디지털 화상 데이터로부터 휘도 신호 Y와 색차(크로마) 신호 B-Y, R-Y를 생성한다. 휘도 신호와 색차 신호는 각각 원화상 OI로서 독립적으로 순차적으로 부호화한다. 부호화 화상 데이터 CI는 통신부(224)를 통해서 외부로 출력되거나, 또는 카드 제어부(228)를 통해서 메모리 카드(230)에 기록된다.The YC processing unit 226 generates the luminance signal Y and the color difference (chroma) signals B-Y and R-Y from the digital image data. The luminance signal and the chrominance signal are sequentially encoded independently of each other as the original image OI. The encoded image data CI is output to the outside through the communication unit 224 or recorded in the memory card 230 through the card control unit 228.

통신부(224)는 표준적인 통신 사양에 부합한 프로토콜 변환 등의 제어를 행 하고, 그 밖에도, 예를 들면 프린터, 게임기 등의 외부 기기와의 사이에서 개별적인 인터페이스에 의한 데이터 송수신을 행한다.The communication unit 224 controls protocol conversion or the like conforming to the standard communication specification. In addition, data communication is performed by an individual interface with an external device such as a printer or a game machine.

LCD 모니터(208)는, 피사체 화상 이외에도, 촬영/재생 모드, 줌 배율, 일시 등을 표시한다. 조작 버튼 그룹(210)은 사용자가 촬영을 행하거나, 또는 각종 동작 모드를 설정하기 위한 파워 스위치, 해제 스위치 등을 포함한다.In addition to the subject image, the LCD monitor 208 displays the shooting / playback mode, zoom magnification, date and time, and the like. The operation button group 210 includes a power switch, a release switch, and the like for the user to photograph or set various operation modes.

이상의 구성에 있어서, 처리 블록(206)에 내장된 화상 부호화 장치(10)에 의해, 예를 들면, 이하의 동작이 실현된다.In the above structure, the following operation | movement is implemented, for example by the image coding apparatus 10 integrated in the process block 206. FIG.

1. 정지화상을 스냅 숏으로서 촬영하고, 이를 압축 부호화하여 메모리 카드(230)에 기록한다. 정지화상의 기록 중에 작은 화상 사이즈로 동화상을 촬영하고, 이것도 마찬가지로 압축 부호화하여 메모리 카드(230)에 기록한다. 물론, 메모리 카드(230)에 기록하지 않고, 직접 프린터로 출력하거나 또는 통신부(224) 및 인터넷을 통해서 자신의 홈페이지에 직접 업로드하도록 한 용도로도 가능하다.1. The still image is taken as a snapshot, compressed and coded, and recorded on the memory card 230. During recording of still images, moving images are captured at a small image size, which is also compressed and coded and recorded on the memory card 230. Of course, it is also possible not to write to the memory card 230, to output directly to the printer or to upload directly to its homepage through the communication unit 224 and the Internet.

2. 정지화상을 촬영하여 부호화하는 경우, 섬네일 화상도 동시에 생성하고, 이들을 메모리 카드(230)에 기록하거나, 또는 외부로 출력한다. 섬네일 화상은 전자 앨범을 만드는 경우에 특히 유용하다.2. In the case of capturing and encoding still images, thumbnail images are simultaneously generated and recorded on the memory card 230 or output to the outside. Thumbnail images are especially useful when creating electronic albums.

<실시 형태 4><Embodiment 4>

도 9는 실시 형태 4에 따른 TV 수신 장치(300)의 구성을 도시한다. TV 수신 장치(300)는 안테나(302)와 그를 통해서 방송파를 수신하는 수신 블록(304)과, 수신 블록(304)에 의한 처리 결과로서 얻어진 화상 및 음성 데이터를 처리하는 처리 블록(306)과, 처리 블록(306)에 의해서 복호된 음성 및 화상을 재생하는 재생 블록(308)을 포함한다. 또한, 인터페이스 블록(336)은 처리 블록(306)에 의한 복호 화상 데이터를 적절히 외부 기기로 출력한다.9 shows a configuration of a TV receiving apparatus 300 according to the fourth embodiment. The TV receiving apparatus 300 includes an antenna 302 and a receiving block 304 for receiving broadcast waves therethrough, a processing block 306 for processing image and audio data obtained as a result of the processing by the receiving block 304; And a reproduction block 308 for reproducing the audio and the image decoded by the processing block 306. The interface block 336 also appropriately outputs the decoded image data by the processing block 306 to an external device.

수신 블록(304)은 튜너(320) 및 패킷 분리부(322)를 포함한다. 튜너(320)는 사용자가 선택한 채널을 포함하는 트랜스폰더를 선택하여 QPSK 복조를 실시한다. 복조에 의해 얻어진 복수의 전송 패킷을 포함하는 스트림은 패킷 분리부(322)에 송출된다. 패킷 분리부(322)는 디멀티플렉서로서, 소망의 채널에 대응하는 패킷을 분리하여 처리 블록(306)으로 출력한다.The receiving block 304 includes a tuner 320 and a packet separator 322. The tuner 320 selects a transponder including a channel selected by the user and performs QPSK demodulation. The stream including the plurality of transport packets obtained by the demodulation is sent to the packet separator 322. The packet separator 322 is a demultiplexer that separates the packet corresponding to the desired channel and outputs the packet to the processing block 306.

처리 블록(306)의 화상 ·음성 디코더(334)는 CPU(330) 및 메모리(332)와 제휴하여, 방송국에서 부호화되어 송신된 화상 및 음성 데이터를 복호한다. 화상 ·음성 디코더(334)는 입력된 패킷을 복호하여, 음성 데이터를 음성 출력부(340)로, 화상 데이터를 표시 장치(344)로 각각 출력한다. 음성 출력부(340)는 입력된 음성 데이터에 소정의 처리를 실시하여, 최종적으로 음성이 스피커(342)를 통해 출력된다. 처리 블록(306)의 구성 즉, 화상 ·음성 디코더(334), CPU(330) 및 메모리(332) 중에서 화상 복호에 관한 부분이 실시 형태 2의 화상 복호 장치(100)에 상당한다.The image and sound decoder 334 of the processing block 306 cooperates with the CPU 330 and the memory 332 to decode the image and audio data encoded and transmitted by the broadcasting station. The image / audio decoder 334 decodes the input packet, and outputs the audio data to the audio output unit 340 and the image data to the display device 344, respectively. The voice output unit 340 performs predetermined processing on the input voice data, and finally voice is output through the speaker 342. The configuration of the processing block 306, that is, the portion related to image decoding among the image / audio decoder 334, the CPU 330, and the memory 332 corresponds to the image decoding apparatus 100 of the second embodiment.

이상의 구성에 있어서, 처리 블록(306)에 내장된 화상 복호 장치(100)에 의해, 예를 들면, 이하의 동작이 실현된다.In the above configuration, for example, the following operation is realized by the image decoding device 100 incorporated in the processing block 306.

1. 표시 장치(344)에 통상의 화면을 표시시키면서, 그 보다도 작은 화상을 인터페이스 블록(336)을 통해서 실시간으로 외부의 휴대 단말의 LCD에 표시한다.1. While displaying a normal screen on the display device 344, an image smaller than that is displayed on the LCD of the external portable terminal in real time via the interface block 336. FIG.

2. 마찬가지로 통상의 화면을 표시 장치(344)에 표시시키면서, 임의의 화면 을 캡처하여 작은 화상 사이즈로 기록한다.2. Similarly, while displaying a normal screen on the display device 344, an arbitrary screen is captured and recorded in a small image size.

3. 마찬가지로 통상의 화면을 표시 장치(344)에 표시시키면서, 상당히 작은 화상 사이즈로 임의의 화상을 캡처하여, 그것을 섬네일 화상 정도의 크기로 전자 메일에 첨부한다.3. Similarly, while displaying a normal screen on the display device 344, an arbitrary image is captured at a considerably small image size and attached to an e-mail in the size of a thumbnail image.

이상, 각 실시 형태를 들어 본 발명을 설명하였다. 이들 실시 형태는 예시적인 것으로, 이들 각 구성요소나 각 처리 프로세스의 조합으로 다양한 변형예가 가능하고, 또한 그러한 변형예도 본 발명의 범위에 속하는 것은 당업자에게 이해되는 것이다. 그러한 변형예를 몇개 들어 설명한다.As mentioned above, this invention was demonstrated to each embodiment. These embodiments are exemplary, and various modifications are possible by the combination of each of these components or each processing process, and it is understood by those skilled in the art that such modifications also fall within the scope of the present invention. Some such modifications will be described.

실시 형태에서는, 화상 처리의 예로서 부호화 및 복호를 설명하였다. 그러나, 본 발명은 이들에 한정할 필요는 없고, 임의의 화상 처리의 도중 경과를 중간 화상으로서 보존할 수 있는 것이면 적용 가능하다. 예를 들면, 원화상을 복수회 소정의 필터링을 통해서 화상을 계층화하는 경우, 중간 계층의 화상이 자연히 얻어짐으로 유용하다. 필터는 통상의 평균 필터 등 임의의 것이어도 무방하다.In the embodiment, coding and decoding have been described as examples of image processing. However, the present invention need not be limited to these, and can be applied as long as it is possible to save the progress of any image processing as an intermediate image. For example, when hierarchizing an image through predetermined filtering a plurality of times of the original image, it is useful because an image of an intermediate layer is naturally obtained. The filter may be arbitrary, such as a normal average filter.

마찬가지의 이유로부터, 어떠한 점진적인 성질을 갖는 화상 처리는 본 발명의 적용에 유용하다. 예를 들면, 점진적으로 표시되는 화상 중 최초에 나타나는 화상을 중간 화상으로서 보존하여 두면, 소정의 용도에 맞는 재이용이 가능하다.For the same reason, image processing having certain gradual properties is useful for the application of the present invention. For example, if an image initially appearing among progressively displayed images is stored as an intermediate image, reuse for a predetermined use can be performed.

실시 형태의 스케일링은 모두 축소 방향의 처리였다. 그렇지만, 이 처리는 당연히 확대 방향의 처리이어도 무방하다. 이 경우, 화소간에서 소정의 보간 처리를 실시하여 화상 사이즈를 확대하면 된다.All the scaling of the embodiment was a process in the reduction direction. However, this processing may naturally be processing in the enlargement direction. In this case, a predetermined interpolation process may be performed between pixels to enlarge the image size.

도 1과 도 6에서는, 중간 화상 메모리(28)를 독립된 구성으로서 나타내었지 만, 이는 프레임 버퍼(16)를 비롯한 그 밖의 다른 메모리와 일체로 되어도 된다. 다시 말하면, 중간 화상 II를 보존하는 메모리 영역이 존재하면 충분하다.In FIG. 1 and FIG. 6, the intermediate image memory 28 is shown as an independent configuration, but it may be integrated with other memories including the frame buffer 16. As shown in FIG. In other words, it is sufficient if there is a memory area for storing the intermediate picture II.

실시 형태 1에서는 화상 부호화 장치(10)를 일체의 구성으로서 설명하고, 실시 형태 2에서는 화상 복호 장치(100)를 일체의 구성으로서 설명하였다. 그러나, 이들 구성의 임의의 부분이 원격지에 존재하여도 되고, 전체적으로 중간 화상을 이용하는 작용을 가지면 된다. 일례로서, 도 1의 원화상 메모리(26), 중간 화상 메모리(28), 도 6의 복호 화상 메모리(124) 등을 원격지에 있는 하드 디스크 등의 기억 장치에 저장함으로써, 향후에도 재이용성이 높은 디지털 저장소를 구축해 갈 수 있다.In the first embodiment, the image coding device 10 is described as an integrated configuration, and in the second embodiment, the image decoding device 100 is described as an integrated configuration. However, any part of these configurations may exist remotely, and may have the function of using an intermediate image as a whole. As an example, the original picture memory 26 of FIG. 1, the intermediate picture memory 28, the decoded picture memory 124 of FIG. 6, and the like are stored in a storage device such as a hard disk at a remote location, whereby high reusability is possible in the future. You can build a digital repository.

도 3의 화상 데이터(50)는 중간 화상의 데이터를 원화상에 관련시키는 것이였다. 이 구성에 부가하여, 또한 부호화 화상 데이터 CI를 이들에 관련시켜서 기억하여도 된다. 이 경우, 다양한 용도와 장면에 맞게 최적의 데이터를 이용할 수 있다.The image data 50 of FIG. 3 was to associate data of an intermediate image with an original image. In addition to this configuration, the encoded image data CI may be stored in association with them. In this case, optimal data can be used for various purposes and scenes.

도 1 및 도 6에서의 화상 선택 유닛(38)은 당연히 임의의 구성으로서, 화상의 선택에 관한 지시를 외부로부터 직접 취득하고, 그들을 이용하여 중간 화상을 적절히 판독하여도 된다.As a matter of course, the image selection unit 38 in Figs. 1 and 6 may directly acquire an instruction regarding the selection of the image from the outside, and read the intermediate image appropriately using them.

실시 형태 3에서는 디지털 카메라를 예로 들어 설명하였지만, 이것은 당연히 그 밖의 다른 전자 기기로 하여도 된다. 예를 들면, 디지털 카메라와 마찬가지로, 촬상 블록 및 처리 블록을 갖는 팩시밀리 장치, 복사기, 스캐너 등의 기기에 본 발명을 적용할 수 있다.In Embodiment 3, a digital camera has been described as an example, but of course, this may be any other electronic device. For example, similarly to a digital camera, the present invention can be applied to equipment such as a facsimile apparatus, a copying machine, a scanner, etc. having an imaging block and a processing block.

마찬가지로 실시 형태 4에서는, TV 수신 장치를 예시하였지만, 이것도 수신 블록 및 처리 블록을 갖도록 한 다른 기기, 예를 들면, 인터넷에 접속가능한 휴대 전화나 각종 PDA(개인용 정보 단말)로 하여도 된다.Similarly, in the fourth embodiment, the TV receiving apparatus is exemplified, but this may also be another apparatus provided with a receiving block and a processing block, for example, a cellular phone or various PDAs (personal information terminals) capable of connecting to the Internet.

본 발명에 따르면, 화상 처리의 효율 개선을 도모할 수 있다.According to the present invention, the efficiency of image processing can be improved.