WO1999003283A1 - Image encoder and image encoding method, image decoder and image decoding method, and image processor and image processing method - Google Patents

Image encoder and image encoding method, image decoder and image decoding method, and image processor and image processing method Download PDF

Info

Publication number
WO1999003283A1
WO1999003283A1 PCT/JP1998/003116 JP9803116W WO9903283A1 WO 1999003283 A1 WO1999003283 A1 WO 1999003283A1 JP 9803116 W JP9803116 W JP 9803116W WO 9903283 A1 WO9903283 A1 WO 9903283A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processing
encoding
pixels
block
Prior art date
Application number
PCT/JP1998/003116
Other languages
English (en)
French (fr)
Inventor
Tetsujiro Kondo
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP98931058A priority Critical patent/EP0926898A4/en
Priority to US09/254,536 priority patent/US6480630B1/en
Publication of WO1999003283A1 publication Critical patent/WO1999003283A1/ja
Priority to US10/602,231 priority patent/US7072491B2/en
Priority to US10/602,232 priority patent/US6990244B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Definitions

  • the present invention relates to an image encoding device and an image encoding method, an image decoding device and an image decoding method, and an image processing device and an image processing method.
  • Image encoding apparatus and image encoding method, image decoding apparatus and image decoding method, and image processing apparatus and image capable of obtaining a decoded image suitable for a monitor or the like for displaying images Regarding the processing method.
  • FIG. 16 shows an example of the configuration of an image transmission device that transmits an image from a transmission side to a reception side.
  • a subject is photographed by a high-resolution video camera 201.
  • the number of pixels in the horizontal and vertical directions is 1920 ⁇ 1035, and the aspect ratio is 16 :
  • a high-resolution image (hereinafter referred to as HD image as appropriate) of 9 is output.
  • the video camera 201 outputs an HD image of about 30 frames per second.
  • the HD image is interlacedly scanned. Therefore, the video camera 201 outputs an HD image of about 60 fields per second.
  • a standard-resolution or low-resolution video camera 202 captures the subject and has an aspect ratio of 4: 3, a standard-resolution or low-resolution image (hereinafter referred to as appropriate). , SD images) are output.
  • Video camera 202 Power S for example, NTS C (National Television Systems Committee) or PAL (Pose Alter— In the case of the “natingbyLinecolor television system” method, one frame is composed of, for example, 720 ⁇ 480 pixels or 720 ⁇ 576 pixels, respectively, and the number of frames per second (the number of fields) is 30 pixels. (60) or 25 (50).
  • the progressive imager .203 scans the subject and outputs an image sequentially scanned (hereinafter, appropriately referred to as a progressive image).
  • the computer 204 On the transmission side, the computer 204 generates and outputs an image composed of, for example, 640 ⁇ 480 pixels as a convenience tag graphics (CG).
  • CG convenience tag graphics
  • the ratio of the width and length of the pixels constituting the image output by the video cameras 201 and 202 is about 1: 1.1, but the ratio of the pixels constituting the image output by the computer 204 is approximately 1: 1.
  • the ratio of width to height is 1: 1.
  • the video cameras 201 and 202, the progressive imager 203, and the computer 204 output images having different aspect ratios, the number of pixels, the scanning method, and the ratio between the width and height of pixels. Is done.
  • the editing device 205 edits images from the video cameras 201 and 202, the progressive imager 203, and the computer 204, respectively. All of the edited images are progressive images composed of, for example, 1920 ⁇ 1080 pixels, and output to the source encoding device 206.
  • the source encoding device 206 encoding for compressing the image power information output from the editing device 205, for example, MPEG (MoVing)
  • Encoding (MPEG encoding) is performed in accordance with the specification of PictuRepExpert ssGrouup), and the encoded data obtained as a result is supplied to the channel encoding device 207.
  • channel coding device 207 channel coding is performed to improve the reliability of the coded data during transmission. That is, in the channel coding device 207, for example, ECC (Error Correcting Codes) is added as a process for error correction, and a predetermined modulation process is performed. Transmission data obtained as a result of the processing in the channel encoding device 207 is transmitted via the transmission path 211.
  • ECC Error Correcting Codes
  • the transmission data transmitted from the transmitting side is received as described above.
  • This transmission data is supplied to the channel decoding device 208 and is channel-decoded. That is, for example, a predetermined demodulation process is performed, and further, error correction using ECC is performed.
  • the encoded data obtained as a result of the processing in the channel decoding device 208 is supplied to the source decoding device 209.
  • the encoded data is expanded, for example, by decoding (MPEG decoding) in accordance with the MPEG standard, and the resulting image data is processed by the processing device 21 Supplied to 0.
  • the image data from the source decoding device 209 is processed so as to conform to the format of the output device that outputs the image data. That is, when the image data is displayed on the HD display device 221 for displaying the HD image, the image data output from the source decoding device 209 is, for example, 1 9 20 X 103 The image is processed into an HD image that is composed of 5 pixels and has an aspect ratio of 16: 9, and is scanned at an interface.
  • the image data output from the source decoding device 209 is, for example, 720 X 480 pixels or 720 X It is processed into an NTSC or PAL SD image consisting of 5 76 pixels.
  • the processing device 210 determines the ratio between the width and the length of the pixels constituting the image output from the source decoding device 209 by the printer. It is converted to the one corresponding to the data 223.
  • the processing device 210 is provided with a source decoding device.
  • the image data output by 209 is processed into an image composed of, for example, 640 ⁇ 480 pixels.
  • HD display device 221 On the HD display device 221, SD display device 222, printer 223, and computer display 224, an image from the processing device 210 is displayed or printed.
  • the editing process by the editing device 205, the compression process by the source coding device 206, and the channel coding process by the channel coding device 207 on the transmission side are performed independently, so to speak.
  • the compression process by the source coding device 206, and the channel coding process by the channel coding device 207 on the transmission side are performed independently, so to speak.
  • the source coding apparatus 206 since compression processing in consideration of the addition of ECC by the channel coding apparatus 207 is not performed, for example, ECC is added to encoded data obtained by compression processing. As a result, the compression ratio of the entire data after the ECC was added was sometimes degraded.
  • the present invention has been made in view of such a situation, and aims to perform efficient processing.
  • the image encoding device is characterized by comprising a processing unit that performs one or more of a plurality of processes required for encoding an image and performs a process in consideration of other processes.
  • An image encoding method is characterized in that at least one of a plurality of processes required for encoding an image is performed in consideration of other processes.
  • the image decoding apparatus further comprising a generation unit configured to generate a decoded image corresponding to a resolution of an output device that outputs an image by a linear combination of the transmission data and a predetermined coefficient. It is characterized by.
  • An image decoding method wherein a decoded image corresponding to the resolution of an output device that outputs an image is generated by a linear combination of transmission data and a predetermined coefficient.
  • the image processing apparatus wherein the processing unit performs at least one of a plurality of processes necessary for encoding the image, and performs a process in consideration of other processes.
  • the image processing method performs at least one of a plurality of processes required for encoding an image in consideration of other processes, and obtains data obtained as a result.
  • a decoded image corresponding to the resolution of the output device that outputs the image is generated by a linear combination of the decoded image and a predetermined coefficient.
  • the processing means performs at least one of a plurality of processes required for encoding an image and takes into account other processes. ing.
  • the image encoding method At least one of a plurality of processes is performed in consideration of other processes.
  • the generating means generates a decoded image corresponding to a resolution of an output apparatus that outputs an image by a linear combination of the transmission data and a predetermined coefficient. Have been made to generate.
  • a decoded image corresponding to a resolution of an output device that outputs an image is generated by a linear combination of transmission data and a predetermined coefficient.
  • the processing means performs at least one of a plurality of processes required for encoding an image, taking into account other processes
  • the generating means is configured to generate a decoded image corresponding to the resolution of the output device that outputs the image by a linear combination of the data obtained as a result of the processing by the processing means and a predetermined coefficient.
  • At least one of a plurality of processes required for encoding an image that takes into account other processes is performed, and the resulting data and A decoded image corresponding to the resolution of an output device that outputs an image is generated by linear combination with predetermined coefficients.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of an image transmission device to which the present invention is applied.
  • FIG. 2 is a diagram for explaining the ADRC process.
  • FIG. 3 is a block diagram showing a configuration example of the ADRC processing circuit.
  • FIG. 4 is a block diagram illustrating a configuration example of a sync block configuration circuit.
  • FIG. 5 is a diagram showing the format of a sync block.
  • FIG. 6 is a diagram for explaining hierarchical coding.
  • FIG. 7 is a block diagram illustrating a configuration example of the hierarchical encoding circuit.
  • FIG. 8 is a block diagram showing a configuration example of the ISDB transmission device.
  • FIG. 9 is a block diagram illustrating a configuration example of the ADRC decoding circuit.
  • FIG. 10 is a block diagram showing another example of the configuration of the ADRC decoding circuit.
  • FIG. 11 is a block diagram illustrating a configuration example of the ISDB receiving apparatus.
  • FIG. 12 is a block diagram illustrating a configuration example of a resolution creation circuit.
  • FIG. 13 is a diagram showing a class classification block and a predicted value calculation block.
  • FIG. 14 is a diagram for explaining the class classification process.
  • FIG. 15 is a block diagram showing a configuration example of the prediction circuit 134 of FIG.
  • FIG. 16 is a block diagram illustrating a configuration example of an image transmission device that transmits an image from a transmission side to a reception side.
  • FIG. 1 shows a configuration example of an embodiment of an image transmission device to which the present invention is applied.
  • an image composed of the maximum number of pixels that can be output is output. That is, here, in the video camera 1, for example, an aspect ratio S 16: 9 composed of 1920 ⁇ 960 pixels and a frame rate of about 30 frames Seconds, a progressive HD image is output.
  • a progressive ratio of about 40 frame seconds with an aspect ratio of S 4: 3 composed of 64 ⁇ 480 pixels is used.
  • the subject is scanned in the progressive imager 3, and, for example, a progressive image whose number of vertical pixels is an integral multiple of 480 is output.
  • the computer 4 as computer graphics (CG), for example, composed of 640 x 480 pixels, has a width and a length of the pixel. An image with a ratio of 1: 1 is generated and output.
  • the images output from the video cameras 1 and 2, the progressive imager 3, and the computer 4 are supplied to the integrated encoding device 6 (processing means).
  • a progressive image whose vertical number of pixels is an integral multiple of 480 is supplied from the network 5 such as the Internet, for example, to the integrated encoding device 6. It should be noted that, for example, as in the case of the computer 4, an image in which the ratio of the width to the length of the pixel is 1: 1 is supplied from the network 5.
  • the reason that the video cameras 1 and 2 are configured to output an image composed of the maximum number of pixels that can be output from the video camera 1 or 2 is that if such an image is to be processed, for example, This is because, in general, a high-quality decoded image can be obtained as compared with a case where an image having a small number of pixels on one screen, such as an interlaced image, is to be processed.
  • the number of vertical pixels of the image supplied to the integrated encoding device 6 is all a predetermined value, that is, here, for example, an integer multiple of 480, and the frame rate is also a predetermined value. This is, for example, an integer multiple of 15. This is because, for example, when an SD image is generated by thinning out pixels constituting an HD image in the spatial direction or the time direction, or pixels constituting an SD image are This is because, when an HD image is generated by interpolating in the spatial direction or the time direction, deterioration in the image quality of the generated SD image or HD image can be reduced.
  • the number of vertical pixels of the HD image to be output to the video camera 1 is set to 960 pixels because when the number of vertical pixels is an integral multiple of 480, 960 is the current HD This is because the number of pixels in the vertical direction of the image is closest to 1035 (Fig. 16), and therefore, it is possible to reduce the deterioration of the image quality when performing the transfer.
  • the reason why the number of vertical pixels of the SD image output to the video camera 2 is set to 480 pixels is that the value of 480 pixels closest to the number of pixels used in the current NTSC system or PAL system is used. This is because it is a multiple.
  • the aspect ratio to be output to the video camera 2 is next to the 4: 3 SD image.
  • the number of horizontal and vertical pixels of the output SD pixel is doubled and the number of vertical pixels is set to 960 pixels, which is equal to the number of vertical pixels of the HD image output by the video camera 1, a so-called true The circularity can be maintained (the image is not stretched horizontally or vertically).
  • the integrated encoding device 6 performs at least one of a plurality of processes required for encoding the image (digital image signal) supplied thereto, such as editing, compression, and channel encoding. Is performed taking into account other processing.
  • the editing processing includes, for example, processing for so-called video editing, such as performing cut editing and applying effects, as well as, for example, ISDB (Integrated Services Digital Broadcasting) ( Information for realizing various types of information such as interactive broadcasting that digitizes and transmitting information), and other information that adds value (for example, information necessary to obtain higher-quality decoded images). And adding a link between an image and another image.
  • the transmission data obtained as a result of the processing in the integrated encoding device 6 is transmitted to the receiving side via the transmission path 13.
  • the transmission line 13 includes, for example, a satellite line, a terrestrial wave, a CATV network, a public network, an Internet, and other communication lines, as well as, for example, a magnetic recording Z reproduction process, a magnetic disk, Optical disks, magnetic tapes, magneto-optical disks, and other recording media are also included.
  • the transmission data transmitted via the transmission path 13 is received by the receiving side and supplied to the adaptive decoding device 7 (generation means).
  • the adaptive decoding device 7 includes, as output devices for outputting images, for example, a high-resolution display device 9 for displaying HD images, a standard resolution or low-resolution display device 10 for displaying SD images,
  • the printer 11 that prints the image, the computer display 12 that is connected to a computer (computer), etc. are connected (however, the printer 11 is connected via the pixel aspect ratio converter 8).
  • the adaptive decoding device 7 generates a decoded image corresponding to the resolution of the display device 9, 10, the printer 11, or the computer display 12 by a linear combination of the transmission data and a predetermined coefficient. Output.
  • the display devices 9, 10 and the computer display 12 display the decoded image from the adaptive decoding device 7, and the printer 11 prints the decoded image from the adaptive decoding device 7.
  • the ratio between the width and height of the pixel in each of the display devices 9, 10 and the computer display 12 (hereinafter referred to as the pixel aspect ratio as appropriate) and the decoding ⁇
  • the difference from the pixel aspect ratio of the pixel to be absorbed is absorbed by the horizontal movement of each of the display devices 9 and 1 and the computer display 12.
  • a pixel aspect ratio converter 8 is provided at the preceding stage. Therefore, the pixel aspect ratio of the decoded image is converted to a value corresponding to the printer 11.
  • compression processing is performed in a form that takes into account editing processing.
  • the integrated encoding device 6 performs, for example, ADRC
  • ADRC processing will be briefly described. Now, for simplicity, consider a block composed of four pixels arranged on a straight line as shown in Fig. 2A.
  • the maximum value MAX and the minimum value MIN of the pixel values are calculated as follows. Is detected. Then, DR-MAX-MIN is defined as the local dynamic range of the block, and the pixel values of the pixels constituting the block are requantized to K bits based on the dynamic range DR.
  • ADRC ADRC
  • the number of bits K for requantization is smaller than the number of bits assigned to a pixel, and therefore each pixel is compressed to such a small number of bits. (However, the minimum value MIN and the dynamic range DR occur for each block.)
  • the decoding is performed by dividing the ADRC code 00 B, 0 1 B, 10 B, or 1 IB into, for example, the dynamic range DR and dividing it into four equal parts. .
  • FIG. 3 shows a configuration example of an ADRC processing circuit that performs ADRC processing.
  • the image data is supplied to a blocking circuit 21, where it is blocked into blocks of a predetermined size. That is, the blocking circuit 21 divides the image data into, for example, blocks of 4 pixels ⁇ 4 pixels in the horizontal and vertical directions. Then, the block is supplied to a minimum value detection circuit 22, a maximum value detection circuit 23, and a computing unit 25.
  • the maximum value detection circuit 23 detects the maximum value MAX from the 16 pixels forming the block from the blocking circuit 21 and supplies the maximum value MAX to the computing unit 24.
  • the minimum value M IN is subtracted from the maximum value MAX, and thereby the dynamic range DR of the block is obtained.
  • This dynamic range DR is output as one of the signals resulting from the ADRC processing, and is also supplied to the quantization circuit 26.
  • the minimum value MIN of the block is subtracted from each of the 16 pixels constituting the block, and the subtracted value is supplied to the quantization circuit 26.
  • the subtraction value from the computing unit 25 is quantized in a quantization step corresponding to the dynamic range DR from the computing unit 24. That is, in the quantizing circuit 26, for example, the output of the arithmetic unit 2 5, are divided by DR, 2 K, those rounded down to the division value, as an ADRC code (re-quantization result of pixel) CODE It is output.
  • the number of bits K at the time of requantization is determined for each block, for example, in accordance with the size of the dynamic range DR.
  • the ADRC code has a variable length.
  • the pixels of the original image for example, assumed that the assigned 8 bits (hence, Ding 4 less than 2 8).
  • the quantization circuit 26 the dynamic range D is less than 0 or T 1, less T1s or Ding 2, T 2 or T less than 3, T 3 or T less than 4, or T 4 or 2 of less than 8 Is determined in which range.
  • dynamic ren Di DR is less than 0 or T l, less T1s or Ding 2, less T 2 or T 3, T 3 or T less than 4, or is in the range of less than T 4 or more 2 8, when the re-quantization
  • 0 to 4 bits are respectively assigned as the number of bits K of. Therefore, in this case, the ADRC code has a minimum of 0 bits and a maximum of 4 bits.
  • the quantization circuit 26 determines whether the dynamic range DR falls within any of the above ranges.
  • the threshold code is output as a result of the ADRC processing together with the minimum value MIN, the dynamic range DR, and the ADRC code.
  • the minimum value MIN, the dynamic range DR, and the threshold code are, for example, fixed length.
  • the ADRC code has a variable length, but the number of bits K at the time of requantization is a fixed value irrespective of the dynamic range DR of the block, so that the ADRC code is fixed. It can be long.
  • the ADRC code obtained by the above ADRC processing is smaller than the number of bits assigned to the original pixel.
  • the minimum value M IN, dynamic range DR, and ADRC code obtained as a result of ADRC processing can be handled in block units. Therefore, the image after ADRC processing can be edited in frame units, for example.
  • ADRC processing is performed as compression processing, and the ADRC processing result is subjected to various editing processing, so that almost the same editing processing as when the original image before ADRC processing is targeted is performed.
  • the processing load can be reduced as compared with the case where the original image before the ADRC processing is targeted.
  • the ADRC processing as the compression processing can be performed in consideration of the editing processing, and as a result, the editing processing can be performed efficiently.
  • ADRC performs coding on a block-by-block basis, which can be referred to as block coding. For example, there is one that obtains a 1-bit flag indicating the magnitude relationship with the average value.
  • block coding For example, there is one that obtains a 1-bit flag indicating the magnitude relationship with the average value.
  • the minimum value MIN and the dynamic range DR are included in the ADRC processing result, but the ADRC result further includes the minimum value MIN and the maximum value MAX of the block, and the dynamic range DR. It is possible to include the maximum value MAX of the block.
  • a block is composed of four pixels horizontally and four pixels vertically, but a block is composed of pixels constituting a plurality of temporally continuous frames. It is also possible to
  • a block in which the ADRC result is arranged (hereinafter, appropriately referred to as a sync block) is configured, and transmission is performed in units of such a sync block.
  • the minimum value MIN, dynamic range DR, and threshold code are fixed lengths as described above, so if these data are arranged at fixed positions in the sync block, Even if one sync block is not obtained due to, for example, missing, the effect will not affect the minimum value MIN, dynamic range DR, and threshold code located in other sync blocks.
  • the ADRC code is separated into, for example, MS B (most significant bit) and the rest (hereinafter, appropriately referred to as the remaining bits).
  • MS B most significant bit
  • the remaining bits the MSB
  • the MSB can be dequantized according to the dynamic range DR to obtain a binary block, and if all the ADRC codes are lost, Images with higher reproducibility can be obtained in comparison.
  • FIG. 4 shows a configuration example of a sink block configuration circuit that performs a sync block process forming the above-described sync block.
  • the minimum value MIN, the dynamic range DR, and the threshold code output from the ADRC processing circuit (FIG. 3) are supplied to the multiplexer 32, and the ADRC code is supplied to the separator 31.
  • the ADRC code is separated into the MSB and the remaining bits, and both are supplied to the multiplexer 32.
  • the multiplexer 32 is supplied with a synchronization pattern in addition to the data described above.
  • the multiplexer 32 time-division multiplexes the data supplied thereto, and forms, for example, a sync block as shown in FIG.
  • a fixed-length synchronization pattern is arranged at the head of the sync block, and thereafter, fixed-length additional data is arranged.
  • the additional data includes only fixed-length data such as a threshold code.
  • the remaining bits are arranged by a predetermined number of bytes. That is, after the additional data, the remaining bits are arranged from the top to the 11th byte.
  • the dynamic range DR, MSB, and the minimum value MIN are arranged in the order of, for example, DR, MSB, MIN, MSB, DR,.
  • the remaining bits are allocated again.
  • the N 2 byte onward from the top again, the dynamic range DR, MS B, the minimum value MIN in the order in which the above-described, are arranged by a predetermined number.
  • the same arrangement is repeated until the end of the sync block.
  • sync block processing for example, the special The details are disclosed in, for example, Japanese Laid-Open Patent Publication No. Hei 2-162920.
  • the integrated encoding device 6 it is possible to cause the integrated encoding device 6 to perform, for example, a hierarchical encoding process as the compression process in addition to the ADRC process.
  • high-resolution image data is used as the lowest-layer or first-layer image data to form second-layer image data (compressed image) having a smaller number of pixels.
  • the image data of the third layer having a smaller number of pixels is formed, and thereafter, the image data of the uppermost layer is formed in the same manner.
  • the image data of each layer has a resolution (pixel) corresponding to the layer. Number) is displayed on the monitor. Therefore, the user can view the same content of the image by selecting the image data corresponding to the resolution of the monitor of the user from the hierarchically encoded image data.
  • image data of a certain resolution is used as the image data of the lowest layer (first layer)
  • image data of the upper layer is sequentially formed, and all of them are stored or transmitted as they are.
  • an additional storage capacity or transmission capacity is required for the image data of the upper hierarchy. Therefore, here, hierarchical coding without such an increase in storage capacity or the like is adopted as compression processing in the integrated coding device 6.
  • an average value of 4 pixels of 2 ⁇ 2 pixels (horizontal X vertical) in the lower layer is set as a pixel (pixel value) of the upper layer, and three layers of hierarchical coding are performed.
  • FIG. 6A for example, as shown in FIG. 6A, assuming an 8 ⁇ 8 pixel, four pixels h 0 0, h 0 1, h 0 2, An average value m O of h 03 is calculated, and this is defined as one pixel at the upper left of the second layer.
  • the average value m2 of h2 3 and the average value m3 of the lower right four pixels h30, h31, h32, and h33 are calculated, and these are the upper right, lower left, and right of the second layer, respectively.
  • an average value q of four pixels m 0, m 1, m 2, and m 3 of 2 ⁇ 2 pixels on the second layer is calculated, and this is represented by the third layer, ie, Are the pixels of the image of the highest hierarchy.
  • the pixel q of the third hierarchy is arranged at, for example, the position of the pixel m3 at the lower right among the pixels mO to m3 of the second hierarchy.
  • the second layer is composed of pixels mO to m2 and q.
  • the total number of pixels becomes 16 pixels, that is, 4 4, which is the same as the case of only the lowest hierarchical pixel shown in FIG. 6A. Therefore, in this case, an increase in storage capacity and the like can be prevented.
  • the decoding of the pixel m 3 replaced with the pixel q and the pixels h 03, h i 3, h 23, and h 33 replaced with the pixels mO to m 3 can be performed as follows.
  • FIG. 7 shows a configuration example of a hierarchical encoding circuit that performs the above-described hierarchical encoding processing. In this hierarchical coding circuit, for example, the above-described three-layer hierarchical coding is performed.
  • the average value calculating circuit 42 for the image of the second layer, for example, an average value of a total of 2 ⁇ 2 pixels as described above in a unit of 4 pixels is calculated, thereby forming an image of the third layer.
  • the image of the third hierarchy is supplied to the pixel insertion circuit 45.
  • the pixel extraction circuit 43 extracts pixels corresponding to the positions of the pixels h O 3, h 13, and h 23 described with reference to FIG. 6 from the image of the first layer, and the rest is a pixel insertion circuit 45. Supplied to In the pixel extracting circuit 44, a pixel corresponding to the position of the pixel m3 described in FIG. 6 is extracted from the image of the second hierarchy, and the rest is supplied to the pixel inserting circuit 45.
  • the pixel insertion circuit 45 places the second layer image from the pixel extraction circuit 44 at a position corresponding to the pixels h 0 3, hi 3, and h 23 of the first layer image from the pixel extraction circuit 43. Pixels (for example, pixels m 0 to m 2, etc.) are inserted, and a third-layer pixel (for example, from the average value calculation circuit 42) is placed at a position corresponding to the pixel h 33 of the first-layer image. , Pixel q, etc.) are inserted. As described above, the image data as described with reference to FIG. 6C is configured, and this is output as the hierarchical encoding result.
  • the hierarchical coding described in FIGS. Where appropriate, referred to as improved hierarchical coding).
  • the amount is the same as the lowest level image.
  • the improved hierarchical coding is an information compression process.
  • the image of the lower layer can be obtained by, for example, performing interpolation using the image of the upper layer (however, the obtained image is the same as the image of the lower layer). It is not the same image, but the image quality is degraded). Therefore, even in the worst case, if the image of the top layer can be restored, the image of all layers can be obtained, and therefore, for example, addition of ECC for error correction is at least required. It is sufficient to perform the processing on the image of the highest layer, and it is not necessary to perform the processing on the image of all the layers. In this case, the load on the channel coding process can be reduced. In this sense, it can be said that the hierarchical coding process takes into account the channel coding process.
  • the number of pixels in the spatial direction is reduced to form an image in the upper hierarchy.
  • the image in the upper hierarchy is reduced by, for example, reducing the number of pixels in the time direction. It is also possible to form.
  • FIG. 8 shows an example of the configuration of an ISDB transmission device, which is a part of the integrated coding device 6 for implementing ISDB.
  • the SD image and the audio accompanying the SD image are input to the encoding unit 51, where compression processing such as the above-described ADRC processing is performed, for example, and output to the multiplexing unit 57.
  • Encoding section 51 outputs a synchronization signal indicating the timing of the compression processing to time code generation section 52.
  • the time code generation section 52 generates, for example, a time code as additional information to be added to the output of the encoding section 51 in synchronization with the synchronization signal from the encoding section 51.
  • the encoding unit 55 receives, for example, a computer program, data necessary for executing the program, facsimile data, and data for realizing multimedia such as regional information. These data are compressed and output to the multiplexing unit 57 as encoded data. Further, encoding section 55 outputs a synchronization signal indicating the timing of the compression processing to additional information generation section 56. The additional information generator 56 generates additional information indicating the type of data compressed by the encoder 55 in synchronization with the synchronization signal from the encoder 55, and outputs the information to the multiplexer 57. I do.
  • the region information input to the encoding unit 55 is information specific to each region, such as a weather forecast, a map, and information on facilities in each region (for example, service contents of a restaurant). And business hours, etc.), and corporate advertising. Further, with respect to such regional information, the additional information generating unit 56 generates, as the additional information, a regional code indicating a region corresponding to each regional information.
  • the outputs of the encoding unit 51, the time code generation unit 52, the encoding unit 53, the time code generation unit 54, the encoding unit 55, and the additional information generation unit 56 are multiplexed. Output.
  • FIG. 9 shows a configuration example of the adaptive decoding device 7 (FIG. 1) in a case where ADRC processing is performed as compression processing in the integrated coding device 6. That is, FIG. 9 illustrates a configuration example of an ADRC decoding circuit which is a part of the adaptive decoding device 7 that performs an ADRC decoding process for decoding an ADRC processing result.
  • the demultiplexer 101 receives as input the bit stream in which the ADRC processing result is arranged as transmission data transmitted via the transmission path 13 (FIG. 1). , Minimum value MIN, dynamic range DR, and ADRC code are separated.
  • the ADRC code is separated by a demultiplexer 101, in which a threshold code is separated from the transmission data, and based on the threshold code, This is done by recognizing the number of bits allocated to the ADRC code (K described above).
  • the minimum value M IN is supplied to the arithmetic unit 103, and the dynamic range DR and the ADRC code are supplied to the inverse quantization circuit 102.
  • the ADRC code is inversely quantized in a quantization step corresponding to the dynamic range DR, and the resulting inversely quantized value is supplied to the arithmetic unit 103.
  • the inverse quantization value from the inverse quantization circuit 102 and the minimum value MIN are added, whereby the pixel is decoded.
  • the arithmetic unit 103 supplies the one block of pixels to the frame configuration circuit 104.
  • the frame configuration circuit 104 sequentially stores pixels supplied in units of blocks, and outputs the stored pixels for each frame.
  • the demultiplexer 101 When the ADRC code is separated into the MSB and the remaining bits as described above, the demultiplexer 101 combines the MSB and the remaining bits to obtain the original data. The process of restoring the ADRC code is also performed. When the ADRC code is separated into the MSB and the remaining bits, and an error occurs in the remaining bits, the demultiplexer 101 uses the MSB as the ADRC code and performs inverse quantum coding. Output to the conversion circuit 102.
  • the decoded image (A decoded image close to the original image) can be obtained.
  • the minimum value M IN or the dynamic range DR becomes an error, it becomes difficult to decode the block.
  • FIG. 10 shows an example of the configuration of an ADRC decoding circuit that can relatively accurately decode a block even if the minimum value MIN or the dynamic range DR becomes an error.
  • portions corresponding to those in FIG. 9 are denoted by the same reference numerals, and description thereof will be omitted as appropriate below. That is, this AD
  • the RC decoding circuit is basically configured in the same manner as in FIG. 9 except that selectors 105 and 106, a memory 107, and a restoration circuit 108 are newly provided.
  • the selector 105 is supplied with a dynamic range DR output from the demultiplexer 101 and a predicted value DR of the dynamic range output from the restoration circuit 108.
  • the selector 106 is supplied with a minimum value M IN output from the demultiplexer 101 and a minimum value predicted value M IN ′ output from the restoration circuit 108.
  • the demultiplexer 101 detects whether or not an error has occurred in the minimum value MIN and the dynamic range DR included in the transmission data.
  • the signals are output to selectors 105 and 106.
  • the selector 105 selects the dynamic range DR output from the demultiplexer 101 when no error signal is received, that is, when no error occurs in the minimum value MIN and the dynamic range DR. Output to the conversion circuit 102. Similarly, when the error signal is not received, the selector 106 also selects the minimum value MIN output from the demultiplexer 101 and outputs it to the arithmetic unit 103.
  • the decoded value of the pixel output from the arithmetic unit 103 is supplied not only to the frame configuration circuit 104 but also to the memory 107.
  • the decoded value of the pixel from the arithmetic unit 103 is stored in a corresponding address.
  • the decoded values of the pixels around the block that is currently subjected to ADRC decoding processing are, for example, the same number as the number of pixels constituting the block, that is, in the present embodiment. Then, only 16 is read from the memory 107 as described above. Further, the restoration circuit 108 detects the minimum value of the 16 pixels and the dynamic range (difference between the maximum value and the minimum value), and determines the minimum value of the block currently being subjected to ADRC decoding processing. The predicted value of MIN, and the dynamics It outputs to the selectors 106 and 105 as the cleanse predicted value DR, respectively.
  • the selector 105 or 106 When the selector 105 or 106 receives an error signal from the demultiplexer 101, that is, when an error occurs in the minimum value MIN and the dynamic range DR, the dynamic range from the restoration circuit 108 The predicted value DR 'or the predicted value Ml ⁇ ' of the minimum value is selected and output to the inverse quantization circuit 102 or the arithmetic unit 103, respectively.
  • the inverse quantization circuit 102 performs inverse quantization using the predicted value DR ′ of the dynamic range, and the arithmetic unit 103 uses the predicted value M l ⁇ ′ of the minimum value.
  • the pixel is decoded.
  • the ADRC process, the sync block block process, and the hierarchical coding process can be said to be robust processes against errors, that is, robust processes.
  • mouth-bust processing that is robust to such errors is called mouth-bust coding.
  • the processing performed in the integrated coding device 6 can be said to be integrated coding processing in which such robust coding and editing processing are integrated.
  • the robust coding for example, in ADRC processing, the amount of information is reduced by performing the processing, and the robustness against errors is improved. Therefore, image compression processing and error correction are performed. It can be said that the treatment is performed in a manner that is organically combined.
  • FIG. 11 shows a configuration example of an ISDB receiving apparatus, which is a part of the adaptive decoding apparatus 7 for implementing ISDB.
  • the transmission data transmitted via the transmission path 13 is input to the signal separation unit 111, where the transmission data is used to convert, for example, an image (SD image or HD image), and so on. Encoded data obtained by encoding the accompanying audio is extracted.
  • the encoded data obtained in the signal separation unit 11 is output to the decoding units 112, respectively.
  • the decoding unit 112 the encoded data from the signal separation unit 111 is decoded. That is, for example, ADRC decoding processing is performed on the encoded data of the image.
  • the image obtained as a result of the decoding processing in the decoding unit 112 and the sound accompanying the image are output via the selector 113.
  • the image is supplied to, for example, the display device 9 or 10 or the computer display 12 for display, or supplied to the printer 11 via the pixel peak ratio converter 8 and printed. .
  • the sound is supplied to a speaker (not shown) and output.
  • region information and a region code as additional information corresponding to the region information are extracted from the transmission data and supplied to the decoding unit 114.
  • the decryption unit 114 decrypts the regional information according to the regional code.
  • the decoding unit 114 since the received area information is not necessarily the information of the area desired by the user, the decoding unit 114 only uses the area information input together with the area code corresponding to the area input in advance. Is decrypted.
  • the input of the area can be performed, for example, by operating the control unit 123.
  • the input area is supplied to the decoding unit 114 via the OR gate 122.
  • the regional input is, for example, a Global Positioning System (GPS) system (a system is a group of multiple devices that are logically aggregated. It does not matter whether it is inside or not). That is, a radio wave from the GPS satellite is received by the antenna 118, and the received signal is supplied to the 03 receiving unit 119. 0 3
  • the receiving unit 1 19 calculates the position where the IS DB receiving device of FIG. 11 is installed from the received signal from the antenna 1 18 and obtains the position information (eg, latitude And the time) are supplied to the area determination unit 120.
  • the area determining unit 120 determines the area based on the position information from the GPS receiving unit 119, and outputs the code assigned to the area to the memory 122 for storage.
  • the code stored in the memory 121 is supplied to the decoding unit 114 via the R gate 122, and the decoding unit 114 outputs a region code that matches the code. Only the area information entered with the password is decrypted.
  • the regional information decrypted by the decryption unit 114 is supplied to the memory 115 and stored. Therefore, in the memory 115, for example, only the area information of the area where the user lives is accumulated.
  • the selector 1 16 only the area information required by the user is selected according to the operation of the control unit 123. Further, in the selector 113, one of the output of the decoder 112 and the output of the selector 116 is selected and output in response to the operation of the controller 123. Has been made.
  • the time code is multiplexed as additional information of the image and its accompanying audio, but the additional information of the image and its associated audio includes For example, it is possible to multiplex an identification code or the like for identifying a program composed of the image and the audio. In this case, by inputting an identification code of a desired program in advance, it becomes possible to select a program corresponding to the identification code. Therefore, for example, only when a desired program is transmitted, it is possible to select and output the program.
  • the ISDB transmitting apparatus and the ISDB receiving apparatus as described above are described in, for example, Japanese Patent Application No. 7-2077-158 and Japanese Patent Application No. Details are disclosed in 53 and other publications.
  • the adaptive decoding device 7 determines whether or not the resolution of the decoded image is one of the display device 9, 10, the printer 11, or the computer display 12, which is to output the decoded image.
  • a resolution creation process for generating a decoded image corresponding to the resolution of the output device is performed by a linear combination of the decoded image having the lower resolution and a predetermined coefficient.
  • the number of pixels of the decoded image is smaller than the number of pixels of the output device, for example, there is a method in which the number of pixels of the decoded image matches the number of pixels of the output device by performing interpolation using an interpolation filter or the like.
  • interpolation does not improve the resolution because high-frequency components not included in the original decoded image are not reproduced.
  • the resolution creation processing such high-frequency components can be reproduced as described later.
  • the number of pixels of the decoded image is larger than the number of pixels of the output device, for example, thinning is performed or the average value of some pixels is reduced as in the case of hierarchical coding.
  • the number of pixels of the decoded image is reduced so as to match the number of pixels of the output device by arranging the pixels in place of some of them.
  • FIG. 12 shows an example of the configuration of a resolution creation circuit that is a part of the adaptive decoding device 7 that performs a resolution creation process.
  • a high-resolution image (having a large number of pixels) is regarded as a lower-layer image, and an image having a low resolution (having a small number of pixels) is regarded as an upper-layer image.
  • a portion indicated by a ' is a pixel constituting a lower layer image (hereinafter, appropriately referred to as a lower pixel), and a portion indicated by a ⁇ in FIG. 13 is a pixel constituting an upper layer image.
  • the resolution creating circuit is configured by an image of the upper layer composed of the pixel indicated by the symbol “ ⁇ ” in FIG. The image is converted to a lower layer image. In other words, the image of the upper layer is supplied to the classifying block circuit 13 1 and the prediction value calculating block circuit 13.
  • the class classification blocking circuit 13 1 configures a class classification block including a predetermined target pixel from the image of the higher hierarchy supplied thereto. That is, for example, the class classification block circuit 13 1 is composed of a class composed of 5 ⁇ 5 (horizontal X vertical) high-order pixels centered on the pixel of interest as shown by a solid line in FIG. Construct a classification block.
  • the upper pixels of 5 ⁇ 5 (parts indicated by a circle in FIG. 13) constituting the class classification block are represented as follows as appropriate. That is, the upper pixel located at the i-th position from the left and the j-th position from the top in the block for class classification is denoted by ⁇ . Therefore, in the embodiment of FIG. 13, the class classification block is configured with the upper pixel # 33 as the target pixel.
  • the lower pixels generated (predicted) from the upper pixels constituting the block for class classification (portions indicated by a circle in FIG. 13) are hereinafter appropriately denoted by ⁇ , similarly to the upper pixels.
  • the classifying block forming circuit 1 3 1 comprises a classifying block, It is output to the classification circuit 1 32.
  • the class classification circuit 132 performs a class classification for classifying the class classification block into a predetermined class according to its property, and supplies the resulting class to the prediction circuit 1334.
  • the prediction circuit 13 4 is further supplied with a prediction value calculation block from the prediction value calculation blocking circuit 13 3.
  • the prediction value calculation blocking circuit 1 3 3 forms a 3 ⁇ 3 pixel prediction value calculation block centered on the target pixel B 33 as shown in FIG. 13 and surrounded by a dotted rectangle. Supplied to circuits 1 3 4.
  • the configuration methods of the prediction value calculation block and the class classification block are not limited to those described above.
  • the prediction value calculation block may basically be configured in any manner, but it is preferable that the class classification block is configured to include the characteristics of the prediction value calculation block.
  • the prediction circuit 1 3 4 Upon receiving the prediction value calculation block and the class for the pixel of interest, the prediction circuit 1 3 4 forms a prediction value calculation block with prediction coefficients, which will be described later, corresponding to the received class. Adaptive processing is performed to obtain the predicted value of the pixel value of the lower pixel by linear combination with the pixel value of the upper pixel. That is, the prediction circuit 13 4 calculates the prediction coefficient corresponding to the class and the upper pixels B 22 , B 23 , B 24 , B 32 , B 33 , B 34 , B 42 , and B 43 which constitute the prediction value calculation block.
  • the prediction circuit 1 3 following a similar process, the upper pixels except pixels B 33, sequentially performed as a pixel of interest, thereby obtains the predicted value of all the lower picture element constituting the image of the lower layer Can be
  • the resolution setting circuit 13 5 includes an output device (the display device 9, 10, the printer 11, or the computer display 12 in the embodiment of FIG. 1) for outputting the image by the adaptive decoding device 7.
  • the resolution is recognized, and a resolution signal representing the recognized resolution is supplied to the prediction circuit 13 4 It has been made like that.
  • the prediction circuit 13 4 stores prediction coefficients for images of various resolutions, and uses the prediction coefficient for the resolution corresponding to the resolution signal from the resolution setting circuit 135 to generate a lower-layer image. Is required.
  • the resolution setting circuit 135 can input a resolution by operating an operation unit (not shown) in addition to communicating with an output device.
  • a certain pixel of interest and three adjacent pixels form a 2 ⁇ 2 pixel block (class classification block). It shall be represented by one bit (take either 0 or 1 level).
  • Such pattern division is a class classification process.
  • the class classification process can be performed in consideration of the activity (complexity of the image) (severity of change) of the image (the image in the block).
  • the class classification block is composed of 5 ⁇ 5 25 pixels. Therefore, if the class classification processing is performed on such a class classification block, the blocks are classified into a huge number of (2 8 ) 25 classes.
  • the class classification circuit 132 can be made to perform the ADRC processing on the class classification block prior to the class classification processing. According to the ADRC processing, the number of bits of pixels constituting the class classification block can be reduced, and as a result, the number of classes can be reduced.
  • the prediction value E [y] of the pixel value y of the lower pixel is now calculated by calculating the pixel values of some upper pixels (hereinafter, appropriately referred to as learning data) Xi, X 2 ,.
  • learning data some upper pixels
  • the predicted value E [y] can be expressed by the following equation.
  • the prediction coefficient Wi for obtaining the prediction value E [y] close to the pixel value y of the lower pixel is the square error
  • Equation (7) The normal equation in equation (7) can be established by the same number as the number of prediction coefficients W to be obtained. Therefore, solving equation (7) (however, to solve equation (7),
  • the matrix consisting of the coefficients related to the prediction coefficient W must be regular), and the optimal prediction coefficient W can be obtained.
  • a sweeping method (Gauss-Jordan elimination method) can be applied.
  • the optimum prediction coefficient W is obtained for each class, and the prediction coefficient E close to the pixel value y of the lower pixel is calculated by using the prediction coefficient W according to Equation (1).
  • the adaptive processing is for obtaining [y], and this adaptive processing is performed in the prediction circuit 134.
  • the class obtained as a result of the class classification of the class classification block composed of 5 ⁇ 5 pixels surrounded by a solid line is subjected to the above-described learning, and the predicted value calculation is performed.
  • the prediction circuit 134 calculates the HD pixels A 43 , A 44 , A 45 , A 53 , A 54 , A 55 , and HD in the prediction value calculation block according to the following equation corresponding to the equation (1).
  • a 63 , A 64 , and A 65 predicted values E [A 43 ], E [A 44 ], E [A 45 ], E
  • the adaptive processing differs from the interpolation processing in that components not included in the upper layer image but included in the lower layer image are reproduced. That is, the adaptive processing is the same as the interpolation processing using a so-called interpolation filter as far as only Equations (1) and (8) are viewed, but the prediction coefficient W corresponding to the tap coefficient of the interpolation filter and the teacher data Since it is obtained by learning using y, so to speak, it is possible to reproduce the components contained in the lower layer image. From this, it can be said that adaptive processing has a so-called resolution creativity.
  • FIG. 15 shows a configuration example of the prediction circuit 134 of FIG.
  • the switch 14 1 is supplied with the class from the classification circuit 13 2.
  • the switch 14 1 is connected to the terminal a 1 in response to the resolution signal from the resolution setting circuit 13 5.
  • the terminals & 1 to & 4 of the switch 1441 are connected to the address terminals (AD) of 13 ⁇ 401 ⁇ (1 ⁇ 6 & € 1 Online Memory) 143 to 146, respectively. Therefore, the class from the class classification circuit 132 is supplied as an address to one of the ROMs 143 to 146 via the switch 141.
  • the switch 142 selects one of the terminals b1 to b4 in accordance with the resolution signal from the resolution setting circuit 135, similarly to the switch 1441. .
  • the terminals b1 to b4 are connected to the data terminals D of the ROMs 143 to 146, respectively.
  • the switch 142 is linked to the switch 141.For example, when the switch 141 selects the terminals a1 to a4, the switch 142 connects the terminals b1 to b4. Each is made to be selected.
  • the ROMs 144 to 146 store prediction coefficients for each class obtained by the above-described learning at addresses corresponding to the classes. That is, for example, when the above-described hierarchical coding is performed, In addition, the prediction coefficients for converting the image of the uppermost layer and the like into the image of the lower layer corresponding to the resolution of the display device 9, 10 or the printer 11 or the computer display 12 are stored. Have been.
  • the arithmetic circuit 147 is connected to the prediction value calculation block circuit 133 from the predicted value calculation block power R OM 143 through 146 via the switch 144. , And the prediction coefficient are supplied, respectively.
  • the arithmetic circuit 147 uses the prediction value calculation block and the prediction coefficient to calculate the product-sum operation corresponding to the equation (1) or (8). By doing so, a lower layer image corresponding to the resolution of the output device is obtained.
  • one of the terminals a 1 to a 4 is connected to the switch 14 1 in accordance with the resolution signal from the resolution setting circuit 13 5. Is selected, and one of the terminals bl to b4 is selected in conjunction with the switch 1 42 as well.
  • the class from the class classification circuit 13 2 is connected to the terminal (any one of the terminals a 1 to a 4) of the ROMs 14 3 to 1 46 which is selected by the switch 14 1. (Hereinafter referred to as the selection ROM as appropriate).
  • the selection ROM the prediction coefficient stored in the address corresponding to the class supplied to the address terminal is read out and output from the data terminal c. Since the prediction coefficient is linked to the operation coefficient 141, the prediction coefficient read from the selected ROM is supplied to the arithmetic circuit 147 via the switch 142.
  • the prediction circuit is supplied with the prediction value calculation block from the prediction value calculation blocking circuit 133 in addition to the prediction coefficient.
  • the product-sum operation corresponding to the equation (1) or (8) is performed using the prediction value calculation block and the prediction coefficient supplied thereto, whereby the lower layer image corresponding to the resolution of the output device is obtained. Is generated and output.
  • the prediction coefficient is stored in the adaptive decoding device 7, but the prediction coefficient may be transmitted from the transmission side as information necessary for decoding. . It is also possible for the transmitting side to instruct the configuration method such as the class classification block and the predicted value calculation block.
  • the present invention can be applied to an image processing system including a video camera, an ATV, an image editing device, and the like that handles standard resolution, high resolution or low resolution image data.

Description

明細書 画像符号化装置および画像符号化方法、 画像複号化装置および画像複号化方法、 並びに画像処理装置および画像処理方法 技術分野
本発明は、 画像符号化装置および画像符号化方法、 画像複号化装置および画 像複号化方法、 並びに画像処理装置および画像処理方法に関し、 特に、 画像を効 率的に符号化し、 さらに、 画像を表示するモニタなどに適した形の復号画像を得 ることができるようにする画像符号化装置および画像符号化方法、 画像複号化装 置および画像複号化方法、 並びに画像処理装置および画像処理方法に関する。 背景技術
図 1 6は、 送信側から受信側に画像を伝送する画像伝送装置の構成例を示して いる。
送信側では、 例えば、 高解像度のビデオカメラ 20 1において、 被写体が撮影 され、 例えば、 横 X縦の画素数が 1 9 20 X 1 03 5で構成される、 ァスぺク ト 比が 1 6 ： 9の、 高解像度の画像 （以下、 適宜、 HD画像という） が出力される c なお、 ビデオカメラ 20 1からは、 1秒間に約 3 0フレームの HD画像が出力さ れる。 但し、 ここでは、 HD画像は、 インタ一レース走査されるようになされて おり、 従って、 ビデオカメラ 20 1からは、 1秒間に、 約 60フィ一ルドの HD 画像が出力される。
また、 送信側では、 例えば、 標準解像度または低解像度のビデオカメラ 20 2 において、 被写体が撮影され、 ァスぺク ト比が 4 ： 3の、 標準解像度または低解 像度の画像 （以下、 適宜、 SD画像という） が出力される。 ビデオカメラ 20 2 力 S、 例えば、 NTS C (Na t i o n a l T e l e v i s i o n S y s t e m s C omm i t t e e) 方式または PAL (P h a s e A l t e r— n a t i n g b y L i n e c o l o r t e l e v i s i o n s y s t e m) 方式のものである場合、 1フレームは、 例えば、 それぞれ 720 X 48 0画素または 720 X 576画素で構成され、 また、 1秒間のフレーム数 （フィ 一ルド数） は、 それぞれ 30 (60) または 25 (50) である。
さらに、 送信側では、 プログレッシブイメージャ.203において、 被写体がス キヤニングされ、 順次走査された画像 （以下、 適宜、 プログレッシブな画像とい う） が出力される。 また、 送信側では、 計算機 204において、 コンビュ一タグ ラフィックス （CG) としての、 例えば、 640 X 480画素で構成される画像 が生成されて出力される。
なお、 ビデオカメラ 20 1， 20 2が出力する画像を構成する画素の横と縦と の比は、 約 1 ： 1. 1程度になっているが、 計算機 204が出力する画像を構成 する画素の横と縦との比は、 1 ： 1になっている。
以上のように、 ビデオカメラ 20 1， 202、 プログレッシブイメージャ 20 3、 計算機 204からは、 ァスぺク ト比や、 画素数、 走査方法、 画素の横と縦と の比などが異なる画像が出力される。
これらの画像は、 編集装置 20 5に入力される。 編集装置 20 5では、 ビデオ カメラ 20 1， 20 2、 プログレッシブイメ一ジャ 203、 計算機 204からの 画像がそれぞれ編集される。 編集後の画像は、 すべて、 例えば、 1 9 20 X 1 0 80画素で構成されるプログレッシブな画像とされ、 ソース符号化装置 206に 出力される。 ソース符号化装置 20 6では、 編集装置 205から出力された画像 力 情報圧縮のための符号化である、 例えば、 MPEG (Mo V i n g
P i c t u r e E x p e r t s G r o u p) の規格に準拠して符号化 （MP EG符号化） され、 その結果得られる符号化データが、 チャネル符号化装置 20 7に供給される。
ここで、 画素数や走査方法の異なる画像を、 すべて、 1 920 X 1 080画素 のプログレツシブな画像にすることは、 AT V (Ad v a n c e d T e l e v i s i o n) で採用することが検討されている。 チャネル符号化装置 20 7では、 伝送時の符号化データの信頼性を向上させ るためのチャネル符号化が行われる。 即ち、 チャネル符号化装置 20 7では、 例 えば、 エラー訂正のための処理として E C C (E r r o r C o r r e c t— i n g C o d e s) が付加され、 さらに、 所定の変調処理などが施される。 チ ャネル符号化装置 207における処理の結果得られる伝送データは、 伝送路 2 1 1を介して伝送される。
受信側では、 上述したようにして送信側から伝送されてくる伝送データが受信 される。 この伝送データは、 チャネル復号化装置 208に供給され、 チャネル復 号される。 即ち、 例えば、 所定の復調処理が施され、 さらに、 E CCを用いた誤 り訂正などが行われる。
チャネル復号化装置 208における処理の結果得られる符号化データは、 ソー ス複号化装置 20 9に供給される。 ソース復号化装置 20 9では、 符号化データ が、 例えば、 MP EGの規格に準拠して復号 （MP EG復号） されるなどして伸 張され、 その結果得られる画像データは、 加工装置 2 1 0に供給される。
加工装置 21 0では、 画像データを出力する出力装置のフォーマツ トにあうよ うに、 ソース復号化装置 20 9からの画像データが加工される。 即ち、 画像デー タを、 HD画像を表示する HD表示装置 22 1に表示させる場合、 加工装置 2 1 0では、 ソース復号化装置 20 9が出力する画像データが、 例えば、 1 9 20 X 1 03 5画素で構成される、 ァスぺク ト比力 1 6 ： 9の、 ィンタ一レ一ス走査さ れる HD画像に加工される。 また、 画像データを、 S D画像を表示する S D表示 装置 222に表示させる場合、 加工装置 2 1 0では、 ソース複号化装置 20 9が 出力する画像データが、 例えば、 720 X 480画素または 720 X 5 76画素 で構成される、 NT S C方式または PAL方式の S D画像に加工される。 さらに、 画像デ一タを、 プリンタ 223に印刷させる場合には、 加工装置 2 1 0では、 ソ —ス復号化装置 20 9が出力する画像を構成する画素の横と縦との比が、 プリン タ 223に対応したものに変換される。 また、 画像データを、 コンビュ一タディ スプレイ 224に表示させる場合には、 加工装置 2 1 0では、 ソース複号化装置 20 9が出力する画像データが、 例えば、 640 X 480画素で構成される画像 に加工される。
HD表示装置 22 1， SD表示装置 222、 プリンタ 223、 コンピュータデ イスプレイ 224では、 加工装置 2 1 0からの画像が表示され、 または印刷され る。
ところで、 従来においては、 送信側における編集装置 205による編集処理、 ソース符号化装置 206による圧縮処理、 およびチャネル符号化装置 20 7によ るチャネル符号化処理は、 いわば、 それぞれ別個独立に行われていた。
即ち、 例えば、 圧縮処理を行った後のデータは、 圧縮処理を行う前のデータ より情報量が少なく、 従って、 圧縮処理を行った後のデータを編集処理の対象と することができれば、 編集装置 20 5に対する負荷を低減することができる。 し かしながら、 ソース符号化装置 206において、 上述したように、 画像を MP E G符号化する場合、 その結果得られるビッ トス トリームは、 いわゆる GO P ( G r o u p o f P i c t u r e) 単位でなければ編集することが困難になる。 また、 その編集も、 GO Pどうしを接続するだけの、 いわゆるカッ ト編集などに 制限される。 即ち、 ソース符号化装置 206では、 編集装置 20 5による編集処 理を考慮した圧縮処理がなされないため、 その圧縮処理後のデータについては、 例えば、 フレーム単位で編集することができず、 また、 各種のエフェク トなどを かけることも困難である。
また、 例えば、 ソース符号化装置 206では、 チャネル符号化装置 207によ る E CCの付加を考慮した圧縮処理がなされないため、 例えば、 圧縮処理により 得られる符号化データに E CCが付加されることによって、 E C Cが付加された 後のデータ全体としての圧縮率が劣化することがあった。
以上のように、 従来においては、 画像の符号化に必要な、 例えば、 編集処理 や、 圧縮処理、 チャネル符号化処理などが、 互いに他の処理を考慮した形で行わ れていないため、 効率的な処理を行うことが困難であった。 発明の開示
本発明は、 このような状況に鑑みてなされたものであり、 効率的な処理を行う ことができるようにするものである。
請求の範囲第 1項に記載の画像符号化装置は、 画像の符号化に必要な複数の処 理の 1以上であって、 他の処理を考慮したものを行う処理手段を備えることを特 徴とする。
請求の範囲第 5項に記載の画像符号化方法は、 画像の符号化に必要な複数の処 理のうちの 1以上であって、 他の処理を考慮したものを行うことを特徴とする。 請求の範囲第 6項に記載の画像復号化装置は、 伝送データと、 所定の係数との 線形結合により、 画像を出力する出力装置の解像度に対応した復号画像を生成す る生成手段を備えることを特徴とする。
請求の範囲第 7項に記載の画像復号化方法は、 伝送データと、 所定の係数との 線形結合により、 画像を出力する出力装置の解像度に対応した復号画像を生成す ることを特徴とする。
請求の範囲第 8項に記載の画像処理装置は、 画像の符号化に必要な複数の処理 のうちの 1以上であって、 他の処理を考慮したものを行う処理手段と、 処理手段 による処理の結果得られるデータと、 所定の係数との線形結合により、 画像を出 力する出力装置の解像度に対応した復号画像を生成する生成手段とを備えること を特徴とする。
請求の範囲第 9項に記載の画像処理方法は、 画像の符号化に必要な複数の処理 のうちの 1以上であって、 他の処理を考慮したものを行い、 その結果得られるデ ータと、 所定の係数との線形結合により、 画像を出力する出力装置の解像度に対 応した復号画像を生成することを特徴とする。
請求の範囲第 1項に記載の画像符号化装置においては、 処理手段が、 画像の符 号化に必要な複数の処理の 1以上であって、 他の処理を考慮したものを行うよう になされている。
請求の範囲第 5項に記載の画像符号化方法においては、 画像の符号化に必要な 複数の処理のうちの 1以上であって、 他の処理を考慮したものを行うようになさ れている。
請求の範囲第 6項に記載の画像復号化装置においては、 生成手段が、 伝送デ ータと、 所定の係数との線形結合により、 画像を出力する出力装置の解像度に対 応した復号画像を生成するようになされている。
請求の範囲第 7項に記載の画像復号化方法においては、 伝送データと、 所定の 係数との線形結合により、 画像を出力する出力装置の解像度に対応した復号画像 を生成するようになされている。
請求の範囲第 8項に記載の画像処理装置においては、 処理手段は、 画像の符 号化に必要な複数の処理のうちの 1以上であって、 他の処理を考慮したものを行 レ、、 生成手段は、 処理手段による処理の結果得られるデータと、 所定の係数との 線形結合により、 画像を出力する出力装置の解像度に対応した復号画像を生成す るようになされている。
請求の範囲第 9項に記載の画像処理方法においては、 画像の符号化に必要な 複数の処理のうちの 1以上であって、 他の処理を考慮したものを行い、 その結果 得られるデータと、 所定の係数との線形結合により、 画像を出力する出力装置の 解像度に対応した復号画像を生成するようになされている。 図面の簡単な説明
図 1は、 本発明を適用した画像伝送装置の一実施の形態の構成例を示すプロッ ク図である。
図 2は、 A D R C処理を説明するための図である。
図 3は、 A D R C処理回路の構成例を示すプロック図である。
図 4は、 シンクブロック構成回路の構成例を示すブロック図である。
図 5は、 シンクブロックのフォーマツ トを示す図である。
図 6は、 階層符号化を説明するための図である。
図 7は、 階層符号化回路の構成例を示すプロック図である。 図 8は、 I S D B用送信装置の構成例を示すプロック図である。
図 9は、 A D R C復号回路の構成例を示すブロック図である。
図 1 0は、 A D R C復号回路の他の構成例を示すブロック図である。
図 1 1は、 I S D B用受信装置の構成例を示すブロック図である。
図 1 2は、 解像度創造回路の構成例を示すブロック図である。
図 1 3は、 クラス分類用プロックと予測値計算用プロックとを示す図である。 図 1 4は、 クラス分類処理を説明するための図である。
図 1 5は、 図 1 2の予測回路 1 3 4の構成例を示すブロック図である。
図 1 6は、 送信側から受信側に画像を伝送する画像伝送装置の構成例を示すブ 口ック図である。 発明を実施するための最良の形態
以下図面について本発明の一実施例を詳述する。
図 1は、 本発明を適用した画像伝送装置の一実施の形態の構成例を示している。 送信側では、 例えば、 高解像度のビデオカメラ 1や、 低解像度のビデオカメ ラ 2において、 それぞれが出力し得る最大の数の画素数で構成される画像が出力 される。 即ち、 ここでは、 ビデオカメラ 1においては、 例えば、 1 9 2 0 X 9 6 0画素で構成される、 ァスぺク ト比カ S 1 6 ： 9で、 フレ一ムレートが約 3 0フレ ームノ秒の、 プログレッシブな H D画像が出力される。 また、 ビデオカメラ 2に おいては、 例えば、 6 4 0 X 4 8 0画素で構成される、 ァスぺク ト比カ S 4 ： 3で、 フレームレートが約 3 0フレーム 秒の、 プログレッシブな S D画像、 または 7 2 0 X 4 8 0画素で構成される、 ァスぺク ト比カ ： 3で、 フレームレートが約 1 5フレーム 秒の、 プログレッシブな S D画像が出力される。
さらに、 送信側では、 プログレッシブィメ一ジャ 3において、 被写体がスキヤ ユングされ、 例えば、 縦の画素数が、 4 8 0の整数倍のプログレッシブな画像が 出力される。 また、 送信側では、 計算機 4において、 コンピュータグラフィック ス （C G ) としての、 例えば、 6 4 0 X 4 8 0画素で構成される、 画素の横と縦 との比が 1 ： 1の画像が生成されて出力される。
ビデオカメラ 1や 2、 プログレッシブイメージャ 3、 計算機 4が出力する画像 は、 統合符号化装置 6 (処理手段） に供給される。
さらに、 統合符号化装置 6には、 例えば、 縦の画素数が、 4 8 0の整数倍の プログレッシブな画像が、 例えば、 インタ一ネッ トなどのネットワーク 5から供 給される。 なお、 ネッ トワーク 5からは、 例えば、 計算機 4と同様に、 画素の横 と縦との比が 1 ： 1の画像が供給される。
ここで、 ビデオカメラ 1や 2に、 それが出力し得る最大の数の画素数で構成さ れる画像を出力させるようにしたのは、 そのような画像を処理の対象とする方が、 例えば、 インタ一レース方式の画像などのように、 一画面の画素数が少ない画像 を処理の対象とする場合に比較して、 一般に、 高画質の復号画像を得ることがで きるからである。
さらに、 統合符号化装置 6に供給される画像の縦の画素数は、 すべて、 所定値、 即ち、 ここでは、 例えば、 4 8 0の整数倍となっており、 また、 フレームレート も、 所定値としての 1 5の整数倍となっているが、 これは、 例えば、 H D画像を 構成する画素を、 空間方向または時間方向に間引いて S D画像を生成した場合や、 S D画像を構成する画素を、 空間方向または時間方向に補間して H D画像を生成 した場合に、 その生成した S D画像や H D画像の画質の劣化を低減することがで きるためのである。
また、 ビデオカメラ 1に出力させる H D画像の縦の画素数を、 9 6 0画素とし たのは、 縦の画素数を、 4 8 0の整数倍とするとき、 9 6 0が、 現行の H D画像 の縦の画素数である 1 0 3 5 (図 1 6 ) に最も近く、 従って、 乗り換えを行うと きに、 画質の劣化を低減することができるからである。
さらに、 ビデオカメラ 2に出力させる S D画像の縦の画素数を 4 8 0画素にし たのは、 その値が、 現行の N T S C方式や P A L方式で採用されている画素数に 最も近い 4 8 0の倍数であるからである。
なお、 ビデオカメラ 2に出力させるアスペク ト比が 4 ： 3の S D画像の横の 画素数を 640とした場合、 その画素の横と縦との比は、 1 : 1 (= 4 X 4 8 0 : 3 X 640) となり、 計算機 4が出力する画像や、 ネットワーク 5から供給 される画像とのコンパチビリティ （c omp a t i b i l i t y) が取り易くな る。
また、 ビデオカメラ 2に出力させるアスペク ト比が 4 ： 3の S D画像の横の画 素数を 720とした場合、 その画素の横と縦との比は、 8 : 9 (=4 X 4 80 ： 3 X 720) となる。 これは、 ビデオカメラ 1が出力する HD画像が構成する画 素の横と縦との比 （8 : 9 = 1 6 X 960 : 9 X 1 920) に等しく、 従って、 この場合、 ビデオカメラ 2が出力する SD画素の横および縦の画素数を 2倍にし て、 その縦の画素数を、 ビデオカメラ 1が出力する HD画像の縦の画素数に等し い 9 60画素としたとき、 いわゆる真円率を維持することができる （画像が、 横 方向や縦方向に間延びしたものにならない） 。
統合符号化装置 6では、 そこに供給される画像 （ディジタル画像信号） を対象 に、 その符号化に必要な、 例えば、 編集処理や、 圧縮処理、 チャネル符号化処理 などの複数の処理の 1以上が、 他の処理を考慮した形で行われる。 ここで、 編集 処理には、 例えば、 カット編集を行ったり、 エフェク トをかけたりする、 いわゆ るビデオ編集のための処理の他、 例えば、 I SDB ( I n t e r g r a t e d S e r v i c e s D i g i t a l B r o a d c a s t i n g) (各種の情報 をディジタル化して送信するインタラクティブな放送） などを実現するための情 報や、 その他の付加価値を付けるための情報 （例えば、 より高画質の復号画像を 得るのに必要な情報） などを付加すること、 さらには、 ある画像と他の画像との 間にリンクを張ることなども含まれる。
統合符号化装置 6における処理の結果得られる伝送データは、 伝送路 1 3を介 して、 受信側に伝送される。 なお、 伝送路 1 3には、 例えば、 衛星回線や、 地上 波、 CATV網、 公衆網、 インタ一ネットなどの通信回線の他、 例えば、 磁気記 録 Z再生のプロセス、 さらには、 磁気ディスク、 光ディスク、 磁気テープ、 光磁 気ディスクその他の記録媒体も含まれる。 伝送路 1 3を介して伝送されてくる伝送データは、 受信側で受信され、 適応復 号化装置 7 (生成手段） に供給される。 適応複号化装置 7には、 画像を出力する 出力装置としての、 例えば、 HD画像を表示する高解像度の表示装置 9， SD画 像を表示する標準解像度または低解像度の表示装置 1 0、 画像を印刷するプリン タ 1 1、 コンピュータ （計算機） に接続されるコンピュータディスプレイ 1 2な どが接続されている （但し、 プリンタ 1 1は、 画素アスペク ト比変換器 8を介し て接続されている） 。 適応復号化装置 7は、 伝送データと、 所定の係数との線形 結合により、 表示装置 9， 1 0、 プリンタ 1 1、 またはコンピュータディスプレ ィ 1 2の解像度に対応した復号画像を生成し、 それぞれに出力する。
表示装置 9， 1 0、 およびコンピュータディスプレイ 1 2では、 適応複号化装 置 7からの復号画像が表示され、 プリンタ 1 1では、 適応復号化装置 7からの復 号画像が印刷される。
なお、 表示装置 9， 1 0、 またはコンピュータディスプレイ 1 2それぞれに おける画素の横と縦との比 （以下、 適宜、 画素ァスぺク ト比とレ、う） と、 復号 {¾ 像を構成する画素の画素ァスぺク ト比との違いは、 表示装置 9， 1 ◦、 またはコ ンピュータディスプレイ 1 2それぞれでの水平走查により吸収される。
また、 プリンタ 1 1では、 そのような水平走査により、 画素アスペク ト比の違 いを吸収することができないため、 その前段に、 画素ァスぺク ト比変換器 8が設 けられており、 そこで、 復号画像の画素ァスぺク ト比が、 プリンタ 1 1に対応し たものに変換される。
次に、 統合符号化装置 6における処理について説明する。
統合符号化装置 6では、 例えば、 圧縮処理が、 編集処理を考慮した形で行われ る。
即ち、 統合符号化装置 6では、 圧縮処理として、 例えば、 ADRC (
Ad a p t i v e Dy n a m i c R a n g e C o d i n g 処理カ行われ る。
ここで、 ADRC処理について、 簡単に説明する。 いま、 説明を簡単にするため、 図 2 Aに示すように、 直線上に並んだ 4画素で 構成されるブロックを考えると、 ADRC処理においては、 その画素値の最大値 MAXと最小値 M I Nが検出される。 そして、 DR-MAX— M I Nを、 ブロッ クの局所的なダイナミックレンジとし、 このダイナミックレンジ DRに基づいて、 プロックを構成する画素の画素値が Kビットに再量子化される。
即ち、 ブロック内の各画素値から、 最小値 M I Nを減算し、 その減算値を D R/2Kで除算する。 そして、 その結果得られる除算値に対応するコード （AD RCコード） に変換される。 具体的には、 例えば、 K= 2とした場合、 図 2 Βに 示すように、 除算値が、 ダイナミックレンジ DRを 4 (= 22) 等分して得られ るいずれの範囲に属するかが判定され、 除算値が、 例えば、 最も下のレベルの範 囲、 下から 2番目のレベルの範囲、 下から 3番目のレベルの範囲、 または最も上 のレベルの範囲に属する場合には、 それぞれ、 例えば、 00 Β， 0 1 Β, 1 0 Β、 または 1 1 Βなどの 2ビットにコード化される （Βは 2進数であることを表す） 。
ADRCでは、 再量子化の際のビッ ト数 Kは、 画素に割り当てられているビッ ト数よりも小さい値が用いられ、 従って、 各画素は、 そのような小さいビット数 に圧縮されることになる （但し、 その他に、 ブロックごとに、 最小値 M I Nとダ イナミ ックレンジ DRが生じる） 。
なお、 その復号は、 ADRCコード 00 B， 0 1 B, 1 0 B、 または 1 I Bを、 例えば、 ダイナミックレンジ DRを 4等分して得られる最も下のレベルの範囲の 中心値 L。。、 下から 2番目のレベルの範囲の中心値し。い 下から 3番目のレベル の範囲の中心値 Llt)、 または最も上のレベルの範囲の中心値 L„に変換し、 その 値に、 最小値 M I Nを加算することで行うことができる。
図 3は、 ADRC処理を行う AD RC処理回路の構成例を示している。
画像データは、 ブロック化回路 2 1に供給され、 そこで、 所定の大きさのプロ ックにブロック化される。 即ち、 ブロック化回路 2 1は、 画像データを、 例えば、 横 X縦が 4画素 X 4画素のブロックに分割する。 そして、 そのブロックを、 最小 値検出回路 22、 最大値検出回路 23、 および演算器 25に供給する。 最小値検出回路 22では、 プロック化回路 21からのプロックを構成する 1 6 (=4 X 4) 画素の中から、 最小値 M I Nが検出される。 この最小値 MI Nは、 ADRC処理結果の信号の 1つとして出力されるとともに、 演算器 24および 2 5に供給される。
同時に、 最大値検出回路 23では、 ブロック化回路 21からのブロックを構成 する 1 6画素の中から、 最大値 MAXが検出され、 演算器 24に供給される。 演算器 24では、 最大値 MAXから最小値 M I Nが減算され、 これによりブロ ックのダイナミックレンジ DRが求められる。 このダイナミックレンジ DRは、 ADRC処理結果の信号の 1つとして出力されるとともに、 量子化回路 26に供 給される。
一方、 演算器 2 5では、 ブロックを構成する 1 6画素それぞれから、 ブロッ クの最小値 M I Nが減算され、 その減算値が量子化回路 26に供給される。 量子 化回路 26では、 演算器 25からの減算値が、 演算器 24からのダイナミックレ ンジ DRに対応する量子化ステップで量子化される。 即ち、 量子化回路 26では、 例えば、 演算器 2 5の出力が、 DR,2Kで除算され、 その除算値の小数点以下 を切り捨てたものが、 ADRCコード （画素の再量子化結果） CODEとして出 力される。
ここで、 本実施の形態では、 再量子化の際のビット数 Kは、 各ブロックごとに、 例えば、 そのダイナミックレンジ DRの大きさに対応して決定されるようになさ れており、 これにより、 ADRCコードは可変長とされている。
即ち、 例えば、 いま、 4つの閾値 T l， Τ 2, Τ 3 , Τ 4が設定されているも のとし、 その大小関係が、 0く Τ 1く Τ 2く Τ 3く Τ4であるとする。 また、 元 の画像の画素には、 例えば、 8ビッ トが割り当てられているものとする （従って、 丁4は28未満） 。
この場合、 量子化回路 26では、 ダイナミックレンジ D が、 0以上 T 1未満、 丁 1以上丁 2未満、 Τ 2以上 Τ 3未満、 Τ 3以上 Τ 4未満、 または Τ 4以上 28 未満のうちのいずれの範囲内にあるかが判定される。 そして、 ダイナミックレン ジ DRが、 0以上 T l未満、 丁 1以上丁 2未満、 T 2以上 T 3未満、 T 3以上 T 4未満、 または T 4以上 28未満の範囲内にある場合、 再量子化の際のビッ ト数 Kとして、 例えば、 0乃至 4ビットがそれぞれ割り当てられる。 従って、 この場 合、 ADRCコードは、 最小で 0ビット、 最大で 4ビットになる。
ADRCコードが可変長の場合、 その復号を行うのに、 ADRCコードのビッ ト数 Kが必要となることから、 量子化回路 26では、 ダイナミックレンジ DRが、 上述のいずれの範囲内にあるかを示す閾値コ一ドを出力するようになされており、 この閾値コ一ドは、 最小値 MI N、 ダイナミックレンジ DR， ADRCコードと ともに、 ADRC処理結果として出力される。
なお、 最小値 MI N、 ダイナミックレンジ DR、 および閾値コードは、 例えば 固定長とされている。
ここで、 上述の場合においては、 ADRCコードを可変長としたが、 再量子化 の際のビット数 Kを、 ブロックのダイナミックレンジ DRに無関係に固定値とし、 これにより、 ADRCコ一ドは固定長とすることも可能である。
以上のような ADRC処理により得られる ADRCコードは、 元の画素に割 り当てられているビット数よりも少なくなつている。 一方、 ADRC処理の結果 得られる最小値 M I N、 ダイナミックレンジ DR， ADRCコードは、 ブロック 単位で取り扱うことが可能であり、 従って、 ADRC処理後の画像は、 例えば、 フレーム単位で編集することができる。
以上から、 圧縮処理として AD R C処理を行い、 その ADRC処理結果を、 各種の編集処理の対象とすることで、 ADRC処理前の元の画像を対象にする場 合とほぼ同一の編集処理を行うことができるとともに、 その処理の負荷を、 AD R C処理前の元の画像を対象にする場合に比較して軽減することができる。
従って、 圧縮処理としての ADRC処理は、 編集処理を考慮したものどいうこ とができ、 その結果、 編集処理を効率的に行うことが可能となる。
なお、 ADRCについては、 例えば、 本件出願人が先に出願した特開平 3— 5 3 778号公報などに、 その詳細が開示されている。 また、 ADRCは、 ブロック単位で符号化を行うので、 ブロック符号化という ことができるが、 ブロック符号化には、 ADRCの他、 ブロックを構成する画素 の平均値および標準偏差とともに、 その各画素と、 平均値との大小関係を表す 1 ビッ トのフラグを求めるものなどがある。 統合符号化装置 6による圧縮処理とし ては、 このようなプロック符号化を採用することも可能である。
さらに、 上述の場合においては、 最小値 M I Nとダイナミックレンジ DRを、 ADRC処理結果に含ませるようにしたが、 ADRC結果には、 その他、 最小値 M I Nとブロックの最大値 MAXや、 ダイナミックレンジ DRとプロックの最大 値 MAXを含ませるようにすることが可能である。
また、 上述の場合には、 1フレームの横 4画素と縦 4画素とで、 ブロックを構 成するようにしたが、 ブロックは、 時間的に連続する複数フレームを構成する画 素で構成するようにすることも可能である。
ところで、 ADRC処理の結果得られるブロックごとの最小値 M I N、 ダイナ ミックレンジ DR、 閾値コード、 および ADRCコードの伝送方法としては、 例 えば、 同期をとるための同期パターンの後に、 所定のデータ量の ADRC結果を 配置したブロック （以下、 適宜、 シンクブロックという） を構成し、 そのような シンクブロック単位で、 伝送を行うものがある。
シンクブロック単位で伝送を行う場合、 最小値 M I N、 ダイナミックレンジ D R、 および閾値コードは、 上述したように固定長であるから、 これらのデータは、 シンクブロックの固定の位置に配置するようにすれば、 1のシンクブロックが、 例えば欠落などして得られなくても、 その影響が、 他のシンクブロックに配置さ れた最小値 M I N、 ダイナミックレンジ DR、 および閾値コードに及ぶことはな レ、。
しかしながら、 ADRCコードは可変長であるから、 例えば、 ADRCコード 力 S、 1のシンクブロックに入りきらずに、 複数のシンクブロックに分けて配置さ れている場合には、 1のシンクブロックの欠落が、 他のシンクブロックに影響を 及ぼすことがある。 即ち、 その複数のシンクブロックのうちの最初のシンクブロ ックが欠落した場合、 2番目のシンクプロックの最初に配置されている ADR C コードが、 ブロックのどの位置の画素に対応するものなのか、 さらに、 その AD RCコードとして配置されているビットが、 最初のシンクブロックの最後に配置 された ADRCコードの続き （一部） を構成するビットなのか、 あるいは、 AD RCコードの最初のビットなのかが分からなくなる。 その結果、 2番目以降のシ ンクブ口ックに配置された ADRCコ一ドも取り出すことができなくなり、 この ように、 いわば、 あるシンクブロックのエラ一が、 他のシンクブロックにも伝搬 することになる。
ところで、 あるブロックの ADRCコードがすべて失われた場合であっても、 最小値 M I Nが分かれば、 すべての画素が、 その最小値 M I Nを画素値として有 するブロックを再生することができる。 しかしながら、 このブロックは、 画素
(画素値） が同一の値の、 いわば平坦なものであるから、 元の画像の再現性は低 レヽものとなる。
そこで、 より高い再現性を実現するために、 ADRCコードを、 例えば、 MS B (Mo s t S i g n i f i c a n t B i t) と、 それ以外 （以下、 適宜、 残りビッ トという） とに分離し、 M S Bも、 最小値 M I N、 ダイナミックレンジ DR、 および閾値コードと同様に、 シンクブロックの固定の位置に配置するよう にすることができる。 この場合、 残りビッ トが失われても、 MS Bを、 ダイナミ ックレンジ DRにしたがって逆量子化することで、 2値で構成されるブロックを 得ることができ、 ADRCコードがすべて失われた場合に比較して再現性の高い 画像を得ることが可能となる。
図 4は、 以上のようなシンクブロックを構成するシンクブロック処理を行うシ ンクブ口ック構成回路の構成例を示している。
ADRC処理回路 （図 3) が出力する最小値 M I N、 ダイナミックレンジ D R、 閾値コードはく マルチプレクサ 3 2に供給され、 また、 ADRCコ一ドは、 分離器 3 1に供給される。 分離器 3 1では、 ADRCコードが、 MS Bと残りビ ットとに分離され、 いずれも、 マルチプレクサ 3 2に供給される。 マルチプレクサ 3 2には、 上述したデータの他、 同期パターンが供給されてい る。 マルチプレクサ 3 2は、 そこに供給されるデータを時分割多重化して、 例え ば、 図 5に示すようなシンクプロックを構成して出力する。
即ち、 図 5に示すように、 シンクブロックの先頭には、 固定長の同期パターン が配置され、 その後には、 固定長の付加データが配置される。 ここで、 付加デー タとは、 閾値コードなどの固定長のデータだけで構成される。 付加データの後に は、 残りビットが、 所定のバイ ト数だけ配置される。 即ち、 付加データの後には、 先頭から 一 1バイ ト目までに、 残りビッ 卜が配置される。
そして、 先頭から 1^バイ ト目以降に、 ダイナミックレンジ DR， MS B、 最 小値 M I Nが、 例えば、 DR， MS B, M I N, MS B, DR， · . ' の順番で 配置される。 ダイナミックレンジ DR， MS B, 最小値 M I Nが所定数だけ配置 された後には、 再び、 残りビッ トが配置される。 そして、 先頭から N2バイ ト目 以降に、 再び、 ダイナミックレンジ DR， MS B, 最小値 M I Nが、 上述した順 番で、 所定数だけ配置される。 以下、 同様の配置が、 シンクブロックの最後まで 繰り返される。
以上のように、 ダイナミックレンジ DR， MS B、 最小ィ直 M I Nは、 シンクブ ロックの先頭から N Ν2， · · 'バイ ト目のように、 決まった位置から配置さ れ、 さらに、 これらのデータは固定長であるから、 シンクブロックの固定の位置 に配置されることになる。
以上のシンクブロック処理は、 ADRCコード （残りビッ ト） にエラ一が生じ た場合であっても、 元の画像に比較的近い復号画像を得ることができるようにす るものであり、 残りビッ トがなくても、 再現性の高い復号画像を得ることができ る。 従って、 極端には、 残りビットには、 誤り訂正のための、 例えば ECCなど を付加しなくても良く、 この場合、 チャネル符号化処理に対する負荷を軽減する ことができる。 この意味で、 シンクブロック処理は、 チャネル符号化処理を考盧 したものとレ、うことができる。
なお、 シンクブロック処理については、 例えば、 本件出願人が先に出願した特 開平 2— 1 6 2 9 8 0号公報などに、 その詳細が開示されている。
次に、 統合符号化装置 6には、 圧縮処理として、 A D R C処理の他、 例えば、 階層符号化処理を行わせることも可能である。
階層符号化は、 例えば、 高解像度の画像データを、 最下位階層または第 1階層 の画像データとして、 それより画素数の少ない第 2階層の画像データ （圧縮画 像） を形成し、 さらに、 それより画素数の少ない第 3階層の画像データを形成し、 以下、 同様にして、 最上位階層までの画像データを形成するもので、 各階層の画 像データは、 その階層に対応した解像度 （画素数） のモニタで表示される。 従つ て、 ュ一ザ側では、 階層符号化された画像データのうち、 自身が有するモニタの 解像度に対応するものを選択することで、 同一内容の画像を視聴することができ る。
ところで、 ある解像度の画像データを最下位階層 （第 1階層） の画像デ一タと して、 上位階層の画像データを、 順次形成し、 それらのすべてを、 そのまま記憶 や伝送などする場合には、 最下位階層の画像データだけを記憶等する場合に比較 して、 上位階層の画像データの分だけ、 記憶容量や伝送容量が余計に必要となる。 そこで、 ここでは、 そのような記憶容量等の増加のない階層符号化を、 統合符 号化装置 6における圧縮処理として採用する。
即ち、 例えば、 いま、 下位階層における 2 X 2画素 （横 X縦） の 4画素の平均 値を、 上位階層の画素 （画素値） とし、 3階層の階層符号化を行うものとする。 この場合、 最下位階層の画像として、 例えば、 図 6 Aに示すように、 8 X 8画素 を考えると、 その左上の 2 X 2画素の 4画素 h 0 0， h 0 1 , h 0 2 , h 0 3の 平均値 m Oが演算され、 これが、 第 2階層の左上の 1画素とされる。 同様にして, 最下位階層の画像の右上の 4画素 h 1 0， h 1 1 , h i 2 , h 1 3の平均値 m 1、 左下の 4画素 h 2 0， h 2 1 , h 2 2 , h 2 3の平均値 m 2、 右下の 4画素 h 3 0， h 3 1 , h 3 2 , h 3 3の平均値 m 3が演算され、 それぞれが、 第 2階層の 右上、 左下、 右下の 1画素とされる。 さらに、 第 2階層の 2 X 2画素の 4画素 m 0， m 1 , m 2， m 3の平均値 qが演算され、 これが、 第 3階層、 即ち、 ここで は、 最上位階層の画像の画素とされる。
以上の画素 h 00乃至 h 03， h l O乃至 h l 3， h 20乃至 h 23， h 3 0 乃至 h 3 3， mO乃至 m3， qを、 そのまま全部記憶などさせたのでは、 上述の ように、 画素 mO乃至 m3, qの分だけ余分に記憶容量等が必要となる。
そこで、 図 6 Bに示すように、 第 3階層の画素 qを、 第 2階層の画素 mO乃至 m3のうちの、 例えば、 右下の画素 m 3の位置に配置する。 これにより、 第 2階 層は、 画素 mO乃至 m2および qで構成されることになる。
そして、 図 6 Cに示すように、 第 2階層の画素 mOを、 それを求めるのに用 いた第 3階層の画素 h 00乃至 h 03のうちの、 例えば、 右下の画素 h 03の位 置に配置する。 第 2階層の残りの画素 m 1， m2, qも、 同様に、 第 1階層の画 素 h i 3， h 23 , h 33に代えて配置する。 なお、 画素 qは、 画素 h 3 0乃至 h 3 3から直接求められたものではないが、 それらから直接求められた m 3に代 えて第 2階層に配置されているものであるから、 画素 h 3 3の位置に画素 m 3を 配置する代わりに、 画素 qを配置する。
以上のようにすることで、 図 6 Cに示すように、 全画素数は 4 4の 1 6画素 となり、 図 6 Aに示した最下位階層の画素だけの場合と変わらない。 従って、 こ の場合、 記憶容量等の増加を防止することができる。
なお、 画素 qと代えられた画素 m 3、 画素 mO乃至 m 3とそれぞれ代えられた 画素 h 03， h i 3， h 23 , h 3 3の復号は、 次のようにして行うことができ る。
即ち、 qは、 m 0乃至 m 3の平均値であるから、 式 q = (m 0 +m 1 +m 2 + m 3 ) ノ 4が成り立つ。 従って、 式 m3 = 4 X q— (m 0 +m 1 +m 2) により、 m 3を求めることができる。
また、 mOは、 h 00乃至 h 03の平均値であるから、 式 mO= (h O O + h 0 1 +h 02 + h 03) 4が成り立つ。 従って、 式 h 03 =4 XmO— (h 0 0 + h 0 1 +h 02) により、 h 03を求めることができる。 同様にして、 h i 3， h 23 , h 3 3も求めることができる。 図 7は、 以上のような階層符号化処理を行う階層符号化回路の構成例を示して いる。 この階層符号化回路では、 例えば、 上述したような 3階層の階層符号化か 行われるようになされている。
即ち、 第 1階層 （最下位階層） の画像データ （ここでは、 上述したように、 プログレッシブな画像） は、 平均値算出回路 4 1および画素抜き出し回路 4 3に. 供給される。
そして、 平均値算出回路 4 1では、 第 1階層の画像について、 例えば、 上述し たような 2 X 2画素の合計 4画素の平均値が計算され、 これにより、 第 2階層の 画像が形成される。 この第 2階層の画像は、 平均値算出回路 4 2および画素抜き 出し回路 4 4に供給される。
平均値算出回路 4 2では、 第 2階層の画像について、 例えば、 上述したような 2 X 2画素の合計 4画素単位の平均値が計算され、 これにより、 第 3階層の画像 が形成される。 この第 3階層の画像は、 画素挿入回路 4 5に供給される。
画素抜き出し回路 4 3では、 第 1階層の画像から、 図 6で説明した画素 h O 3， h 1 3 , h 2 3の位置に対応する画素が抜き出され、 残りが、 画素挿入回路 4 5に供給される。 画素抜き出し回路 4 4では、 第 2階層の画像から、 図 6で説 明した画素 m 3の位置に対応する画素が抜き出され、 残りが、 画素挿入回路 4 5 に供給される。
画素挿入回路 4 5では、 画素抜き出し回路 4 3からの第 1階層の画像の画素 h 0 3， h i 3， h 2 3に対応する位置に、 画素抜き出し回路 4 4からの第 2階層 の画像の画素 （例えば、 画素 m 0乃至 m 2など） が挿入され、 さらに、 第 1階層 の画像の画素 h 3 3に対応する位置に、 平均値算出回路 4 2からの第 3階層の画 素 （例えば、 画素 qなど） が挿入される。 以上のようにして、 図 6 Cで説明した ような画像データが構成され、 これが、 階層符号化結果として出力される。
通常の階層符号化によれば、 上述のように、 上位階層の画像データの分だけ、 記憶容量や伝送容量が余計に必要となるが、 図 6および図 7で説明した階層符号 ィ匕 （以下、 適宜、 改良型階層符号化という） によれば、 その結果得られるデータ 量は、 最下位階層の画像と変わらない。 この意味で、 改良型階層符号化は、 情報 圧縮処理であるということができる。
ここで、 階層符号化を行った場合に、 下位階層の画像は、 上位階層の画像を用 いて、 例えば補間などを行うことにより得ることができる （但し、 得られる画像 は、 下位階層の画像と同一の画像ではなく、 画質の劣化したものとなる） 。 従つ て、 最悪の場合であっても、 最上位階層の画像を復元できれば、 すべての階層の 画像を得ることができるから、 誤り訂正のための、 例えば、 E C Cの付加などは、 少なく とも、 最上位階層の画像を対象に行えば充分で、 すべての階層の画像を対 象に行う必要は必ずしもなく、 この場合、 チャネル符号化処理に対する負荷を軽 減することができる。 この意味で、 階層符号化処理は、 チャネル符号化処理を考 慮したものということができる。
なお、 上述の場合においては、 空間方向の画素数を少なく して、 上位階層の画 像を形成するようにしたが、 上位階層の画像は、 その他、 例えば、 時間方向の画 素数を少なく して形成することも可能である。
次に、 統合符号化装置 6における編集処理の 1つである、 I S D Bを実現する ための情報の付加について説明する。
図 8は、 統合符号化装置 6の、 I S D Bを実現するための部分である I S D B 用送信装置の構成例を示している。
符号化部 5 1には、 例えば、 S D画像とそれに付随する音声とが入力され、 そ こでは、 例えば、 上述した A D R C処理などの圧縮処理が施され、 多重化部 5 7 に出力される。 また、 符号化部 5 1は、 その圧縮処理のタイミングを表す同期信 号をタイムコード発生部 5 2に出力する。 タイムコード発生部 5 2は、 符号化部 5 1の出力に付加する付加情報として、 例えば、 タイムコードなどを、 符号化部 5 1からの同期信号に同期して発生し、 多重化部 5 7に出力する。
符号化部 5 3またはタイムコード発生部 5 4においても、 処理の対象が、 S D画像ではなく、 H D画像であることを除けば、 符号化部 5 1またはタイムコ一 ド発生部 5 2における場合とそれぞれ同様の処理が行われる。 そして、 符号化部 53における圧縮処理の結果得られる符号化データ、 およびタイムコード発生部 54が出力するタイムコードは、 いずれも、 多重化部 57に供給される。
符号化部 5 5には、 例えば、 コンピュータのプログラムや、 そのプログラムの 実行に必要なデータ、 ファクシミリのデータ、 さらには、 地域情報などのマルチ メディアを実現するためのデータが入力され、 そこでは、 それらのデータが圧縮 され、 符号化データとして、 多重化部 57に出力される。 また、 符号化部 5 5は、 その圧縮処理のタイミングを表す同期信号を付加情報発生部 56に出力する。 付 加情報発生部 56は、 符号化部 55で圧縮されているデータの種類などを表す付 加情報を、 符号化部 55からの同期信号に同期して発生し、 多重化部 5 7に出力 する。
ここで、 符号化部 5 5に入力される地域情報とは、 各地域に特有の情報であり、 例えば、 各地域の天気予報や、 地図、 施設に関する情報 （例えば、 飲食店のサ一 ビス内容や、 営業時間など） 、 企業の宣伝広告などが含まれている。 また、 この ような地域情報については、 付加情報発生部 56は、 各地域情報の該当する地域 を表す地域コードを、 付加情報として発生する。
多重化部 5 7では、 符号化部 5 1、 タイムコード発生部 5 2、 符号化部 53、 タイムコード発生部 54、 符号化部 5 5、 および付加情報発生部 56の出力が多 重化されて出力される。
次に、 図 9は、 統合符号化装置 6において、 圧縮処理として、 ADRC処理が 行われる場合の、 適応復号化装置 7 (図 1) の構成例を示している。 即ち、 図 9 は、 適応復号化装置 7の、 ADRC処理結果を復号する ADRC復号処理を行う 部分である ADRC復号回路の構成例を示している。
デマルチプレクサ 1 0 1には、 伝送路 1 3 (図 1) を介して伝送されてくる伝 送データとしての、 ADRC処理結果が配置されたビットストリ一ムが入力され、 そこでは、 伝送データから、 最小値 MI N、 ダイナミックレンジ DR， ADRC コードが分離される。 なお、 ADRCコードの分離は、 デマルチプレクサ 1 0 1 において、 伝送データから閾値コードが分離され、 その閾値コードに基づいて、 ADRCコードに対しての割当ビッ ト数 （上述の K) が認識されることで行われ る。
そして、 最小値 M I Nは、 演算器 1 03に、 ダイナミックレンジ DRおよび A DRCコードは、 逆量子化回路 1 0 2に、 それぞれ供給される。 逆量子化回路 1 02では、 ADRCコードが、 ダイナミックレンジ DRに対応する量子化ステツ プで逆量子化され、 その結果得られる逆量子化値が演算器 1 03に供給される。 演算器 1 03では、 逆量子化回路 1 02からの逆量子化値と、 最小値 M I Nとが 加算され、 これにより、 画素が復号される。
そして、 1ブロック分の画素が得られると、 演算器 1 03は、 その 1ブロック 分の画素を、 フレーム構成回路 1 04に供給する。 フレーム構成回路 1 04は、 プロック単位で供給される画素を順次記憶し、 1フレーム分の画素を記憶するご とに出力する。
なお、 ADRCコ一ドが、 上述したように、 MS Bと残りビッ トとに分離され ている場合には、 デマルチプレクサ 1 0 1は、 その MS Bと残りビッ トとを合わ せて、 元の ADRCコードを復元する処理も行うようになされている。 また、 A DRCコードが、 MS Bと残りビッ トとに分離されている場合において、 残りビ ッ トにエラーが生じているときには、 デマルチプレクサ 1 0 1は、 MS Bを AD RCコードとして逆量子化回路 1 0 2に出力するようになされている。
ところで、 ADR C復号処理においては、 上述したように、 残りビッ トがエラ —になっても、 MS Bと、 最小値 M I Nおよびダイナミックレンジ DRとがあれ ば、 ある程度、 再現性の良い復号画像 （元の画像に近い復号画像） を得ることが できる。 しかしながら、 最小値 M I Nやダイナミックレンジ DRがエラーになる と、 そのブロックを復号することが困難となる。
そこで、 図 1 0は、 最小値 M I Nやダイナミックレンジ DRがエラーになって も、 比較的精度良く、 ブロックを復号することができる ADRC復号回路の構成 例を示している。 なお、 図中、 図 9における場合と対応する部分については、 同 一の符号を付してあり、 以下では、 その説明は、 適宜省略する。 即ち、 この AD RC復号回路は、 セレクタ 1 05および 1 06、 メモリ 1 0 7、 および復元回路 1 08が新たに設けられている他は、 基本的に、 図 9における場合と同様に構成 されている。
セレクタ 1 05には、 デマルチプレクサ 1 0 1が出力するダイナミックレンジ DRと、 復元回路 1 08が出力するダイナミックレンジの予測値 DR， とが供給 されるようになされている。 セレクタ 1 06には、 デマルチプレクサ 1 0 1が出 力する最小値 M I Nと、 復元回路 1 08が出力する最小値の予測値 M I N' とが 供給されるようになされている。 また、 ここでは、 デマルチプレクサ 1 0 1は、 伝送データに含まれる最小値 M I N、 ダイナミックレンジ DRにエラ一が生じて いるかどうかを検出するようになされており、 エラーが生じている場合、 エラ一 信号を、 セレクタ 1 05および 1 0 6に出力するようになされている。
セレクタ 1 0 5は、 エラー信号を受信していないとき、 即ち、 最小値 M I N、 ダイナミックレンジ DRにエラ一が生じていないとき、 デマルチプレクサ 1 0 1 が出力するダイナミックレンジ DRを選択し、 逆量子化回路 1 0 2に出力する。 同様に、 セレクタ 1 06も、 エラ一信号を受信していないときは、 デマルチプレ クサ 1 0 1が出力する最小値 M I Nを選択し、 演算器 1 03に出力する。
従って、 この場合、 図 9における場合と同様にして、 ADRC復号処理が行わ れる。
一方、 演算器 1 03が出力する画素の復号値は、 フレーム構成回路 1 04だけ でなく、 メモリ 1 0 7にも供給されるようになされている。 メモリ 1 07では、 演算器 1 03からの画素の復号値が、 対応するァドレスに記憶される。
そして、 復元回路 1 08において、 いま ADRC復号処理の対象となっている ブロックの周辺にある画素の復号値が、 例えば、 ブロックを構成する画素数と同 一の数だけ、 即ち、 本実施の形態では、 上述したように 1 6だけ、 メモリ 1 0 7 から読み出される。 さらに、 復元回路 1 08は、 その 1 6画素の最小値と、 ダイ ナミックレンジ （最大値と最小値との差） を検出し、 それぞれを、 いま ADRC 復号処理の対象となっているブロックの最小値の予測値 M I N， と、 ダイナミツ クレンジの予測値 DR， として、 セレクタ 1 06と 1 0 5に、 それぞれ出力する。 セレクタ 1 0 5または 1 06は、 デマルチプレクサ 1 0 1からエラー信号を受 信したとき、 即ち、 最小値 MI N、 ダイナミックレンジ DRにエラ一が生じてい るとき、 復元回路 1 08からのダイナミックレンジの予測値 DR' または最小値 の予測値 Ml Ν' を選択し、 逆量子化回路 1 02または演算器 1 03にそれぞれ 出力する。
従って、 この場合、 逆量子化回路 1 0 2では、 ダイナミックレンジの予測値 D R' を用いて逆量子化が行われ、 また、 演算器 1 03では、 最小値の予測値 M l Ν' を用いて画素が復号される。
あるブロックに注目した場合に、 その注目ブロックを構成する画素と、 その注 目ブロックの周辺にある画素との間には、 通常、 大きな相関があり、 従って、 そ のような相関のある画素によれば、 注目プロックのダイナミックレンジおよび最 小値を、 比較的精度良く予測することができる。 その結果、 そのような予測値を 用いることで、 真の最小値 M I Νおよびダイナミックレンジ DRを用いた場合と ほぼ同様の復号画像を得ることが可能となる。
なお、 以上のような ADRC復号処理については、 例えば、 本件出願人が先に 出願した特開昭 63— 25 73 90号公報などに、 その詳細が開示されている。 ここで、 AD R C処理を行った場合、 上述のように、 最小値 M I Νや、 ダイ ナミックレンジ DRにエラーが生じても、 ある程度の復号画像を得ることができ る。 さらに、 ADRC処理に加えて、 シンクブロックブロック処理を行うことで、 上述したように、 残りビッ トのエラ一にも対処することが可能となる。 また、 階 層符号化を行う場合においても、 誤り訂正のための処理は、 上述したように、 少 なく とも、 最上位階層の画像を対象に行えば充分で、 すべての階層の画像を対象 に行う必要は必ずしもない。
従って、 ADRC処理や、 シンクブロックブロック処理、 階層符号化処理は、 エラーに対する耐性の強い、 いわばロバストな処理ということができる。 いま、 このようなエラーに対する耐性の強い口バストな処理を、 口バス ト符号化という ものとすると、 統合符号化装置 6において行われる処理は、 そのようなロバスト 符号化と、 編集処理などとを統合した統合符号化処理ということができる。
なお、 ロバス ト符号化のうち、 例えば、 A D R C処理では、 それを行うことに より、 情報量が削減されるとともに、 エラーに対する耐性も向上することから、 画像の圧縮処理と、 誤り訂正のための処理とが、 いわば有機的に結合して行われ ているということができる。
次に、 図 1 1は、 適応復号化装置 7の、 I S D Bを実現するための部分である I S D B用受信装置の構成例を示している。
信号分離部 1 1 1には、 伝送路 1 3を介して伝送されてくる伝送データが入 力され、 そこでは、 伝送データから、 例えば、 画像 （S D画像や、 H D画像） 、 およぴそれに付随する音声を符号化した符号化データが抽出される。 信号分離部 1 1において得られた符号化データは、 復号部 1 1 2にそれぞれ出力される。 復号部 1 1 2では、 信号分離部 1 1 1からの符号化データが復号される。 即 ち、 例えば、 画像の符号化データについては、 A D R C復号処理などが行われる。 復号部 1 1 2における復号処理の結果得られる画像およびそれに付随する音声は、 セレクタ 1 1 3を介して出力される。 画像は、 例えば、 表示装置 9， 1 0、 また はコンピュータディスプレイ 1 2に供給されて表示され、 あるいは、 画素ァスぺ ク ト比変換器 8を介してプリンタ 1 1に供給されて印刷される。 また、 音声は、 図示せぬスピーカに供給されて出力される。
また、 信号分離部 1 1 1では、 伝送データから、 例えば、 地域情報と、 その地 域情報に対応する付加情報としての地域コードとが抽出され、 復号部 1 1 4に供 給される。 復号部 1 1 4では、 地域コードに対応して、 地域情報の復号が行われ る。
即ち、 受信した地域情報が、 ユーザが所望する地域の情報であるとは限らない ため、 復号部 1 1 4では、 あらかじめ入力された地域に対応する地域コードとと もに入力された地域情報だけの復号が行われる。
地域の入力は、 例えば、 制御部 1 2 3を操作することにより行うことができる ようになされており、 その入力された地域は、 ORゲート 1 22を介して、 復号 部 1 1 4に供給される。
また、 地域の入力は、 例えば、 GP S (G l o b a l P o s i t i o n- i n g S y s t e m) システム （システムとは、 複数の装置が論理的に集合し たものをいい、 各構成の装置が同一筐体中にあるか否かを問わない） を利用して 行うことなども可能である。 即ち、 GP S衛星からの電波が、 アンテナ 1 1 8で 受信され、 その受信信号が、 0 3受信部1 1 9に供給される。 0 3受信部1 1 9は、 アンテナ 1 1 8からの受信信号から、 図 1 1の I S DB用受信装置が設 置されている位置を計算し、 その計算結果としての位置情報 （例えば、 緯度と経 度など） を、 地域判別部 1 20に供給する。 地域判別部 1 20は、 GP S受信部 1 1 9からの位置情報から地域を判別し、 その地域に割り当てられているコード をメモリ 1 2 1に出力して記憶させる。 メモリ 1 2 1に記憶されたコ一ドは、 〇 Rゲ一ト 1 22を介して、 復号部 1 1 4に供給され、 復号部 1 1 4では、 そのコ 一ドに一致する地域コ一ドとともに入力された地域情報だけが復号される。
復号部 1 1 4で復号された地域情報は、 メモリ 1 1 5に供給されて記憶される。 従って、 メモリ 1 1 5には、 例えば、 ユーザが住んでいる地域の地域情報などだ けが蓄積されていく。
メモリ 1 1 5に記憶された地域情報を視聴する場合、 ユーザは、 そのように制 御部 1 23を操作する。 メモリ 1 1 5カゝらは、 制御部 1 23の操作に対応して、 地域情報が読み出され、 セレクタ 1 1 6に供給される。 セレクタ 1 1 6では、 メ モリ 1 1 5からの地域情報のうちのいずれか、 または全部が選択され、 セレクタ 1 1 3を介して出力される。 これにより、 地域情報は、 上述の画像と同様に、 表 示装置 9に表示等される。
なお、 同一地域の地域情報であっても、 その中には、 ュ一ザが必要とするもの とそうでないものとがある場合がある。 セレクタ 1 1 6では、 ュ一ザが必要とす る地域情報のみが、 制御部 1 23の操作に対応して選択されるようになされてい る。 また、 セレクタ 1 1 3では、 制御部 1 2 3の操作に対応して、 復号部 1 1 2の 出力か、 またはセレクタ 1 1 6の出力のうちのいずれか一方が選択されて出力さ れるようになされている。
さらに、 図 8の I S D B用送信装置においては、 画像およびそれに付随する音 声の付加情報として、 タイムコードを多重化するようにしたが、 画像およびそれ に付随する音声の付加情報としては、 その他、 例えば、 その画像および音声で構 成される番組を識別するための識別コードなどを多重化することが可能である。 この場合、 所望の番組の識別コードをあらかじめ入力しておくことによって、 そ の識別コードに対応する番組を選択することが可能となる。 従って、 例えば、 所 望の番組が送信されてきたときのみ、 その番組を選択して出力するようにするこ となどが可能となる。
なお、 以上のような I S D B用送信装置や I S D B用受信装置については、 例えば、 本件出願人が先に出願した特願平 7— 2 0 7 1 5 8号や特願平 7— 2 4 3 4 5 3号などに、 その詳細が開示されている。
次に、 適応復号化装置 7は、 復号画像の解像度が、 表示装置 9， 1 0、 プリン タ 1 1、 またはコンピュータディスプレイ 1 2のうちの、 その復号画像を出力さ せようとしている出力装置の解像度より低い場合、 その解像度の低い復号画像と、 所定の係数との線形結合により、 出力装置の解像度に対応した復号画像を生成す る解像度創造処理を行うようになされている。
なお、 復号画像の画素数が、 出力装置の画素数より少ない場合においては、 例えば、 補間フィルタなどによる補間を行うことにより、 復号画像の画素数を、 出力装置の画素数に一致させる方法があるが、 このような、 いわば単純な補間で は、 元の復号画像に含まれていない高周波成分は再現されないから、 解像度は向 上しない。 これに対して、 解像度創造処理では、 後述するように、 そのような高 周波成分を再現することができる。
また、 復号画像の画素数が、 出力装置の画素数より多い場合には、 例えば、 間引きを行ったり、 階層符号化における場合のように、 幾つかの画素の平均値な どを、 その幾つかの画素に換えて配置したりすることにより、 復号画像の画素数 が、 出力装置の画素数に一致するように少なくされる。
図 1 2は、 適応複号化装置 7の、 解像度創造処理を行う部分である解像度創造 回路の構成例を示している。
なお、 ここでも、 階層符号化における場合と同様に、 解像度の高い （画素数の 多い） 画像を下位階層の画像とし、 解像度の低い （画素数の少ない） 画像を上位 階層の画像とする。
例えば、 図 1 3において '印で示す部分を、 下位階層の画像を構成する画素 (以下、 適宜、 下位画素という） とするとともに、 同図において〇印で示す部分 を、 上位階層の画像を構成する画素 （以下、 適宜、 上位画素という） とするとき、 解像度創造回路は、 同図に〇印で示す画素で構成される上位階層の画像を、 同図 に ·印で示す画素で構成される下位階層の画像に変換するようになされている。 即ち、 上位階層の画像は、 クラス分類用ブロック化回路 1 3 1および予測値計 算用プロック化回路 1 3 3に供給される。
クラス分類用ブロック化回路 1 3 1は、 そこに供給される上位階層の画像から、 所定の注目画素を含むクラス分類用ブロックを構成する。 即ち、 クラス分類用ブ ロック化回路 1 3 1は、 例えば、 図 1 3において実線で囲んで示すような、 注目 画素を中心とする 5 X 5 (横 X縦） の上位画素で構成されるクラス分類用ブロッ クを構成する。
ここで、 クラス分類用ブロックを構成する 5 X 5の上位画素 （図 1 3におい て〇印で示す部分） を、 以下、 適宜、 次のように表記する。 即ち、 クラス分類用 ブロックの中の左から i番目の、 上から j番目に位置する上位画素を、 Β と表 記する。 従って、 図 1 3の実施の形態において、 クラス分類用ブロックは、 上位 画素 Β 33を注目画素として構成されることになる。 また、 クラス分類用ブロック を構成する上位画素から生成 （予測） される下位画素 （図 1 3において ·印で示 す部分） を、 以下、 適宜、 上位画素と同様に、 Α と表記する。
クラス分類用プロック化回路 1 3 1は、 クラス分類用プロックを構成すると、 それを、 クラス分類回路 1 3 2に出力する。 クラス分類回路 1 3 2は、 クラス分 類用プロックを、 その性質に応じて所定のクラスに分類するクラス分類を行い、 その結果得られるクラスを、 予測回路 1 3 4に供給する。
予測回路 1 3 4には、 さらに、 予測値計算用ブロック化回路 1 3 3から予測 値計算用ブロックが供給される。 予測値計算用ブロック化回路 1 3 3では、 例え ば、 図 1 3において点線の四角形で囲むような、 注目画素 B 33を中心とする 3 X 3画素の予測値計算用ブロックが構成され、 予測回路 1 3 4に供給される。
ここで、 予測値計算用プロックおよびクラス分類用プロックの構成方法は、 上述したものに限定されるものではない。 なお、 予測値計算用ブロックは、 基本 的に、 どのように構成しても良いが、 クラス分類用ブロックは、 予測値計算用ブ 口ックの特徴が含まれるように構成するのが好ましい。
予測回路 1 3 4は、 注目画素についての予測値計算用ブロックとクラスを受 信すると、 後述するような予測係数であって、 受信したクラスに対応するものと、 予測値計算用プロックを構成する上位画素の画素値との線形結合により、 下位画 素の画素値の予測値を求める適応処理を行う。 即ち、 予測回路 1 3 4は、 クラス に対応する予測係数と、 予測値計算用ブロックを構成する上位画素 B 22， B 23， B 24， B 32， B 33， B 34， B 42， B 43， B 44 と力 ら、 例えば、 注目画素 B 33を中心と する 3 X 3の範囲の下位画素 A43， A44， A45, A53, A54, A55， A63， A64， A65 の予測値を求める。
予測回路 1 3 4では、 以下同様の処理が、 画素 B 33以外の上位画素を、 順次、 注目画素として行われ、 これにより、 下位階層の画像を構成するすべての下位画 素の予測値が求められる。
ここで、 予測回路 1 3 4には、 解像度設定回路 1 3 5から解像度信号が供給さ れるようになされている。 解像度設定回路 1 3 5は、 適応複号化装置 7が画像を 出力させる出力装置 （図 1の実施の形態では、 表示装置 9， 1 0、 プリンタ 1 1、 またはコンピュータディスプレイ 1 2 ) と、 例えば通信を行うことにより、 その 解像度を認識し、 認識した解像度を表す解像度信号を予測回路 1 3 4に供給する ようになされている。
そして、 予測回路 1 3 4では、 各種の解像度の画像についての予測係数が記憶 されており、 解像度設定回路 1 3 5からの解像度信号に対応した解像度について の予測係数を用いて、 下位階層の画像が求められるようになされている。
なお、 解像度設定回路 1 3 5には、 出力装置と通信させる他、 例えば、 図示せ ぬ操作部を操作することなどにより、 解像度を入力することが可能である。
次に、 クラス分類回路 1 3 2で行われるクラス分類処理と、 予測回路 1 3 4で 行われる適応処理とについて説明する。
まず、 クラス分類処理について説明する。
いま、 例えば、 図 1 4 Aに示すように、 ある注目画素と、 それに隣接する 3つ の画素により、 2 X 2画素でなるブロック （クラス分類用ブロック） を構成し、 また、 各画素は、 1 ビッ トで表現される （0または 1のうちのいずれかのレベル をとる） ものとする。 この場合、 2 X 2の 4画素のブロックは、 各画素のレベル 分布により、 図 1 4 Bに示すように、 1 6 ( = ( 2 1) 4) パターンに分類するこ とができる。 このようなパターン分けが、 クラス分類処理である。
なお、 クラス分類処理は、 画像 （ブロック内の画像） のアクティビティ （画像 の複雑さ） （変化の激しさ） などをも考慮して行うようにすることが可能である。
ここで、 通常、 各画素には、 例えば 8ビッ ト程度が割り当てられる。 また、 本実施の形態においては、 上述したように、 クラス分類用ブロックは、 5 X 5の 2 5画素で構成される。 従って、 このようなクラス分類用ブロックを対象にクラ ス分類処理を行ったのでは、 （2 8) 25という膨大な数のクラスに分類されるこ とになる。
そこで、 クラス分類回路 1 3 2には、 クラス分類処理に先だって、 クラス分 類用ブロックに対して、 A D R C処理を施させるようにすることができる。 A D R C処理によれば、 クラス分類用ブロックを構成する画素のビッ ト数を小さくす ることができ、 その結果、 クラス数を削減することができる。
次に、 適応処理について説明する。 例えば、 いま、 下位画素の画素値 yの予測値 E [y] を、 幾つかの上位画素の 画素値 （以下、 適宜、 学習データという） Xi， X2， · · · と、 所定の予測係数 W1( W2， · · · との線形結合により規定される線形 1次結合モデルにより求め ることを考える。 この場合、 予測値 E [y] は、 次式で表すことができる。
E[y] = WlXl + W2X2+.
(1 ) そこで、 一般化するために、 予測係数 W の集合でなる行列 W、 学習データの 集合でなる行列 X、 および予測値 E [y] の集合でなる行列 Y， を、
Xll 12 Xln
X21 X22 X2n
X =
Xml Xm2 X顧
W 二
Figure imgf000033_0001
で定義すると、 次のような観測方程式が成立する,
XW= Y'
(2) そして、 この観測方程式に最小自乗法を適用して、 下位画素の画素値 yに近い 予測値 E [y] を求めることを考える。 この場合、 下位画素の画素値 （以下、 適 宜、 教師データという） yの集合でなる行列 Y、 および下位画素の画素値 yに対 する予測値 E [y] の残差 eの集合でなる行列 Eを、
E =
Figure imgf000034_0001
で定義すると、 式 （2) から、 次のような残差方程式が成立する。
XW= Y+E
(3) この場合、 下位画素の画素値 yに近い予測値 E [y ] を求めるための予測係数 Wiは、 自乗誤差
を最小にすることで求めることができる。
従って、 上述の自乗誤差を予測係数 で微分したものが 0になる場合、 即ち、 次式を満たす予測係数 が、 下位画素の画素値 yに近い予測値 E [y] を求め るため最適値ということになる。 ei + e2 +. . · = 0 (^1,2,-,η)
• · · (4) そこで、 まず、 式 （3) を、 予測係数 Wtで微分することにより、 次式が成立 する。 de± d ― ― = xm (1=1,2, = Xil， - ~ 一 . . . ，
-,m)
• · · (5) 式 （4) および （5) より、 式 （6) が得られる。 m
> . eiXii = Π u, V ο · V, - ZJ ΘιΧι2 — 0 u . , " eiXin =
， . · · ' ムェ 0
• · · (6)
さらに、 式 （3) の残差方程式における学習データ X、 予測係数 W、 教師デ → Ί、 および残差 eの関係を考慮すると、 式 （6) から、 次のような正規方程
Figure imgf000035_0001
式 （7) の正規方程式は、 求めるべき予測係数 W の数と同じ数だけたてるこ とができ、 従って、 式 （ 7) を解く ことで （但し、 式 （7) を解くには、 式
(7) において、 予測係数 W にかかる係数で構成される行列が正則である必要 がある） 、 最適な予測係数 W を求めることができる。 なお、 式 （7) を解くに あたっては、 例えば、 掃き出し法 （G a u s s - J o r d a nの消去法） などを 適用することが可能である。
以上のようにして、 クラスごとに、 最適な予測係数 Wを求めておき、 さらに、 その予測係数 W を用い、 式 （1) により、 下位画素の画素値 yに近い予測値 E
[y ] を求めるのが適応処理であり、 この適応処理が、 予測回路 1 34において 行われるようになされている。
即ち、 例えば、 いま、 図 1 3において、 実線で囲んだ 5 X 5画素で構成され るクラス分類用プロックのクラス分類の結果得られるクラスについて、 上述の学 習を行うことにより、 予測値計算用ブロック内における下位画素 A43， A44， A45, A 53, A54, A55， A63， A64， A65それぞれの予測値 E [A43] ， E [A44] ， E
[A45] ， E [A53] ， E [A54] ， E [A55] ， E [A63] ， E [A64] ， E [A 65] を求めるための予測係数として、 (A43) 乃至 W9 (A43) ， Wx (A44) 乃 至 W9 (A44) ， Wi (A45) 乃至 W9 (A45) ， Wx (A53) 乃至 W9 (A53) ， Wt
(A54) 乃至 W9 (A54) ， Wi (A55) 乃至 W9 (A55) ， Wj (A63) 乃至 W9 (A 63) ， Wx (A64) 乃至 W9 (A64) ， Wx (A65) 乃至 W9 (A65) 力 それぞれ得ら れたとする。 この場合、 予測回路 1 34では、 式 （1) に対応する次式にしたが つて、 予測値計算用ブロック内における HD画素 A43, A44， A45， A53， A54， A55， A63, A64， A65それぞれの予測値 E [A43] ， E [A44] ， E [A45] , E
[A53] ， E [A54] ， E [A55] ， E [A63] ， E [A64] ， E [A65] が求めら れる。
E [A43]
Figure imgf000036_0001
(A43) B22 + W2 (A43) B23 + W3 (A43) B 24 ο
)) 3 + +gVg VfflMM s s " s 00
— ^ + ^
)5 ( ( +i +g ^ssSeg 9
Figure imgf000037_0001
なお、 適応処理は、 上位階層の画像には含まれていない、 下位階層の画像に含 まれる成分が再現される点で、 補間処理とは異なる。 即ち、 適応処理では、 式 (1) や （8) だけを見る限りは、 いわゆる補間フィルタを用いての補間処理と 同一であるが、 その補間フィルタのタップ係数に相当する予測係数 W 、 教師 データ yを用いての、 いわば学習により求められるため、 下位階層の画像に含ま れる成分を再現することができる。 このことから、 適応処理は、 いわば解像度の 創造作用がある処理ということができる。
ここで、 適応処理については、 例えば、 本件出願人が先に出願した特開平 5— 3 28 1 8 5号公報などに、 その詳細が開示されている。
次に、 図 1 5は、 図 1 2の予測回路 1 34の構成例を示している。
スィッチ 1 4 1には、 クラス分類回路 1 3 2からのクラスが供給されるように なされており、 スィッチ 14 1は、 解像度設定回路 1 3 5からの解像度信号に対 応して、 端子 a 1乃至 a 4のうちのいずれかを選択するようになされている。 そ して、 スィッチ 1 4 1の端子 & 1乃至& 4は、 1¾01^ (1^ 6 & €1 On l y Memo r y) 1 43乃至 1 46のァドレス端子 （AD) にそれぞれ接続されて いる。 従って、 クラス分類回路 1 3 2からのクラスは、 スィッチ 1 4 1を介して、 ROM 1 43乃至 1 46のうちのいずれかに、 ア ドレスとして供給されるように なされている。
スィツチ 1 42は、 スィツチ 1 4 1 と同様に、 解像度設定回路 1 3 5からの解 像度信号に対応して、 端子 b 1乃至 b 4のうちのいずれかを選択するようになさ れている。 端子 b 1乃至 b 4は、 ROM143乃至 1 46のデータ端子 Dとそれ ぞれ接続されている。 なお、 スィッチ 1 42は、 スィッチ 1 4 1 と連動するよう になされており、 例えば、 スィッチ 1 4 1が端子 a 1乃至 a 4を選択したとき、 スィツチ 1 42は、 端子 b 1乃至 b 4をそれぞれ選択するようになされている。
ROM 1 4 3乃至 1 46には、 上述したような学習により求められたクラス ごとの予測係数が、 そのクラスに対応するアドレスに記憶されている。 即ち、 R OM1 43乃至 1 46には、 例えば、 上述したような階層符号化が行われた場合 に、 最上位階層の画像などを、 表示装置 9， 1 0、 プリンタ 1 1、 またはコンビ ュ一タディスプレイ 1 2の解像度に対応した下位階層の画像に変換するための予 測係数が、 それぞれ記憶されている。
演算回路 1 4 7には、 予測値計算用ブロック化回路 1 3 3から予測値計算用ブ 口ック力 R OM 1 4 3乃至 1 4 6のうちのいずれかからスィツチ 1 4 2を介し て、 予測係数が、 それぞれ供給されるようになされており、 演算回路 1 4 7は、 予測値計算用ブロックと予測係数とを用いて、 式 （1 ) または （8 ) に対応する 積和演算を行うことにより、 出力装置の解像度に対応した下位階層の画像を求め るようになされている。
以上のように構成される予測回路 1 3 4では、 解像度設定回路 1 3 5からの解 像度信号に対応して、 スィツチ 1 4 1において、 端子 a 1乃至 a 4のうちのいず れかが選択され、 スィッチ 1 4 2においても、 それに連動して、 端子 b l乃至 b 4のうちのいずれかが選択される。
そして、 クラス分類回路 1 3 2からのクラスが、 R O M 1 4 3乃至 1 4 6のう ちの、 スィツチ 1 4 1が選択している端子 （端子 a 1乃至 a 4のうちのいずれか ) に接続されているもの （以下、 適宜、 選択 R O Mという） のア ドレス端子に供 給される。 選択 R O Mでは、 そのア ドレス端子に供給されたクラスに対応するァ ドレスに記憶されている予測係数が読み出され、 そのデータ端子から出力される c 上述したように、 スィッチ 1 4 2は、 スィッチ 1 4 1 と連動しているから、 選 択 R O Mから読み出された予測係数は、 スィ ッチ 1 4 2を介して、 演算回路 1 4 7に供給される。
演算回路 1 4 7には、 予測係数の他、 上述したように、 予測値計算用ブロック 化回路 1 3 3から予測値計算用プロックが供給されるようになされており、 演算 回路 1 4 7では、 そこに供給される予測値計算用ブロックおよび予測係数を用い て、 式 （1 ) または （8 ) に対応する積和演算が行われ、 これにより、 出力装置 の解像度に対応した下位階層の画像が生成されて出力される。
従って、 ユーザは、 出力装置に対応する画像を視聴することができる。 なお、 上述の場合においては、 予測係数を適応復号化装置 7に記憶させておく ようにしたが、 予測係数は、 復号に必要な情報として、 送信側から伝送するよう にすることも可能である。 また、 クラス分類用ブロックや、 予測値計算用ブロッ クなどの構成方法も、 送信側から指示するようにすることが可能である。
請求の範囲第 1項に記載の画像符号化装置および請求の範囲第 5項に記載の画 像符号化方法によれば、 画像の符号化に必要な複数の処理のうちの 1以上であつ て、 他の処理を考慮したものが行われる。 従って、 効率的な処理が可能となる。 請求の範囲第 6項に記載の画像複号化装置および請求の範囲第 7項に記載の画 像複号化方法によれば、 伝送データと、 所定の係数との線形結合により、 画像を 出力する出力装置の解像度に対応した復号画像が生成される。 従って、 各種の解 像度の出力装置に対処することが可能となる。
請求の範囲第 8項に記載の画像処理装置および請求の範囲第 9項に記載の画 像処理方法によれば、 画像の符号化に必要な複数の処理のうちの 1以上であって、 他の処理を考慮したものが行われる一方、 その結果得られるデータと、 所定の係 数との線形結合により、 画像を出力する出力装置の解像度に対応した復号画像が 生成される。 従って、 効率的な処理が可能となるとともに、 各種の解像度の出力 装置に対処することが可能となる。 産業上の利用可能性
本発明は、 標準解像度、 高解像度又は低解像度の画像データを取り扱うビデオ カメラ、 A T V、 画像編集装置などを含む画像処理システムに利用できる。

Claims

請求の範囲
1 . 画像を符号化する画像符号化装置であって、
前記画像の符号化に必要な複数の処理の 1以上であって、 他の処理を考慮した ものを行う処理手段を備える
ことを特徴とする画像符号化装置。
2 . 前記画像は、 被写体を撮影して画像信号を出力する撮像装置が出力し得る最 大の数の画素数で構成される
ことを特徴とする請求の範囲第 1項に記載の画像符号化装置。
3 . 前記画像の符号化に必要な複数の処理のうちの 1つは、 前記画像の編集処理、 その情報量を低減するための圧縮処理、 または伝送時のデータの信頼性を向上さ せるためのチャネル符号化処理のうちのいずれかである
ことを特徴とする請求の範囲第 1項に記載の画像符号化装置。
4 . 前記処理手段は、 少なく とも、 前記画像を構成する、 空間方向または時間方 向の画素を少なく した圧縮画像を生成する
ことを特徴とする請求の範囲第 1項に記載の画像符号化装置。
5 . 画像を符号化する画像符号化方法であって、
前記画像の符号化に必要な複数の処理のうちの 1以上であって、 他の処理を考 慮したものを行う
ことを特徴とする画像符号化方法。
6 . 伝送されてきた伝送データを画像に復号する画像複号化装置であって、 前記伝送データと、 所定の係数との線形結合により、 画像を出力する出力装置 の解像度に対応した復号画像を生成する生成手段を備える
ことを特徴とする画像複号化装置。
7 . 伝送されてきた伝送デ一タを画像に復号する画像復号化方法であって、 前記伝送データと、 所定の係数との線形結合により、 画像を出力する出力装置 の解像度に対応した復号画像を生成する
ことを特徴とする画像復号化方法。
8 . 画像を処理する画像処理装置であって、
前記画像の符号化に必要な複数の処理のうちの 1以上であって、 他の処理を考 慮したものを行う処理手段と、
前記処理手段による処理の結果得られるデータと、 所定の係数との線形結合に より、 画像を出力する出力装置の解像度に対応した復号画像を生成する生成手段 と
を備えることを特徴とする画像処理装置。
9 . 画像を処理する画像処理方法であって、
前記画像の符号化に必要な複数の処理のうちの 1以上であって、 他の処理を考 慮したものを行い、
その結果得られるデータと、 所定の係数との線形結合により、 画像を出力する 出力装置の解像度に対応した復号画像を生成する
ことを特徴とする画像処理方法。
PCT/JP1998/003116 1997-07-11 1998-07-10 Image encoder and image encoding method, image decoder and image decoding method, and image processor and image processing method WO1999003283A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP98931058A EP0926898A4 (en) 1997-07-11 1998-07-10 IMAGE ENCODING, DECODING AND PROCESSING DEVICE AND METHOD
US09/254,536 US6480630B1 (en) 1997-07-11 1998-07-10 Encoding and decoding different resolution video signals for display on plural units
US10/602,231 US7072491B2 (en) 1997-07-11 2003-06-24 Integrative encoding system and adaptive decoding system
US10/602,232 US6990244B2 (en) 1997-07-11 2003-06-24 Integrative encoding system and adaptive decoding system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP18614497A JP4240554B2 (ja) 1997-07-11 1997-07-11 画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法
JP9/186144 1997-07-11

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US09254536 A-371-Of-International 1998-07-10
US09/254,536 A-371-Of-International US6480630B1 (en) 1997-07-11 1998-07-10 Encoding and decoding different resolution video signals for display on plural units
US10/160,418 Continuation US6636640B2 (en) 1997-07-11 2002-05-31 Integrative encoding system and adaptive decoding system

Publications (1)

Publication Number Publication Date
WO1999003283A1 true WO1999003283A1 (en) 1999-01-21

Family

ID=16183159

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1998/003116 WO1999003283A1 (en) 1997-07-11 1998-07-10 Image encoder and image encoding method, image decoder and image decoding method, and image processor and image processing method

Country Status (6)

Country Link
US (4) US6480630B1 (ja)
EP (2) EP1313326A3 (ja)
JP (1) JP4240554B2 (ja)
KR (1) KR100574184B1 (ja)
CN (1) CN1178509C (ja)
WO (1) WO1999003283A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4265053B2 (ja) * 1999-11-04 2009-05-20 ソニー株式会社 デジタル放送受信システム、デジタル放送受信装置、受信装置、印刷装置、並びに印刷方法
US6687304B1 (en) * 2000-04-19 2004-02-03 Koninklijke Philips Electronics N.V. Efficient video data data access using fixed ratio compression
JP2001318745A (ja) * 2000-05-11 2001-11-16 Sony Corp データ処理装置およびデータ処理方法、並びに記録媒体
JP4766288B2 (ja) * 2000-06-21 2011-09-07 ソニー株式会社 情報処理装置
FI110376B (fi) * 2000-08-16 2002-12-31 Skyvision Oy Menetelmä tietokoneresoluutioisen kuvan siirtämiseksi MPEG2-järjestelmässä reaaliajassa
WO2003024112A1 (en) * 2001-09-07 2003-03-20 Intergraph Hardware Technologies Company Method, device and computer program product for demultiplexing of video images
US20050007452A1 (en) * 2001-09-07 2005-01-13 Mckay Therman Ward Video analyzer
KR20040022697A (ko) * 2002-09-09 2004-03-16 한국전자통신연구원 영상 데이터 압축을 위한 움직임 추정 장치
KR101029396B1 (ko) * 2003-03-24 2011-04-14 소니 주식회사 데이터 부호화 장치, 데이터 부호화 방법, 데이터 복호화 장치, 및 데이터 복호화 방법
JP3772846B2 (ja) * 2003-03-24 2006-05-10 ソニー株式会社 データ符号化装置およびデータ符号化方法、並びにデータ出力装置およびデータ出力方法
US7330181B2 (en) * 2003-10-31 2008-02-12 Sony Corporation Method and apparatus for processing an image, image display system, storage medium, and program
JP4337505B2 (ja) * 2003-10-31 2009-09-30 ソニー株式会社 撮像装置および撮像方法、画像処理装置および画像処理方法、画像表示システム、記録媒体、並びにプログラム
EP1667467B1 (en) * 2004-12-06 2014-04-09 GVBB Holdings S.A.R.L Method and apparatus for encoding or decoding two digital video signals multiplexed in a single-video signal path
US7839932B2 (en) 2004-12-06 2010-11-23 Thomson Licensing Method and apparatus for encoding or decoding two digital video signals arranged in a single-video signal path
EP1667465A1 (en) * 2004-12-06 2006-06-07 Thomson Licensing Method and apparatus for encoding or decoding two digital video signals multiplexed in a single-video signal path
EP1667430A1 (en) 2004-12-06 2006-06-07 Thomson Licensing Synchronising a base unit and a camera unit which are connected by two opposite-direction digital video signal connections
JP2006217403A (ja) * 2005-02-04 2006-08-17 Sony Corp 符号化装置および方法、復号化装置および方法、記録媒体、プログラム、画像処理システム、並びに画像処理方法
US20070076971A1 (en) * 2005-09-30 2007-04-05 Nokia Corporation Compression of images for computer graphics
US20070268406A1 (en) * 2006-05-22 2007-11-22 Broadcom Corporation, A California Corporation Video processing system that generates sub-frame metadata
JP4337911B2 (ja) * 2007-05-24 2009-09-30 ソニー株式会社 撮像装置、撮像回路、および撮像方法
JP4835554B2 (ja) * 2007-09-06 2011-12-14 ソニー株式会社 符号化装置及び方法、復号装置及び方法、並びにプログラム
JP5007681B2 (ja) * 2008-02-14 2012-08-22 ソニー株式会社 放送システム
JP4435251B2 (ja) * 2008-08-29 2010-03-17 株式会社東芝 映像表示装置、映像再生装置、映像表示方法および映像再生方法
US8767820B2 (en) * 2009-11-11 2014-07-01 Dell Products, Lp Adaptive display compression for wireless transmission of rendered pixel data
GB2484969B (en) * 2010-10-29 2013-11-20 Canon Kk Improved reference frame for video encoding and decoding
US20120275502A1 (en) * 2011-04-26 2012-11-01 Fang-Yi Hsieh Apparatus for dynamically adjusting video decoding complexity, and associated method
US9167261B2 (en) * 2011-11-07 2015-10-20 Sharp Laboratories Of America, Inc. Video decoder with constrained dynamic range
KR20130065929A (ko) * 2011-12-12 2013-06-20 한국전자통신연구원 위성방송 시스템 및 방법
CN103517022B (zh) * 2012-06-29 2017-06-20 华为技术有限公司 一种图像数据压缩和解压缩方法、装置
EP2958329B1 (en) * 2014-06-16 2018-12-05 Thomson Licensing Method for encoding and decoding an image block based on dynamic range extension, encoder and decoder
WO2018056002A1 (ja) * 2016-09-26 2018-03-29 株式会社日立国際電気 映像監視システム
GB2558881B (en) * 2017-01-09 2021-11-17 Nokia Technologies Oy Method and apparatus for video depth map coding and decoding
US11270468B1 (en) 2020-12-18 2022-03-08 Facebook Technologies, Llc. Joint color image and texture data compression
US11647193B2 (en) * 2020-12-18 2023-05-09 Meta Platforms Technologies, Llc Adaptive range packing compression

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01213088A (ja) * 1988-02-22 1989-08-25 Mitsubishi Electric Corp 画像符号化伝送方法
JPH03167985A (ja) * 1989-11-28 1991-07-19 Sony Corp 画像信号伝送装置及び方法
JPH05328185A (ja) * 1992-05-22 1993-12-10 Sony Corp ディジタルデータ変換装置および方法
JPH0787327A (ja) * 1993-09-17 1995-03-31 Fuji Xerox Co Ltd 画像符号化装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3508619A (en) 1968-08-13 1970-04-28 Gardner Denver Co Hose guide for rock drills
JP2900385B2 (ja) * 1988-12-16 1999-06-02 ソニー株式会社 フレーム化回路及び方法
GB2226470A (en) * 1988-12-23 1990-06-27 Philips Electronic Associated Encoding,decoding and processing pixel values for storing and reproducing a digitised image in expanded format
JP2840678B2 (ja) * 1989-07-21 1998-12-24 ソニー株式会社 高能率符合化装置
GB2236228A (en) * 1989-09-20 1991-03-27 British Broadcasting Corp Hdtv video signal bit-rate reduction
TW256010B (ja) * 1991-04-18 1995-09-01 Ampex
US5276531A (en) * 1991-09-27 1994-01-04 Apple Computer, Inc. Method and apparatus for high definition imaging
US5436665A (en) * 1992-03-03 1995-07-25 Kabushiki Kaisha Toshiba Motion picture coding apparatus
JPH0636469A (ja) * 1992-06-16 1994-02-10 Sony Corp 記録媒体および記録媒体記録方法
JPH06133284A (ja) * 1992-10-15 1994-05-13 Sony Corp エンコーダ及びデコーダ
JP3161110B2 (ja) * 1992-11-30 2001-04-25 ソニー株式会社 ディジタルビデオ信号の高能率符号化装置
JP3259428B2 (ja) * 1993-03-24 2002-02-25 ソニー株式会社 ディジタル画像信号のコンシール装置及び方法
JP3432009B2 (ja) * 1993-08-31 2003-07-28 キヤノン株式会社 通信方法及び装置
JP3590996B2 (ja) * 1993-09-30 2004-11-17 ソニー株式会社 ディジタル画像信号の階層符号化および復号装置
JP3125552B2 (ja) * 1993-12-28 2001-01-22 三菱電機株式会社 テレビ会議システム
JPH0823536A (ja) * 1994-07-07 1996-01-23 Canon Inc 画像処理装置
JP3499302B2 (ja) * 1994-09-20 2004-02-23 株式会社東芝 テレビジョン受信機
US5559553A (en) * 1994-10-28 1996-09-24 Eastman Kodak Company Clock control circuit with independent timing adjustments for image sensing devices
JP3830549B2 (ja) * 1994-12-28 2006-10-04 ソニー株式会社 ディジタル画像信号の階層符号化装置および方法
KR960043855A (ko) * 1995-05-10 1996-12-23 이정식 티브이(tv) 엔코더
JP3911706B2 (ja) 1995-08-14 2007-05-09 ソニー株式会社 送受信システム及び受信装置
JP4023839B2 (ja) * 1995-09-21 2007-12-19 ソニー株式会社 受信装置
US5796858A (en) * 1996-05-10 1998-08-18 Digital Persona, Inc. Fingerprint sensing system using a sheet prism
KR19990036188A (ko) * 1996-06-05 1999-05-25 엠. 제이. 엠. 반캄 부호화된 디지탈 비디오 신호의 복호화 방법 및 장치
CA2208950A1 (en) * 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01213088A (ja) * 1988-02-22 1989-08-25 Mitsubishi Electric Corp 画像符号化伝送方法
JPH03167985A (ja) * 1989-11-28 1991-07-19 Sony Corp 画像信号伝送装置及び方法
JPH05328185A (ja) * 1992-05-22 1993-12-10 Sony Corp ディジタルデータ変換装置および方法
JPH0787327A (ja) * 1993-09-17 1995-03-31 Fuji Xerox Co Ltd 画像符号化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP0926898A4 *

Also Published As

Publication number Publication date
CN1178509C (zh) 2004-12-01
US20020181793A1 (en) 2002-12-05
EP1313326A3 (en) 2004-10-27
US6636640B2 (en) 2003-10-21
US20040086189A1 (en) 2004-05-06
JPH1132330A (ja) 1999-02-02
EP1313326A2 (en) 2003-05-21
US6990244B2 (en) 2006-01-24
US20040086190A1 (en) 2004-05-06
US7072491B2 (en) 2006-07-04
KR20000068542A (ko) 2000-11-25
US6480630B1 (en) 2002-11-12
CN1231100A (zh) 1999-10-06
JP4240554B2 (ja) 2009-03-18
EP0926898A1 (en) 1999-06-30
EP0926898A4 (en) 2000-11-29
KR100574184B1 (ko) 2006-04-27

Similar Documents

Publication Publication Date Title
WO1999003283A1 (en) Image encoder and image encoding method, image decoder and image decoding method, and image processor and image processing method
US6377309B1 (en) Image processing apparatus and method for reproducing at least an image from a digital data sequence
US6567427B1 (en) Image signal multiplexing apparatus and methods, image signal demultiplexing apparatus and methods, and transmission media
US20090190844A1 (en) Method for scalably encoding and decoding video signal
US7646432B2 (en) Multimedia signal matching system and method for performing picture-in-picture function
US20090168880A1 (en) Method and Apparatus for Scalably Encoding/Decoding Video Signal
US6016362A (en) Apparatus and method for image coding and decoding
MXPA06013875A (es) Aparato codificador, metodo de codificacion, aparato descodificador, metodo de descodificacion, programa, medio de grabacion de programa. medio de grabacion de datos, estructura de datos, y aparato de reproduccion.
JPH10248051A (ja) ディジタルデータ送信方法、ディジタルデータ送信装置およびディジタルデータ受信装置
US6345388B1 (en) Method and apparatus for transmitting and receiving television signal
US20170104974A1 (en) Apparatus for switching/routing image signals through bandwidth splitting and reduction and the method thereof
US7020205B1 (en) Sending progressive video sequences suitable for MPEG and other data formats
Challapali et al. The grand alliance system for US HDTV
JPH07212761A (ja) 階層符号化装置及び階層復号化装置
US20050078942A1 (en) Information processing apparatus and method program, and recording medium
KR101154743B1 (ko) 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법, 기록 매체, 및 재생 장치
Petajan the HDTV grand alliance system
JP4674593B2 (ja) 画像符号化装置
JP4674613B2 (ja) Ｉｓｄｂ送信装置およびｉｓｄｂ送信方法、並びにｉｓｄｂ受信装置およびｉｓｄｂ受信方法
JP4193252B2 (ja) 信号処理装置及び方法、信号復号装置、並びに信号符号化装置
JP2002536856A (ja) Ｈｄｔｖ用のビデオモード自動グラフィック適応装置
Sunshine HDTV transmission format conversion and migration path
KR20020072478A (ko) Speg을 이용한 동영상 압축방법을 사용하여 스트리밍 하는방법
Saxena et al. Analysis of implementation strategies for video communication on some parameters
EP1711016A2 (en) Coding data

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 98800948.X

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): CY DE FR GB

WWE Wipo information: entry into national phase

Ref document number: 1998931058

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09254536

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1019997002046

Country of ref document: KR

ENP Entry into the national phase

Ref document number: 1999 254536

Country of ref document: US

Date of ref document: 19990330

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1998931058

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1019997002046

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1019997002046

Country of ref document: KR