WO1993010633A1 - Digital video image coding/decoding process and coder/decoder for carrying out said process - Google Patents

Digital video image coding/decoding process and coder/decoder for carrying out said process Download PDF

Info

Publication number
WO1993010633A1
WO1993010633A1 PCT/FR1992/001072 FR9201072W WO9310633A1 WO 1993010633 A1 WO1993010633 A1 WO 1993010633A1 FR 9201072 W FR9201072 W FR 9201072W WO 9310633 A1 WO9310633 A1 WO 9310633A1
Authority
WO
WIPO (PCT)
Prior art keywords
format
image
images
coding
prediction
Prior art date
Application number
PCT/FR1992/001072
Other languages
French (fr)
Inventor
Jacques Guichard
Gérard EUDE
Original Assignee
France Telecom
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom filed Critical France Telecom
Publication of WO1993010633A1 publication Critical patent/WO1993010633A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Definitions

  • the invention relates to a method for coding digital video images, for decoding these images, an encoder and a decoder making it possible to implement the method.
  • the invention is applicable to the transmission of digital video images, in particular television, videoconference, videophone.
  • the coding methods relating to such applications are intended to process the images in order to compress the volume of data to be transmitted to represent these images.
  • the coding of the images is carried out in real time and the images are transmitted from a digital transmission network, in particular a digital switched network such as the integrated services digital network (ISDN).
  • a digital transmission network in particular a digital switched network such as the integrated services digital network (ISDN).
  • ISDN integrated services digital network
  • the invention is particularly applicable to the transmission of videophone images from the integrated services digital network which offers two 64 Kbit / s transmission channels for basic access.
  • the image formats " which have been selected for this standard take into account the problems of interworking between regions of the world which have different television standards (Europe: 625 lines / 50 Hz, North America and Japan: 525 lines /
  • the CIF format corresponds to a common intermediate format and the QCIF format corresponds to a format reduced to a quarter and defined as The minimum and compulsory basis of the service.
  • the QCIF (quarter of CIF) corresponds to a halving of the number of points and lines:
  • the QCIF format produces more blurred images and is reserved for screens 12 to 20 cm diagonal, observed at a distance of approximately 60 cm.
  • the terminals (videophones) exchange their capacity and declare whether they can or want to work in CIF or QCIF format.
  • the existing equipment must ensure the minimum, that is to say must be able to operate in QCIF mode at the image frequency of 7.5 Hz.
  • the H 261 standard decoder placed in the hardware allows this service.
  • a H 261 standard terminal which is designed to operate in CIF mode can operate automatically in QCIF mode. This choice of mode is made when establishing a communication once and for all. Until now, it has never been envisaged to switch from CIF mode to QCIF mode and vice versa, during a call. This is what the applicant proposed to do in order to make the best use of the performance of the existing equipment.
  • the aim of the present invention is to solve this problem and generally to solve the problem of switching from a first format whatever it is to a second format reduced compared to the first and vice versa, change of format made during from moving from one image to another.
  • the subject of the present invention is a method of coding digital video images by an encoder making it possible to carry out image processing, in order to reduce the volume of information to be transmitted and to transmit it according to a first image format, these treatments comprising a succession of steps, one of which consists in making a prediction so as to process and transmit only the difference between an image and its prediction, characterized in that it comprises the following steps:
  • the invention also relates to a digital video decoding method consisting of receiving digital images in a first format, this format being able to be modified during transmission from one image to the other to correspond to a two i th reduced format compared to the first and consisting in the process of decoding an image being according to the second format, to perform an interpolation of the image to obtain and save this image according to the first format, in order to view it in this format .
  • the invention also relates to a digital video image coder comprising an input image memory receiving digital images according to a first or a second format, the second format being a reduced format compared to the first, means for compression comprising a prediction loop comprising an image memory, mainly characterized in that it further comprises means for changing the image format making it possible to switch from the first format to the second format, an i nterpo Lateu r upstream of the image memory making it possible to interpolate the images in order to save them in the image memory according to the first format, the memory being read according to the first or the second format.
  • the invention also relates to a digital video image decoder receiving digital images according to a first or a second format, the second format being a reduced format compared to the first, this decoder comprising an input buffer memory, decompression means comprising a loop for reconstituting the image including a memory, mainly characterized in that it comprises an interface upstream of the memory, making it possible to interpolate the images which are found according to the second format in order to save them in the memory according to the first format and to view them in this format.
  • FIG. 1a represents a block diagram of a decoder making it possible to implement the process according to the invention
  • FIG. 1b represents a detailed diagram of an encoder according to the invention
  • FIG. 2 represents a detailed diagram of a decoder according to the invention
  • FIG. 3a diagrams an image in CIF format in memory
  • FIG. 3b diagrams an image in QCIF format in memory
  • FIG. 4 diagrammatically shows a macroblock after interpolation according to the invention and qualified as ICIF format
  • FIG. 5a represents a sub-block of a macrob'loc in the ' QCIF format
  • FIG. 5b represents a sub-bLoc of a macroblock in ICIF format
  • FIG. 6 shows schematically an interpolated QCIF image.
  • i nter-i mage coding consists in comparing the image to be coded with the previous image and in transmitting after coding only the information relating to the part of the image which is in motion.
  • motion estimation coding consists in anticipating the movement of the image by estimating an image in view of the previous image and in transmitting only information relating to the difference between this image. estimated and the image actually received.
  • the image coding system comprises a transformation means for applying a transformation operation to said image such as a discrete cosine transform.
  • This transformation operation translates the image of the spatial domain into a so-called frequency domain.
  • the transformation operation can precede or follow the inter-image coding or by motion estimation applied to the image.
  • This transmission consists in addition in the case of an image by motion estimation, in transmitting, for each moving block, a displacement vector indicating the displacement of the block between the previous image and the current image. It is usual to decompose images into identical blocks of commonly used size such as 8 x 8 pixels, 16 x 16 pixels and sometimes 32 x 32 pixels.
  • the sets of size 16 x 16 pixels are generally called Luminance macroblocks and the sets of 8 8 are generally called blocks or sub-blocks; a macroblock for Luminance is made up of four blocks.
  • Each macrobLoc consists of six blocks, four blocks from the luminance signal and two blocks from the chrominance signals.
  • 8 x 8 blocks of color occupy the same area as 16 x 16 luminance macroblocks.
  • the coding method according to the invention consists in changing the format of images before coding from one image to another, so as to transmit this image according to either a first given format, or a second format reduced compared to this. first format.
  • the method consists, in the case where one has passed from the first format to the reduced format, to carry out an interpolation on the images being in this second format, in order to store them in the form of images conforming to the first format.
  • the images are read to be transmitted either in the first format or in the second, depending on the format in which we operate.
  • the images thus interpolated will be described as images in ICIF format in the following description.
  • These images in ICIF format are used in the processing part consisting in performing an image prediction as defined above; the other processing steps relating to the difference obtained after prediction are carried out in the format of the images in progress and thus transmitted in this format.
  • the step of changing the format of an image before coding is obtained by performing a selective reading of the points of this image recorded in an input memory of the coder.
  • the first format is CIF format
  • the second format is QCIF format.
  • the prediction step which consists in realizing the difference between the prediction and the second image and the image itself. the same is obtained by reading the non-interpolated points of the prediction image and comparison with the second image.
  • the prediction step is obtained by reading the non-interpolated and interpolated points of the prediction image and comparison with the second image.
  • FIG. 1a represents an encoder according to the invention.
  • This encoder comprises an input memory 1 followed by compression means 2, multiplexing 3, a buffer memory 5 and regulation means 6.
  • the buffer memory 5 makes it possible to send the signals over the transmission network and to control the regulation means 6.
  • the regulation means act as a function of the command they receive on the compression means 2.
  • This coder further comprises a prediction loop 7 connected to an interpolator 8.
  • the interpolator is connected to an image memory 9 which is connected to the prediction nose 7, to supply it with the prediction images.
  • these images are recorded in the memory 1, then coded by means of the compression means 2, to then be multiplexed by the video multiplexer 3 which builds a digital train from the data supplied by the system coding.
  • the buffer memory 5 makes it possible to adjust the bit rate of the information coming from the coding system to that of the network.
  • the buffer memory acts on the regulation means 6 when it is saturated, so as to obtain regulation of the data rate.
  • the functions of compression, multiplexing and regulation are functions known from the state of the art.
  • an interpolator 8 is provided upstream of the image memory 9, memory in which each reconstructed image is used for carrying out the prediction step.
  • Figure 3a shows a CIF image in memory. This image is constituted for the luminance of 352 points and 288 lines. The image is divided into 16x16 size macroblocks.
  • Figure 3b shows a QCIF image in memory.
  • the image contains for the Luminance 176 points and 144 lines.
  • the image is divided into 16x16 macroblocks.
  • Figure 4 represents an ICIF macroblock of 32 x 32, made up of four blocks 16 x 16 in Luminance. This ICIF macrobLoc is obtained after the interpolation operation. After interpolation, a QCIF macrobLoc covers four CIF macroblocks. An ICIF macrobLoc therefore has a size of 32 x 32.
  • the transition from a QCIF macroblock to an ICIF macroblock is done on the basis of the 8 x 8 blocks which constitute the macroblocks in the following way (we refer to diagrams of Figures 3a, 5a and 5b):
  • FIG. 5a shows an 8 x 8 block of a mac rob Loc QCI F
  • FIG. 5b shows a 16 x 16 block of an ICIF macroblock.
  • the interpolation is done as follows:
  • an ICIF image is therefore obtained at the same size as the CIF image, as can be seen in FIG. 6 and in FIG. 3a.
  • Figure 6 corresponds to a QCIF image which became ICIF after interpolation. This operation corresponds to a dilation of the QCIF image of FIG. 3b; it coincides with the CIF image in FIG. 3a.
  • the ICIF image has 352 points, one point out of two coming from the QCIF image and 288 Lines, one line out of two coming from the QCIF image.
  • the other points and The other Lines are obtained by means of interpolation.
  • the QCIF block is contained in the ICIF block by the even or odd points.
  • FIG. 1b shows in more detail and schematically an encoder according to the invention.
  • the same elements bear the same references between FIG. 1a and this FIG. 1b.
  • This diagram makes it possible to better illustrate the compression means and the prediction loop which is of the temporal prediction type with motion compensation, such as one can find a description in L 'art ic le "l'Echo desberichts "previously quoted.
  • this coder comprises an i nterpo Lateu r 8 between the output of this loop and the image memory 9.
  • the operation of interpolation which has just been described does not disturb the operator in any way. motion compensation.
  • This operator performs the calculations in QCIF mode between two reduced images of 99 macroblocks each, the input one and the one from Loop memory. Of the latter, read in ICIF format, the motion compensation operator retains only the QCIF part (the odd points in the case which has been described).
  • FIG. 2 represents the diagram of a decoder in accordance with the invention.
  • This decoder comprises at the input a memory 20 followed by a processing assembly making it possible to reconstruct the image and bearing the reference 21, an image memory 22 and an interpolator 23.
  • the assembly 21 conventionally comprises a demultiplexer 22, followed by an operator 23 performing the inverse function of the variable length coding function CL " ⁇ operated by the coder which sends the input signals to it, followed by an operator performing the inverse quantization function Q ⁇ ⁇ , followed by an operator performing the inverse cosine transform T " ⁇ ⁇ of the operations performed by the coder.
  • This set 21 further includes a. loop filter F and CV motion compensation means acting on the demulti ⁇ plexer.
  • the decoder thus makes it possible to reconstruct each image from the input signal which reaches it via the network.
  • the interpolator 23 makes it possible to store the reconstructed image when this image is in QCIF format in the form of an image in CIF format, used for viewing. The processing is done on the basis of the image in QCIF format when the input image is in this format.
  • the format change can be given by the encoder itself when its output buffer memory 5 becomes saturated.
  • the saturation of the buffer memory 5 causes control of the regulating means, so as for example to increase the quantization step and to under-time it.
  • the regulation means will command the change of format by a reading of the memory 1 according to the QCIF mode. This consists in operating a selective reading of the image points recorded in this input memory.
  • the format change can also take place, for example When an order transmitted by the network has been received by the coder, this order having been given by the remote decoder with which this coder is in communication.
  • this coder When the coder operates in CIF mode and the movement of the image becomes very important, this coder therefore has the possibility, as has already been described, to act thanks to the regulation means so as to reveal defects of coding due to an increase in the quantization step or to a subscale it Temporal timing of the image sequence, that is to say to process fewer images per second, which will in practice introduce a jerky and a delay in transmission.
  • the fixed background is not recoded for each image, only the information which represents the character in movement is transmitted. So if the decoration behind the character has been coded once in CIF, it will keep its sharpness. Only the character and the discovery part of the background will be coded and therefore temporarily blurred if this coding takes place in QCIF.

Abstract

Digital video image coding/decoding process and coder/decoder for carrying out said process. The process consists, during coding, in passing from a common intermediate format (CIF) image to the quarter CIF format (QCIF) and vice versa and in interpolating the QCIF images in order to store them in the form if CIF images so as to, firstly, process the images with a view to compressing the signals during coding and, secondly, to display CIF images following decoding. Application: videophones, videoconferencing and television.

Description

PROCEDE DE CODAGE/ DECODAGE D'IMAGES VIDEO METHOD OF ENCODING / DECODING VIDEO IMAGES
NUMERIQUES ET CODEUR /DECODEUR PERMETTANTDIGITAL NUMBERS AND ENCODER / DECODER
DE METTRE EN OEUVRE LE PROCEDETO IMPLEMENT THE PROCESS
DESCRIPTIONDESCRIPTION
L'invention concerne un procédé de codage d'images vidéo numériques, de décodage de ces images, un codeur et un décodeur permettant de mettre en oeuvre Le procédé. L'invention s'appLique à La transmission d'images vidéo numériques pour notamment La télévi¬ sion, La visioconférence, La visiophonie.The invention relates to a method for coding digital video images, for decoding these images, an encoder and a decoder making it possible to implement the method. The invention is applicable to the transmission of digital video images, in particular television, videoconference, videophone.
Les procédés de codage concernant de teLLes appLications ont pour objet de traiter Les images en vue de comprimer Le volume de données à transmettre pour représenter ces images.The coding methods relating to such applications are intended to process the images in order to compress the volume of data to be transmitted to represent these images.
Le codage des images est réaLisé en temps réeL et Les images sont transmises à partir d'un réseau de transmission numérique, notamment un réseau numérique commuté teL que Le réseau numérique à intégration de services ( RNIS) .The coding of the images is carried out in real time and the images are transmitted from a digital transmission network, in particular a digital switched network such as the integrated services digital network (ISDN).
L'invention s'appLique tout particulière¬ ment à La transmission d'images visiophoniques à parti r du réseau numérique à intégration de services qui offre deux voies de transmission à 64 Kbit/s pour L'accès de base .The invention is particularly applicable to the transmission of videophone images from the integrated services digital network which offers two 64 Kbit / s transmission channels for basic access.
Différentes techniques de compression sont aujourd'hui connues et permettent de transmettre des images animées (de télévision ou visiophoniques) à partir du réseau numérique commuté.Different compression techniques are known today and allow the transmission of animated images (television or videophone) from the digital switched network.
On pourra se reporter à L'article "L'écho des Recherches" N° 140 du deuxième trimestre 1990 pour plus de précisions sur Les différentes techniques de compression existantes. On pourra également se reporter aux documents EP-A-2 0844270, EP-A-2 0123456 et US-4 185188, dans Lesquels sont décrits différents systèmes de codage d' images. On pourra également se reporter à l'ar¬ ticle de "L'écho des Recherches" N° 140 précédemment cité pour la description de la norme H 261, norme internationale qui couvre les débits allant de 48 Kbit/s à 2 Mbit/s et prévoit deux formats d'images CIF et quart de CIF. Les formats d'images "qui ont été retenus pour cette norme tiennent compte des problèmes de L ' interfonctionnement entre régions du monde qui possèdent des standards de télévisions différents (Europe : 625 Lignes/50 Hz, Amérique du Nord et Japon :525 lignes/60Hz) . Le format CIF correspond à un format commun ntermédiaire et le format QCIF correspond à un format réduit au quart et défini comme étant La base minimum et obligatoire du service.We can refer to the article "L'écho des Recherches" N ° 140 of the second quarter 1990 for more details on the different existing compression techniques. Reference may also be made to documents EP-A-2 0844270, EP-A-2 0123456 and US-4 185188, in which various image coding systems are described. We can also refer to the article from "L'écho des Recherches" N ° 140 previously cited for the description of H 261, an international standard which covers bit rates ranging from 48 Kbit / s to 2 Mbit / s and provides for two CIF and a quarter CIF image formats. The image formats " which have been selected for this standard take into account the problems of interworking between regions of the world which have different television standards (Europe: 625 lines / 50 Hz, North America and Japan: 525 lines / The CIF format corresponds to a common intermediate format and the QCIF format corresponds to a format reduced to a quarter and defined as The minimum and compulsory basis of the service.
On rappelle toutefois que le CIF (Common Intermediate Format) est défini par :Note however that the CIF (Common Intermediate Format) is defined by:
- 352 points x 288 lignes pour Le signal de luminance,- 352 points x 288 lines for the luminance signal,
- 176 points x 144 lignes pour les signaux de chrominance, - 30/k images/s (format non entrelacé) ; k=1,2,3 ou 4.- 176 dots x 144 lines for the chrominance signals, - 30 / k images / s (non-interlaced format); k = 1,2,3 or 4.
Le QCIF (quart de CIF) correspond à une réduction par deux du nombre de points et de lignes :The QCIF (quarter of CIF) corresponds to a halving of the number of points and lines:
- 176 points x 144 lignes pour Le signal de Luminance,- 176 points x 144 lines for Luminance signal,
- 88 points x 72 lignes pour les signaux de chrominance,- 88 dots x 72 lines for the chrominance signals,
- 30/k images par seconde (format non entrelacé) ; k= 1, 2, 3 ou 4. Le format CIF donne des images d'assez bonne définition et est uti lisé avec des écrans de grande tai lle (de 20 à 60 cm de diagonale) .- 30 / k images per second (non-interlaced format); k = 1, 2, 3 or 4. The CIF format gives fairly good definition images and is used with large screens (20 to 60 cm diagonal).
Le format QCIF produit des images plus floues et est réservé à des écrans de 12 à 20 cm de diagonale, observés à une distance d'environ 60 cm.The QCIF format produces more blurred images and is reserved for screens 12 to 20 cm diagonal, observed at a distance of approximately 60 cm.
On a pensé jusqu'à présent naturel d'as¬ socier Le format d'images CIF la visioconférence et la visiophonie profes s i onne L Le et Le format d'images QCIF à La visiophonie grand public, pour Laquelle le coût de l'écran est un élément important du coût total d'un visiophone.So far we have thought it natural to associate the CIF image format with videoconferencing and professional videophone if we use L Le and The QCIF image format with general public videophony, for which the cost of the screen is an important part of the total cost of a videophone.
Pour Les installations déjà mises en place, au moment de L'établissement d'une communication Les terminaux (visiophones) échangent Leur capacité et déclarent s'i ls peuvent ou veulent travai ller en format CIF ou QCIF. De par La norme H 261, Le matériel existant doit assurer Le minimum, c'est-à-dire doit être capable de fonctionner en mode QCIF à La fréquence image de 7,5 Hz. Le décodeur à La norme H 261 placé dans le matériel permet ce service.For the installations already set up, at the time of establishing a communication The terminals (videophones) exchange their capacity and declare whether they can or want to work in CIF or QCIF format. By the H 261 standard, the existing equipment must ensure the minimum, that is to say must be able to operate in QCIF mode at the image frequency of 7.5 Hz. The H 261 standard decoder placed in the hardware allows this service.
Un terminal à La norme H 261 qui est prévu pour fonctionner en mode CIF peut fonctionner de façon automatique en mode QCIF. Ce choix du mode est réalisé à l'établissement d'une communica ion une fois pour toutes. Jusqu'à présent i l n'a jamais été envisagé de passer du mode CIF au mode QCIF et vice versa, au cours d'une communication. C'est ce que s'est proposé de faire La demanderesse afin d'exploiter au mieux Les performances du matériel existant.A H 261 standard terminal which is designed to operate in CIF mode can operate automatically in QCIF mode. This choice of mode is made when establishing a communication once and for all. Until now, it has never been envisaged to switch from CIF mode to QCIF mode and vice versa, during a call. This is what the applicant proposed to do in order to make the best use of the performance of the existing equipment.
Cependant, La demanderesse s'est heurtée à un problème lié aux techniques de compression répon¬ dant à la norme H 261 et qui font appel à un algo¬ rithme de prédiction à prédiction temporelle car en effet, la prédiction d'une image est fournie principalement par la précédente. Lorsqu'une image est traitée en mode CIF et la suivante en mode QCIF, ou vice versa, il y a un problème de taille d'image pour faire coïncider l'image nouvelle avec sa prédiction.However, the Applicant has encountered a problem related to compression techniques meeting the H 261 standard and which use a prediction algorithm with temporal prediction because indeed, the prediction of an image is provided. mainly by the previous one. When an image is processed in CIF mode and the next in QCIF mode, or vice versa, there is an image size problem to make the new image coincide with its prediction.
La présente invention a pour but de résoudre ce problème et d'une façon générale de résoudre le problème du passage d'un premier format quel qu'il soit à un deuxième format réduit par rapport au premier et vice versa, changement de format opéré lors du passage d'une image à une autre.The aim of the present invention is to solve this problem and generally to solve the problem of switching from a first format whatever it is to a second format reduced compared to the first and vice versa, change of format made during from moving from one image to another.
La présente invention a pour objet un procédé de codage d'images vidéo numériques par un codeur permettant de réaliser un traitement des images, pour réduire le volume d' nformations à transmettre et les transmettre selon un premier format d'images, ces traitements comportant une succession d'étapes dont l'une consiste à réaliser une prédiction de manière à ne traiter et ne transmettre que la différence entre une image et sa prédiction, caractérisé en ce qu'il comporte Les étapes suivantes :The subject of the present invention is a method of coding digital video images by an encoder making it possible to carry out image processing, in order to reduce the volume of information to be transmitted and to transmit it according to a first image format, these treatments comprising a succession of steps, one of which consists in making a prediction so as to process and transmit only the difference between an image and its prediction, characterized in that it comprises the following steps:
- changer de format d'images avant codage, d'une image à l'autre, de manière à transmettre cette image selon soit le premier format, soit le deuxième format réduit par rapport au premier,- change the image format before coding, from one image to another, so as to transmit this image according to either the first format or the second format reduced compared to the first,
- réaliser une interpolation sur les images se trouvant dans le deuxième format pour les enregistrer sous la forme d'images conformes au premier format de manière à disposer des images sous ce premier format pour les étapes de prédiction,- perform an interpolation on the images in the second format to save them in the form of images conforming to the first format so as to have the images in this first format for the prediction steps,
- réaliser les autres étapes de traitement sur la différence obtenue après prédiction dans le format de l'image en cours et transmettre dans ce format, et en ce que l'étape de changement de format d'une image utilise une lecture sélective des points de cette image enregistrés dans une mémoire. L'invention a également pour objet un procédé de décodage vidéo numérique consistant à recevoi r des images numériques selon un premier format, ce format pouvant être modifié en cours de transmission d'une image à L 'autre pour co r respondre à un deux i ème format réduit par rapport au premier et consistant en cours du décodage d'une image se trouvant selon Le deuxième format, à réaliser une interpolation de L' image pour obtenir et enregistrer cette image selon le premier format, afin de la visualiser dans ce format.- carry out the other processing steps on the difference obtained after prediction in the format of the current image and transmit in this format, and in that the step of changing the format of an image uses a selective reading of the points of this image saved in a memory. The invention also relates to a digital video decoding method consisting of receiving digital images in a first format, this format being able to be modified during transmission from one image to the other to correspond to a two i th reduced format compared to the first and consisting in the process of decoding an image being according to the second format, to perform an interpolation of the image to obtain and save this image according to the first format, in order to view it in this format .
L'invention a également pour objet un codeur d'images vidéo numériques comprenant une mémoire d'images d'entrée recevant des images numériques selon un premier ou un deuxième format, le deuxième format étant un format réduit par rapport au premier, des moyens de compression comprenant une boucle de prédiction comportant une mémoire d'images, principalement caractérisé en ce qu'i l comporte en outre des moyens de changement de format d'images permettant de passer du premier format au deuxième format, un i nterpo Lateu r en amont de la mémoire d'images permettant d'interpoler Les images afin de Les enregistrer dans la mémoire d'images selon le premier format, La mémoire étant Lue selon le premier ou le deuxième format.The invention also relates to a digital video image coder comprising an input image memory receiving digital images according to a first or a second format, the second format being a reduced format compared to the first, means for compression comprising a prediction loop comprising an image memory, mainly characterized in that it further comprises means for changing the image format making it possible to switch from the first format to the second format, an i nterpo Lateu r upstream of the image memory making it possible to interpolate the images in order to save them in the image memory according to the first format, the memory being read according to the first or the second format.
L ' i nvent i on également pour objet un décodeur d'images vidéo numériques recevant des images numériques selon un premier ou un deuxième format, le deuxième format étant un format réduit par rapport au premier, ce décodeur comprenant une mémoire tampon d'entrée, des moyens de décompression comportant une boucle de reconstitution de L ' image incluant une mémoire, principalement caractérisé en ce qu'i l comporte un i nterpoLateu r en amont de La mémoire, permettant d'interpoler les images qui se trouvent selon le deuxième format afin de les enregistrer dans la mémoire selon le premier format et de les visualiser dans ce format.The invention also relates to a digital video image decoder receiving digital images according to a first or a second format, the second format being a reduced format compared to the first, this decoder comprising an input buffer memory, decompression means comprising a loop for reconstituting the image including a memory, mainly characterized in that it comprises an interface upstream of the memory, making it possible to interpolate the images which are found according to the second format in order to save them in the memory according to the first format and to view them in this format.
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description faite à titre d'exemple non limitatif, à partir des dessins sur lesquels : la figure 1a représente un schéma de principe d'un décodeur permettant de mettre en oeuvre le procédé conforme à l'invention,Other characteristics and advantages of the invention will appear on reading the description given by way of nonlimiting example, from the drawings in which: FIG. 1a represents a block diagram of a decoder making it possible to implement the process according to the invention,
- La figure 1b représente un schéma détaillé d'un codeur conforme à l'invention,FIG. 1b represents a detailed diagram of an encoder according to the invention,
- la figure 2 représente un schéma détaillé d'un décodeur conforme à l'invention, - la figure 3a schématise une image au format CIF en mémoire,FIG. 2 represents a detailed diagram of a decoder according to the invention, FIG. 3a diagrams an image in CIF format in memory,
- la figure 3b schématise une image au format QCIF en mémoire,FIG. 3b diagrams an image in QCIF format in memory,
- la figure 4 schématise un macrobloc après interpolation conformément à l'invention et qualifié de format ICIF,FIG. 4 diagrammatically shows a macroblock after interpolation according to the invention and qualified as ICIF format,
- la figure 5a représente un sous-bloc d'un macrob'loc au format' QCIF,FIG. 5a represents a sub-block of a macrob'loc in the ' QCIF format,
- la figure 5b représente un sous-bLoc d'un macrobloc au format ICIF,FIG. 5b represents a sub-bLoc of a macroblock in ICIF format,
- la figure 6 schématise une image QCIF interpolée.- Figure 6 shows schematically an interpolated QCIF image.
Avant de procéder â la description détaillée de L'invention, on rappelle quelques considérations générales portant sur le codage d'images vidéo numériques.Before proceeding to the detailed description of the invention, a few general considerations relating to the coding of digital video images are recalled.
Comme cela a déjà été précisé, on exploite au maximum la redondance temporelle de l'image dans les systèmes de codage actuels, Le codage d'une image se faisant en tenant compte de l'image précédente. Un premier type de codage connu, appelé codage i nter-i mage, consiste à comparer L'image à coder à L'image précédente et à ne transmettre après codage que Les informations relatives à la partie de l' image qui est en mouvement.As has already been specified, the temporal redundancy of the image is exploited to the maximum in current coding systems, the coding of an image being made taking into account the previous image. A first known type of coding, called i nter-i mage coding, consists in comparing the image to be coded with the previous image and in transmitting after coding only the information relating to the part of the image which is in motion.
Un autre type de codage connu, appelé codage par estimation du mouvement, consiste à anti¬ ciper le mouvement de l'image en estimant une image au vu de L'image précédente et à ne transmettre que des informations relatives à La différence entre cette image estimée et l'image effectivement reçue.Another known type of coding, called motion estimation coding, consists in anticipating the movement of the image by estimating an image in view of the previous image and in transmitting only information relating to the difference between this image. estimated and the image actually received.
On rappelle également que de manière classique le système de codage d'images comprend un moyen de transformation pour appliquer une opération de transformation à ladite image telle qu'une transformée en cosinus discrète. Cette opération de transformation traduit l'image du domaine spatial dans un domaine dit fréquentiel. L'opération de transformation peut précéder ou suivre Le codage inter-image ou par estimation de mouvement appliqué à L ' i mage .It is also recalled that conventionally the image coding system comprises a transformation means for applying a transformation operation to said image such as a discrete cosine transform. This transformation operation translates the image of the spatial domain into a so-called frequency domain. The transformation operation can precede or follow the inter-image coding or by motion estimation applied to the image.
On rappelle également qu'en pratique une image est divisée en une pluralité de blocs avant d'être traitée soit par le codage inter-image ou par estimation de mouvement, soit par l'opérateur de transformation. Ceci permet de mieux cerner Les parties de L' image qui sont modifiées entre deux images successives et donc de réduire le débit envoyé sur le réseau de transmission, puisque seules ces parties modifiées sont codées et transmises.It is also recalled that in practice an image is divided into a plurality of blocks before being processed either by inter-image coding or by motion estimation, or by the transformation operator. This makes it possible to better define the parts of the image which are modified between two successive images and therefore to reduce the bit rate sent over the transmission network, since only these modified parts are coded and transmitted.
Cette transmission consiste d'ai lleurs dans le cas d'une image par estimation de mouvement, à émettre, pour chaque bloc en mouvement, un vecteur de déplacement indiquant le déplacement du bloc entre l'image précédente et l'image courante. Il est usuel de décomposer les images en blocs identiques de taille couramment utilisée telle que 8 x 8 pixels, 16 x 16 pixels et parfois 32 x 32 pixels. Les ensembles de taille 16 x 16 pixels sont généralement appelés macroblocs de Luminance et les ensembles de 8 8 sont généralement appelés blocs ou sous-blocs ; un macrobloc pour la Luminance est formé de quatre blocs.This transmission consists in addition in the case of an image by motion estimation, in transmitting, for each moving block, a displacement vector indicating the displacement of the block between the previous image and the current image. It is usual to decompose images into identical blocks of commonly used size such as 8 x 8 pixels, 16 x 16 pixels and sometimes 32 x 32 pixels. The sets of size 16 x 16 pixels are generally called Luminance macroblocks and the sets of 8 8 are generally called blocks or sub-blocks; a macroblock for Luminance is made up of four blocks.
Une image au format CIF est constituée de 22 x 18 = 396 macroblocs. Chaque macrobLoc est constitué de six blocs, quatre blocs provenant du signal de luminance et deux blocs provenant des signaux de chrominance.A CIF image consists of 22 x 18 = 396 macroblocks. Each macrobLoc consists of six blocks, four blocks from the luminance signal and two blocks from the chrominance signals.
En raison de la définition plus faible de la chrominance, des blocs de 8 x 8 de couleur occupent la même surface que des macroblocs 16 x 16 de luminance.Due to the lower definition of chrominance, 8 x 8 blocks of color occupy the same area as 16 x 16 luminance macroblocks.
Une image au format QCIF est, elle, consti¬ tuée de 11 x 9 = 99 macroblocs. Le procédé de codage conforme à l'invention consiste à changer de format d'images avant codage d'une image à l'autre, de manière à transmettre cette image selon soit un premier format donné, soit un deuxième format réduit par rapport à ce premier format. Le procédé consiste, dans le cas où l'on est passé du premier format au format réduit, à réaliser une interpolation sur les images se trouvant dans ce deuxième format, pour les mémoriser sous la forme d'images conformes au premier format. Les images sont lues pour être transmises soit dans le premier format, soit dans le deuxième, selon le format dans lequel on opère.An image in QCIF format is made up of 11 x 9 = 99 macroblocks. The coding method according to the invention consists in changing the format of images before coding from one image to another, so as to transmit this image according to either a first given format, or a second format reduced compared to this. first format. The method consists, in the case where one has passed from the first format to the reduced format, to carry out an interpolation on the images being in this second format, in order to store them in the form of images conforming to the first format. The images are read to be transmitted either in the first format or in the second, depending on the format in which we operate.
Les images ainsi interpolées seront qualifiées d'images au format ICIF dans la suite de La description. Ces images au format ICIF sont uti lisées dans La partie de traitement consistant à réaliser une prédiction d'images telle que définie précédemment ; les autres étapes de traitement portant sur la différence obtenue après prédiction sont réalisées dans le format des images en cours et transmises ainsi dans ce format.The images thus interpolated will be described as images in ICIF format in the following description. These images in ICIF format are used in the processing part consisting in performing an image prediction as defined above; the other processing steps relating to the difference obtained after prediction are carried out in the format of the images in progress and thus transmitted in this format.
L'étape de changement de format d'une image avant codage s'obtient en opérant une lecture sélective des points de cette image enregistrés dans une mémoire d'entrée du codeur. Selon l'exemple pratique de réalisation qui est donné dans la suite. Le premier format est le format CIF, le deuxième format est Le format QCIF.The step of changing the format of an image before coding is obtained by performing a selective reading of the points of this image recorded in an input memory of the coder. According to the practical embodiment which is given below. The first format is CIF format, the second format is QCIF format.
Lorsque deux images successives sont Lues selon le format QCIF, la première image ayant été interpolée et enregistrée après interpolation selon le format CIF, l'étape de prédiction qui consiste à réaliser la différence entre la prédiction et la deuxième image et l'image elLe-même est obtenue en réalisant une lecture des points non interpolés de l'image de prédiction et comparaison à La deuxième i mage.When two successive images are read according to the QCIF format, the first image having been interpolated and recorded after interpolation according to the CIF format, the prediction step which consists in realizing the difference between the prediction and the second image and the image itself. the same is obtained by reading the non-interpolated points of the prediction image and comparison with the second image.
Lorsqu'une image est Lue selon Le format QCIF et que L'image suivante est lue selon Le format CIF, l'étape de prédiction est obtenue en réalisant une lecture des points non interpolés et interpolés de l'image de prédiction et comparaison à la deuxième image.When an image is read in the QCIF format and the next image is read in the CIF format, the prediction step is obtained by reading the non-interpolated and interpolated points of the prediction image and comparison with the second image.
Le schéma de la figure 1a représente un codeur conforme à l'invention. Ce codeur comporte une mémoire d'entrée 1 suivie de moyens de compression 2, de multiplexage 3, d'une mémoire tampon 5 et de moyens de régulation 6. La mémoire tampon 5 permet d'envoyer les signaux sur Le réseau de transmission et de commander les moyens de régulation 6. Les moyens de régulation agissent en fonction de la commande qu'ils reçoivent sur les moyens de compression 2.The diagram in FIG. 1a represents an encoder according to the invention. This encoder comprises an input memory 1 followed by compression means 2, multiplexing 3, a buffer memory 5 and regulation means 6. The buffer memory 5 makes it possible to send the signals over the transmission network and to control the regulation means 6. The regulation means act as a function of the command they receive on the compression means 2.
Ce codeur comporte en outre une boucle de prédiction 7 reliée à un interpolateur 8. L'intei— polateur est relié à une mémoire d'images 9 qui est reliée à la boude de prédiction 7, pour lui fournir les images de prédiction.This coder further comprises a prediction loop 7 connected to an interpolator 8. The interpolator is connected to an image memory 9 which is connected to the prediction nose 7, to supply it with the prediction images.
Lors de l'acquisition des images vidéo, ces images sont enregistrées dans La mémoire 1, puis codées au moyen des moyens de compression 2, pour être ensuite multiplexées par le multiplexeur vidéo 3 qui construit un train numérique à partir des données fournies par le système de codage.During the acquisition of the video images, these images are recorded in the memory 1, then coded by means of the compression means 2, to then be multiplexed by the video multiplexer 3 which builds a digital train from the data supplied by the system coding.
La mémoire tampon 5 permet d'ajuster le débit des informations issues du système de codage à celui du réseau. La mémoire tampon agit sur les moyens de réguLation 6 lorsqu'elle est saturée, de manière à obtenir une régulation du débit des données. Les fonctions de compression, multiplexage et régulation sont des fonctions connues de l'état de la technique.The buffer memory 5 makes it possible to adjust the bit rate of the information coming from the coding system to that of the network. The buffer memory acts on the regulation means 6 when it is saturated, so as to obtain regulation of the data rate. The functions of compression, multiplexing and regulation are functions known from the state of the art.
Conformément à l'invention, un interpo¬ lateur 8 est prévu en amont de La mémoire d'images 9, mémoire dans Laquelle est enregistrée chaque image reconstruite servant à réaliser l'étape de prédiction.In accordance with the invention, an interpolator 8 is provided upstream of the image memory 9, memory in which each reconstructed image is used for carrying out the prediction step.
La fonction de L ' interpolateu va être décrite dans la suite à partir des schémas des figures 3a, 3b, 4, 5a et 5b.The function of the interpolator will be described hereinafter from the diagrams of FIGS. 3a, 3b, 4, 5a and 5b.
La figure 3a représente une image CIF en mémoire. Cette image est constituée pour la luminance de 352 points et de 288 lignes. L'image est divisée en macroblocs de taille 16 x 16.Figure 3a shows a CIF image in memory. This image is constituted for the luminance of 352 points and 288 lines. The image is divided into 16x16 size macroblocks.
La figure 3b représente une image QCIF en mémoire. L'image comporte pour la Luminance 176 points et 144 lignes. L'image est divisée en macroblocs de 16 x 16. La figure 4 représente un macrobloc ICIF de 32 x 32, constitué de quatre blocs 16 x 16 en Luminance. Ce macrobLoc ICIF est obtenu après L'opé¬ ration d'interpolation. Après interpolation, un macrobLoc QCIF recouvre quatre macroblocs CIF. Un macrobLoc ICIF a donc une tai lle de 32 x 32. Le passage d'un macrobloc QCIF vers un macrobloc ICIF se fait sur La base des blocs de 8 x 8 qui constituent les macroblocs de La façon suivante (on se reporte pour cela aux schémas des figures 3a, 5a et 5b) :Figure 3b shows a QCIF image in memory. The image contains for the Luminance 176 points and 144 lines. The image is divided into 16x16 macroblocks. Figure 4 represents an ICIF macroblock of 32 x 32, made up of four blocks 16 x 16 in Luminance. This ICIF macrobLoc is obtained after the interpolation operation. After interpolation, a QCIF macrobLoc covers four CIF macroblocks. An ICIF macrobLoc therefore has a size of 32 x 32. The transition from a QCIF macroblock to an ICIF macroblock is done on the basis of the 8 x 8 blocks which constitute the macroblocks in the following way (we refer to diagrams of Figures 3a, 5a and 5b):
- La figure 5a représente un bloc 8 x 8 d 'un mac rob Loc QCI F,- Figure 5a shows an 8 x 8 block of a mac rob Loc QCI F,
- La figure 5b représente un bloc 16 x 16 d'un macrobloc ICIF.- Figure 5b shows a 16 x 16 block of an ICIF macroblock.
On appelle a (i,j) un point d'un bloc 8 8 d'un macrobloc QCIF, i allant de 1 à 8 et j allant de 1 à 8.We call a (i, j) a point of a block 8 8 of a QCIF macroblock, i going from 1 to 8 and j going from 1 to 8.
On appelle b(k,l) un point du bloc 16 x 16 d'un macrobLoc ICIF, k allant de 1 à 16 et l allant de 1 à 16.We call b (k, l) a point in the 16 x 16 block of an ICIF macrobLoc, k going from 1 to 16 and l going from 1 to 16.
L'interpolation se fait comme suit :The interpolation is done as follows:
b(k,L)=a (k+1) /2,( 1+1 ) /2] pour k et l impairs,b (k, L) = a (k + 1) / 2, (1 + 1) / 2] for k and l odd,
b(k,L)=[a(k/2,(l+1)/2)+a( (k/2)+1,(L+1 )/2)]/2 pour k pair différent de 16 et L impair ; b ( 16, L )=b ( 15, l )b (k, L) = [a (k / 2, (l + 1) / 2) + a ((k / 2) +1, (L + 1) / 2)] / 2 for k even other than 16 and L odd; b (16, L) = b (15, l)
b(k,L)=[a((k+1)/2,l/2)+a((k+1)/2,(l/2)+1)]/2 pour k impair et L pair différent de 16 ; b ( k,16) =b ( k,15 )b (k, L) = [a ((k + 1) / 2, l / 2) + a ((k + 1) / 2, (l / 2) +1)] / 2 for odd k and L even different from 16; b (k, 16) = b (k, 15)
4xb(k,L) = [a(k/2,l/2)+a((k/2)+1),L/2)+a(k/2,(L/2)+1)+a((k/2)+1,(L/2)+1 pour k et L pairs différents de 16 ; b(16,l )=[b(16,l-1 )+b(16,L+1 )]/2 , l pair b(k,16)=[b(k-1,16)+b(k+1,16)] I l , k pair Le passage d'un macrobloc ICIF vers un macrobloc QCIF se fait de la façon suivante :4xb (k, L) = [a (k / 2, l / 2) + a ((k / 2) +1), L / 2) + a (k / 2, (L / 2) +1) + a ((k / 2) +1, (L / 2) +1 for k and L pairs other than 16; b (16, l) = [b (16, l-1) + b (16, L + 1 )] / 2, l even b (k, 16) = [b (k-1.16) + b (k + 1.16)] I l, k even The transition from an ICIF macroblock to a QCIF macroblock is done as follows:
a(ï,j)=b(2i-1,2j-1) ; i=1 à 8 et j=1 à 8a (ï, j) = b (2i-1,2j-1); i = 1 to 8 and j = 1 to 8
Conformément à l'invention, on obtient donc une image ICIF à La même taille que l'image CIF, comme on peut Le voir sur La figure 6 et sur la figure 3a. La figure 6 correspond à une image QCIF devenue ICIF après nterpolation. Cette opération correspond à une dilatation de l'image QCIF de la figure 3b ; elle coïncide avec l'image CIF de la figure 3a.According to the invention, an ICIF image is therefore obtained at the same size as the CIF image, as can be seen in FIG. 6 and in FIG. 3a. Figure 6 corresponds to a QCIF image which became ICIF after interpolation. This operation corresponds to a dilation of the QCIF image of FIG. 3b; it coincides with the CIF image in FIG. 3a.
L'image ICIF comporte 352 points dont un point sur deux provient de l'image QCIF et 288 Lignes dont une Ligne sur deux provient de l'image QCIF. Les autres points et Les autres Lignes sont obtenus au moyens de l'interpolation.The ICIF image has 352 points, one point out of two coming from the QCIF image and 288 Lines, one line out of two coming from the QCIF image. The other points and The other Lines are obtained by means of interpolation.
On vient de décrire une façon particulière de réaliser l'interpolation à partir des blocs de taille 8 x 8, ce choix étant fait pour rendre homogène le traitement entre la luminance et la chrominance. IL est tout à fait possible de faire cette interpolation sur la base des macroblocs 16 x 16 pour la Luminance. Les points impairs du bloc ICIF sont rigoureusement identiques à ceux du bloc QCIF. On pourrait tout aussi bien choisir les points pairs.We have just described a particular way of carrying out the interpolation from blocks of size 8 x 8, this choice being made to make the treatment between luminance and chrominance homogeneous. It is quite possible to do this interpolation on the basis of the 16 x 16 macroblocks for Luminance. The odd points of the ICIF block are strictly identical to those of the QCIF block. We could just as easily choose even points.
L'important est que le bloc QCIF soit contenu dans Le bloc ICIF par les points pairs ou impairs.The important thing is that the QCIF block is contained in the ICIF block by the even or odd points.
Les autres points ont été interpolés de façon relativement simple dans l'exemple qui est décrit, en utilisant les moyennes des points les plus proches.The other points were interpolated relatively simply in the example which is described, using the means of the nearest points.
Une interpolation plus simple (répétition) ou plus complexe est bien entendu envisageable. Pour obtenir Le point b-| 2 on a donc réalisé La- moyenne entre les points a^ 1 et a] 2 ; pour obtenir le point b2 1 on a réalisé La moyenne entre Le point a-]^-] et Le point ~ 2 " , ' pour obtenir le point 2 on a réalisé la moyenne entre les points a1 -j , a1 - , a2,1 et a2 2- Les derniers points ont été répétés. En effet, on a choisi pour Le point b1 ^ -j de répéter Le point ag -] ; pour Le point b-] 15 de répéter Le point ai g. Bien entendu, d'autres solutions peuvent être envisagées.A simpler (repeat) or more complex interpolation is of course conceivable. To get point b- | 2 we therefore realized La- mean between points a ^ 1 and a] 2; to obtain the point b2 1 the average between point a -] ^ -] and the point ~ 2 "has been carried out, 'to obtain the point 2 the average has been carried out between points a1 -j, a1 -, a 2 , 1 and a 2 2- The last points have been repeated, since we chose for point b1 ^ - j to repeat point ag -]; for point b-] 15 to repeat point ai g. of course, other solutions can be envisaged.
La figure 1b représente de façon plus détai llée et schématique un codeur conforme à l'invention. Les mêmes éléments portent Les mêmes références entre La figure 1a et cette figure 1b. Ce schéma permet de mieux i llustrer les moyens de compression et la boucle de prédiction qui est de type à prédiction temporelle avec compensation de mouvement, telle que l'on peut en trouver une description dans L ' art i c le " l ' Echo des Recherches" précédemment cité. Conformément à l'invention, ce codeur comporte un i nterpo Lateu r 8 entre la sortie de cette boucle et la mémoire d'images 9. L'opération d' inter¬ polation qui vient d'être décrite ne perturbe en rien L'opérateur de compensation de mouvement. Cet opérateur réalise les calculs dans le mode QCIF entre deux images réduites de 99 macroblocs chacune, celle d'entrée et celle issue de La mémoire de boucle. De cette dernière, lue au format ICIF, L'opérateur de compensation de mouvement ne conserve que La partie QCIF (Les points impairs dans le cas qui a été décrit) .Figure 1b shows in more detail and schematically an encoder according to the invention. The same elements bear the same references between FIG. 1a and this FIG. 1b. This diagram makes it possible to better illustrate the compression means and the prediction loop which is of the temporal prediction type with motion compensation, such as one can find a description in L 'art ic le "l'Echo des Recherches "previously quoted. According to the invention, this coder comprises an i nterpo Lateu r 8 between the output of this loop and the image memory 9. The operation of interpolation which has just been described does not disturb the operator in any way. motion compensation. This operator performs the calculations in QCIF mode between two reduced images of 99 macroblocks each, the input one and the one from Loop memory. Of the latter, read in ICIF format, the motion compensation operator retains only the QCIF part (the odd points in the case which has been described).
De la même façon, l ' app.L i cat i on du fi ltre dans la boucle n'opère que sur les points QCIF des blocs ICIF.In the same way, the app.L i cat i on of the fi lter in the loop operates only on the QCIF points of the ICIF blocks.
Le changement de mode de fonctionnement format CIF en format QCIF, tel que le propose Le procédé conforme à L'invention, respecte entièrement La norme H 261. Les images QCIF occupent simplement autant de place en mémoire interne que Les images CIF après leur extension au format ICIF.The change of operating mode from CIF format to QCIF format, as proposed by the process in accordance with the invention, fully complies with standard H 261. QCIF images simply occupy as much space in internal memory as CIF images after their extension to ICIF format.
La figure 2 représente le schéma d'un décodeur conforme à L'invention. Ce décodeur comporte en entrée une mémoire 20 suivie d'un ensemble de traitement permettant de reconstruire L'image et portant la référence 21, d'une mémoire d'images 22 et d'un interpolateur 23. L'ensemble 21 comporte de manière classique un démultiplexeur 22, suivi d'un opérateur 23 réalisant la fonction inverse de la fonction de codage à Longueur variable CL "^ opérée par le codeur qui Lui envoie les signaux d'entrée, suivi d'un opérateur réalisant la fonction de quantification inverse Q~^, suivi d'un opérateur réalisant la transformée en cosinus inverse T"~^ des opérations réalisées par le codeur. Cet ensemble 21 comporte en outre un. filtre de boucle F et des moyens de compensation de mouvement CV agissant sur le démulti¬ plexeur.FIG. 2 represents the diagram of a decoder in accordance with the invention. This decoder comprises at the input a memory 20 followed by a processing assembly making it possible to reconstruct the image and bearing the reference 21, an image memory 22 and an interpolator 23. The assembly 21 conventionally comprises a demultiplexer 22, followed by an operator 23 performing the inverse function of the variable length coding function CL "^ operated by the coder which sends the input signals to it, followed by an operator performing the inverse quantization function Q ~ ^, followed by an operator performing the inverse cosine transform T "~ ^ of the operations performed by the coder. This set 21 further includes a. loop filter F and CV motion compensation means acting on the demulti¬ plexer.
Le décodeur permet ainsi de reconstruire chaque image à partir du signal d'entrée qui lui arrive par le réseau. L' interpolateur 23 permet de mémoriser l'image reconstruite lorsque cette image se trouve au format QCIF sous la forme d'une image au format CIF, utilisée pour la visualisation. Les traitements se font sur la base de l'image au format QCIF lorsque l'image en entrée se trouve dans ce format.The decoder thus makes it possible to reconstruct each image from the input signal which reaches it via the network. The interpolator 23 makes it possible to store the reconstructed image when this image is in QCIF format in the form of an image in CIF format, used for viewing. The processing is done on the basis of the image in QCIF format when the input image is in this format.
En ce qui concerne les changements de format, ces changements peuvent être obtenus de deux façons.Regarding format changes, these changes can be achieved in two ways.
En effet, le changement de format peut être donné par le codeur lui-même lorsque sa mémoire tampon 5 de sortie sature. De façon classique, la saturation de la mémoire tampon 5 provoque une commande des moyens de régulation, de manière par exemple à augmenter le pas de quantification et de sous-éc hant i l Lonnage temporel. Conformément à l 'invention, Lorsque la mémoi re tampon continuera à être saturée après ces deux actions par exemple, les moyens de régulation commanderont Le changement de format par une Lecture de La mémoire 1 selon le mode QCIF. Cela consiste à opérer à une Lecture sélective des points images enregistrés dans cette mémo ire d'entrée.Indeed, the format change can be given by the encoder itself when its output buffer memory 5 becomes saturated. Conventionally, the saturation of the buffer memory 5 causes control of the regulating means, so as for example to increase the quantization step and to under-time it. According to the invention, When the buffer memory continues to be saturated after these two actions for example, the regulation means will command the change of format by a reading of the memory 1 according to the QCIF mode. This consists in operating a selective reading of the image points recorded in this input memory.
Le changement de format peut avoir lieu également par exemple Lorsqu'un ordre transmis par [e réseau a été reçu par le codeur, cet ordre ayant été donné par le décodeur distant avec lequel ce codeur est en communication.The format change can also take place, for example When an order transmitted by the network has been received by the coder, this order having been given by the remote decoder with which this coder is in communication.
Lorsque le codeur fonctionne en mode CIF et que le mouvement de L'image devient très important, ce codeur a donc la possibi lité, comme cela a déjà été décrit, d'agir grâce aux moyens de régulation de manière à laisser paraître des défauts de codage dus à une augmentation du pas de quantification ou à un sous-éc hant i l Lonnage temporel de La séquence d'images, c'est-à-dire de traiter moins d'images par seconde, ce qui va en pratique introdui re un saccadé et un retard dans la transmission.When the coder operates in CIF mode and the movement of the image becomes very important, this coder therefore has the possibility, as has already been described, to act thanks to the regulation means so as to reveal defects of coding due to an increase in the quantization step or to a subscale it Temporal timing of the image sequence, that is to say to process fewer images per second, which will in practice introduce a jerky and a delay in transmission.
On choisira donc conformément au procédé de l'invention de passer en mode QCIF en cas de fort mouvement de L'image, L'image devenant plus floue, mais uniquement pour ce qui concerne les parties en mouvement .We will therefore choose in accordance with the method of the invention to switch to QCIF mode in the event of strong movement of the image, the image becoming more blurred, but only as regards the moving parts.
Ce flou devient un avantage dans la mesure où i l permet de tromper l'oei l et où i l permet d'éviter le saccadé et le retard de La trans ission. En effet, dès lors qu'une image a été codée en CIF, L'arrière-plan fixe reste codé finement (CIF), même s'il y a mouvement d'une partie de cette image (celle qui représentera le personnage dans Le cas d'un visiophone) et passage en QCIF pour la partie codée.This blurring becomes an advantage insofar as it makes it possible to deceive the eye and where it makes it possible to avoid jerky and delayed transmission. Indeed, as soon as an image has been coded in CIF, the fixed background remains finely coded (CIF), even if there is movement of part of this image (that which will represent the character in Le case of a videophone) and go to QCIF for the coded part.
D'une image à l'autre tous les macroblocs ne sont pas recodés, seuls ceux correspondant à la partie en mouvement le sont.From one image to another, all the macroblocks are not recoded, only those corresponding to the moving part are.
Dans le cas du visiophone, le fond fixe n'est pas recodé à chaque image, seules Les informa¬ tions qui représentent Le personnage en mouvement sont transmises. Si donc le décor derrière le personnage a été codé une fois en CIF, il conservera sa netteté. Seuls le personnage et la partie découverte du fond seront codés et donc rendus flous temporairement si ce codage a Lieu en QCIF.In the case of the videophone, the fixed background is not recoded for each image, only the information which represents the character in movement is transmitted. So if the decoration behind the character has been coded once in CIF, it will keep its sharpness. Only the character and the discovery part of the background will be coded and therefore temporarily blurred if this coding takes place in QCIF.
Le changement de format CIF, QCIF sur la base d'une image à la suivante permet donc des stratégies de régulation plus riches, dans la mesure où cette technique permet de jouer sur Le flou de la partie en mouvement et d'éviter les défauts de codage qui apparaissent dans ces cas.The change of format CIF, QCIF on the basis of an image to the following therefore allows richer regulation strategies, insofar as this technique makes it possible to play on the blurring of the moving part and to avoid the defects of coding that appear in these cases.
- Cette technique, qui vient d'être décrite, vient donc s'ajouter aux méthodes de régulation de débit habituelles par augmentation du pas de quantifi¬ cation et par sous-échantillonnage temporel. - This technique, which has just been described, is therefore added to the usual flow regulation methods by increasing the quantification step and by temporal subsampling.

Claims

REVENDICATIONS
1. Procédé de codage d'images déo numé¬ riques par un codeur permettant de réaliser un traitement des images pour rédui re Le voLume d'informations à transmettre et Les transmettre selon un premier format d'image, ces traitements comportant une succession d'étapes dont L 'une consiste à réaliser une prédiction, de manière à ne traiter et ne transmettre que la différence entre une image et sa prédiction, caractérisé en ce qu'i l comporte Les étapes sui vantes :1. Method for coding digital digital images by an encoder making it possible to carry out image processing to reduce the volume of information to be transmitted and to transmit it according to a first image format, these treatments comprising a succession of stages, one of which consists in making a prediction, so as to process and transmit only the difference between an image and its prediction, characterized in that it comprises the following stages:
- changer de format d' image avant codage, d'une image à L 'autre, de manière à transmettre cette image selon soit le premier format, soit un deuxième format réduit par rapport au premier, - réaliser une interpolation sur les images se trouvant dans le deuxième format pour Les enregistrer sous la forme d'images conformes au premier format de manière à disposer des images sous ce premier format pour les étapes de prédiction, - réaliser les autres étapes de traitement sur la différence obtenue après prédiction dans le format de L'image en cours et transmettre dans ce format, et en ce que L'étape de changement de format d'une image uti lise une lecture sélective des points de cette image enregistrés dans une mémoire.- change the image format before coding, from one image to another, so as to transmit this image according to either the first format or a second format reduced compared to the first, - perform an interpolation on the images being in the second format to Save them in the form of images conforming to the first format so as to have the images in this first format for the prediction steps, - carry out the other processing steps on the difference obtained after prediction in the format of The current image and transmit in this format, and in that the step of changing the format of an image uses a selective reading of the points of this image recorded in a memory.
2. Procédé de codage d'images vidéo selon la revendication 1, caractérisé en ce que Lorsque deux images successives sont Lues selon le deuxième format, la première ayant été interpolée et enregistrée après interpolation selon Le premier format, L'étape de prédiction qui consiste à réaliser La différence entre la prédiction de la deuxième image et L'image elle-même, est obtenue en réalisant une lecture des points non interpolés de L'image de prédiction et comparaison à La deuxième image. 2. Method for coding video images according to claim 1, characterized in that when two successive images are read according to the second format, the first having been interpolated and recorded after interpolation according to the first format, the prediction step which consists The difference between the prediction of the second image and the image itself is obtained by reading the non-interpolated points of the prediction image and comparison with the second image.
3. Procédé de codage d'images vidéo selon l'une quelconque des revendications 1 ou 2, caractérisé en ce que lorsqu'une image est lue selon le deuxième format et que l'image suivante est lue selon le premier format, l'étape de prédiction est obtenue en réalisant une Lecture des points non interpolés et interpolés de l'image de prédiction et comparaison à la deuxième image.3. A method of coding video images according to any one of claims 1 or 2, characterized in that when an image is read according to the second format and that the following image is read according to the first format, the step prediction is obtained by reading the non-interpolated and interpolated points of the prediction image and comparison with the second image.
4. Procédé de codage selon l'une quelconque des revendications précédentes, caractérisé en ce que le premier format est de type format commun intermédiaire (CIF) et en ce que le deuxième format est un format réduit au quart de CIF.4. Coding method according to any one of the preceding claims, characterized in that the first format is of intermediate common format type (CIF) and in that the second format is a format reduced to a quarter of CIF.
5. Procédé de codage selon L'une quelconque des revendications précédentes, caractérisé en ce que l'image ayant été divisée pour les traitements en macroblocs, chaque macrobloc étant divisé en blocs constitués d'une matrice de points au format QCIF, l'interpolation consiste à avoir interposé une ligne et une colonne de points entre chaque ligne et entre chaque colonne de la matrice au format QCIF pour obtenir un bloc d'image au format- CIF.5. Coding method according to any one of the preceding claims, characterized in that the image having been divided for processing into macroblocks, each macroblock being divided into blocks consisting of a matrix of points in QCIF format, the interpolation consists in having interposed a line and a column of points between each line and between each column of the matrix in QCIF format to obtain an image block in CIF format.
6. Procédé de codage selon l'une quelconque des revendications précédentes, caractérisé en ce que Le codage des images vidéo est réalisé en temps réel par le codeur pour être transmises par un réseau de transmission vers un décodeur.6. Coding method according to any one of the preceding claims, characterized in that the coding of the video images is carried out in real time by the coder to be transmitted by a transmission network to a decoder.
7. Procédé de codage selon l'une quelconque des revendications précédentes, caractérisé en ce que le changement de format a lieu lorsqu'un ordre est donné par Le codeur lui-même.7. Coding method according to any one of the preceding claims, characterized in that the format change takes place when an order is given by the coder himself.
8. Procédé de codage selon l'une quelconque des revendications précédentes, caractérisé en ce que le changement de format a lieu Lorsqu'un ordre transmis par le réseau a été reçu. 8. Coding method according to any one of the preceding claims, characterized in that the format change takes place When an order transmitted by the network has been received.
9. Procédé de codage selon L 'une quelconque des revendications précédentes, caractérisé en ce qu' i l consiste à transmettre les images au moyen d'un réseau de transmission à bas débit. 9. Coding method according to any one of the preceding claims, characterized in that it consists in transmitting the images by means of a low-speed transmission network.
10. Procédé de décodage d'images vidéo numériques selon l'une quelconque des revendications précédentes, caractérisé en ce qu'i l consiste à recevoir des images numériques selon un premier format, ce format pouvant être modifié en cours de transmission d'une image à l'autre et correspondre à un deuxième format réduit par rapport au premier et caractérisé en ce qu'i l consiste, en cours du décodage d'une image se trouvant selon le deuxième, à réaliser une i nterpo Lat ion de l'image pour obtenir et enregistrer cette image selon Le premier format afin de la visualiser dans ce format.10. Method for decoding digital video images according to any one of the preceding claims, characterized in that it consists in receiving digital images according to a first format, this format being able to be modified during the transmission of an image. to the other and to correspond to a second reduced format compared to the first and characterized in that it consists, during the decoding of an image being according to the second, to carry out an i nterpo Lat ion of the image to obtain and save this image in the first format in order to view it in this format.
11. Codeur d'images vidéo numériques de mise en oeuvre du procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'i l comprend : une mémoire d'image d'entrée (1) recevant des images numériques selon un premier ou un deuxième format, le deuxième format étant un format réduit par rapport au premier, des moyens de compression (2) comprenant une boucle de prédiction (7) comportant une mémoire d'images (9),11. Coder of digital video images for implementing the method according to any one of the preceding claims, characterized in that it comprises: an input image memory (1) receiving digital images according to a first or a second format, the second format being a reduced format compared to the first, compression means (2) comprising a prediction loop (7) comprising an image memory (9),
- des moyens de changement du format d'images (6) permettant de passer du premier format à un deuxième format réduit par rapport au premier, - un i nterpolateur (8) placé en amont de- means for changing the image format (6) making it possible to switch from the first format to a second format reduced compared to the first, - an interpolator (8) placed upstream of
La mémoire d'images permettant d'interpoler Les images afin de les enregistrer dans La mémoire d'images selon le premier format. The image memory used to interpolate the images in order to save them in the image memory in the first format.
12. Codeur d'images selon la revendication 11 comportant des moyens de régulation (6), une mémoire tampon de sortie (5), des moyens de quantification (Q), des moyens de codage à longueur variable (CLV), caractérisé en ce que les moyens de changement de format (6) sont réalisés par les moyens de régulation sur commande de la mémoire tampon de sortie (5).12. Image coder according to claim 11 comprising regulation means (6), an output buffer memory (5), quantization means (Q), variable length coding means (CLV), characterized in that that the format change means (6) are produced by the regulation means on command of the output buffer memory (5).
13. Décodeur d'images vidéo numériques, de mise en oeuvre du procédé selon L'une quelconque des revendications. 1 à 10, caractérisé en ce qu'il comprend une mémoire tampon d'entrée (20), des moyens de décompression (21) comportant une boucle de reconstitution de l'image incluant une mémoire (22), un interpolateur (23) en amont de la mémoire permettant d'interpoler les images qui se trouvent selon Le deuxième format afin de les enregistrer dans la. mémoire selon le premier format et les visualiser dans ce format. 13. Decoder for digital video images, for implementing the method according to any one of the claims. 1 to 10, characterized in that it comprises an input buffer memory (20), decompression means (21) comprising an image reconstruction loop including a memory (22), an interpolator (23) in upstream of the memory making it possible to interpolate the images which are in the second format in order to save them in the. memory in the first format and view them in this format.
PCT/FR1992/001072 1991-11-19 1992-11-19 Digital video image coding/decoding process and coder/decoder for carrying out said process WO1993010633A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9114226A FR2683968B1 (en) 1991-11-19 1991-11-19 CODING / DECODING METHOD OF DIGITAL VIDEO IMAGES AND ENCODER / DECODER FOR IMPLEMENTING THE METHOD.
FR91/14226 1991-11-19

Publications (1)

Publication Number Publication Date
WO1993010633A1 true WO1993010633A1 (en) 1993-05-27

Family

ID=9419086

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR1992/001072 WO1993010633A1 (en) 1991-11-19 1992-11-19 Digital video image coding/decoding process and coder/decoder for carrying out said process

Country Status (2)

Country Link
FR (1) FR2683968B1 (en)
WO (1) WO1993010633A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4691233A (en) * 1986-09-30 1987-09-01 Rca Corporation Rate buffer control of difference signal decimation and interpolation for adaptive differential pulse code modulator
EP0362610A2 (en) * 1988-10-01 1990-04-11 Robert Bosch Gmbh Videophone system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4691233A (en) * 1986-09-30 1987-09-01 Rca Corporation Rate buffer control of difference signal decimation and interpolation for adaptive differential pulse code modulator
EP0362610A2 (en) * 1988-10-01 1990-04-11 Robert Bosch Gmbh Videophone system

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
IEEE COMMUNICATIONS MAGAZINE vol. 28, no. 2, Février 1990, NEW YORK, US pages 30 - 38 MING L. LIOU 'Visual Telephony as an ISDN Application' *
NTT REVIEW vol. 2, no. 3, Mai 1990, TOKYO, JP pages 110 - 117 SAKAE OKUBO ET AL. 'International Standardization of Video Codecs for ISDN Videoconferencing and Videophone Services' *
SIGNAL PROCESSING IMAGE COMMUNICATION vol. 2, no. 2, Août 1990, AMSTERDAM, NE pages 109 - 116 A. NAGATA ET AL. 'Moving Picture Coding System for Digital Storage Media Using Hybrid Coding' *

Also Published As

Publication number Publication date
FR2683968B1 (en) 1998-07-03
FR2683968A1 (en) 1993-05-21

Similar Documents

Publication Publication Date Title
EP0448491B1 (en) Method of coding and transmitting digital images of an image sequence with at least two quality levels and corresponding devices
EP0558377B1 (en) Videocodec, especially for videophone
US20060197777A1 (en) Color space scalable video coding and decoding method and apparatus for the same
JPH11513205A (en) Video coding device
EP0418952B1 (en) Coding device for bidimensional informations, and decoding device therefor
EP1354482A1 (en) Image coding and decoding method, corresponding devices and applications
WO2010072983A2 (en) Method for the segmentation encoding of an image
FR2755527A1 (en) MOTION-COMPENSATED PREDICTION METHOD AND ENCODER USING SUCH A METHOD
EP0603947B1 (en) Coding apparatus for digital television image signals
FR2670348A1 (en) IMAGE ENCODING DEVICE BELOW IMAGE SEQUENCE, LINING LINES BEFORE MATHEMATICAL TRANSFORMATION, IMAGE TRANSMISSION SYSTEM, RECEIVER AND CORRESPONDING ENCODING METHOD.
EP2410749A1 (en) Method for adaptive encoding of a digital video stream, particularly for broadcasting over xDSL line
EP2429192A1 (en) Video signal processing
FR2676608A1 (en) METHOD FOR ENCODING COLOR IMAGES WITH HIGH PRESSURE RATES WITHOUT FILTERING, DECODING METHOD, ENCODER, DECODER, AND CORRESPONDING APPLICATION.
US7706583B2 (en) Image processing apparatus and method
EP0365090B1 (en) Device for doubling the sequential rate of television signals, and television picture decoder comprising such a device
WO1993010633A1 (en) Digital video image coding/decoding process and coder/decoder for carrying out said process
WO2014096638A1 (en) Method and device for transmitting a sequence of images based on an adaptive region coding
FR2634086A1 (en) TEMPORAL SUB-SAMPLING DEVICE AND MOTION-COMPENSATED TIME INTERPOLATION IN INTERLACED IMAGE SEQUENCE, USE OF SUCH A DEVICE IN CODING AND DECODING DEVICES OF HIGH-DEFINITION TELEVISION IMAGE TRANSMISSION SYSTEM , AND DEVICES FOR ENCODING AND DECODING FOR SUCH A SYSTEM
FR2646047A1 (en) Process and installation for coding and transmitting moving pictures in digital form at low speed
EP0395507B1 (en) Transmission and reception system for the transmission of moving colour pictures and sound through independent channels
FR3027480A1 (en) DECODER, METHOD AND SYSTEM FOR DECODING MULTIMEDIA STREAMS
WO1993002526A1 (en) Method for compressing digital image sequences
FR2654285A1 (en) SYSTEM FOR COMPRESSING DIGITAL IMAGES BELONGING TO AN IMAGE SEQUENCE WITH ADAPTIVE QUANTIFICATION BASED ON PSYCHOVISUAL INFORMATION.
KR100498363B1 (en) Method for post-processing decoded image of mobile phone
EP0433199A1 (en) System and decoder for a high definition signal of the MAC/packet-family which are compatible with a wideband and a narrow band channel

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FR GB GR IE IT LU MC NL SE

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
122 Ep: pct application non-entry in european phase