EP1413145A1 - Procede et dispositif de codage d'une mosa que d'images - Google Patents

Procede et dispositif de codage d'une mosa que d'images

Info

Publication number
EP1413145A1
EP1413145A1 EP02791509A EP02791509A EP1413145A1 EP 1413145 A1 EP1413145 A1 EP 1413145A1 EP 02791509 A EP02791509 A EP 02791509A EP 02791509 A EP02791509 A EP 02791509A EP 1413145 A1 EP1413145 A1 EP 1413145A1
Authority
EP
European Patent Office
Prior art keywords
sub
image
images
mosaic
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP02791509A
Other languages
German (de)
English (en)
Inventor
Edouard Francois
Dominique Thoreau
Gwena[L Kervella
Paul Kerbiriou
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital Madison Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of EP1413145A1 publication Critical patent/EP1413145A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Definitions

  • the invention relates to a method and device for coding and decoding a mosaic of images.
  • the field is that of MPEG or other type of video compression, in the case where this technique makes it possible to implement resynchronization means.
  • This is for example the H263 or MPEG 4 standard or any compression process which offers the possibility of placing resynchronization markers at different places in the bit stream generated during compression.
  • the mosaic is generally composed of several pages (screens), each page corresponding to a channel (elementary stream MPEG2). At any time, an entire image is decoded and displayed. Even if only part of the mosaic is useful for display, the mosaic must be fully decoded, thus generating a significant processing time.
  • the invention aims to overcome the aforementioned drawbacks. It relates to a method for coding a mosaic of images giving a coded data stream, the mosaic being composed of sub-images, the sub-images being composed of image elements, resynchronization markers in the flow allowing resynchronization of data at the reception level, characterized in that:
  • the mosaic is coded element by element according to a scan of the TV type to provide data of the stream, the first element of each sub-image being identified,
  • a resynchronization marker is placed in the stream, before each first element of a sub-image to identify the data relating to the sub-image.
  • an image element is a macroblock
  • the coding uses the MPEG 2 standard and the resynchronization markers are slice headers (slices in English in the standard).
  • an image element is a macroblock
  • the coding exploits the MPEG 4 standard and the resynchronization markers are headers of groups of macroblocks.
  • the motion estimation uses a window for searching for the motion vector which corresponds to the location of the sub image in the image.
  • the coding of a sub-image is forced in intra mode if it has not been coded in this mode for a determined number of previous mosaic images.
  • the sub-images having different sizes, the surface of these images constituting a mosaic support, the mosaic support is also coded and the coding data of the support are transmitted in the stream at the start of a video session. If the medium varies over time, the coding data of the medium is transmitted in the stream at each variation.
  • the invention also relates to a method for decoding an image mosaic from a data stream comprising resynchronization markers and encoding data for image mosaics consisting of sub-images, characterized in that 'A filtering of this data from the resynchronization markers and a decoding are performed, to extract from the stream and decode, among the data relating to mosaics, the only data relating to selected sub-images.
  • the decoded sub-images are stored and if a sub-image has been coded in inter mode, the corresponding stored sub-image of the preceding mosaic is used for decoding. According to a particular implementation of the method, if a sub-image cannot be decoded, the corresponding sub-image of the preceding mosaic is taken into account.
  • the invention also relates to a decoder for decoding an image mosaic from a data stream comprising resynchronization markers and coding data for image mosaics consisting of sub-images, characterized in that '' it includes a filtering circuit based on synchronization markers and a decoding circuit for extracting from the stream and decoding, among the data relating to mosaics, the only data relating to selected sub-images.
  • the invention also relates to a player for a video data stream carrying coding data for image mosaics composed of sub-images and resynchronization markers, for displaying a final image, comprising a decoder for the decoding of the stream and a processing circuit for managing the decoder, characterized in that: - the processing circuit transmits to the decoder information on the selected sub-images useful for displaying the final image,
  • the decoder comprises a filtering circuit from synchronization markers and a decoding circuit, to extract from the stream and decode, among the data relating to mosaics, the only data relating to the selected sub-images. ": ..,.
  • the idea of the invention is to use, resynchronization markers generally provided in standards to allow resynchronization on the data stream received during errors or loss of transmission, to define ⁇ data; in the stream, belonging to the different parts of images or sub-images. comprising a mosaic image.
  • the technique of resynchronization markers is used to locate the start of each sub-image of the mosaic and to decode at all times only the parts of the mosaic to be displayed.
  • the decoding process is thus improved in terms of speed of calculation, the video decoding of the mosaic of images is accelerated.
  • the goal is to preserve as much as possible the resources of the central processing unit (CPU) of the player to allow it to perform other tasks than those of video decoding of the mosaic.
  • the term "player” used here designates the complete device which includes the video decoder but also the entire system layer which controls this decoder, as well as other elements such as audio decoder, graphics processing circuits, display circuits. .
  • This selective decoding is implemented using a proprietary method at the level of the decoder and from information originating from the "system" layer which controls the video decoder. Decoders
  • FIG. 1 a mosaic format to be coded
  • the proposed process is involved in three elements of the video coding-decoding chain: the video coder, the system layer of the player containing the video decoder, the video decoder. It uses, during encoding, the video packet technique, existing for example in the
  • Figure 1 represents a succession of three images
  • mosaic referenced 1, 2, 3 to be coded at times t, t + 1, t + 2.
  • a mosaic image consists of sub-images or thumbnails of identical size and the corresponding video therefore consists of the superposition of sub-images of identical size. So the mosaic image 1
  • FIG. 35 consists of N sub-images or thumbnails referenced 1 1 to 1 N-
  • the coding bit stream of these images is represented in FIG. 2. It is the bit stream of the elementary stream ("Elementary Stream" in the MPEG standard) corresponding to the complete mosaic.
  • the video data relating to the mosaic image is preceded by an image header. They consist of coded data relating to each sub-image. According to the invention, these data are separated, for each sub-image, by a resynchronization marker.
  • the coder places in the bit stream resynchronization markers delimiting video packets, these packets being coded independently of each other, a video packet therefore corresponding to the data between two markers.
  • Each sub-image is then treated as a video packet and a resynchronization marker is therefore placed at the start of each sub-image, that is to say that it precedes, in the stream of
  • the video encoder encodes all video sub-images. By placing, for the coding of the mosaic, the sub-images one under the other, the coding of the latter, by the video coding layer, is done sequentially, one after the other considering the scanning mode classic television type. Thus, by incrementing the synchronization markers from one sub-image to another, it is possible, on decoding, to locate and directly access the desired sub-image or sub-images simply from the number of the associated marker. From the information coming from the system layer indicating the desired sub-images, ie necessary for the production of the final image to be displayed, the decoder can therefore initiate the decoding of these only sub-images useful for this image final.
  • the coding of the sub-images can use the motion estimation for coding of the inter, predictive or bidirectional type. So that the sub-images can be decoded independently of one another, it is necessary, when coding an inter-type sub-images, that the motion estimation zone is limited to a corresponding prediction zone the location and size of the sub image involved. Thus, a motion vector of the motion estimator is not authorized to point in another sub-image than that corresponding to the block with which it is associated. This limitation can be applied only on the vertical axis, the standard authorizing a motion vector to point out of the image for the horizontal axis.
  • the decoder To allow the decoder to randomly access the 5 sub-images of the mosaic, for example following a user action, the sub-images must be regularly coded in intra mode.
  • the encoder codes at a relatively high frequency, conventionally every 0.5 seconds, the entire mosaic in intra mode. 10 - if the coding syntax allows, coding in intra mode is not performed on the whole image, but only on a part of the image.
  • the encoder uses this intra-sub-picture by sub-picture mode in a rotating manner.
  • the first sub-images are:, forced in intra mode.
  • the other sub-images are coded in '1.5 predictive mode, therefore with temporal prediction.
  • it is the following sub-images which are coded in intra mode, and so on until reaching the last sub-images of the mosaic.
  • the: process starts again for the first. subframes. This makes it possible to dilute over time the cost, in terms of bit rate, of sub-images coded in intra 0 and not to have a peak bit rate which would occur if the coding of the entire image was carried out in intra mode.
  • a similar implementation of this second solution consists in providing each of the sub-images with an intra refresh counter, reset at each intra coding, for example to a value equal to the refresh period Rf, this counter being decremented at each inter coding of the sub-image in question.
  • the counters associated with the sub-images are initialized randomly between 0 and Rf.
  • the intra-coding of the sub-image is triggered each time 0 when the counter returns to Rf.
  • the refresh counter associated with this sub-image can be reset to Rf in order to allow coding of this sub-image in intra mode. .
  • the system layer of the player implements a proprietary solution making it possible to indicate to the video decoder, from a suitable interface, which sub-images of the mosaic must be decoded. She for example transmits the ordered list of the numbers of the sub-images to be decoded. These sub-images are exactly those which must be displayed after decoding. When a 'standard' decoder is used, this information will not be used and the entire mosaic will be decoded. 5
  • the video decoder receives the bit stream corresponding to the coded mosaic, as well as the list of the numbers of the sub-images to be decoded. It manages the following information:
  • the drive processing algorithm is shown in Figure 3. the list of sub-images to be decoded, calculated by the system layer, is operated by the processing algorithm -.
  • a first step 4 checks whether all the sub-images in the list have been processed. 5 If yes, that is to say at the end of the list, the next step is step 5. All the sub-images necessary for displaying the final image having been processed, the decoding process is finished and the decoded mosaic is returned to the system layer which will process it to display the final image. 0 If not, the next step 6 recovers the number k of the next sub-image to be processed, the first sub-image if it is at the start of iteration. The next step 7 searches for the resynchronization marker k in the data stream. Step 8 checks if it has been found.
  • step 4 If not, if for example there was an error in the data transmission, we go back to step 4 to process the sub- following image, the indicator relating to the current sub-image k being positioned so as to signal that the sub-image could not be decoded.
  • step 9 checks whether the mosaic has been coded entirely in intra mode or whether the sub-image k of the previous mosaic image has been decoded. This verification can be done from the positioning of the "decoded_image (k)" indicators assigned to the subimages:
  • the decoding of the sub-image is then possible and, during step 10, the data relating to this sub-image k are decoded.
  • the algorithm will check whether the coding of the macroblocks of the sub-image k is carried out in intra mode, the coding mode of the global image being however the inter mode.
  • a step 12 checks whether all the macroblocks of the sub ⁇ ; image have been reviewed. -,
  • step 14 checks, for the next macroblock, whether it is coded
  • step 15 positions the indicator so as to indicate that::. the corresponding thumbnail has not been decoded.
  • the next step is step 4 which processes the next subimage.
  • step 13 performs the decoding of the data relating to this macroblock then step 12 checks whether it is the last macroblock to be coded for this sub-image k. If yes, that is to say if all the data relating to the macroblocks of the sub-image k have been able to be decoded, step 11 is implemented.
  • the sub-image is then reconstructed during the next step 11 where the "decoded_image (k)" indicator is updated. It is a reconstruction, either from the only data of the stream relating to this sub-image at time t if the coding of the data was in intra mode, or from the stored data of the decoded sub-image. corresponding to the previous mosaic if the coding of the data was in inter mode.
  • the thumbnail is constructed from the decoded data by performing in a conventional way, the inverse cosine transformation operations, motion compensation, addition of the residue in inter mode ...
  • step 15 When a subimage could not be constructed (step 15), one. solution 1 is to exploit the. corresponding sub-image of the previous mosaic. '. '.
  • An improvement "of the invention consists in transmitting thumbnails of different size. The method then consists, at the level of the coder, in coding, in addition to the image of the mosaic, the shape of the support of the mosaic.
  • FIG. 4 represents, referenced 16, a form of mosaic for which the thumbnails do not all have the same form.
  • a coding of the support of the mosaic referenced 17 in the figure, is carried out. This coding is only necessary at the very start of the video session. However, it is possible to modify the arrangement of the different thumbnails over time. It is then necessary to update this support.
  • the new medium is transmitted, in intra or inter mode, at each change of arrangement of the thumbnails which results in a change of the medium.
  • An implementation of the method exploits the macroblock coding of a sub-image.
  • This is an exemplary embodiment and the macroblock can be replaced by any image element without departing from the scope of the invention.
  • the described method can be extended to video objects of any shape, the medium then having to be coded at all times.
  • One application concerns video games where the thumbnails correspond to different animated characters. It can be noted that if, at the encoding level, the addition of resynchronization markers at the start of each sub-image slightly increases the bit stream, this additional cost is limited and also makes it possible to have a resynchronization which facilitates the masking of transmission errors.
  • the selection of the sub-images from the synchronization markers can be done by assigning a numbering to the markers and the sub-images, a number of a marker then corresponding to a determined sub-images. It can also be done taking into account the sequential coding of the sub-strings; - the nth synchronization marker. for relative data. at . a mosaic image then corresponding to the nth coded sub-image of the mosaic.
  • the applications concern, inter alia, interactive services using the video mosaic system; It can be, for example, the consultation of an electronic program guide where the user has the possibility of examining the different pages of a mosaic of programs.

Abstract

Le procédé de codage d'une mosaïque d'images donnant un flux de données codées, la mosaïque étant composée de sous-images, les sous-images étant composées d'éléments d'images, des marqueurs de resynchronisation dans le flux permettant une resynchronisation des données au niveau de la réception, est caractérisé en ce que : les sous-images (11...1N) sont placées les unes sous les autres dans l'image à coder pour donner une mosaïque, la mosaïque est codée élément par élément selon un balayage de type TV pour fournir des données du flux, le premier élément de chaque sous-image étant identifié, un marqueur de resynchronisation est placé dans le flux, avant chaque premier élément d'une sous-image, pour identifier les données relatives à la sous-image.

Description

PROCEDE ET DISPOSITIF DE CODAGE D'UNE MOSAÏQUE D"IMAGES.
L'invention concerne un procédé et dispositif de codage et de décodage d'une mosaïque d'images.
Le domaine est celui de la compression vidéo de type MPEG ou autre, dans le cas où cette technique permet de mettre en œuvre des moyens de resynchronisation. Il s'agit par exemple du standard H263 ou MPEG 4 ou de tout procédé de compression qui offre la possibilité de placer des Tnarqueurs de resynchronisation à différents endroits du train binaire généré lors de la compression.
Dans les décodeurs numériques actuels mettant en œuvre des décodeurs MPEG-2, la mosaïque est généralement composée de plusieurs pages (écrans), chaque page correspondant à un canal (flux élémentaire MPEG2). A tout instant, une image entière est décodée et affichée. Même si seule une partie de la mosaïque est utile à l'affichage, la mosaïque doit être entièrement décodée, générant ainsi un temps de traitement important.
L'invention a pour but de pallier les inconvénients précités. Elle a pour objet un procédé de codage d'une mosaïque d'images donnant un flux de données codées, la mosaïque étant composée de sous-images, les sous-images étant composées d'éléments d'images, des marqueurs de resynchronisation dans le flux permettant une resynchronisation des données au niveau de la réception, caractérisé en ce que :
- les sous-images sont placées les unes sous les autres dans l'image à coder pour donner une mosaïque,
- la mosaïque est codée élément par élément selon un balayage de type TV pour fournir des données du flux, le premier élément de chaque sous-image étant identifié,
- un marqueur de resynchronisation est placé dans le flux, avant chaque premier élément d'une sous-image pour identifier les données relatives à la sous-image.
Selon une mise en oeuvre particulière du procédé, un élément d'image est un macrobloc, le codage exploite le standard MPEG 2 et les marqueurs de resynchronisation sont des entêtes de tranches (slices en anglais dans la norme).
Selon une mise en œuvre particulière du procédé, un élément d'image est un macrobloc, le codage exploite le standard MPEG 4 et les marqueurs de resynchronisation sont des entêtes de groupes de macroblocs.
Selon une mise en œuvre particulière du procédé, lorsque le codage des sous-images est en mode inter avec estimation de mouvement, l'estimation de mouvement exploite une fenêtre de recherche du vecteur mouvement qui correspond à l'emplacement de la sous-image dans l'image. Selon une mise en œuvre particulière du procédé, le codage d'une sous-image est forcé en mode intra si elle n'a pas été codée dans ce mode pour un nombre déterminé d'images mosaïque précédentes.
Selon une mise en œuvre particulière du procédé, les sous- images ayant des tailles différentes, la surface de ces images constituant un support de mosaïque, le support de mosaïque est également codé et les données de codage du support sont transmises dans le flux en début d'une session vidéo. Si le support varie dans le temps, les données de codage du support sont transmises dans le flux à chaque variation.
L'invention concerne également.un procédé de décodage d'une mosaïque d'images à partir d'un flux de données comprenant des marqueurs de resynchronisation et des données de codage de mosaïques d'images constituées de sous-images, caractérisé en ce qu'un filtrage de ces données à partir des marqueurs de resynchronisation et un décodage sont effectués, pour extraire du flux et décoder, parmi les données relatives aux mosaïques, les seules données relatives à des sous-images sélectionnées.
Selon une mise en œuvre particulière du procédé, les sous- images décodées sont mémorisées et si une sous-image a été codée en mode inter, la sous-image correspondante mémorisée de la mosaïque précédente est exploitée pour le décodage. Selon une mise en œuvre particulière du procédé, si une sous- image ne peut être décodée, la sous-image correspondante de la mosaïque précédente est prise en compte.
L'invention concerne également un décodeur pour le décodage d'une mosaïque d'images à partir d'un flux de données comprenant des marqueurs de resynchronisation et des données de codage de mosaïques d'images constituées de sous-images, caractérisé en ce qu'il comprend un circuit de filtrage à partir des marqueurs de synchronisation et un circuit de décodage pour extraire du flux et décoder, parmi les données relatives aux mosaïques, les seules données relatives à des sous-images sélectionnées. L'invention concerne également un lecteur d'un flux de données vidéo transportant des données de codage de mosaïques d'images composées de sous-images et des marqueurs de resynchronisation, pour l'affichage d'une image finale, comportant un décodeur pour le décodage du flux et un circuit de traitement pour la gestion du décodeur, caractérisé en ce que: - le circuit de traitement transmet au décodeur des informations sur les sous-images sélectionnées utiles pour l'affichage de l'image finale,
- le décodeur comporte un circuit de filtrage à partir des marqueurs de synchronisation et un circuit de décodage, pour extraire du flux et décoder, parmi les données relatives aux mosaïques, les seules données relatives aux sous-images.sélectionnées: . " :.. , .
: L'idée de l'invention est d'exploiter, des marqueurs de resynchronisation prévus généralement dans les normes pour permettre une resynchronisation sur le flux de données reçu lors d'erreurs ou pertes da transmission, pour définir^des données; dans le flux, appartenant aux différentes parties d'images ou sous-images .composant une imagé mosaïque. La technique des marqueurs de resynchronisation est utilisée pour repérer le début de chaque sous-image de la mosaïque et ne décoder à tout instant que les parties de la mosaïque à afficher. Le processus de décodage est ainsi amélioré en termes de rapidité de calcul, le décodage vidéo de la mosaïque d'images est accéléré. Le but est de préserver au maximum les ressources de l'unité centrale de traitement (CPU) du lecteur pour lui permettre d'effectuer d'autres tâches que celles de décodage vidéo de la mosaïque. Le terme "lecteur" utilisé ici désigne l'appareil complet qui comprend le décodeur vidéo mais aussi toute la couche système qui commande ce décodeur, ainsi que d'autres éléments tels que décodeur audio, circuits de traitement graphique, circuits d'affichage...
Dans le cas d'un lecteur MPEG-4, la part consacrée à la gestion des applications graphiques et à la couche système est essentielle. De plus en plus de plateformes sont équipées de moyens de décodage de données MPEG 4 et il devient logique que les applications interactives de type guide de programme électronique ou EPG (Electronic Program Guide) soient implémentées au standard MPEG 4, permettant une plus grande richesse au niveau interactivité. Il est donc très intéressant de rendre le 5 décodage vidéo le plus rapide possible et de simplifier le traitement des données dans ce type d'applications.
Ce décodage sélectif est mis en œuvre à partir d'une méthode propriétaire au niveau du décodeur et à partir d'informations provenant de la couche "système" qui commande le décodeur vidéo. Les décodeurs
10 "standards" ne comportant pas ce perfectionnement restent cependant compatibles de la technique mise en œuvre, toutefois sans bénéficier des avantages du procédé proposé.
D'autres particularités et avantages de l'invention apparaîtront clairement dans la description suivante donnée-à titre d'exemple non limitatif
15 et faite en regard des figures annexées qui. représentent:
- la figure 1 , un format de mosaïque à coder,
- la figure 2, un train binaire généré par le codeur; .
- - la figure 3, un algorithme de traitement du décodeur, •
; . ' - .- - la figure 4, un format de mosaïque de taille variable.
•20 .. :•••• • ;•' -. ,-V". ' ;: --- .. '. - "'•'
Le procédé proposé intervient dans .trois éléments de la chaîne de codage-décodage vidéo -: le codeur vidéo, la couche système du lecteur contenant le décodeur vidéo, le décodeur vidéo. Il exploite, lors de l'encodage, la technique des paquets vidéo, existant par exemple dans la
25 norme MPEG-4 vidéo (cf. ISO/IEC JTC 1/SC 29/WG 11 N 2502, annexe E, paragraphe E.1.1 , pages 307 à 308). Elle consiste à placer dans chaque image des marqueurs de resynchronisation délimitant chaque paquet vidéo, ces paquets étant codés indépendamment les uns des autres, tel que décrit dans ce document au paragraphe E.1.1 intitulé "resynchronization".
30 La figure 1 représente une succession de trois images
"mosaïque" référencées 1 , 2, 3 à coder aux instants t, t+1 , t+2. Dans cet exemple, une image mosaïque est constituée de sous-images ou imagettes de taille identique et la vidéo correspondante consiste donc en la superposition de sous-images de taille identique. Ainsi, l'image mosaïque 1
35 est constituée de N sous-images ou imagettes référencées 11 à 1 N- Le flux binaire de codage de ces images est représenté à la figure 2. Il s'agit du train binaire du flux élémentaire ("Elementary Stream" dans la norme MPEG) correspondant à la mosaïque complète. Les données vidéo relatives à l'image mosaïque sont précédées par un en-tête d'image (header d'image). Elles sont constituées des données codées relatives à chaque sous-image. Selon l'invention, ces données sont séparées, pour chaque sous-image, par un marqueur de resynchronisation. Lors de l'encodage, le codeur place dans le train binaire des marqueurs de resynchronisation délimitant des paquets vidéo, ces paquets étant codés indépendamment les uns des autres, un paquet vidéo correspondant donc aux données entre deux marqueurs. Chaque sous-image est alors traitée comme un paquet vidéo et un marqueur de resynchronisation est donc placé au début de chaque sous-image, c'est à dire qu'il précède, dans le flux de
* données, les données vidéo correspondant à une sous-image. Dans le cas d'un codage par macroblocs, ce marqueur est placé, dans le flux de données, avant le premier macrobloc de chaque sous-image.
Le codeur vidéo code toutes les sous-images vidéo. En plaçant, pour le codage de la mosaïque, les sous-images les unes sous les autres, le codage de ces dernières, par la couche de codage vidéo, se fait de manière séquentielle, les unes après les autres en considérant le mode de balayage classique de type télévision. Ainsi, en incrémentant les- marqueurs de synchronisation d'une sous-image à l'autre, il est possible, au décodage, de repérer et d'accéder directement à la sous-image ou aux sous-images souhaitées simplement à partir du numéro du marqueur associé. A partir des informations provenant de la couche système indiquant les sous-images souhaitées, c'est à dire nécessaires à la réalisation de l'image finale à afficher, le décodeur peut donc initier le décodage de ces seules sous- images utiles à cette image finale.
Le codage des sous-images peut exploiter l'estimation de mouvement pour un codage de type inter, prédictif ou bidirectionnel. Afin que les sous-images puissent être décodées de manière indépendante les unes des autres, il est nécessaire, lors du codage d'une sous-images de type inter, que la zone d'estimation de mouvement soit limitée à une zone de prédiction correspondant à l'emplacement et la taille de la sous-image concernée. Ainsi, un vecteur mouvement de l'estimateur de mouvement n'est pas autorisé à pointer dans une autre sous-image que celle correspondant au bloc auquel il est associé. Cette limitation peut être appliquée sur le seul axe vertical, la norme autorisant un vecteur de mouvement à pointer hors de l'image pour l'axe horizontal.
Pour permettre au décodeur d'accéder de façon aléatoire aux 5 sous-images de la mosaïque, par exemple suite à une action de l'utilisateur, les sous-images doivent être régulièrement codées en mode intra. Plusieurs solutions sont possibles :
- le codeur code à une fréquence relativement élevée, classiquement toutes les 0,5 secondes, la mosaïque entière en mode intra. 10 - si la syntaxe de codage le permet, le codage en mode intra n'est pas effectué sur toute l'image, mais uniquement sur une partie de l'image. Ainsi le codeur utilise ce mode intra sous-image par sous-image de façon tournante. A un instant donné, seules les premières sous-images sont : , forcées en mode intra. Les autres sous?images sont codées en mode' 1.5 prédictif, donc avec prédiction temporelle. A l'instant suivant, ce sont les sous-images suivantes qui sont codées en mode intra, et ainsi de suite jusqu'à, atteindre les dernières sous-images de la mosaïque. Puis le : processus recommence pour les premières . sous-images. Cela permet de diluer dans le temps le coût, en terme de débit, des sous-images codées en 0 intra et de ne pas avoir de pic de débit qui ^interviendrait si le codage de l'image entière était effectué en mode intra. - > •; '
Une mise en œuvre voisine de cette deuxième solution consiste à doter chacune des sous-images d'un compteur de rafraîchissement intra, réinitialisé à chaque codage en intra, par exemple à une valeur égale à la 25 période Rf de rafraîchissement, ce compteur étant décrémenté à chaque codage inter de la sous-image en question. Au début du codage de la séquence mosaïque, une fois la première image mosaïque codée en mode intra, les compteurs associés aux sous-images sont initialisés aléatoirement entre 0 et Rf. Le codage en intra de la sous-image est déclenché chaque fois 0 que le compteur revient à Rf. De plus, lors d'un changement de scène (eut en anglais) relatif à une sous-image, le compteur de rafraîchissement associé à cette sous-image peut être réinitialisé à Rf afin de permettre le codage de cette sous-image en mode intra.
La couche système du lecteur met en œuvre une solution 5 propriétaire permettant d'indiquer au décodeur vidéo, à partir d'une interface adaptée, quelles sous-images de la mosaïque doivent être décodées. Elle transmet par exemple la liste ordonnée des numéros des sous-images à décoder. Ces sous-images sont exactement celles qui doivent être affichées après décodage. Lorsqu'un décodeur 'standard' est utilisé, ces informations ne seront pas exploitées et la totalité de la mosaïque sera alors décodée. 5 Le décodeur vidéo reçoit le flux binaire correspondant à la mosaïque codée, ainsi que la liste des numéros des sous-images à décoder. Il gère les informations suivantes :
- le mode de codage de l'image courante (mode intra ou prédictif) ; 0 - un indicateur affecté à chaque imagette, signalant si l'imagette a été décodée à l'instant précédent (sous-image_décodée (k)).
L'indicateur "sous-image décodée (k)", pour k variant de 1 à N, indicateur relatif à la sous-image (k), N étant le nombre de sous-images constituant la mosaïque, permet de savoir si cette sous-image k a été 5" entièrement décodée à l'instant précédent et donc reconstruite: C'est Je cas lorsque cette sous-image k est codée en mode intra ou lorsqu'elle est codée en mode1 prédictif (mode inter) et qu'alors la sous-image- précédente ' -.'-' correspondante auquel les vecteurs mouvement font référence est décodée, . .-; -- permettant le décodage de cette sous-image courante .k. - ; ->.-- - 0 '. • •; . - L'algorithme de traitement du lecteur est représenté à la figure 3. La liste des sous-images à décoder, calculée par la couche système, est exploitée par l'algorithme de traitement. -
Une première étape 4 vérifie si toutes les sous-images de la liste ont été traitées. 5 Dans l'affirmative, c'est à dire si l'on est en fin de liste, l'étape suivante est l'étape 5. Toutes les sous-images nécessaires à l'affichage de l'image finale ayant été traitées, le processus de décodage est terminé et la mosaïque décodée est restituée à la couche système qui va la traiter pour réaliser l'affichage de l'image finale. 0 Dans la négative, l'étape suivante 6 récupère le numéro k de la sous-image suivante à traiter, la première sous-image si l'on est en début d'itération. L'étape suivante 7 recherche le marqueur de resynchronisation k dans le flux de données. L'étape 8 vérifie s'il a été trouvé.
Dans la négative, si par exemple il y a eu erreur dans la 5 transmission des données, on reboucle sur l'étape 4 pour traiter la sous- image suivante, l'indicateur relatif à la sous-image courante k étant positionné de manière à signaler que la sous-image n'a pu être décodée.
Dans l'affirmative, l'étape suivante, qui est l'étape 9, vérifie si la mosaïque a été codée entièrement en mode intra ou bien si la sous-image k de l'image mosaïque précédente a bien été décodée. Cette vérification peut se faire à partir du positionnement des indicateurs "sous-image_décodée(k)" affectés aux sous-images :
- si tel est le cas, le décodage de la sous-image est alors possible et, lors de l'étape 10, les données relatives à cette sous-image k sont décodées.
- si tel n'est pas le cas, l'algorithme va vérifier si le codage des macrobloc de la sous-image k est effectué en mode intra, le mode de codage de l'image globale étant toutefois le mode inter.
- . ---. Ainsi, une étape 12 vérifie si tous les macroblocs de la sous- ~; image ontété passés en revue. - ,
• '• • . Si non, l'étape 14 vérifie, pour le macrobloc suivant, s'il est codé
..- en mode intra :
, t. ' . , - si tel n'est pas le cas, la sous-image k ne peut être décodée
. en mode ;intra, et ϋétape 15 positionne l'indicateur de manière à signaler que ;: .l'imagette correspondante n'a pas été décodée. L'étape suivante est l'étape 4 qui traite la sous-image suivante.
- si tel est le cas, l'étape suivante 13 effectue le décodage des données relatives à ce macrobloc puis l'étape 12 vérifie s'il s'agit du dernier macrobloc à coder de cette sous-image k. Si oui, c'est à dire si toutes les données relatives aux macroblocs de la sous-image k ont pu être décodées, l'étape 11 est mise en œuvre.
Lorsque les données relatives à tous les macroblocs de la sous-image ont été décodés, que ce soit à l'issue de l'étape 13 et 12 ou bien à l'issue de l'étape 10, la sous-image est alors reconstituée lors de l'étape suivante 11 où l'indicateur "sous-image_décodée(k)" est mis à jour. Il s'agit d'une reconstruction, soit à partir des seules données du flux relatif à cette sous-image à l'instant t si le codage des données était en mode intra, soit à partir des données mémorisées de la sous-image décodée correspondante de la mosaïque précédente si le codage des données était en mode inter. L'imagette est construite à partir des données décodées en effectuant de manière classique les opérations de transformation cosinus inverse, compensation de mouvement, ajout du résidu en mode inter...
On passe ensuite à une nouvelle sous-image, étape 4, lors d'une nouvelle itération. Cet algorithme permet donc de construire les seules imagettes dont le numéro est indiqué dans la liste des imagettes à décoder, à condition qu'elles soient codées en mode intra ou codées en mode prédictif, l'imagette correspondante précédente ayant été elle-même construite. Si dans ce mode prédictif, l'imagette correspondante de la mosaïque précédente n'a pas été reconstruite, il faut attendre une prochaine imagette codée en mode intra pour pouvoir la construire. Il est donc essentiel, lors du codage, de coder régulièrement les imagettes en mode intra. C'est la boucle 12, 14, 13, qui permet de vérifier le codage en mode intra d'une sous-image lorsque l'image globale est codée en mode prédictif. En sortie de ce processus de décodage, on obtient une mosaïque partiellement remplie, en fonction des imagettes nécessaires.
Lorsqu'une sous-image n'a pu être construite (étape 15), une . solution1 consiste à exploiter la. sous-image correspondante de la mosaïque précédente. ' . ' . Un perfectionnement" de l'invention consiste à transmettre des imagettes de taille différente. Le procédé consiste alors, au niveau du codeur, à coder, en plus de l'image de la mosaïque, la forme du support de la mosaïque.
La figure 4 représente, référencée 16, une forme de mosaïque pour laquelle les imagettes n'ont pas toutes la même forme. Dans ce cas, un codage du support de la mosaïque, référencé 17 sur la figure, est effectué. Ce codage n'est nécessaire qu'au tout début de la session vidéo. Cependant, une modification dans le temps de la disposition des différentes imagettes est possible. Il est alors nécessaire de mettre à jour ce support. Le nouveau support est transmis, en mode intra ou inter, à chaque changement de disposition des imagettes qui entraîne un changement du support.
Une mise en œuvre du procédé exploite le codage par macrobloc d'une sous-image. Il s'agit d'un exemple de réalisation et le macrobloc peut être remplacé par tout élément d'image sans pour autant sortir du domaine de l'invention. Le procédé décrit peut être étendu aux objets vidéo de forme quelconque, le support devant alors être codé à chaque instant. Une application concerne les jeux vidéo où les imagettes correspondent à différents personnages animés. On peut noter que si, au niveau de l'encodage, l'ajout de marqueurs de resynchronisation au début de chaque sous-image alourdit légèrement le flux binaire, ce surcoût est limité et permet d'autre part de disposer d'un outil de resynchronisation qui facilite le masquage des erreurs de transmission. La sélection des sous-images à partir des marqueurs de synchronisation peut se faire en affectant une numérotation aux marqueurs et aux sous-images, un numéro d'un marqueur correspondant alors à une sous-images déterminée. Elle peut également se faire en tenant compte du codage séquentiel des sousrimages;- le nième marqueur de synchronisation . pour les données relatives . à . une image mosaïque correspondant alors à la nième sous-image codée de la mosaïque..
Les applications concernent, entres autres, les services interactifs utilisant le système de mosaïque vidéo; Il peut s'agir, par exemple, de la consultation d'un guide électronique de programme où l'utilisateur a la , possibilité d'examiner les différentes pages d'une mosaïque de programmes. ••

Claims

REVENDICATIONS
1 Procédé de codage d'une mosaïque d'images d'une séquence d'images donnant un flux de données codées selon une syntaxe permettant l'intégration de marqueurs, de resynchronisation pour synchroniser le flux à la réception, la mosaïque étant composée de sous- images, les sous-images étant composées d'éléments d'images constituant un nombre quelconque de lignes de balayage, caractérisé en ce que : - les sous-images (1 -I ...1 N) sont placées les unes sous les autres dans l'image à coder pour donner une mosaïque,
- la mosaïque est codée macrobloc par macrobloc selon un balayage de type TV pour fournir des données du flux, le premier macrobloc de chaque sous-image étant identifié, - un marqueur de resynchronisation est placé dans le flux, avant chaque premier élément d'une sous-image, pour identifier les données relatives à la sous-imâge.
2 Procédé selon la revendication 1, caractérisé en ce que les marqueurs de synchronisation sont incrémentés d'une sous-image à l'autre.
3 Procédé selon la revendication 1 , caractérisé en ce qu'un élément d'image est un macrobloc, en ce que le codage exploite le standard MPEG 2 et en ce que les marqueurs de resynchronisation sont des entêtes de tranches (slices en anglais).
4 Procédé selon la revendication 1 , caractérisé en ce qu'un élément d'image est un macrobloc, en ce que le codage exploite le standard MPEG 4 et en ce que les marqueurs de resynchronisation sont des entêtes de groupes de macroblocs.
5 Procédé de codage selon la revendication 1 , caractérisé en ce que, lorsque le codage des sous-images est en mode inter avec estimation de mouvement, l'estimation de mouvement exploite une fenêtre de recherche du vecteur mouvement qui correspond à l'emplacement de la sous-image dans l'image. 6 Procédé selon la revendication 1, caractérisé en ce que le codage d'une sous-image est forcé en mode intra si elle n'a pas été codée dans ce mode pour un nombre déterminé d'images mosaïque précédentes.
7 Procédé selon la revendication 1 , les sous-images ayant des tailles différentes (16), la surface de ces images constituant un support de mosaïque (17), caractérisé en ce que le support de mosaïque est également codé et les données de codage du support transmises dans le flux en début d'une session vidéo.
8 Procédé selon la revendication 7, caractérisé en ce que le support de mosaïque varie dans le temps et en ce que les données de codage du support sont transmises dans le flux à chaque variation. "'
9 Procédé de décodage d'une mosaïque d'images à partir d'un flux de données comprenant des marqueurs de resynchronisation et des données de codage de mosaïques d'images constituées de sous-images, caractérisé en ce qu'un filtrage (6, 7, 8) de ces données à partir des marqueurs de synchronisation et un décodage sont effectués, pour extraire du flux et décoder, parmi les données relatives aux mosaïques, les seules données relatives à des sous-images sélectionnées.
10 Procédé selon la revendication 9, caractérisé en ce que le filtrage est fonction du numéro des marqueurs de synchronisation
11 Procédé de décodage selon la revendication 9, caractérisé en ce que les sous-images décodées sont mémorisées, et en ce que, si une sous-image a été codée en mode inter, la sous-image correspondante mémorisée de la mosaïque précédente est exploitée pour le décodage.
12 Procédé selon la revendication 9, caractérisé en ce que, si une sous-image ne peut être décodée, la sous-image correspondante de la mosaïque précédente est prise en compte. 13 Décodeur pour le décodage d'une mosaïque d'images à partir d'un flux de données comprenant des marqueurs de resynchronisation et des données de codage de mosaïques d'images constituées de sous- images, caractérisé en ce qu'il comprend un circuit de filtrage (6, 7, 8) à partir des marqueurs de synchronisation et un circuit de décodage (10) pour extraire du flux et décoder, parmi les données relatives aux mosaïques, les seules données relatives à des sous-images sélectionnées.
14 Lecteur d'un flux de données vidéo transportant des données de codage de mosaïques d'images composées de sous-images et des marqueurs de resynchronisation, pour l'affichage d'une image finale, comportant un décodeur pour le décodage du flux et un circuit de traitement pour la gestion du décodeur, caractérisé en ce que:
- le circuit de traitement transmet au décodeur des informations sur les sous-images sélectionnées utiles pour l'affichage de l'image finale,
- le décodeur comporte un circuit de filtrage (6, 7, 8) à partir des marqueurs de synchronisation et un circuit de décodage (10), pour extraire du flux et décoder, parmi les données relatives aux mosaïques, les seules données relatives aux sous-images sélectionnées.
EP02791509A 2001-07-27 2002-07-24 Procede et dispositif de codage d'une mosa que d'images Withdrawn EP1413145A1 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0110087A FR2828055B1 (fr) 2001-07-27 2001-07-27 Procede et dispositif de codage d'une mosaique d'images
FR0110087 2001-07-27
PCT/FR2002/002639 WO2003013145A1 (fr) 2001-07-27 2002-07-24 Procede et dispositif de codage d'une mosaïque d'images

Publications (1)

Publication Number Publication Date
EP1413145A1 true EP1413145A1 (fr) 2004-04-28

Family

ID=8866007

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02791509A Withdrawn EP1413145A1 (fr) 2001-07-27 2002-07-24 Procede et dispositif de codage d'une mosa que d'images

Country Status (5)

Country Link
US (1) US8160159B2 (fr)
EP (1) EP1413145A1 (fr)
JP (1) JP4547149B2 (fr)
FR (1) FR2828055B1 (fr)
WO (1) WO2003013145A1 (fr)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8437405B1 (en) * 2004-12-08 2013-05-07 Nvidia Corporation System and method for intra refresh implementation
TW200704183A (en) * 2005-01-27 2007-01-16 Matrix Tv Dynamic mosaic extended electronic programming guide for television program selection and display
US7692682B2 (en) * 2005-04-28 2010-04-06 Apple Inc. Video encoding in a video conference
EP1936996A3 (fr) * 2005-04-28 2011-07-27 Apple Inc. Traitement vidéo et conférence vidéo à plusieurs participants
US8875196B2 (en) 2005-08-13 2014-10-28 Webtuner Corp. System for network and local content access
US10878646B2 (en) 2005-12-08 2020-12-29 Smartdrive Systems, Inc. Vehicle event recorder systems
US20070150138A1 (en) 2005-12-08 2007-06-28 James Plante Memory management in event recording systems
US8996240B2 (en) 2006-03-16 2015-03-31 Smartdrive Systems, Inc. Vehicle event recorders with integrated web server
US9201842B2 (en) 2006-03-16 2015-12-01 Smartdrive Systems, Inc. Vehicle event recorder systems and networks having integrated cellular wireless communications systems
US20080049830A1 (en) * 2006-08-25 2008-02-28 Drivecam, Inc. Multiple Image Source Processing Apparatus and Method
US8989959B2 (en) 2006-11-07 2015-03-24 Smartdrive Systems, Inc. Vehicle operator performance history recording, scoring and reporting systems
US8649933B2 (en) 2006-11-07 2014-02-11 Smartdrive Systems Inc. Power management systems for automotive video event recorders
US8868288B2 (en) 2006-11-09 2014-10-21 Smartdrive Systems, Inc. Vehicle exception event management systems
US8239092B2 (en) 2007-05-08 2012-08-07 Smartdrive Systems Inc. Distributed vehicle event recorder systems having a portable memory data transfer system
JP2008288629A (ja) * 2007-05-15 2008-11-27 Sony Corp 画像信号処理装置、撮像素子、および画像信号処理方法、並びにコンピュータ・プログラム
US8761253B2 (en) * 2008-05-28 2014-06-24 Nvidia Corporation Intra prediction mode search scheme
US8831099B2 (en) * 2008-12-17 2014-09-09 Nvidia Corporation Selecting a macroblock encoding mode by using raw data to compute intra cost
US9432674B2 (en) * 2009-02-02 2016-08-30 Nvidia Corporation Dual stage intra-prediction video encoding system and method
US8698959B2 (en) * 2009-06-03 2014-04-15 Thomson Licensing Method and apparatus for constructing composite video images
EP2506263A1 (fr) * 2011-03-31 2012-10-03 Thomson Licensing Graphique de scène stéréoscopique pour définir des objets graphiques compatibles 3D et 2D
CA2836462A1 (fr) 2011-05-17 2012-11-22 Eduard Zaslavsky Systeme et procede pour capteur haute precision evolutif et systeme de mesure d'audience base sur l'identification
CA2837198A1 (fr) 2011-05-24 2012-11-29 Webtuner Corp. Systeme et procede pour augmenter l'efficacite et la vitesse de generation de rapport d'analyse dans des systemes de mesure d'audience
EP2716038A4 (fr) 2011-05-26 2014-10-22 Webtuner Corp Système de mesure d'audience très extensible avec prétraitement d'événement client
US9728228B2 (en) 2012-08-10 2017-08-08 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
JP5997988B2 (ja) * 2012-09-13 2016-09-28 株式会社日立製作所 画像伝送システムおよび画像伝送方法
US9501878B2 (en) 2013-10-16 2016-11-22 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US9610955B2 (en) 2013-11-11 2017-04-04 Smartdrive Systems, Inc. Vehicle fuel consumption monitor and feedback systems
US9293119B2 (en) 2014-01-06 2016-03-22 Nvidia Corporation Method and apparatus for optimizing display updates on an interactive display device
US9383851B2 (en) 2014-01-06 2016-07-05 Nvidia Corporation Method and apparatus for buffering sensor input in a low power system state
US8892310B1 (en) 2014-02-21 2014-11-18 Smartdrive Systems, Inc. System and method to detect execution of driving maneuvers
US9247283B1 (en) * 2014-10-27 2016-01-26 Cisco Technology, Inc. Mosaic presentation screen production
US9663127B2 (en) 2014-10-28 2017-05-30 Smartdrive Systems, Inc. Rail vehicle event detection and recording system
US11069257B2 (en) 2014-11-13 2021-07-20 Smartdrive Systems, Inc. System and method for detecting a vehicle event and generating review criteria
US9804826B2 (en) 2014-12-05 2017-10-31 Nvidia Corporation Parallelization of random number generators
US9679420B2 (en) 2015-04-01 2017-06-13 Smartdrive Systems, Inc. Vehicle event recording system and method

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02163881A (ja) * 1988-12-16 1990-06-25 Canon Inc 画像処理装置
JP3070110B2 (ja) * 1991-02-27 2000-07-24 日本電気株式会社 動画像信号の伝送システム
KR0166725B1 (ko) * 1993-06-30 1999-03-20 김광호 강제인트라-프레임부호화방법
US5473379A (en) * 1993-11-04 1995-12-05 At&T Corp. Method and apparatus for improving motion compensation in digital video coding
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
JPH08316844A (ja) * 1995-05-17 1996-11-29 Hitachi Ltd 符号データ復号方法および符号データ復号装置
JP2962348B2 (ja) * 1996-02-08 1999-10-12 日本電気株式会社 画像符号変換方式
WO1997036425A1 (fr) * 1996-03-28 1997-10-02 British Telecommunications Public Limited Company Traitement d'images video
JPH1040357A (ja) * 1996-07-24 1998-02-13 Nippon Telegr & Teleph Corp <Ntt> 映像作成方法
JPH1174868A (ja) * 1996-09-02 1999-03-16 Toshiba Corp 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置／復号化装置、並びに符号化・多重化装置／復号化・逆多重化装置
EP1042736B1 (fr) * 1996-12-30 2003-09-24 Sharp Kabushiki Kaisha Systeme de codage video oriente images-objets
JPH10210465A (ja) * 1997-01-23 1998-08-07 Hitachi Ltd 符号列編集装置、画像符号化信号復号化装置、および、動画符号化信号復号化装置
US6404817B1 (en) * 1997-11-20 2002-06-11 Lsi Logic Corporation MPEG video decoder having robust error detection and concealment
JP4149593B2 (ja) * 1997-12-24 2008-09-10 株式会社リコー デジタルカメラおよび画像表示方法
JP3223163B2 (ja) * 1998-04-27 2001-10-29 松下電送システム株式会社 通信装置
FR2786353B1 (fr) * 1998-11-25 2001-02-09 Thomson Multimedia Sa Procede et dispositif de codage d'images selon la norme mpeg pour l'incrustation d'imagettes
AU2638900A (en) * 1998-12-24 2000-07-31 Barend Hendrik COETZER Method of and device for video image capturing, storage and processing
JP3487779B2 (ja) * 1999-02-15 2004-01-19 日本電気株式会社 コンテンツの編集方法、編集装置
JP4629173B2 (ja) * 1999-09-17 2011-02-09 ソニー株式会社 記録装置および記録方法、並びに記録媒体
JP4298088B2 (ja) * 1999-10-12 2009-07-15 キヤノン株式会社 撮像装置及びその制御方法
JP2001157147A (ja) * 1999-11-29 2001-06-08 Sanyo Electric Co Ltd 動画サムネイル表示機能を有するデジタル記録再生装置および動画サムネイル表示方法
JP2001177804A (ja) * 1999-12-20 2001-06-29 Toshiba Corp 画像記録再生装置
JP3956081B2 (ja) * 1999-12-27 2007-08-08 株式会社ハイニックスセミコンダクター グレー形状情報を含むデジタル動映像の符号化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"LINE TRANSMISSION OF NON-TELEPHONE SIGNALS", ITU-T TELECOMMUNICATION STANDARIZATION SECTOR OF ITU, GENEVA, CH, 1 March 1993 (1993-03-01), pages COMPLETE28, XP000791275 *
MOCCAGATTA I ET AL: "ERROR-RESILIENT CODING IN JPEG-2000 AND MPEG-4", IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS, IEEE SERVICE CENTER, PISCATAWAY, US, vol. 18, no. 6, 1 June 2000 (2000-06-01), pages 899 - 914, XP000933877, ISSN: 0733-8716, DOI: 10.1109/49.848245 *
See also references of WO03013145A1 *

Also Published As

Publication number Publication date
WO2003013145A1 (fr) 2003-02-13
JP2004537930A (ja) 2004-12-16
FR2828055A1 (fr) 2003-01-31
US20040184548A1 (en) 2004-09-23
US8160159B2 (en) 2012-04-17
JP4547149B2 (ja) 2010-09-22
FR2828055B1 (fr) 2003-11-28

Similar Documents

Publication Publication Date Title
EP1413145A1 (fr) Procede et dispositif de codage d&#39;une mosa que d&#39;images
US5983236A (en) Method and system for providing a multimedia presentation
JP3228874B2 (ja) 圧縮ディジタルビデオビットストリーム分割方法及び装置、並びにその復号方法及び装置
JP4406750B2 (ja) ユーザモザイクを生成するためのビデオ送信システム及びビデオ処理システム
US7149247B2 (en) Methods and systems for encoding and decoding video data to enable random access and splicing
US20040090466A1 (en) Method and system for providing a secure multimedia presentation
JP2011139501A (ja) チャンネル間変更の高速化
WO2008156641A2 (fr) Procédé et appareil pour accélérer un changement de canal
WO2013011496A1 (fr) Transmission de données de reconstruction dans une hiérarchie de qualité de signal échelonnée
MXPA01000974A (es) Sistema de conmutacion de video sin restriccion de datos digitales comprimidos.
US9621904B2 (en) Method and system for transmitting multiple wide-area surveillance area-of-interest video codestreams
KR20050022815A (ko) 썸네일 영상 서비스 방법
CN101179719B (zh) 视频序列的快速切换方法
GB2441365A (en) Displaying video data by displaying overlay video data over sections of the main video data
KR100818148B1 (ko) Ｍｐｅｇ 및 다른 데이터 포맷에 적합한 순차적인 비디오시퀀스를 송신하기 위한 장치 및 방법
CN114584769A (zh) 一种视角切换方法及装置
CN100382582C (zh) 在数字电视接收装置上实现静态图像捕捉的方法和装置
JP2001036827A (ja) デジタルテレビジョン番組を切り替える処理及び装置
US20030011627A1 (en) Method and system for providing a multimedia presentation
US7042471B2 (en) Method and system for displaying descriptive information associated with a defined video object
KR100747679B1 (ko) 디지털 텔레비전 수신기 디바이스 및 디지털 텔레비전 신호를 처리하는 방법 및 소프트웨어를 포함하는 저장 매체
MX9704785A (es) Metodo y aparato para codificar señales digitales de video.
JP2004007538A (ja) プレビューを含む電子番組表を送信する方法及び対応するデータ・ストリーム
FR2735258A1 (fr) Dispositif de decodage d&#39;un flux de donnees
EP0395507B1 (fr) Système d&#39;émission-réception pour la transmission d&#39;images couleur animées et du son à partir de canaux indépendants

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20040128

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

RIN1 Information on inventor provided before grant (corrected)

Inventor name: FRANCOIS, EDOUARD

Inventor name: THOREAU, DOMINIQUE

Inventor name: KERBIRIOU, PAUL

Inventor name: KERVELLA, GWENA(L

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: THOMSON LICENSING

17Q First examination report despatched

Effective date: 20080123

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: THOMSON LICENSING

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: THOMSON LICENSING DTV

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: INTERDIGITAL MADISON PATENT HOLDINGS

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: H04N 21/2365 20110101AFI20190322BHEP

Ipc: H04N 19/107 20140101ALI20190322BHEP

Ipc: H04N 19/61 20140101ALI20190322BHEP

Ipc: H04N 19/55 20140101ALI20190322BHEP

INTG Intention to grant announced

Effective date: 20190416

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20190827