WO2013187667A1 - Rate adaptation method using bit error rate for multimedia service and apparatus therefor - Google Patents

Rate adaptation method using bit error rate for multimedia service and apparatus therefor Download PDF

Info

Publication number
WO2013187667A1
WO2013187667A1 PCT/KR2013/005134 KR2013005134W WO2013187667A1 WO 2013187667 A1 WO2013187667 A1 WO 2013187667A1 KR 2013005134 W KR2013005134 W KR 2013005134W WO 2013187667 A1 WO2013187667 A1 WO 2013187667A1
Authority
WO
WIPO (PCT)
Prior art keywords
layer
mmt
bit error
error rate
generated
Prior art date
Application number
PCT/KR2013/005134
Other languages
French (fr)
Korean (ko)
Inventor
조용주
차지훈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120103995A external-priority patent/KR20130138638A/en
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/391,071 priority Critical patent/US9509439B2/en
Publication of WO2013187667A1 publication Critical patent/WO2013187667A1/en
Priority to US15/349,709 priority patent/US10181928B2/en
Priority to US16/206,550 priority patent/US10615907B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network

Definitions

  • the present invention relates to a multimedia transmission method, and more particularly, to an effective multimedia transmission method and apparatus using a bit error rate.
  • FEC forward error correction
  • An object of the present invention is to provide an effective multimedia transmission method using a bit error rate.
  • Multimedia reception method using a bit error rate is a bit error rate of a plurality of different layers including at least one of a physical (PHY) layer and a MAC (Media Access Control) layer Generating a message including an indicator indicating the generated layer.
  • PHY physical
  • MAC Media Access Control
  • the bit error rate may be estimated using additional information in a plurality of different layers including at least one of a physical (PHY) layer and a media access control (MAC) layer.
  • PHY physical
  • MAC media access control
  • the message further includes a parameter indicating the bit error rate, and the indicator indicating the layer in which the bit error rate is generated may belong to a portion of the parameter indicating the bit error rate.
  • An indicator indicating the layer in which the bit error rate is generated may be located in the first bit of the parameter representing the bit error rate.
  • An indicator indicating the layer in which the bit error rate is generated may be transmitted between layers of a receiving device through a cross layer interface (CLI).
  • CLI cross layer interface
  • the multimedia transmission method using a bit error rate to solve the above problem indicates a layer in which a bit error rate is generated from a plurality of different layers including at least one of a physical (PHY) layer and a Media Access Control (MAC) layer. And receiving a message including an indicator.
  • PHY physical
  • MAC Media Access Control
  • the bit error rate may be estimated and generated using additional information in a plurality of different layers including at least one of a physical (PHY) layer and a media access control (MAC) layer.
  • PHY physical
  • MAC media access control
  • MFU Media Fragment Unit
  • MPU Media Processing Unit
  • a coding rate may be selected by performing a rate control of media data to be transmitted based on the bit error rate in the generated message.
  • the method may further include coding media at the coding rate based on the generated bit error rate to transmit media data to a receiving apparatus.
  • the additional information may include at least one of signal strength, modulation information, and ambient wireless traffic information.
  • the channel state estimation method using the bit error rate for solving the above problem, in the method for estimating the channel state using the bit error rate, at least one of a physical layer and a MAC layer Generating the bit error rate using additional information among a plurality of different layers, and including the generated bit error rate and an indicator of the layer in which the bit error rate is generated and transmitting the message to another layer.
  • the bit error rate may be estimated using additional information in a plurality of different layers including at least one of a physical (PHY) layer and a media access control (MAC) layer.
  • PHY physical
  • MAC media access control
  • the multimedia reception apparatus using a bit error rate for solving the above problems is a plurality of different layers including at least one of a physical (PHY) layer and a MAC (Media Access Control) layer And a bit error rate (BER) generation unit for generating a message including an indicator indicating the layer where the bit error rate is generated.
  • PHY physical
  • MAC Media Access Control
  • BER bit error rate
  • the bit error rate may be estimated using additional information in a plurality of different layers including at least one of a physical (PHY) layer and a media access control (MAC) layer.
  • PHY physical
  • MAC media access control
  • the BER generator may further include a channel estimator configured to receive a bit error rate and information on a layer in which the bit error rate is generated and estimate a channel state.
  • the message further includes a parameter indicating the bit error rate, and the indicator indicating the layer in which the bit error rate is generated may belong to a portion of the parameter indicating the bit error rate.
  • the channel estimator may transmit the estimated channel state to the transmitter.
  • the indicator indicating the layer in which the bit error rate is generated may have a value of 0 when the layer in which the bit error rate is generated is a physical layer.
  • the apparatus may further include a cross layer interface (CLI) of an MPEG Media Transport (MMT) system, and the cross layer interface may transfer an indicator indicating a layer in which the bit error rate is estimated.
  • CLI cross layer interface
  • MMT MPEG Media Transport
  • the multimedia transmission apparatus using a bit error rate for solving the above problems is a media data generation unit for generating media data to be transmitted; A transmitter for transmitting the media data generated by the media data generator; And a rate tuner for controlling the operation of the media data generator according to the channel information received from the receiver, wherein the channel information includes at least one of a physical (PHY) layer and a media access control (MAC) layer.
  • PHY physical
  • MAC media access control
  • the bit error rate may be estimated and generated using additional information in a plurality of different layers including at least one of a physical (PHY) layer and a media access control (MAC) layer.
  • PHY physical
  • MAC media access control
  • a media fragment generation unit receiving a media fragment unit (MFU) having a format independent of a specific media codec from a media codec layer;
  • a media processing unit generation unit generating a media processing unit (MPU) using the media fragment unit;
  • An MMT asset generator for generating an MMT asset by encapsulating the generated media processing unit;
  • An MMT package generator for generating an MMT package by encapsulating the generated MMT asset;
  • An MMT payload generator configured to receive the generated MMT package and generate an MMT payload;
  • an MMT transport packet generator configured to generate an MMT transport packet using the generated MMT payload, wherein the media data generator is channel-coded the MMT transport packet generated by the MMT transport packet generator to transmit the media.
  • the rate tuner may select a coding rate by controlling the rate of the media data based on the received channel information.
  • the media data generator may generate the media data by coding a channel at the coding rate, and the transmitter may transmit the media data to a client.
  • an apparatus for estimating a channel state using a bit error rate for solving the above problem includes an at least one of a physical layer and a MAC layer.
  • the bit error rate may be estimated using additional information in a plurality of different layers including at least one of a physical (PHY) layer and a media access control (MAC) layer.
  • PHY physical
  • MAC media access control
  • Effective multimedia transmission is possible by performing rate adaptation using BER, and BER can be estimated using signal strength and modulation information in MAC layer, and it is compatible with different wireless networks by standardizing messages. Can be used.
  • MMT MPEG Media Transport
  • FIG. 2 is a conceptual diagram illustrating a format of unit information (or data or packet) used for each layer of the MMT hierarchical structure.
  • 3 is a conceptual diagram of an MMT package configuration.
  • FIG. 4 is a diagram illustrating a problem that occurs when using a packet loss rate (PER) for rate adaptation.
  • PER packet loss rate
  • FIG. 5 is a conceptual diagram comparing case of using PER and rate of BER in case 1 of FIG. 4 in terms of throughput.
  • FIG. 6 is a block diagram of a multimedia system using BER according to an embodiment of the present invention.
  • 7 to 9 are graphs showing correlations between BER and signal to noise ratio (SNR) of 802.11a, 802.11g, and WiMax wireless networks, respectively.
  • SNR signal to noise ratio
  • 10 and 11 are flowcharts illustrating rate adaptation in a wireless network according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • the content component or media component is defined as a media of a single type or a subset of the media of a single type. , Video tracks, movie subtitles, or a video enhancement layer of video.
  • Content is defined as a set of content components, and may be, for example, a movie or a song.
  • Hybrid delivery defines one or more content components to be transmitted simultaneously through one or more physically different types of networks.
  • a presentation is defined as an operation performed by one or more devices to allow a user to experience one content component or one service (eg, watch a movie).
  • a service is defined as one or more content components that are transmitted for presentation or storage.
  • Service information is defined as metadata describing one service, characteristics and components of the service.
  • the first network or the second network may include various networks including a broadcast network, a broadband network, a cable network, or a satellite communication network. It includes.
  • the hybrid transmission may be transmitted in MMT asset unit, substream unit, MMT package unit, or MMT packet unit.
  • video content includes a plurality of layers such as a first layer and a second layer
  • hybrid transmission may be performed in a layer unit. .
  • An access unit is the smallest data entity that can have time information as an attribute. If coded media data for which decoding and presentation time information is not specified is relevant, the AU is not defined.
  • An MMT asset is a logical data entity consisting of at least one MPU with the same MMT asset ID or a specific chunk of data with a format defined by other standards.
  • the MMT asset is the largest data unit to which the same composition information and transmission characteristics apply.
  • MMT Asset Delivery Characteristics (or MMT Asset Delivery Characteristics) is a description related to QoS requirements for delivering MMT assets.
  • MMT-ADC is expressed as a parameter unrelated to a specific transmission environment, so that the specific transmission environment is not known.
  • MMT Composition Information describes spatial and temporal relationships between MMT assets.
  • MFU Media Fragment Unit
  • AU access unit
  • An MMT entity is an implementation of software or hardware that follows the MMT profile.
  • An MMT package is a collection of logically structured data and includes at least one MMT asset, MMT composition information, MMT asset asset, and descriptive information.
  • the MMT packet is a format of data generated or consumed by the MMT protocol.
  • MMT payload format is a format for payload of MMT package or MMT signaling message to be delivered by MMT protocol or Internet Application Layer Protocol (eg RTP).
  • MMT protocol or Internet Application Layer Protocol (eg RTP).
  • An MMT Processing Unit (MPU) or Media Processing Unit (MPU) is a generic container that is independent of any particular media codec and accommodates at least one AU and information related to additional transmission and consumption. For non-temporal data, the MPU accepts a portion of data that does not fall within the AU range. MPU is encoded media data that can be processed completely and independently. In this context, processing means encapsulation or packetization into an MMT package for transmission. MPU is encoded media data that can be processed completely and independently. However, for scalable video coding (SVC) and multiview video coding (MVC), in some cases the MPU may not be consumed independently and completely at the media codec server.
  • SVC scalable video coding
  • MVC multiview video coding
  • Non-timed data defines all data elements that are consumed without specifying time.
  • Non-timed data can have a time range within which the data can be executed or started.
  • Timed data defines data elements associated with a particular time to be decoded and presented.
  • FIG. 1 is a conceptual diagram illustrating an MMT hierarchical structure.
  • the MMT layer includes an encapsulation layer, a delivery layer, and a functional area of a signaling layer (S layer).
  • the MMT layer operates on a transport layer.
  • the encapsulation layer may be responsible for, for example, packetization, fragmentation, synchronization, multiplexing, and the like of transmitted media.
  • the encapsulation functional area defines the logical structure of the format of the media content, the MMT package, and the data units to be processed by the MMT compliant entity.
  • the MMT package specifies the components that contain the media content and the relationships between them.
  • the format of the data units is defined to encapsulate the encoded media to be stored or transmitted in the payload of the transport protocol and to be easily converted between them. That is, the format of the data units is defined to encapsulate the encoded media for storage or delivery, and to easily convert between the two formats.
  • Encapsulation layer (E-layer), as shown in Figure 1, MMT E.1 Layer (MMT E.1 Layer), MMT E.2 Layer (MMT E.2 Layer) and MMT E.3 Layer (MMT) E.3 Layer).
  • MMT E.1 Layer MMT E.1 Layer
  • MMT E.2 Layer MMT E.2 Layer
  • MMT E.3 Layer MMT E.3 Layer
  • the E.3 layer encapsulates a Media Fragment Unit (MFU) provided from the Media Codec (A) layer to create a Media Processing Unit (MPU).
  • MFU Media Fragment Unit
  • A Media Codec
  • MPU Media Processing Unit
  • Encoded media data from the upper layer is encapsulated in MFU.
  • the type and value of the encoded media are abstracted to allow the MFU to be commonly used in certain codec technologies. This allows the lower layer to process the MFU without access to the encapsulated encoded media. This allows the lower layer to process the MFU without access to the encapsulated encoded media, which loads the required encoded media data from the network or storage buffer and sends it to the media decoder.
  • the MFU has enough information media subunits to perform this operation.
  • the MFU may have a format, independent of any particular codec, that can carry data units that can be consumed independently in the media decoder.
  • the MFU can be, for example, a picture or slice of the video.
  • MFUs One or a group of multiple MFUs that can be independently transmitted and decoded create an MPU.
  • Non-temporal media that are independently transportable and executable also create an MPU.
  • MPUs describe internal structures such as the arrangement and pattern of MFUs that allow for quick access and partial consumption of MFUs.
  • the E.2 layer encapsulates the MPUs created in the E.3 layer to generate MMT assets.
  • a sequence of MPUs from the same source component creates an MMT asset.
  • the MMT asset is packaged by the MMT package, configured by the MMT Composition Information (MMT-CI), the other by the MMT Transport Characteristics (MMT-TC), and multiplexed with the other by the MMT payload format. Is transmitted by the MMT protocol.
  • MMT-CI MMT Composition Information
  • MMT-TC MMT Transport Characteristics
  • An MMT asset is a data entity composed of one or a plurality of MPUs from a single data source and is a data unit in which composition information and transport characteristics are defined. Transport characteristics may be referred to as Asset Delivery Characteristics (ADC).
  • MMT assets can correspond to packetized elementary streams (PES), for example video, audio, program information, MPEG-U widgets, JPEG images, MPEG 4 file format, M2TS (MPEG transport stream), etc.
  • PES packetized elementary streams
  • MPEG-U widgets for example video, audio, program information, MPEG-U widgets, JPEG images, MPEG 4 file format, M2TS (MPEG transport stream), etc.
  • the E.1 layer creates an MMT package by encapsulating the MMT asset generated in the E.2 layer.
  • the MMT asset is packaged with MMT composition information (MMT-CI) for later response of the same user experience together or separately with other functional areas—transmission area and signal area.
  • MMT-CI MMT composition information
  • ADC asset delivery characteristics
  • the MMT package 450 may include one composition information 162 and additional information such as at least one transport characteristic 164 or asset delivery characteristics (ADC). It may be composed of one or a plurality of MMT assets 150 together.
  • Composition information 162 includes information on the relationship between MMT assets, and indicates the relationship between a plurality of MMT packages when one content consists of a plurality of MMT packages. It may further include information for betting.
  • the transport characteristics 164 may include transport characteristic information necessary for determining a delivery condition of an MMT asset or an MMT packet, and may include, for example, a traffic description parameter and a QoS descriptor ( QoS descriptor).
  • the MMT package may correspond to a program of MPEG-2 TS.
  • processing of the package is applied on an MPU basis, and an asset is a set of at least one MPU having the same asset ID, and one package includes one composition information, at least one MPU, and an asset transmission characteristic associated with each asset. It can be said that it is configured.
  • Composition information includes information about a relationship between MMT assets, and when one content consists of a plurality of MMT packages, the composition information indicates a relationship between a plurality of MMT packages. It may further include information.
  • Asset Delivery Characteristics represent QoS requirements and statistics for asset delivery. Multiple assets may be associated with one ADC.
  • the ADC can be used to set the parameters of the MMT payload and the MMT protocol by the entity packetizing the package for effective delivery of the asset.
  • Asset Delivery Characteristics may include delivery characteristic information necessary to determine delivery conditions of MMT assets or MMT packets, for example, traffic description parameters and QoS. It may include a descriptor (QoS descriptor).
  • a delivery layer defines a payload format and an application layer transport protocol.
  • Payload format is defined to carry coded media data regardless of media type or encoding method.
  • Application layer transport protocols provide enhanced features for package delivery including multiplexing and cross-layer communication.
  • the delivery layer may perform, for example, network flow multiplexing, network packetization, and QoS control of media transmitted through a network.
  • a delivery layer or delivery functional area defines the application layer protocol and format of the payload.
  • the application layer protocol in the present invention provides enhanced features for the delivery of MMT packages as compared to conventional application layer protocols for the transmission of multimedia including multiplexing.
  • Payload format is defined to carry coded media data regardless of media type or encoding method.
  • the transport layer is a packet level between the transport layer and the encapsulation layer (E-layer), such as the multiplexing of the media such as video, audio, etc. transmitted over the network.
  • E-layer encapsulation layer
  • the transport layer (D-layer) identifies different types of payloads from the encapsulation layer (E-layer) to handle payloads from the encapsulation layer (E-layer).
  • the transport layer (D-layer) may handle the temporal relation between packets transmitted through different networks and different channels.
  • the synchronization function may include hybrid network synchronization using a time stamp or the like.
  • the D-layer may handle timing constraints of MMT delivery packets for real-time media transmission.
  • the D-layer may perform error control of MMT media packets such as forward error correction and retransmission.
  • the transport layer (D-layer) may perform flow control of the MMT media packet.
  • the transport layer (D-layer) interacts with other MMT layers as well as lower layers (MAC, PHY) through a cross-layer design to maintain a certain level of QoS for delivery of MMT media packets. interaction).
  • the transport layer (D-layer) may provide a function for performing group communication.
  • the transport layer (D-layer), as shown in Figure 1, MMT D.1 Layer (MMT D.1 Layer), MMT D.2 Layer (MMT D.2 Layer) and MMT D.3 Layer (MMT) D.3 Layer).
  • the D.1 layer receives the MMT package generated in the E.1 layer and generates an MMT payload format.
  • the MMT payload format is a payload format for carrying MMT assets and for transmitting information for consumption by the MMT application protocol or other existing application transport protocol such as RTP.
  • the MMT payload may include a fragment of the MFU along with information such as AL-FEC.
  • the MMT payload format is defined as a general payload format for packetization of content components of a package.
  • the MMT payload format is defined irrespective of a particular media codec so that any type of media encapsulated, such as an MPU, can be packetized into a payload for an application layer transport protocol that supports streaming delivery of media content.
  • the MMT payload can be used as payload format for RTP, MMT and other packet transfer protocols.
  • the MMT payload may be used to packetize the signaling message.
  • the D.2 layer receives the MMT payload format generated in the D.1 layer and generates an MMT transport packet or an MMT packet.
  • the MMT transport packet or MMT packet is a data format used in an application transport protocol for MMT.
  • D.3 layer supports QoS by providing the function of exchanging information between layers by cross-layer design.
  • the D.3 layer may perform QoS control using QoS parameters of the MAC / PHY layer.
  • the QoS parameters of the MAC / PHY may be, for example, bitrate, packet loss ratio, expected delay, available buffer size, and the like.
  • the S layer or signaling layer performs a signaling function. For example, session initialization / control / management of transmitted media, server-based and / or client-based trick modes, service discovery, synchronization, and other layers, i.e., delivery
  • a signaling function for interfacing with a D-layer and an encapsulation layer (E-layer) may be performed.
  • the synchronization may include synchronization control in a hybrid network.
  • the signaling layer or signaling functional area defines the format of the message that manages the delivery and consumption of the MMT package.
  • the message for consumption management is used to transmit the structure of the MMT package
  • the message for delivery management is used to transmit the structure of the payload format and the configuration of the protocol.
  • the S layer may include an MMT S.1 layer and an MMT S.2 layer.
  • S.1 layer includes service discovery, media session initialization / termination of media, media session presentation / control of media, delivery (D) layer and encapsulation (E).
  • the interface function with the layer can be performed.
  • the S.1 layer may define the format of control messages between applications for media presentation session management.
  • the presentation session management may define a format of a control message exchanged between applications for providing media presentation, session management, and information required for media consumption.
  • the S.2 layer is responsible for flow control, delivery session management, delivery session monitoring, error control, and hybrid network synchronization control. It is possible to define the format of the control message exchanged between delivery end-points of the D-layer.
  • the S.2 layer supports delivery session establishment and release, delivery session monitoring, flow control, error control, resource scheduling for established delivery sessions, and synchronization in a complex delivery environment to support the behavior of the delivery layer.
  • Signaling for adaptive delivery, and signaling for adaptive delivery. Required signaling may be provided between a sender and a receiver. That is, the S.2 layer may provide signaling required between the sender and the receiver in order to support the operation of the transport layer as described above.
  • the S.2 layer may be responsible for interfacing with the transport layer and the encapsulation layer.
  • the control message or control information may be generated in the signaling layer and transmitted through a broadcasting network and / or a broadband network.
  • FIG. 2 illustrates a format of unit information (or data or packet) used for each layer of the MMT hierarchical structure of FIG. 1.
  • the media fragment unit (MFU) 130 includes coded media fragment data 132 and a media fragment unit header (MFUH) 134.
  • the media fragment unit 130 has a general container format independent of a specific codec and carries the smallest data unit that can be consumed independently in a media decoder.
  • the MFUH 134 may include additional information such as media characteristics-for example, loss-tolerance.
  • MFU 130 may be, for example, a picture or slice of a video.
  • the Media Fragment Unit defines a format that encapsulates a portion of the AU in the transport layer to perform adaptive transmission in the range of MFU.
  • the MFU may be used to transmit certain types of encoded media so that portions of the AU can be independently decoded or discarded.
  • the MFU has an identifier for distinguishing one MFU from other MFUs and has general relationship information between MFUs in a single AU.
  • the dependencies between the MFUs in a single AU are described, and the relevant priorities of the MFUs are described as part of such information.
  • the information can be used to handle the transmission at the lower transport layer. For example, the transport layer may omit the transmission of MFUs that may be discarded to support QoS transmission in insufficient bandwidth.
  • the MPU is a collection of media fragment units including a plurality of media fragment units 130.
  • the MPU has a general container format independent of a specific codec and includes media data equivalent to an access unit.
  • the MPU may have a timed data unit or a non-timed data unit.
  • MPU is data that is independently and completely processed by an entity following the MMT, and processing includes encapsulation and packetization.
  • An MPU may consist of at least one MFU or have a portion of data having a format defined by another standard.
  • a single MPU may accommodate the integral number or non-time data of at least one AU.
  • an AU may be delivered from at least one MFU, but one AU may not be divided into multiple MPUs.
  • one MPU receives a portion of non-time data that has been independently and completely processed by an entity that complies with the MMT.
  • An MPU can be uniquely identified within an MMT package with a sequence number and an associated asset ID that distinguishes it from other MPUs.
  • the MPU has at least one random access point.
  • the first byte of the MPU payload can always start with a random access point. In time data, this fact means that the decoding order of the first MFU in the MPU payload is always zero.
  • the presentation period and decoding order of each AU can be sent to inform the presentation time.
  • the MPU does not have its initial presentation time, and the presentation time of the first AU of one MPU may be described in the composition information.
  • the composition information may specify the first presentation time of the MPU.
  • the MMT asset 150 is a collection of MPUs composed of a plurality of MPUs.
  • the MMT asset 150 is a data entity composed of multiple MPUs (timed or non-timed data) from a single data source, and the MMT asset information 152 is an asset packaging metadata (Asset). Additional information such as packaging metadata) and data type.
  • MMT asset 150 may include, for example, video, audio, program information, MPEG-U widgets, JPEG images, MPEG 4 FF (File Format), packetized elementary streams (PES), and MPEG transport (M2TS). streams).
  • the MMT asset may be a logical data entity having encoded media data.
  • the MMT asset has an MMT asset header and encoded media data.
  • the encoded media data may be a group of MPUs collectively referred to by the same MMT asset ID.
  • the type of data consumed as an entity directly related to the MMT client may be a separate MMT asset. Examples of such data types are MPEG-2 TS, PES, MP4 file, MPEG-U Widget Package, JPEG files.
  • the encoded media of the MMT asset may be time data or non-time data.
  • Temporal data is audiovisual media data that requires synchronized decoding and presentation of specific data at specified times.
  • Non-timed data is data of a data type that can be decoded and provided at any time in accordance with the provision of a service or user interaction.
  • a service provider may create a multimedia service by integrating MMT assets and putting MMT assets on a space-time axis.
  • the MMT package 160 is a collection of MMT assets including one or more MMT assets 150.
  • MMT assets in an MMT package may be multiplexed or concatenated.
  • the MMT package is a container format for MMT asset and configuration information.
  • the MMT package provides a repository of MMT assets and configuration information for the MMT program.
  • the MMT program provider generates configuration information by encapsulating the encoded data into MMT assets and describing the temporal and spatial layout of the MMT assets and their transmission characteristics.
  • MU and MMT assets may be sent directly in D.1 payload format.
  • the configuration information may be sent by an S.1 presentation session management message.
  • MMT program providers and clients that allow relaying or future reuse of MMT programs store them in MMT package format.
  • the MMT program provider determines which transmission path (eg, broadcast or broadband) the MMT asset will be provided to the client.
  • Configuration information in the MMT package is transmitted in a C.1 presentation session management message along with transmission related information.
  • the client receives the S.1 Presentation Session Management message to learn which MMT programs are available and how to receive MMT assets for the corresponding MMT program.
  • the MMT package can also be transmitted by the D.1 payload format.
  • the MMT package is packetized and delivered in D.1 payload format.
  • the client receives the packetized MMT package and configures all or part of it, where it consumes the MMT program.
  • the package information 165 of the MMT package 160 may include configuration information.
  • Configuration Information includes a list of MMT assets, package identification information, composition information 162 and transport characteristics 164 or Asset Delivery Characteristics (ADCs). May include additional information such as Composition information 162 includes information about a relationship between MMT assets 150.
  • composition information 162 may further include information for indicating a relationship between a plurality of MMT packages when one content includes a plurality of MMT packages.
  • Composition information 162 may include information about temporal, spatial and adaptive relations in an MMT package.
  • Composition Information in the MMT provides information about the spatial and temporal relationships between MMT assets in the MMT package.
  • MMT-CI is an explanatory language that extends HTML5 to provide such information. If HTML5 is designed to describe page-based presentations of text-based content, MMT-CI mainly represents spatial relationships between sources. In order to support the presentation of the temporal relationship between MMT assets, information related to MMT assets in an MMT package, such as presentation resources, time information for determining the order in which MMT assets are sent and consumed, and various MMT assets are consumed in HTML5. It can be extended to have additional properties of media elements. Detailed description will be described later.
  • Asset Delivery Characteristics (ADC) or transport characteristics information (164) includes information about the transmission characteristics, and determines the delivery condition (delivery condition) of each MMT asset (or MMT packet) To provide the necessary information.
  • Asset delivery characteristics (ADC) or transmission characteristic information may include a traffic description parameter and a QoS descriptor.
  • the traffic description parameter may include bitrate information, priority information, or the like for the media fragment unit (MFU) 130 or the MPU.
  • the bitrate information is for example information about whether the MMT asset is Variable BitRate (VBR) or Constant BitRate (CBR), guaranteed bitrate for the Media Fragment Unit (MFU) (or MPU). ), The maximum bit rate for the media fragment unit (MFU) (or MPU).
  • the traffic description parameter may be used for resource reservation between servers, clients, and other components on a delivery path, for example, maximum size information of a media fragment unit (MFU) (or MPU) in an MMT asset. It may include.
  • the traffic description parameter may be updated periodically or aperiodically.
  • the QoS descriptor includes information for QoS control and may include, for example, delay information and loss information.
  • the loss information may include, for example, a loss indicator of whether delivery loss of the MMT asset is allowed or not.
  • a loss indicator of '1' may indicate 'lossless', and a '0' indicates 'lossy'.
  • the delay information may include a delay indicator used to distinguish the sensitivity of the transmission delay of the MMT asset.
  • the delay indicator may indicate whether the type of the MMT asset is conversation, interactive, real time, and non-realtime.
  • One content may consist of one MMT package.
  • one content may consist of a plurality of MMT packages.
  • composition information or composition information indicating temporal, spatial, and adaptive relations between the plurality of MMT packages may exist inside one MMT package or outside the MMT package.
  • some of the content components are transmitted through a broadcast network and the rest of the content components are transmitted through a broadband network.
  • a broadband network For example, in the case of a plurality of audio visual streams constituting one multi-view service, one stream may be transmitted to a broadcasting network and the other stream may be transmitted to a broadband network, and each AV stream may be multiplexed and transmitted to a client terminal. Can be individually received and stored.
  • application software such as a widget is transmitted to a broadband network and an AV stream (AV program) is transmitted to an existing broadcasting network.
  • one media component may be transmitted over a broadband network and another media component may be transmitted over another broadband network.
  • the entire plurality of AV streams may be a single MMT package, and in this case, one of the plurality of streams may be stored in only one client terminal.
  • the storage content becomes part of the MMT package, and the client terminal needs to rewrite the composition information or the configuration information, and the rewritten content becomes a new MMT package independent of the server. .
  • each AV stream may be one MMT package, and in this case, a plurality of MMT packages constitute one content, and storage Storage is recorded in MMT package units and requires composition information or configuration information indicating a relationship between MMT packages.
  • composition information or configuration information included in one MMT package may refer to an MMT asset in another MMT package, and may refer to an outside of an MMT package that refers to the MMT package in an out-band situation. I can express it.
  • the MMT package 160 is controlled through a control (C) layer.
  • the MMT control message may include an information table for service discovery.
  • the server dividing the multimedia content into a plurality of segments allocates URL information to a plurality of segments divided into a predetermined number, and stores URL information about each segment in a media information file and transmits the URL information to the client.
  • the media information file may be called various names such as “media presentation description (MPD)” or “manifest file” according to a standardization organization that standardizes HTTP streaming.
  • MPD media presentation description
  • MPD media presentation description
  • the cross-layer interface is described below.
  • the Cross Layer Interface provides a means for supporting QoS in a single MMT entity by exchanging QoS related information between lower layers including the application layer and the MAC / PHY layer.
  • the lower layer provides bottom-up QoS information such as network channel status, while the application layer provides information related to media characteristics as top-down QoS information.
  • the cross layer interface provides an integrated interface between the application layer and various network layers including IEE802.11 WiFi, IEEE 802.16 WiMAX, 3G, 4G LTE, etc.
  • IEE802.11 WiFi IEEE 802.16 WiMAX
  • 3G 3G
  • 4G LTE 4G LTE
  • Common network parameters of popular network standards are extracted as NAM (Network Abstraction for Media) parameters for static and dynamic QoS control of real-time media applications over various networks.
  • the application layer provides top-down QoS information related to media characteristics for lower layers.
  • top-down information such as MMT asset level information and packet level information.
  • MMT asset information is used for capacity exchange and / or resource (re) allocation at lower layers.
  • Packet level top down information is recorded in the appropriate field of every packet for the lower layer to identify the QoS level it supports.
  • the lower layer provides bottom-up QoS information to the application layer.
  • the lower layer provides information regarding network conditions that change over time, enabling faster and more accurate QoS control at the application layer.
  • Bottom-up information is expressed in an abstracted form to support heterogeneous network environments. These parameters are measured at the lower layer and read at the application layer periodically or at the request of the MMT application.
  • PER packet error rate
  • Case 1 of FIG. 4 illustrates a situation in which fewer corrupted bits are included in a packet than Case 2.
  • BER bit error rate
  • Case 1 and Case 2 are regarded as the same channel and used for rate adaptation. Therefore, in terms of PER, Case 1 and Case 2 of FIG. 4 are determined to be in the same channel condition.
  • FIG. 5 is a conceptual diagram comparing case of using PER and rate of BER in case 1 of FIG. 4 in terms of throughput.
  • An example of two codewords is shown in FIG.
  • the first codeword 510 is a codeword when channel coding (block coding) using PER
  • the second codeword 520 is a codeword when channel coding (block coding) using BER. to be.
  • the ratio of the redundant bit r 511 in the codeword is close to 50%.
  • the ratio of the redundant bit r 521 in the codeword is only about 20%.
  • BER can be estimated using the signal strength and modulation information (FIGS. 7 to 9) in the MAC (Media Access Control) layer, and message standardization as shown in any one of Tables 1, 2, and 3 below. Can be used interchangeably on different wireless networks.
  • the MAC layer when the MAC packet is received, the BER is estimated using information on a modulation scheme, signal strength, and surrounding wireless traffic. (The BER value is slightly less accurate than the PHY layer). In the physical layer, error checking is possible in units of bits, so accurate BER value estimation is possible.
  • the bit error rate is obtained at the PHY or MAC layer using a BER variable (or parameter).
  • a BER variable or parameter
  • the BER value is presented as a positive value.
  • the BER value is presented as a negative value that can be used as an absolute value. That is, the most significant bit (MSB) of the BER is a flag indicating a PHY or MAC layer.
  • the BER variable (or parameter) can be delivered to the upper layer.
  • the type variable (or parameter) is used to indicate whether the bit error rate is obtained from the PHY layer or the MAC layer.
  • the BER is estimated using information on a modulation scheme, signal strength, and surrounding wireless traffic. (The BER value is slightly less accurate than the PHY layer).
  • the TYPE field specifies on which layer the BER is delivered.
  • the NAM parameter may be used as an interface between the application layer and the lower layer.
  • the NAM parameter may include a BER value that is a bit error rate. BER can be measured at the PHY or MAC layer.
  • the NAM also provides the identification of the underlying network, possible bit rates, buffer conditions, peak bit rates, service unit sizes, and service data unit loss rates.
  • CLI_id is an arbitrary integer that allows the underlying network to identify the NAM.
  • Bit Error Rate (BER) is the last measured bit error rate in the PHY or MAC layer. The BER measured at the PHY layer is provided as a positive value. The BER measured in the MAC layer is provided as a negative value, and in actual use, an absolute value is used.
  • Relative NAM information is expressed as the ratio of the current NAM value to the expected NAM value. For example, it may be expressed as the ratio of the expected NAM value to the current NAM value, or alternatively it may be expressed as the ratio of the current NAM value to the expected NAM value.
  • the method of providing relative NAM information may be used to update the NAM during the connection, or may be used to inform the trend of QOS environment changes. Table 5 below shows the syntax of relative NAM parameters.
  • CLI_id is an arbitrary integer that allows the underlying network to identify the NAM.
  • Bit Error Rate (BER) is the last measured bit error rate in the PHY or MAC layer. The BER measured at the PHY layer is provided as a positive value. The BER measured in the MAC layer is provided as a negative value, and in actual use, an absolute value is used.
  • the BER may be used for a Network Aware Media Feedback (NAMF) message among messages related to package delivery.
  • NAMF is a form of NAM parameter report that is fed back from the receiver to the transmitter. Table 6 below shows the syntax of the NAM feedback.
  • message_id represents the ID of the NAM feedback message.
  • Message_id may have a total length of 16 bits.
  • CLI_id is an arbitrary integer for identifying a specific NAM in a lower network.
  • BER is a value generated at the PHY or MAC layer, BER generated at the PHY layer has a positive value, BER generated at the MAC layer has a negative value, and an absolute value is used when using the value. do. As shown in Table 6, the BER parameter may be fed back from the receiver to the transmitter in the form of being inserted into the payload of the NAM_Feddback_message.
  • a multimedia system using a BER includes a transmitter 650, a receiver 600, and a wireless network device such as an AP.
  • the transmitter 650 may be a server and the receiver 600 may be a client.
  • the transmitter 650 includes a video encoder 653, a forward error correction (FEC) encoder 654, a rate tuner 652, and a transmitter.
  • the video encoder 653 and the FEC encoder 654 form an encoder unit 655, which corresponds to a media data generator that generates media data to be transmitted.
  • the video encoder 653 performs channel coding on an MMT transport packet block including at least one MMT transport packet or an MMT packet block including at least one MMT packet to transmit an MMT transport packet or an MMT packet.
  • the FEC encoder 654 performs FEC encoding on the generated symbol block and transmits the generated video stream to the transmitter.
  • the rate tuner 652 receives the feedback information 603 received from the receiver 600 and controls the operation of the encoder 655. For example, the rate tuner 652 may select the channel coding rate of the encoder unit 655 by performing rate control of the video stream according to the channel condition.
  • the feedback information 603 received from the receiver includes the estimated BER value and information of the layer where the BER is estimated, so that the rate tuner 652 estimates the channel state by using the BER value and the information of the estimated layer.
  • the operation may be controlled by controlling the channel coding rate of the encoder 655.
  • the rate tuner 652 is an encoder unit 655 using channel state information included in the feedback information 630 estimated by the receiver 600 using the BER value and the information of the BER estimated layer. ) Can also be controlled.
  • the encoder 655 codes the channel at a coding rate under the control of the rate tuner 652 and transmits a video stream to the receiver 600. More specifically, the encoder unit 655 transmits the video stream generated by channel coding the MMT transport packet to the transmission unit according to the coding rate, the transmission unit delivers the video stream to the AP through a wired network, and the AP transmits the wireless network. The video stream is transmitted to the receiver 600 through a wireless network 601.
  • Side information 602 may be generated while the transmitting device 650 transmits the video stream to the receiving device 600.
  • the additional information may include only additional information occurring on the wireless network.
  • the additional information may include signal strength, modulation information, and ambient wireless traffic information.
  • the receiver of the receiver 600 may receive additional information 602 together with the video stream.
  • the receiver 600 includes a channel estimator 610, an FEC decoder 622, a video decoder 624, and a receiver.
  • the FEC decoder 622 and the video decoder 624 constitute a decoder 620.
  • the FEC decoder 622 generates a symbol block by performing FEC decoding on the received video stream, and the video decoder 624 performs video decoding on the generated symbol block to generate an MMT transport packet block or an MMT packet block. Generate a transport packet or an MMT packet.
  • the channel estimator 610 estimates a channel state using the estimated BER value using side information 602 obtained through the receiver, and generates the estimated channel state as channel state information.
  • the channel state estimator may transmit the generated channel state information to the decoder 620 or the application layer, and may use a cross-layer interface of the MMT system. That is, the channel state estimator may transfer the generated channel state information to another layer using the NAM parameter.
  • the estimated BER parameter may be included in the NAM parameter and delivered to the application layer.
  • the channel state estimator 610 may transmit the generated channel state information to the rate tuner 652 of the transmitter 650.
  • the channel state estimator may transmit the BER value estimated in one of the PHY layer and the MAC layer to another layer or the transmitter 650 together with an indicator indicating the layer where the BER value is estimated. have.
  • the channel state estimator 610 delivers the BER value to another layer with an indicator indicating the estimated layer
  • the cross layer interface may be used.
  • the channel state estimator 610 may include the BER parameter in the NAM parameter and transmit the BER value to another layer. .
  • the BER parameter may be included in the NAMF parameter and transmitted to the transmitter 650.
  • FIGS. 10 to 11 are flowcharts illustrating rate adaptation in a wireless network according to an embodiment of the present invention.
  • a process of performing rate adaptation in a multimedia system using BER according to an embodiment of the present invention will be described with reference to FIGS. 10 to 11.
  • a client which is a receiver 600, estimates a BER using additional information about a received packet (S1001). This may be performed by the client receiving the BER estimated from the PHY layer or the MAC layer as shown in FIG. 11 (S1101).
  • the client estimates the channel capacity of the wireless network by using the estimated BER (S1003).
  • the estimated channel capacity is transmitted to the server that is the transmission device 650.
  • the server predicts the channel capacity using the fed back channel capacity estimate (S1007).
  • the video / channel coding rate is optimally adjusted based on the predicted channel capacity (S1009).
  • the server transmits the video coding and channel coding to the client by using the adjusted coding rate (S1011).
  • FIG. 7 to 9 illustrate BER estimation according to signal strength (SNR) and modulation scheme in different wireless networks (MAC layer).
  • FIG. 7 is a graph showing the correlation between BER and signal to noise ratio (SNR) in an 802.11a wireless network
  • FIG. 8 is a graph showing the correlation between BER and signal to noise ratio (SNR) in an 802.11g wireless network
  • 9 is a graph showing the correlation between BER and signal to noise ratio (SNR) of a WiMax wireless network.
  • the BER estimate delivered by the MAC or physical (PHY) layer can predict the optimal video / channel coding rate or the optimal source / channel coding rate by the following method.
  • Q (.) Is a rate distortion (RD) function of a video, and the RD function can be obtained during video encoding.
  • Q '(.) Is a video quality distortion estimation function that differs beyond the channel capacity.
  • the values are obtained through experiment. Accordingly, the numerical value may change depending on the video data, but there are not many errors. In particular, an accurate value may be predicted when the values are substituted with zero.
  • x is the difference between the rate to be predicted and the channel capacity (i.e.
  • the optimum rate in Equation 1 is a value when the combination of Q (.), Q '(.) And rate prediction error expansion rule distribution becomes the best.
  • the server 150 may apply the differential rate according to the characteristics of the video frame using the LDPC code when the channel coding.
  • the performance of the LDPC code varies depending on the length of the packet and the value of ⁇ (see below) (see FIG. 9).
  • encoded video frames differ in importance depending on the type. That is, if there is no I frame, the P or B frame cannot be decoded. Therefore, a packet including an I frame (each packet has a different length) performs channel coding by applying a value of ⁇ which is sure to be decoded in the client terminal 100 (i.e., by providing more redundant bits to give more error to the error). Harden). For example, in the case of an I frame packet having a length of 800 bits, channel coding may be performed by applying an ⁇ value of 2.7.
  • the P frame packet is channel coded by applying an ⁇ value according to Equation 2 below (see Equation 4).
  • R OP in Equation 1 represents an operational rate (operational rate). All existing channel codes are inferior to channel capacity. Therefore, there is a performance decrease depending on the performance of the channel code, which applies an ⁇ value as shown in Equation 3 below.
  • is 1 for an ideal channel code. ⁇ is usually at least about 2.0.
  • Equation 1 a total redundant bit is calculated using Equation 1, which may be rearranged as follows.
  • ORPA CLDS The video quality result (ORPA CLDS ) in the terminal utilizing the present invention is shown in Table 3 below.
  • ORPA CON represents the performance of the current 802.11b protocol. According to the present invention, video quality of up to 6 dB or more can be improved.
  • Table 7 shows Rate adaptation performance comparison in terms of video quality in dB.
  • Xmit Rate refers to the transmission rate of video data
  • Operation channel represents the maximum PSNR realistically possible when transmitting video data
  • ORPA CLDS includes additional signal strength information according to an embodiment of the present invention.
  • the performance when the protocol for estimating the channel state using the information is applied, and the ORPA CON indicates the performance when the conventional WLAN 802.11b protocol is applied (here, ORPA means Optimal Rate Prediction Architecture).

Abstract

Rate adaptation is carried out using bit error rate (BER) to enable effective multimedia transmission. The BER can be estimated using signal strength in a MAC layer and modulation information (figures 7-9), and can be compatibly used in different wireless networks by means of message standardization.

Description

멀티미디어 서비스를 위한 비트 에러율을 이용한 레이트 어댑테이션 방법 및 그 장치Rate adaptation method using bit error rate for multimedia service and device therefor
본 발명은 멀티미디어 전송 방법에 관한 것으로, 보다 상세하게는 비트 에러율을 이용한 효과적인 멀티미디어 전송 방법 및 그 장치에 관한 것이다.The present invention relates to a multimedia transmission method, and more particularly, to an effective multimedia transmission method and apparatus using a bit error rate.
무선 환경에서는 약한 신호 세기로 인하여 많은 비트 에러가 발생하고 이는 패킷 손실을 초래한다. 실시간 비디오 전송과 관련된 상기와 같은 문제점을 극복하기 위하여 순방향 에러 정정(Forward Error Correction; FEC)을 이용한 레이트 컨트롤(rate control)이 도입되었다.In wireless environments, many bit errors occur due to weak signal strength, which results in packet loss. In order to overcome the above problems associated with real-time video transmission, rate control using forward error correction (FEC) has been introduced.
무선 환경에서 이러한 패킷 손실을 줄이기 위해서는 링크 품질 또는 채널 상태를 추정하는 것이 필요하다. 특히, 실시간 비디오 전송을 위해서는, 실시간으로 무선 채널 용량을 정확히 추정하는 것이 필수적이다. 왜냐하면, 무선 링크 상태(wireless link conditions) 및 링크 품질(link quality)은 간섭(interference), 페이딩(fading), 다중 경로 효과(multi-path effects) 및 이동성(mobility)등에 따라서 변동될 수 있으며, 이러한 변동은 결국 채널 용량에 심한 변화를 주기 때문이다. To reduce this packet loss in a wireless environment, it is necessary to estimate link quality or channel conditions. In particular, for real-time video transmission, it is essential to accurately estimate the radio channel capacity in real time. This is because wireless link conditions and link quality may vary depending on interference, fading, multi-path effects, and mobility. This is because a significant change in channel capacity eventually occurs.
즉, 실시간 비디오 전송시 향상된 비디오 품질을 제공하기 위하여 적절한 채널 코딩 레이트를 설정하기 위해서는 무선 채널 상태(channel condition)를 정확하게 추정 또는 예측하는 것은 매우 중요하다. That is, it is very important to accurately estimate or predict a radio channel condition in order to set an appropriate channel coding rate in order to provide improved video quality in real time video transmission.
예를 들어, 사무실내에 설치된 WLAN(IEEE 802.11b) 무선망을 통하여 멀티미디어 컨텐츠 스트림을 시청하는 경우 다른 사무소내에 위치한 액세스 포인트(AP)에 의한 간섭등과 같은 채널 환경의 영향으로 멀티미디어 컨텐츠 스트림에 심각한 왜곡(significant deterioration)이 발생할 수 있다.For example, when watching a multimedia content stream through an WLAN (IEEE 802.11b) wireless network installed in an office, severe distortion of the multimedia content stream may be caused by a channel environment such as interference by an access point (AP) located in another office. significant deterioration may occur.
종래의 링크 품질 또는 채널 상태를 추정하는 기술로는, 하나 또는 그 이상의 잔류 에러(residue error)(MAC 계층 에러)를 가지는 패킷을 폐기하는 무선 LAN 프로토콜(Conventional Protocol)('CON 프로토콜')이 있는데, 이는 패킷 손실률(PER: Packet Error Rate)을 이용해서 링크 품질 또는 채널용량을 추정한다. Conventional techniques for estimating link quality or channel conditions include the Wireless LAN Protocol ('CON protocol'), which discards packets with one or more residual errors (MAC layer errors). This estimates the link quality or channel capacity using the Packet Error Rate (PER).
이러한 종래 기술은 비트 에러율(BER: Bit Error Rate)이 아닌 패킷 손실률(PER)을 이용하여 링크 품질 내지 채널용량을 예측하기 때문에, 그 예측의 정확도가 낮아 채널 적응성이 떨어지며, 이로 인하여 바람직한 무선 비디오 품질을 보장하지 못한다는 문제점이 있었다.Since the conventional technology predicts link quality or channel capacity using a packet loss rate (PER) rather than a bit error rate (BER), the accuracy of the prediction is low, resulting in poor channel adaptability. There was a problem that does not guarantee.
본 발명의 목적은 비트 에러율을 이용한 효과적인 멀티미디어 전송 방법을 제공하는 것이다.An object of the present invention is to provide an effective multimedia transmission method using a bit error rate.
전술한 문제점을 해결하기 위한 본 발명의 일 실시 예에 따른 비트 에러율을 이용한 멀티미디어 수신 방법은 물리(PHY)계층 및 MAC(Media Access Control)계층 중 적어도 하나를 포함하는 복수의 서로 다른 계층 중에서 비트 에러율이 생성된 계층을 지시하는 지시자를 포함하는 메시지를 생성하는 단계를 포함한다.Multimedia reception method using a bit error rate according to an embodiment of the present invention for solving the above problems is a bit error rate of a plurality of different layers including at least one of a physical (PHY) layer and a MAC (Media Access Control) layer Generating a message including an indicator indicating the generated layer.
상기 비트 에러율은 물리(PHY)계층 및 MAC(Media Access Control)계층 중 적어도 하나를 포함하는 복수의 서로 다른 계층에서 부가정보를 이용하여 추정될 수 있다.The bit error rate may be estimated using additional information in a plurality of different layers including at least one of a physical (PHY) layer and a media access control (MAC) layer.
상기 메시지는 상기 비트 에러율을 나타내는 파라미터를 더 포함하고, 상기 비트에러율이 생성된 계층을 지시하는 지시자는 상기 비트 에러율을 나타내는 파라미터의 일부분에 속할 수 있다.The message further includes a parameter indicating the bit error rate, and the indicator indicating the layer in which the bit error rate is generated may belong to a portion of the parameter indicating the bit error rate.
상기 비트에러율이 생성된 계층을 지시하는 지시자는 상기 비트 에러율을 나타내는 파라미터의 첫번째 비트에 위치할 수 있다.An indicator indicating the layer in which the bit error rate is generated may be located in the first bit of the parameter representing the bit error rate.
상기 비트에러율이 생성된 계층을 지시하는 지시자 및 상기 생성된 비트 에러율을 전송 장치로 전송하거나, 채널 상태를- 여기서, 상기 채널 상태는 상기 비트에러율이 생성된 계층을 지시하는 지시자 및 상기 비트 에러율을 사용하여 생성됨- 전송장치로 전송하는 단계를 더 포함할 수 있다.An indicator indicating the layer at which the bit error rate was generated and transmitting the generated bit error rate to a transmitting device, or channel state, wherein the channel state is an indicator indicating the layer at which the bit error rate was generated and the bit error rate. Created using-the method may further include transmitting to the transmitting device.
상기 비트에러율이 생성된 계층을 지시하는 지시자는 교차 계층 인터페이스(Cross Layer Interface; CLI)를 통하여 수신 장치의 계층간에 전달될 수 있다.An indicator indicating the layer in which the bit error rate is generated may be transmitted between layers of a receiving device through a cross layer interface (CLI).
또한, 상기한 문제를 해결하기 위한 비트 에러율을 이용한 멀티미디어 전송 방법은 물리(PHY)계층 및 MAC(Media Access Control)계층 중 적어도 하나를 포함하는 복수의 서로 다른 계층 중에서 비트 에러율이 생성된 계층을 지시하는 지시자를 포함하는 메시지를 수신하는 단계를 포함한다.In addition, the multimedia transmission method using a bit error rate to solve the above problem indicates a layer in which a bit error rate is generated from a plurality of different layers including at least one of a physical (PHY) layer and a Media Access Control (MAC) layer. And receiving a message including an indicator.
상기 비트 에러율은 물리(PHY)계층 및 MAC(Media Access Control)계층 중 적어도 하나를 포함하는 복수의 서로 다른 계층에서 부가정보를 이용하여 추정되어 생성될 수 있다.The bit error rate may be estimated and generated using additional information in a plurality of different layers including at least one of a physical (PHY) layer and a media access control (MAC) layer.
미디어 코덱 계층으로부터 특정 미디어 코덱에 독립적인 포맷을 가지는 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)을 제공받는 단계; 상기 미디어 프래그먼트 유닛을 사용하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성하는 단계; 상기 생성된 미디어 프로세싱 유닛을 캡슐화하여 MMT 애셋(MMT Asset)을 생성하는 단계; 상기 생성된 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성하는 단계; 상기 생성된 MMT 패키지를 받아서 MMT 페이로드(MMT Payload)를 생성하는 단계; 및 상기 생성된 MMT 페이로드를 사용하여 MMT 전송 패킷을 생성하는 단계를 더 포함할 수 있다.Receiving a Media Fragment Unit (MFU) having a format independent of a specific media codec from a media codec layer; Generating a Media Processing Unit (MPU) using the media fragment unit; Encapsulating the generated media processing unit to generate an MMT asset; Generating an MMT package by encapsulating the generated MMT asset; Receiving the generated MMT package and generating an MMT payload; And generating an MMT transport packet using the generated MMT payload.
상기 생성된 메시지내의 상기 비트 에러율에 근거하여 전송될 미디어 데이터의 레이트 컨트롤을 수행하여 코딩 레이트를 선택할 수 있다.A coding rate may be selected by performing a rate control of media data to be transmitted based on the bit error rate in the generated message.
상기 생성된 비트 에러율에 기초하여 상기 코딩 레이트로 채널을 코딩하여 미디어 데이터를 수신장치로 전송하는 단계를 더 포함할 수 있다.The method may further include coding media at the coding rate based on the generated bit error rate to transmit media data to a receiving apparatus.
상기 부가정보는 신호세기, 모듈레이션 정보 및 주위 무선 트래픽 정보 중 적어도 하나를 포함할 수 있다.The additional information may include at least one of signal strength, modulation information, and ambient wireless traffic information.
또한, 상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 비트 에러율을 이용한 채널 상태 추정 방법은 비트 에러율을 이용하여 채널 상태를 추정하는 방법에 있어서, 물리계층 및 MAC 계층 중 적어도 하나를 포함하는 복수의 서로 다른 계층 중에서 부가정보를 이용하여 상기 비트 에러율을 생성하는 단계 및 메시지에 상기 생성된 상기 비트 에러율 및 상기 비트 에러율이 생성된 계층의 지시자를 포함시켜 다른 계층으로 전송하는 단계를 포함한다.In addition, the channel state estimation method using the bit error rate according to an embodiment of the present invention for solving the above problem, in the method for estimating the channel state using the bit error rate, at least one of a physical layer and a MAC layer Generating the bit error rate using additional information among a plurality of different layers, and including the generated bit error rate and an indicator of the layer in which the bit error rate is generated and transmitting the message to another layer. .
상기 비트 에러율은 물리(PHY)계층 및 MAC(Media Access Control)계층 중 적어도 하나를 포함하는 복수의 서로 다른 계층에서 부가정보를 이용하여 추정될 수 있다.The bit error rate may be estimated using additional information in a plurality of different layers including at least one of a physical (PHY) layer and a media access control (MAC) layer.
또한, 상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 비트 에러율을 이용한 멀티미디어 수신 장치는 물리(PHY)계층 및 MAC(Media Access Control)계층 중 적어도 하나를 포함하는 복수의 서로 다른 계층 중에서 비트 에러율이 생성된 계층을 지시하는 지시자를 포함하는 메시지를 생성하는 BER(Bit Error Rate) 생성부를 포함한다.In addition, the multimedia reception apparatus using a bit error rate according to an embodiment of the present invention for solving the above problems is a plurality of different layers including at least one of a physical (PHY) layer and a MAC (Media Access Control) layer And a bit error rate (BER) generation unit for generating a message including an indicator indicating the layer where the bit error rate is generated.
상기 비트 에러율은 물리(PHY)계층 및 MAC(Media Access Control)계층 중 적어도 하나를 포함하는 복수의 서로 다른 계층에서 부가정보를 이용하여 추정될 수 있다.The bit error rate may be estimated using additional information in a plurality of different layers including at least one of a physical (PHY) layer and a media access control (MAC) layer.
상기 BER 생성부로부터 비트 에러율 및 상기 비트에러율이 생성된 계층의 정보를 수신하여 채널 상태를 추정하는 채널 추정부를 더 포함할 수 있다.The BER generator may further include a channel estimator configured to receive a bit error rate and information on a layer in which the bit error rate is generated and estimate a channel state.
상기 메시지는 상기 비트 에러율을 나타내는 파라미터를 더 포함하고, 상기 비트에러율이 생성된 계층을 지시하는 지시자는 상기 비트 에러율을 나타내는 파라미터의 일부분에 속할 수 있다. 상기 채널 추정부는 추정된 채널 상태를 전송장치로 전송할 수 있다.The message further includes a parameter indicating the bit error rate, and the indicator indicating the layer in which the bit error rate is generated may belong to a portion of the parameter indicating the bit error rate. The channel estimator may transmit the estimated channel state to the transmitter.
상기 비트에러율이 생성된 계층을 지시하는 지시자는 상기 비트에러율이 생성된 계층이 물리계층인 경우 0의 값을 가질 수 있다.The indicator indicating the layer in which the bit error rate is generated may have a value of 0 when the layer in which the bit error rate is generated is a physical layer.
MMT(MPEG Media Transport) 시스템의 교차 계층 인터페이스(Cross Layer Interface; CLI)를 더 포함하고, 상기 교차 계층 인터페이스는 상기 비트에러율이 추정된 계층을 지시하는 지시자를 계층간 전달할 수 있다.The apparatus may further include a cross layer interface (CLI) of an MPEG Media Transport (MMT) system, and the cross layer interface may transfer an indicator indicating a layer in which the bit error rate is estimated.
또한, 상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 비트 에러율을 이용한 멀티미디어 전송 장치는 전송될 미디어 데이터를 생성하는 미디어 데이터 생성부; 상기 미디어 데이터 생성부에서 생성된 미디어 데이터를 전송하는 전송부; 및 수신장치로부터 수신한 채널 정보에 따라 상기 미디어 데이터 생성부의 작동을 제어하는 레이트 튜너를 포함하고 상기 채널 정보는 물리(PHY)계층 및 MAC(Media Access Control)계층 중 적어도 하나를 포함하는 상기 수신장치의 복수의 서로 다른 계층 중에서 비트 에러율이 생성된 계층을 지시하는 지시자를 포함하는 메시지이거나 상기 지시자를 사용하여 수신장치에서 생성된 채널 상태 정보이다.In addition, the multimedia transmission apparatus using a bit error rate according to an embodiment of the present invention for solving the above problems is a media data generation unit for generating media data to be transmitted; A transmitter for transmitting the media data generated by the media data generator; And a rate tuner for controlling the operation of the media data generator according to the channel information received from the receiver, wherein the channel information includes at least one of a physical (PHY) layer and a media access control (MAC) layer. A message including an indicator indicating a layer from which a bit error rate is generated among a plurality of different layers of the channel information or channel state information generated by a receiving apparatus using the indicator.
상기 비트 에러율은 물리(PHY)계층 및 MAC(Media Access Control)계층 중 적어도 하나를 포함하는 복수의 서로 다른 계층에서 부가정보를 이용하여 추정되어 생성될 수 있다.The bit error rate may be estimated and generated using additional information in a plurality of different layers including at least one of a physical (PHY) layer and a media access control (MAC) layer.
미디어 코덱 계층으로부터 특정 미디어 코덱에 독립적인 포맷을 가지는 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)을 제공받는 미디어 프래그먼트 생성부; 상기 미디어 프래그먼트 유닛을 사용하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성하는 미디어 프로세싱 유닛 생성부; 상기 생성된 미디어 프로세싱 유닛을 캡슐화하여 MMT 애셋(MMT Asset)을 생성하는 MMT 애셋 생성부; 상기 생성된 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성하는 MMT 패키지 생성부; 상기 생성된 MMT 패키지를 받아 MMT 페이로드(MMT Payload)를 생성하는 MMT 페이로드 생성부; 및 상기 생성된 MMT 페이로드를 사용하여 MMT 전송 패킷을 생성하는 MMT 전송 패킷 생성부를 더 포함하고, 상기 미디어 데이터 생성부는 상기 MMT 전송 패킷 생성부에서 생성된 MMT 전송 패킷을 채널 코딩하여 상기 전송될 미디어 데이터를 생성할 수 있다.A media fragment generation unit receiving a media fragment unit (MFU) having a format independent of a specific media codec from a media codec layer; A media processing unit generation unit generating a media processing unit (MPU) using the media fragment unit; An MMT asset generator for generating an MMT asset by encapsulating the generated media processing unit; An MMT package generator for generating an MMT package by encapsulating the generated MMT asset; An MMT payload generator configured to receive the generated MMT package and generate an MMT payload; And an MMT transport packet generator configured to generate an MMT transport packet using the generated MMT payload, wherein the media data generator is channel-coded the MMT transport packet generated by the MMT transport packet generator to transmit the media. You can generate data.
상기 레이트 튜너는 상기 수신한 채널 정보에 근거하여 상기 미디어 데이터의 레이트 컨트롤을 하여 코딩 레이트를 선택할 수 있다.The rate tuner may select a coding rate by controlling the rate of the media data based on the received channel information.
상기 미디어 데이터 생성부는 상기 코딩 레이트로 채널을 코딩하여 상기 미디어 데이터를 생성하고, 상기 전송부는 상기 미디어 데이터를 클라이언트로 전송할 수 있다.The media data generator may generate the media data by coding a channel at the coding rate, and the transmitter may transmit the media data to a client.
또한, 상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 비트 에러율을 이용한 채널 상태 추정 장치는 비트 에러율을 이용하여 채널 상태를 추정하는 장치에 있어서, 물리계층 및 MAC 계층 중 적어도 하나를 포함하는 복수의 서로 다른 계층 중에서 부가정보를 이용하여 상기 비트 에러율을 생성하는 BER 생성부; 및 메시지에 상기 측정된 상기 비트 에러율 및 상기 비트 에러율이 생성된 계층의 지시자를 포함시켜 다른 계층으로 전송하는 계층간 전송부를 포함한다.In addition, an apparatus for estimating a channel state using a bit error rate according to an embodiment of the present invention for solving the above problem includes an at least one of a physical layer and a MAC layer. A BER generator for generating the bit error rate by using additional information among a plurality of different layers; And an interlayer transmission unit including the measured bit error rate and an indicator of a layer in which the bit error rate is generated and transmitting the message to another layer.
상기 비트 에러율은 물리(PHY)계층 및 MAC(Media Access Control)계층 중 적어도 하나를 포함하는 복수의 서로 다른 계층에서 부가정보를 이용하여 추정될 수 있다.The bit error rate may be estimated using additional information in a plurality of different layers including at least one of a physical (PHY) layer and a media access control (MAC) layer.
BER을 이용하여 레이트 어댑테이션(rate adaptation)을 수행함으로써 효과적인 멀티미디어 전송이 가능하며, BER은 MAC 계층에서의 신호세기와 모듈레이션 정보를 이용하여 추정이 가능하며, 메시지 규격화하여 서로 다른 무선 네트워크에서 호환적으로 사용할 수 있다.Effective multimedia transmission is possible by performing rate adaptation using BER, and BER can be estimated using signal strength and modulation information in MAC layer, and it is compatible with different wireless networks by standardizing messages. Can be used.
도 1은 MMT(MPEG Media Transport) 계층 구조를 나타낸 개념도이다. 1 is a conceptual diagram illustrating a MPEG Media Transport (MMT) hierarchical structure.
도 2는 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타내는 개념도이다.2 is a conceptual diagram illustrating a format of unit information (or data or packet) used for each layer of the MMT hierarchical structure.
도 3은 MMT 패키지 구성의 개념도이다.3 is a conceptual diagram of an MMT package configuration.
도 4은 패킷 손실률(PER)을 레이트 어댑테이션(rate adaptation)에 사용시 발생하는 문제를 도시하는 도면이다.4 is a diagram illustrating a problem that occurs when using a packet loss rate (PER) for rate adaptation.
도 5는 도 4의 case 1에서, 레이트 어댑테이션시 PER을 사용한 경우와 BER을 사용한 경우를 쓰루풋(Throughput)향상 관점에서 비교한 개념도이다. FIG. 5 is a conceptual diagram comparing case of using PER and rate of BER in case 1 of FIG. 4 in terms of throughput.
도 6은 본 발명의 일 실시 예에 따른 BER을 이용한 멀티미디어 시스템의 블록도이다. 6 is a block diagram of a multimedia system using BER according to an embodiment of the present invention.
도 7 내지 도 9은 각각 802.11a, 802.11g, WiMax 무선 네트워크의 BER과 SNR(signal to noise ratio)의 상관관계를 보여주는 그래프이다. 7 to 9 are graphs showing correlations between BER and signal to noise ratio (SNR) of 802.11a, 802.11g, and WiMax wireless networks, respectively.
도 10 및 도 11은 본 발명의 일실시예에 따른 무선망에서의 레이트 어댑테이션(Rate Adaptation)을 설명하기 위한 흐름도이다.10 and 11 are flowcharts illustrating rate adaptation in a wireless network according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.As the present invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is said to be "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that another component may be present in the middle. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present disclosure does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.
이하, 용어의 의미를 다음과 같이 정의한다. Hereinafter, the meaning of the term is defined as follows.
컨텐츠 콤포넌트(content component) 또는 미디어 콤포넌트(media component)는 단일 종류의 미디어(media of a single type) 또는 단일 종류의 미디어의 부분 집합(subset of the media of a single type)으로 정의되며, 예를 들어, 비디오 트랙(video track), 영화 자막(movie subtitles), 또는 비디오 향상계층(enhancement layer of video)이 될 수 있다. The content component or media component is defined as a media of a single type or a subset of the media of a single type. , Video tracks, movie subtitles, or a video enhancement layer of video.
컨텐츠(content)는 컨텐츠 콤포넌트의 집합으로 정의하며, 예를 들어 영화(movie), 노래(song)등이 될 수 있다. Content is defined as a set of content components, and may be, for example, a movie or a song.
하이브리드 전송(hybrid delievery)은 하나 또는 하나 이상의 컨텐츠 컴포넌트들이 하나 이상의 물리적으로 서로 다른 형태의 망(network)을 통하여 동시에 전송되는 것으로 정의한다. Hybrid delivery defines one or more content components to be transmitted simultaneously through one or more physically different types of networks.
표현(presentation)은 사용자가 하나의 컨텐츠 컴포넌트 또는 하나의 서비스를 경험(예를 들어 영화 감상)할 수 있도록 하나 또는 하나 이상의 장치들에 의해 수행되는 동작(operation)으로 정의한다. A presentation is defined as an operation performed by one or more devices to allow a user to experience one content component or one service (eg, watch a movie).
서비스(service)는 표현(presentation) 또는 저장(storage)을 위해 전송되는 하나 또는 하나 이상의 컨텐츠 컴포넌트로 정의한다. A service is defined as one or more content components that are transmitted for presentation or storage.
서비스 정보(service information)는 하나의 서비스, 상기 서비스의 특성(characteristics) 및 컴포넌트들을 기술하는 메타 데이터로 정의한다.Service information is defined as metadata describing one service, characteristics and components of the service.
이하에서, 제1 망(network) 또는 제2 망(network)는 방송망(broadcast network), 광대역망(broadband network), 케이블망(cable network), 또는 위성통신망(satellite communication network)을 포함하는 다양한 네트워크를 포함한다. Hereinafter, the first network or the second network may include various networks including a broadcast network, a broadband network, a cable network, or a satellite communication network. It includes.
이하, 하이브리드 전송시 MMT 애셋 단위, 서브스트림 단위, MMT 패키지 단위 또는 MMT 패킷 단위 로 전송될수도 있고 또한 비디오 컨텐츠가 제1 레이어, 제2 레이어와 같이 복수의 레이어로 구성된 경우 레이어 단위로 하이브리드 전송할 수도 있다. Hereinafter, the hybrid transmission may be transmitted in MMT asset unit, substream unit, MMT package unit, or MMT packet unit. In addition, when video content includes a plurality of layers such as a first layer and a second layer, hybrid transmission may be performed in a layer unit. .
엑세스 유닛(Access Unit; AU)은 시간 정보를 속성으로 가질 수 있는 가장 작은 데이터 개체이다. 디코딩 및 프리젠테이션을 위한 시간 정보가 지정되지 않은 부호화된 미디어 데이터가 관련되면, AU는 정의되지 않는다.An access unit (AU) is the smallest data entity that can have time information as an attribute. If coded media data for which decoding and presentation time information is not specified is relevant, the AU is not defined.
MMT 애셋(MMT Asset)은 동일한 MMT 애셋 ID와 함께 적어도 하나의 MPU로 구성되거나 또는 다른 표준에서 정의된 형식과 함께 특정 데이터 덩어리로 구성되는 논리적 데이터 개체이다. MMT 애셋은 동일한 컴포지션 정보 및 전송 특성이 적용되는 가장 큰 데이터 유닛이다.An MMT asset is a logical data entity consisting of at least one MPU with the same MMT asset ID or a specific chunk of data with a format defined by other standards. The MMT asset is the largest data unit to which the same composition information and transmission characteristics apply.
MMT 애셋 전달 특성(MMT Asset Delivery Characteristics; MMT-ADC)(또는 MMT 애셋 전송 특성)은 MMT 애셋을 전송하기 위한 QoS 요구에 관련된 서술이다. MMT-ADC는 특정 전송 환경에 무관한 파라미터로 표현되어 특정 전송 환경을 알 수 없게 표현된다.MMT Asset Delivery Characteristics (MMT-ADC) (or MMT Asset Delivery Characteristics) is a description related to QoS requirements for delivering MMT assets. MMT-ADC is expressed as a parameter unrelated to a specific transmission environment, so that the specific transmission environment is not known.
MMT 컴포지션 정보(MMT Composition Information ; MMT CI)는 MMT 애셋간의 공간적 및 시간적 관계를 설명한다.MMT Composition Information (MMT CI) describes spatial and temporal relationships between MMT assets.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)는 일반적인 컨테이너로, 어떠한 특정 코덱에도 독립적이며, 미디어 디코더에 의해 독립적으로 소비될 수 있는 부호화된 미디어 데이터를 수용한다. 이는 엑세스 유닛(AU)보다 작거나 같은 크기를 가지고 전송계층에서 사용될 수 있는 정보를 수용한다.Media Fragment Unit (MFU) is a general container, which is independent of any particular codec, and accommodates encoded media data that can be consumed independently by a media decoder. It has information that is less than or equal to the access unit (AU) and can be used at the transport layer.
MMT 개체(MMT entity)는 MMT 프로파일을 따르는 소프트웨어 또는 하드웨어의 구현이다.An MMT entity is an implementation of software or hardware that follows the MMT profile.
MMT 패키지(MMT Package)는 논리적으로 구조화된 데이터의 모음으로, 적어도 하나의 MMT 애셋, MMT-컴포지션 정보, MMT-애셋 전송 특성 및 설명적인 정보로 구성된다.An MMT package is a collection of logically structured data and includes at least one MMT asset, MMT composition information, MMT asset asset, and descriptive information.
MMT 패킷(MMT packet)은 MMT 프로토콜에 의해 생성 또는 소비되는 데이터의 포멧이다.The MMT packet is a format of data generated or consumed by the MMT protocol.
MMT 페이로드 포멧(MMT payload format)은 MMT 프로토콜 또는 인터넷 응용 계층 프로토콜(예를들면, RTP)에 의해 전달될 MMT 패키지 또는 MMT 시그날링 메시지의 페이로드를 위한 포멧이다.MMT payload format is a format for payload of MMT package or MMT signaling message to be delivered by MMT protocol or Internet Application Layer Protocol (eg RTP).
MMT 프로세싱 유닛(MMT Processing Unit; MPU) 또는 미디어 프로세싱 유닛(Media Processing Unit; MPU)은 어떠한 특정 미디어 코덱에도 독립된 일반적인 컨테이너로, 적어도 하나의 AU 및 추가적인 전송 및 소비에 관련된 정보를 수용한다. 비-시간적 데이터를 위하여, MPU는 AU 범위에 속하지 않는 데이터의 부분을 수용한다. MPU는 완전하고 독립적으로 처리될 수 있는 부호화된 미디어 데이터이다. 이러한 맥락에서 처리는 전송을 위한 MMT 패키지로의 캡슐화 또는 패킷화를 의미한다. MPU는 완전하고 독립적으로 처리될 수 있는 부호화된 미디어 데이터이다. 단, 스케일러블 비디오 코딩(Scalable Video Coding, SVC) 및 다시점 비디오 코딩(Multiview Video Coding, MVC)을 위해 일부 경우에는 MPU는 미디어 코덱 서버에서 독립적으로 및 완전히 소비되지 않을 수 있다.An MMT Processing Unit (MPU) or Media Processing Unit (MPU) is a generic container that is independent of any particular media codec and accommodates at least one AU and information related to additional transmission and consumption. For non-temporal data, the MPU accepts a portion of data that does not fall within the AU range. MPU is encoded media data that can be processed completely and independently. In this context, processing means encapsulation or packetization into an MMT package for transmission. MPU is encoded media data that can be processed completely and independently. However, for scalable video coding (SVC) and multiview video coding (MVC), in some cases the MPU may not be consumed independently and completely at the media codec server.
비-시간 데이터(Non-timed data)는 시간을 명시하지 않고 소비되는 모든 데이터 요소를 정의한다. 비-시간 데이터는 데이터가 실행되거나 시작될 수 있는 시간 범위를 가질 수 있다.Non-timed data defines all data elements that are consumed without specifying time. Non-timed data can have a time range within which the data can be executed or started.
시간 데이터(timed data)는 디코딩 및 프리젠테이션 되는 특정한 시간과 연관된 데이터 요소를 정의한다.Timed data defines data elements associated with a particular time to be decoded and presented.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. In the following description of the present invention, the same reference numerals are used for the same elements in the drawings and redundant descriptions of the same elements will be omitted.
도 1은 MMT 계층 구조를 나타낸 개념도이다. 1 is a conceptual diagram illustrating an MMT hierarchical structure.
도 1을 참조하면, MMT 계층은 캡슐화 계층(Encapsulation layer), 전달 계층(Delivery layer) 및 시그널링 계층(Signaling layer; S layer)의 기능 영역(functional area)을 포함한다. MMT 계층은 전송 계층(Transport layer) 위에서 동작한다. Referring to FIG. 1, the MMT layer includes an encapsulation layer, a delivery layer, and a functional area of a signaling layer (S layer). The MMT layer operates on a transport layer.
캡슐화 계층(Encapsulation layer; E-layer)은 예를 들어 전송되는 미디어의 패킷화(packetization), 프래그먼테이션(Fragmentation), 동기화(Synchronization), 멀티플렉싱(Multiplexing)등의 기능을 담당할 수 있다. The encapsulation layer (E-layer) may be responsible for, for example, packetization, fragmentation, synchronization, multiplexing, and the like of transmitted media.
캡슐화 기능 영역(encapsulation functional area)은 미디어 컨텐츠, MMT 패키지, 그리고 MMT를 준수하는 개체에 의해 처리될 데이터 유닛들의 포멧의 논리적 구조를 정의한다. 적응적 전송을 위해 필수적인 정보를 제공하기 위해 MMT 패키지는 미디어 컨텐츠를 포함하는 컴포넌트들 및 그들간의 관계를 명시한다. 데이터 유닛들의 포멧은 전송 프로토콜의 페이로드로 저장 또는 전송되도록, 그리고 그들 사이에서 쉽게 변환 되도록 부호화된 미디어를 캡슐화 하기 위해 정의된다. 즉, 데이터 유닛들의 포맷은 저장 또는 전달을 위해 부호화된 미디어를 캡슐화하고, 상기 두 포멧 간에 용이하게 변환되도록 정의된다.The encapsulation functional area defines the logical structure of the format of the media content, the MMT package, and the data units to be processed by the MMT compliant entity. In order to provide the necessary information for adaptive delivery, the MMT package specifies the components that contain the media content and the relationships between them. The format of the data units is defined to encapsulate the encoded media to be stored or transmitted in the payload of the transport protocol and to be easily converted between them. That is, the format of the data units is defined to encapsulate the encoded media for storage or delivery, and to easily convert between the two formats.
캡슐화 계층(E-layer)은, 도 1에 도시된 바와 같이, MMT E.1 계층(MMT E.1 Layer), MMT E.2 계층(MMT E.2 Layer) 및 MMT E.3 계층(MMT E.3 Layer)으로 구성될 수 있다. Encapsulation layer (E-layer), as shown in Figure 1, MMT E.1 Layer (MMT E.1 Layer), MMT E.2 Layer (MMT E.2 Layer) and MMT E.3 Layer (MMT) E.3 Layer).
E.3 계층은 미디어 코덱(A) 계층으로부터 제공된 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)를 캡슐화하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성한다.The E.3 layer encapsulates a Media Fragment Unit (MFU) provided from the Media Codec (A) layer to create a Media Processing Unit (MPU).
상위 계층으로부터의 부호화된 미디어 데이터는 MFU로 캡슐화된다. 부호화된 미디어의 타입과 값은 MFU를 특정 코덱 기술에 일반적으로 사용될 수 있도록 추상화된다. 이는 하위 계층이 캡슐화된 부호화된 미디어에 접근없이 MFU를 처리할 수 있도록 한다. 이는 하위 계층이 캡슐화된 부호화된 미디어에 접근없이 MFU를 처리할 수 있게 하며, 하위 계층은 요구되는 부호화된 미디어 데이터를 네트워크나 저장소의 버퍼로부터 불러오고 미디어 디코더로 전송한다. MFU는 상기 작동을 수행하기 위한 충분한 정보 미디어 부분 유닛을 가지고 있다.Encoded media data from the upper layer is encapsulated in MFU. The type and value of the encoded media are abstracted to allow the MFU to be commonly used in certain codec technologies. This allows the lower layer to process the MFU without access to the encapsulated encoded media. This allows the lower layer to process the MFU without access to the encapsulated encoded media, which loads the required encoded media data from the network or storage buffer and sends it to the media decoder. The MFU has enough information media subunits to perform this operation.
MFU는 미디어 디코더에서 독립적으로 소비될 수 있는 데이터 유닛을 싣을 수 있는, 임의의 특정 코덱(codec)에 독립적인, 포맷을 가질 수 있다. MFU는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.The MFU may have a format, independent of any particular codec, that can carry data units that can be consumed independently in the media decoder. The MFU can be, for example, a picture or slice of the video.
독립적으로 전송가능하고 디코드할수 있는 하나 또는 한 그룹의 다수 MFU는 MPU를 생성한다. 독립적으로 전송가능하고 실행가능한 비-시간적 미디어 또한 MPU를 생성한다. MPU는 MFU에의 빠른 접근 및 부분적 소비를 가능하게 하는 MFU의 배열 및 패턴과 같은 내부 구조를 기술한다. One or a group of multiple MFUs that can be independently transmitted and decoded create an MPU. Non-temporal media that are independently transportable and executable also create an MPU. MPUs describe internal structures such as the arrangement and pattern of MFUs that allow for quick access and partial consumption of MFUs.
E.2 계층은 E.3계층에서 생성된 MPU를 캡슐화하여 MMT 애셋(MMT Asset)을 생성한다. The E.2 layer encapsulates the MPUs created in the E.3 layer to generate MMT assets.
동일한 소스 컴포넌트로부터의 MPU의 시퀀스는 MMT 애셋을 생성한다. MMT 애셋은 MMT 패키지에 의해 패키지되고, 컴포지션 정보(MMT Composition Information;MMT-CI), 전송특성(MMT Transport Characteristics; MMT-TC)에 의해 다른 것과 구성되며, MMT 페이로드 포멧에 의해 다른 것과 다중화되고, MMT 프로토콜에 의해 전송된다.A sequence of MPUs from the same source component creates an MMT asset. The MMT asset is packaged by the MMT package, configured by the MMT Composition Information (MMT-CI), the other by the MMT Transport Characteristics (MMT-TC), and multiplexed with the other by the MMT payload format. Is transmitted by the MMT protocol.
MMT 애셋은 단일의 데이터 소스로부터의 하나 또는 복수의 MPU로 이루어진 데이터 엔티티(data entity)로서, 컴포지션 정보(composition information) 및 전송 특성(transport characteristics)이 정의된 데이터 유닛이다. 전송 특성(transport characteristics)은 애셋 전달 특성(Asset Delivery Characteristics, ADC)이라 호칭될 수 있다. MMT 애셋은 PES(packetized elementary streams)에 대응될 수 있으며, 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 파일 포맷(File Format), M2TS(MPEG transport stream)등에 대응될 수 있다. An MMT asset is a data entity composed of one or a plurality of MPUs from a single data source and is a data unit in which composition information and transport characteristics are defined. Transport characteristics may be referred to as Asset Delivery Characteristics (ADC). MMT assets can correspond to packetized elementary streams (PES), for example video, audio, program information, MPEG-U widgets, JPEG images, MPEG 4 file format, M2TS (MPEG transport stream), etc.
E.1 계층(E.1 Layer)은 E.2 계층에서 생성된 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성한다. The E.1 layer creates an MMT package by encapsulating the MMT asset generated in the E.2 layer.
MMT 애셋은 다른 기능적 영역-전송 영역 및 시그널 영역-과 함께 또는 별도로 동일한 사용자 경험의 추후의 응답을 위해 MMT 콤포지션 정보(MMT-composition information;MMT-CI)와 패키지된다. 상기 MMT 패키지 또한 MMT 애셋의 체감 품질을 충족시키도록 각각의 MMT 애셋을 위한 적절한 전송 방법을 선정하는 전송 특성 또는 애셋 전달 특성(Asset Delivery Characteristics, ADC)과 함께 패키지된다. The MMT asset is packaged with MMT composition information (MMT-CI) for later response of the same user experience together or separately with other functional areas—transmission area and signal area. The MMT package is also packaged with a delivery characteristic or asset delivery characteristics (ADC) for selecting an appropriate delivery method for each MMT asset to satisfy the haptic quality of the MMT asset.
도 3을 참조하면, MMT 패키지(450)는 하나의 콤포지션 정보(composition information, 162) 및 적어도 하나의 전송 특성(transport characteristics, 164) 또는 애셋 전달 특성(Asset Delivery characteristics; ADC)과 같은 부가 정보와 함께 하나 또는 복수의 MMT 애셋(150)으로 구성될 수 있다. 콤포지션 정보(composition information, 162)는 MMT 애셋들 사이의 관계(relationship)에 대한 정보를 포함하며, 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 전송 특성(transport characteristics, 164)은 MMT 애셋 또는 MMT 패킷의 전달 조건(delivery condition)을 결정하기 위해 필요한 전송 특성 정보를 포함할 수 있으며, 예를 들어 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다. MMT 패키지는 MPEG-2 TS의 프로그램(Program)에 대응될 수 있다. Referring to FIG. 3, the MMT package 450 may include one composition information 162 and additional information such as at least one transport characteristic 164 or asset delivery characteristics (ADC). It may be composed of one or a plurality of MMT assets 150 together. Composition information 162 includes information on the relationship between MMT assets, and indicates the relationship between a plurality of MMT packages when one content consists of a plurality of MMT packages. It may further include information for betting. The transport characteristics 164 may include transport characteristic information necessary for determining a delivery condition of an MMT asset or an MMT packet, and may include, for example, a traffic description parameter and a QoS descriptor ( QoS descriptor). The MMT package may correspond to a program of MPEG-2 TS.
또한, 패키지의 프로세싱은 MPU 기반으로 적용되고, 애셋은 동일한 애셋 ID를 가진 적어도 하나의 MPU의 집합인바, 하나의 패키지는 하나의 콤포지션 정보, 적어도 하나의 MPU 및 각각의 애셋에 관련된 애셋 전송 특성으로 구성되어 있다고 볼 수도 있다.In addition, processing of the package is applied on an MPU basis, and an asset is a set of at least one MPU having the same asset ID, and one package includes one composition information, at least one MPU, and an asset transmission characteristic associated with each asset. It can be said that it is configured.
콤포지션 정보(Composition Information)는 MMT 애셋들 사이의 관계(relationship)에 대한 정보를 포함하며, 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. Composition information includes information about a relationship between MMT assets, and when one content consists of a plurality of MMT packages, the composition information indicates a relationship between a plurality of MMT packages. It may further include information.
애셋 전달 특성(Asset Delivery Characteristics; ADC)은 애셋의 전달을 위한 QoS 요구 및 통계를 나타낸다. 복수의 애셋은 하나의 ADC에 관련될 수 있다. ADC는 애셋의 효과적인 전달을 위해 패키지를 패킷화하는 개체에 의해 MMT 페이로드 및 MMT 프로토콜의 파라미터를 설정하는데 사용될 수 있다.Asset Delivery Characteristics (ADCs) represent QoS requirements and statistics for asset delivery. Multiple assets may be associated with one ADC. The ADC can be used to set the parameters of the MMT payload and the MMT protocol by the entity packetizing the package for effective delivery of the asset.
애셋 전달 특성(Asset Delivery Characteristics; ADC)은 MMT 애셋 또는 MMT 패킷의 전달 조건(delivery condition)을 결정하기 위해 필요한 전달 특성 정보를 포함할 수 있으며, 예를 들어 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다. Asset Delivery Characteristics (ADCs) may include delivery characteristic information necessary to determine delivery conditions of MMT assets or MMT packets, for example, traffic description parameters and QoS. It may include a descriptor (QoS descriptor).
전달 계층(Delivery layer; D-layer)은 페이로드 포맷 및 응용 계층 전송 프로토콜을 정의한다. 페이로드 포맷은 미디어 타입 또는 인코딩 방법을 불문하고 부호화된 미디어 데이터를 나를 수 있도록 정의된다. 응용 계층 전송 프로토콜은 멀티플렉싱 및 교차 계층 커뮤니케이션을 포함하는 패키지의 전달을 위한 강화된 특징을 제공한다.A delivery layer (D-layer) defines a payload format and an application layer transport protocol. Payload format is defined to carry coded media data regardless of media type or encoding method. Application layer transport protocols provide enhanced features for package delivery including multiplexing and cross-layer communication.
전달 계층(Delivery layer)은 예를 들어 네트워크를 통해 전송되는 미디어의 네트워크 플로우 멀티플렉싱(Network flow multiplexing), 네트워크 패킷화(Network packetization), QoS 제어 등을 수행할 수 있다.The delivery layer may perform, for example, network flow multiplexing, network packetization, and QoS control of media transmitted through a network.
전달 계층(Delivery layer) 또는 전달 기능 영역(delivery functional area)은 페이로드의 응용 계층 프로토콜 및 포멧을 정의한다. 본 발명에서 응용 계층 프로토콜은 다중화를 포함하는 멀티미디어의 전송을 위한 종래의 응용 계층 프로토콜에 비하여 MMT 패키지의 전달을 위한 강화된 특징을 제공한다. 페이로드 포멧은 미디어 타입 또는 인코딩 방법을 불문하고 부호화된 미디어 데이터를 전달하도록 정의된다. A delivery layer or delivery functional area defines the application layer protocol and format of the payload. The application layer protocol in the present invention provides enhanced features for the delivery of MMT packages as compared to conventional application layer protocols for the transmission of multimedia including multiplexing. Payload format is defined to carry coded media data regardless of media type or encoding method.
전달 계층 (D-layer)은 트랜스포트 계층(Transport layer)과 캡슐화 계층(E-layer) 사이에서, 네트워크를 통해 전송되는 비디오, 오디오등과 같은 미디어(Media)의 다중화(multiplexing), 패킷 레벨의 통합(aggregation) 및/또는 분할(Fragmentation), 네트워크 패킷화(Network packetization), QoS 제어, 동기화(Synchronization) 기능, 기존의 RTP와 같은 트랜스포트 계층(Transport layer), 기존의 UDP, TCP와 같은 트랜스포트 계층(Transport layer), 캡슐화 계층(E-layer), 시그널링 계층 (S layer)과의 인터페이스 등을 담당한다. The transport layer (D-layer) is a packet level between the transport layer and the encapsulation layer (E-layer), such as the multiplexing of the media such as video, audio, etc. transmitted over the network. Aggregation and / or Fragmentation, Network Packetization, QoS Control, Synchronization, Transport Layer like RTP, Conventional UDP, TCP It is responsible for the interface with the port layer (Transport layer), encapsulation layer (E-layer), signaling layer (S layer).
전달 계층 (D-layer)은 캡슐화 계층(E-layer)으로부터의 페이로드(payloads)를 핸들링하기 위하여 캡슐화 계층(E-layer)으로부터의 넘어온 서로 다른 타입의 페이로드를 식별한다. 전달 계층 (D-layer)은 서로 다른 망과 서로 다른 채널을 통하여 전달되는 패킷들간의 임시적인 관계(temporal relation)를 다룰 수 있다. 상기 동기화(Synchronization) 기능은 타임스탬프등을 이용한 하이브리드망 동기화를 포함할 수 있다. The transport layer (D-layer) identifies different types of payloads from the encapsulation layer (E-layer) to handle payloads from the encapsulation layer (E-layer). The transport layer (D-layer) may handle the temporal relation between packets transmitted through different networks and different channels. The synchronization function may include hybrid network synchronization using a time stamp or the like.
전달 계층 (D-layer)은 실시간 미디어 전송을 위해 MMT 전달패킷(MMT delivery packets)의 타이밍 제약(timing constraints)을 다룰 수 있다. 전달 계층 (D-layer)은 전방향 에러 보정(Forward Error Correction) 및 재전송과 같은 MMT 미디어 패킷의 에러 제어를 수행할 수 있다. 전달 계층 (D-layer)은 MMT 미디어 패킷의 흐름 제어를 수행할 수 있다. 전달 계층 (D-layer)은 MMT 미디어패킷의 전달을 위한 소정 레벨의 QoS를 유지하기 위하여 크로스 레이어 디자인(Cross-layer design)을 통하여 하위 계층(MAC, PHY) 뿐만 아니라 다른 MMT 계층과의 인터랙션(interaction)을 수행할 수 있다. 또한, 전달 계층 (D-layer)은 그룹 통신을 수행하기 위한 기능을 제공할 수 있다. The D-layer may handle timing constraints of MMT delivery packets for real-time media transmission. The D-layer may perform error control of MMT media packets such as forward error correction and retransmission. The transport layer (D-layer) may perform flow control of the MMT media packet. The transport layer (D-layer) interacts with other MMT layers as well as lower layers (MAC, PHY) through a cross-layer design to maintain a certain level of QoS for delivery of MMT media packets. interaction). In addition, the transport layer (D-layer) may provide a function for performing group communication.
전달 계층 (D-layer)은, 도 1에 도시된 바와 같이, MMT D.1 계층(MMT D.1 Layer), MMT D.2 계층(MMT D.2 Layer) 및 MMT D.3 계층(MMT D.3 Layer)으로 구성될 수 있다. The transport layer (D-layer), as shown in Figure 1, MMT D.1 Layer (MMT D.1 Layer), MMT D.2 Layer (MMT D.2 Layer) and MMT D.3 Layer (MMT) D.3 Layer).
D.1 계층(D.1-layer)은 E.1 계층에서 생성된 MMT 패키지를 받아서 MMT 페이로드 포맷(MMT Payload format)을 생성한다. MMT 페이로드 포맷은 MMT 애셋을 전송하고, 그리고 MMT 애플리케이션 프로토콜 또는 RTP와 같은 다른 기존의 애플리케이션 전송 프로토콜에 의한 소비를 위한 정보를 전송하기 위한 페이로드 포맷이다. MMT 페이로드는 AL-FEC와 같은 정보와 함께 MFU의 프래그먼트를 포함할 수 있다.The D.1 layer receives the MMT package generated in the E.1 layer and generates an MMT payload format. The MMT payload format is a payload format for carrying MMT assets and for transmitting information for consumption by the MMT application protocol or other existing application transport protocol such as RTP. The MMT payload may include a fragment of the MFU along with information such as AL-FEC.
MMT 페이로드 포멧은 패키지의 컨텐츠 콤포넌트의 패킷화를 위한 일반적인 페이로드 포멧으로 정의된다. MMT 페이로드 포멧은 특정 미디어 코덱에 무관하게 정의되어, MPU와 같이 캡슐화된 어떠한 타입의 미디어도 미디어 컨텐츠의 스트리밍 전달을 지원하는 응용 계층 전송 프로토콜을 위한 페이로드로 패킷화 될 수 있다. MMT 페이로드는 RTP, MMT 및 다른 패킷 전송 프로토콜을 위한 페이로드 포멧으로 사용될 수 있다. MMT 페이로드는 시그널링 메시지를 패킷화하기 위해 사용될 수도 있다.The MMT payload format is defined as a general payload format for packetization of content components of a package. The MMT payload format is defined irrespective of a particular media codec so that any type of media encapsulated, such as an MPU, can be packetized into a payload for an application layer transport protocol that supports streaming delivery of media content. The MMT payload can be used as payload format for RTP, MMT and other packet transfer protocols. The MMT payload may be used to packetize the signaling message.
D.2 계층(D.2-layer)은 D.1 계층에서 생성된 MMT 페이로드 포맷을 받아서 MMT 전송 패킷(MMT Transport Packet) 또는 MMT 패킷(MMT Packet)을 생성한다. MMT 전송 패킷 또는 MMT 패킷은 MMT를 위한 애플리케이션 전송 프로토콜에 사용되는 데이터 포맷이다. The D.2 layer receives the MMT payload format generated in the D.1 layer and generates an MMT transport packet or an MMT packet. The MMT transport packet or MMT packet is a data format used in an application transport protocol for MMT.
D.3 계층(D.3-layer)은 교차 계층 설계(cross-layer Design)에 의해 계층간에 정보를 교환할 수 있는 기능을 제공하여 QoS를 지원한다. 예를 들어, D.3 계층은 MAC/PHY 계층의 QoS 파라미터를 이용하여 QoS 제어를 수행할 수 있다. MAC/PHY의 QoS파라미터는 예를 들어, 비트율(bitrate), 패킷손실율(packet loss ratio), 예측된 지연(expected delay), 이용 가능한 버퍼 크기 등이 될 수 있다. D.3 layer (D.3-layer) supports QoS by providing the function of exchanging information between layers by cross-layer design. For example, the D.3 layer may perform QoS control using QoS parameters of the MAC / PHY layer. The QoS parameters of the MAC / PHY may be, for example, bitrate, packet loss ratio, expected delay, available buffer size, and the like.
S 계층 또는 시그널링 계층(Signaling layer; S layer)은 시그널링 기능(signaling function)을 수행한다. 예를 들어 전송되는 미디어의 세션 초기화/제어/관리(session initialization/control/management), 서버 기반 및/또는 클라이언트 기반의 트릭 모드, 서비스 디스커버리(Service discovery), 동기화(Synchronization) 및 다른 계층, 즉 전달 계층(D-layer) 및 캡슐화 계층(E-layer)과의 인터페이스 기능 등을 위한 시그널링 기능을 수행할 수 있다. 상기 동기화는 하이브리드망에서의 동기화 제어를 포함할 수 있다.The S layer or signaling layer (S layer) performs a signaling function. For example, session initialization / control / management of transmitted media, server-based and / or client-based trick modes, service discovery, synchronization, and other layers, i.e., delivery A signaling function for interfacing with a D-layer and an encapsulation layer (E-layer) may be performed. The synchronization may include synchronization control in a hybrid network.
시그널링 계층 또는 시그날링 기능 영역(signaling functional area)은 MMT 패키지의 전달 및 소비를 관리하는 메시지의 포멧을 정의한다. 소비 관리를 위한 메시지는 MMT 패키지의 구조를 전송하기 위해 사용되고, 전달 관리를 위한 메시지는 페이로드 포멧의 구조 및 프로토콜의 구성을 전송하기 위해 사용된다.The signaling layer or signaling functional area defines the format of the message that manages the delivery and consumption of the MMT package. The message for consumption management is used to transmit the structure of the MMT package, and the message for delivery management is used to transmit the structure of the payload format and the configuration of the protocol.
S 계층(S layer)은, 도 1에 도시된 바와 같이, MMT S.1 계층(MMT S.1 Layer) 및 MMT S.2 계층(MMT S.2 Layer)으로 구성될 수 있다. As illustrated in FIG. 1, the S layer may include an MMT S.1 layer and an MMT S.2 layer.
S.1 계층은 서비스 디스커버리(Service discovery), 미디어의 세션 초기화/종료(media session initialization/termination), 미디어의 세션 표현/제어(media session presentation/control), 전달(D) 계층 및 캡슐화(E) 계층과의 인터페이스 기능 등을 수행할 수 있다. S.1 계층은 미디어 표현 세션 관리(presentation session management)를 위한 애플리케이션들간의 제어 메시지들의 포맷을 정의할 수 있다. 상기 표현 세션 관리는 미디어 표현, 세션 관리, 미디어 소비에 요구되는 정보 제공을 위하여 애플리케이션간에 교환된 제어 메시지의 포맷을 정의할 수 있다.S.1 layer includes service discovery, media session initialization / termination of media, media session presentation / control of media, delivery (D) layer and encapsulation (E). The interface function with the layer can be performed. The S.1 layer may define the format of control messages between applications for media presentation session management. The presentation session management may define a format of a control message exchanged between applications for providing media presentation, session management, and information required for media consumption.
S.2 계층은 흐름 제어(flow control), 전달 세션 관리(delivery session management), 전달 세션 모니터링(delivery session monitoring), 에러 제어(error control), 하이브리드망 동기화 제어(Hybrid network synchronization control)에 관한 전달 계층(D-layer)의 전달 엔드-포인트들(delivery end-points)간에 교환되는 제어 메시지의 포맷을 정의할 수 있다. The S.2 layer is responsible for flow control, delivery session management, delivery session monitoring, error control, and hybrid network synchronization control. It is possible to define the format of the control message exchanged between delivery end-points of the D-layer.
S.2 계층은 전달 계층의 동작을 지원하기 위하여 전달 세션 설정 및 해제(delivery session establishment and release), 전달 세션 모니터링, 흐름 제어, 에러 제어, 설정된 전달 세션에 대한 리소스 예약, 복합 전달 환경하에서의 동기화를 위한 시그널링, 적응적 전달(adaptive delivery)를 위한 시그널링을 포함할 수 있다. 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 즉, S.2 계층은 전술한 바와 같은 전달 계층의 동작을 지원하기 위하여 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 또한, S.2 계층은 전달 계층 및 캡슐화 계층과의 인터페이스 기능을 담당할 수 있다. The S.2 layer supports delivery session establishment and release, delivery session monitoring, flow control, error control, resource scheduling for established delivery sessions, and synchronization in a complex delivery environment to support the behavior of the delivery layer. Signaling for adaptive delivery, and signaling for adaptive delivery. Required signaling may be provided between a sender and a receiver. That is, the S.2 layer may provide signaling required between the sender and the receiver in order to support the operation of the transport layer as described above. In addition, the S.2 layer may be responsible for interfacing with the transport layer and the encapsulation layer.
제어 메시지(control message; 또는 제어 정보(control information))는 시그널링 계층 (S layer)에서 생성되어 방송망 및/또는 광대역망을 통하여 전송될 수 있다. The control message or control information may be generated in the signaling layer and transmitted through a broadcasting network and / or a broadband network.
도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다. FIG. 2 illustrates a format of unit information (or data or packet) used for each layer of the MMT hierarchical structure of FIG. 1.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)(130)은 부호화된 미디어 분할 데이터(coded media fragment data, 132)와 MFUH(Media Fragment Unit Header)(134)로 이루어진다. 미디어 프래그먼트 유닛(130)은 특정 코덱(codec)에 독립적으로 일반 콘테이너 포맷(general container format)을 가지며 미디어 디코더에서 독립적으로 소비될 수 있는 가장 작은 데이터 유닛을 싣는다. MFUH(134)는 미디어 특성-예를 들어 유실 허용한계(loss-tolerance)-과 같은 부가 정보를 포함할 수 있다. MFU)(130)는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.The media fragment unit (MFU) 130 includes coded media fragment data 132 and a media fragment unit header (MFUH) 134. The media fragment unit 130 has a general container format independent of a specific codec and carries the smallest data unit that can be consumed independently in a media decoder. The MFUH 134 may include additional information such as media characteristics-for example, loss-tolerance. MFU) 130 may be, for example, a picture or slice of a video.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)은 MFU의 범위에서 적응적인 전송을 수행하기 위해 전송 계층에서 AU의 부분을 캡슐화하는 형식을 정의한다. MFU는 AU의 부분이 독립적으로 디코드되거나 폐기될 수 있도록 부호화된 미디어의 일정한 형식을 전송하는데 사용될 수 있다. The Media Fragment Unit (MFU) defines a format that encapsulates a portion of the AU in the transport layer to perform adaptive transmission in the range of MFU. The MFU may be used to transmit certain types of encoded media so that portions of the AU can be independently decoded or discarded.
MFU는 다른 MFU들로부터 하나의 MFU를 구별하기 위한 식별자를 가지고, 단일 AU내의 MFU들 사이의 일반적인 관계 정보를 가진다. 단일 AU에서의 MFU 사이의 의존 관계가 설명되고, MFU의 관련 우선순위가 그러한 정보들의 부분으로 설명된다. 상기 정보는 하위 전송 계층에서 전송을 다루는데 사용될 수 있다. 예를 들면, 전송 계층은 불충분한 대역폭에서의 QoS 전송을 지원하도록, 폐기해도 되는 MFU들의 전송을 생략할 수 있다.The MFU has an identifier for distinguishing one MFU from other MFUs and has general relationship information between MFUs in a single AU. The dependencies between the MFUs in a single AU are described, and the relevant priorities of the MFUs are described as part of such information. The information can be used to handle the transmission at the lower transport layer. For example, the transport layer may omit the transmission of MFUs that may be discarded to support QoS transmission in insufficient bandwidth.
MPU는 복수의 미디어 프래그먼트 유닛(130)을 포함하는 미디어 프래그먼트 유닛의 집합이다. MPU는 특정 코덱(codec)에 독립적으로 일반 콘테이너 포맷(general container format)을 가지며 액세스 유닛(Access Unit)과 등가의 미디어 데이터를 포함한다. MPU는 시간 데이터 유닛(timed data unit) 또는 비-시간 데이터 유닛(non-timed data unit) 을 가질 수 있다.The MPU is a collection of media fragment units including a plurality of media fragment units 130. The MPU has a general container format independent of a specific codec and includes media data equivalent to an access unit. The MPU may have a timed data unit or a non-timed data unit.
MPU는 MMT를 따르는 개체에 의해 독립적이고 완전하게 처리된 데이터이고, 처리는 캡슐화 및 패킷화를 포함한다. MPU는 적어도 하나의 MFU로 구성되거나 다른 표준에 의해 정의된 포멧을 가진 데이터의 부분을 가질 수 있다.MPU is data that is independently and completely processed by an entity following the MMT, and processing includes encapsulation and packetization. An MPU may consist of at least one MFU or have a portion of data having a format defined by another standard.
단일 MPU는 적어도 하나의 AU의 진정수(integral number) 또는 비-시간 데이터를 수용할 수 있다. 시간 데이터를 위하여, AU는 적어도 하나의 MFU로부터 전달될 수 있으나, 하나의 AU는 다수의 MPU로 분할될 수 없다. 비-시간 데이터에서, 하나의 MPU는 MMT를 준수하는 개체에 의해 독립적이고 완전하게 처리된 비-시간 데이터의 부분을 수용한다.A single MPU may accommodate the integral number or non-time data of at least one AU. For time data, an AU may be delivered from at least one MFU, but one AU may not be divided into multiple MPUs. In non-time data, one MPU receives a portion of non-time data that has been independently and completely processed by an entity that complies with the MMT.
MPU는 시퀀스번호 및 이를 다른 MPU와 구분하여주는 연관된 애셋 ID로 MMT 패키지 내에서 유일하게 식별될 수 있다An MPU can be uniquely identified within an MMT package with a sequence number and an associated asset ID that distinguishes it from other MPUs.
MPU는 적어도 하나의 임의 접근점을 가진다. MPU 페이로드의 첫 바이트는 항상 임의 접근점으로 시작할 수 있다. 시간 데이터에서, 상기 사실은 MPU 페이로드에서 첫 MFU의 디코딩 순서는 항상 0임을 의미한다. 시간 데이터에서, 각 AU의 프리젠테이션 기간 및 디코딩 순서는 프리젠테이션 시간을 알리기 위해 보내질 수 있다. MPU는 자신의 초기 프리젠테이션 시간을 가지고 있지 않고, 하나의 MPU의 첫 AU의 프리젠테이션 시간은 컴포지션 정보에 기술되어 있을 수 있다. 컴포지션 정보는 MPU의 첫 프리젠테이션 시간을 명시할 수 있다.The MPU has at least one random access point. The first byte of the MPU payload can always start with a random access point. In time data, this fact means that the decoding order of the first MFU in the MPU payload is always zero. In the time data, the presentation period and decoding order of each AU can be sent to inform the presentation time. The MPU does not have its initial presentation time, and the presentation time of the first AU of one MPU may be described in the composition information. The composition information may specify the first presentation time of the MPU.
MMT 애셋(150)은 복수의 MPU 들로 이루어진 MPU의 집합이다. MMT 애셋(150)은 단일의 데이터 소스로부터의 다수의 MPU(시간(timed) 또는 비-시간(non-timed) 데이터)로 이루어진 데이터 엔티티로서, MMT 애셋 정보(152)는 애셋 패키징 메타데이터(Asset packaging metadata) 및 데이터 타입과 같은 부가 정보를 포함한다. MMT 애셋(150)은 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 FF(File Format), PES(packetized elementary streams), M2TS(MPEG transport stream)등을 포함할 수 있다. The MMT asset 150 is a collection of MPUs composed of a plurality of MPUs. The MMT asset 150 is a data entity composed of multiple MPUs (timed or non-timed data) from a single data source, and the MMT asset information 152 is an asset packaging metadata (Asset). additional information such as packaging metadata) and data type. MMT asset 150 may include, for example, video, audio, program information, MPEG-U widgets, JPEG images, MPEG 4 FF (File Format), packetized elementary streams (PES), and MPEG transport (M2TS). streams).
또한 MMT 애셋은 부호화된 미디어 데이터를 가지는 논리적 데이터 개체일 수 있다. MMT 애셋은 MMT 애셋 헤더 및 부호화된 미디어 데이터를 가진다. 부호화된 미디어 데이터는 같은 MMT 애셋 아이디로 집단적으로 참조되는 MPU들의 그룹일 수 있다. MMT 클라이언트와 직접 관련되는 개체로 각각 소비되는 타입의 데이터는 분리된 MMT 애셋일 수 있다. 그러한 데이터 타입들의 예로 MPEG-2 TS, PES, MP4 file, MPEG-U Widget Package, JPEG 파일 들을 들 수 있다.In addition, the MMT asset may be a logical data entity having encoded media data. The MMT asset has an MMT asset header and encoded media data. The encoded media data may be a group of MPUs collectively referred to by the same MMT asset ID. The type of data consumed as an entity directly related to the MMT client may be a separate MMT asset. Examples of such data types are MPEG-2 TS, PES, MP4 file, MPEG-U Widget Package, JPEG files.
MMT 애셋의 부호화된 미디어는 시간 데이터 또는 비-시간 데이터 일 수 있다. 시간 데이터는 지정된 시간에 특정 데이터의 동기화된 디코딩 및 프리젠테이션이 요구되는 시청각 미디어 데이터이다. 비-시간 데이터는 서비스의 제공 또는 사용자 상호작용에 따라 임의의 시간에 디코딩되고 제공될 수 있는 데이터 타입의 데이터이다.The encoded media of the MMT asset may be time data or non-time data. Temporal data is audiovisual media data that requires synchronized decoding and presentation of specific data at specified times. Non-timed data is data of a data type that can be decoded and provided at any time in accordance with the provision of a service or user interaction.
서비스 제공자(service provider)는 MMT 애셋들을 통합하여 MMT 애셋들을 공간-시간축상에 두고 멀티미디어 서비스를 생성할 수 있다. A service provider may create a multimedia service by integrating MMT assets and putting MMT assets on a space-time axis.
MMT 패키지(160)는 하나 또는 하나 이상의 MMT 애셋(150)을 포함하는 MMT 애셋의 집합이다. MMT 패키지 내의 MMT 애셋들은 다중화되거나 또는 사슬같이 연결(concatenated)될 수 있다. The MMT package 160 is a collection of MMT assets including one or more MMT assets 150. MMT assets in an MMT package may be multiplexed or concatenated.
MMT 패키지는 MMT 애셋 및 구성 정보를 위한 컨테이너 포멧이다. MMT 패키지는 MMT 프로그램을 위한 MMT 애셋 및 구성 정보의 저장소를 제공한다.The MMT package is a container format for MMT asset and configuration information. The MMT package provides a repository of MMT assets and configuration information for the MMT program.
MMT 프로그램 제공자는 부호화된 데이터를 MMT 애셋으로 캡슐화하고 MMT 애셋과 그들의 전송 특성의 시간적 및 공간적 레이아웃을 설명하는 것으로 구성 정보를 생성한다. MU 및 MMT 애셋은 D.1 페이로드 포멧으로 직접적으로 전송될 수 있다. 구성 정보는 S.1 프리젠테이션 세션 관리 메시지에 의해 전송될 수 있다. 그러나 MMT 프로그램의 릴레이 또는 추후의 재사용을 허용하는 MMT 프로그램 제공자 및 클라이언트는 MMT 패키지 포멧으로 이를 저장한다.The MMT program provider generates configuration information by encapsulating the encoded data into MMT assets and describing the temporal and spatial layout of the MMT assets and their transmission characteristics. MU and MMT assets may be sent directly in D.1 payload format. The configuration information may be sent by an S.1 presentation session management message. However, MMT program providers and clients that allow relaying or future reuse of MMT programs store them in MMT package format.
MMT 패키지를 파싱하는데 있어, MMT 프로그램 제공자는 MMT 애셋이 클라이언트에게 어떤 전송 경로(예를들면, 브로드캐스트 또는 브로드밴드)로 제공될지를 결정한다. MMT 패키지에서의 구성 정보는 전송 관련 정보와 함께 C.1 프리젠테이션 세션 관리 메시지로 전송된다.In parsing the MMT package, the MMT program provider determines which transmission path (eg, broadcast or broadband) the MMT asset will be provided to the client. Configuration information in the MMT package is transmitted in a C.1 presentation session management message along with transmission related information.
클라이언트는 S.1 프리젠테이션 세션 관리 메시지를 수신하여 어떤 MMT 프로그램이 가능하고 어떻게 해당되는 MMT 프로그램을 위한 MMT 애셋을 수신하는지를 알게된다.The client receives the S.1 Presentation Session Management message to learn which MMT programs are available and how to receive MMT assets for the corresponding MMT program.
MMT 패키지는 D.1페이로드 포멧에 의해 또한 전송될 수 있다. MMT 패키지는 D.1 페이로드 포멧으로 패킷화 되고 전달된다. 클라이언트는 패킷화된 MMT 패키지를 수신하고 이의 전부 또는 일부를 구성하고, 여기서 MMT 프로그램을 소비한다.The MMT package can also be transmitted by the D.1 payload format. The MMT package is packetized and delivered in D.1 payload format. The client receives the packetized MMT package and configures all or part of it, where it consumes the MMT program.
MMT 패키지(160)의 패키지 정보(package information)(165)는 구성 정보(Configuration Information)를 포함할 수 있다. 구성 정보(Configuration Information)는 MMT 애셋들의 리스트, 패키지 식별 정보(package identification information), 콤포지션 정보(composition information)(162) 및 전송 특성(transport characteristics)(164) 또는 애셋 전달 특성(Asset Delivery Characteristics, ADC)과 같은 부가 정보를 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 애셋(150)들 사이의 관계(relationship)에 대한 정보를 포함한다.The package information 165 of the MMT package 160 may include configuration information. Configuration Information includes a list of MMT assets, package identification information, composition information 162 and transport characteristics 164 or Asset Delivery Characteristics (ADCs). May include additional information such as Composition information 162 includes information about a relationship between MMT assets 150.
또한, 콤포지션 정보(composition information)(162)는 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 패키지내의 시간적, 공간적, 적응적 관계(relationship)에 대한 정보를 포함할 수 있다. The composition information 162 may further include information for indicating a relationship between a plurality of MMT packages when one content includes a plurality of MMT packages. Composition information 162 may include information about temporal, spatial and adaptive relations in an MMT package.
MMT 패키지의 전송 및 프리젠테이션을 돕는 정보와 같이, MMT에서의 컴포지션 정보(Composition Information)는 MMT 패키지 내의 MMT 애셋 사이의 공간적 및 시간적 관계에 대한 정보를 제공한다.Like information to assist in the transmission and presentation of the MMT package, Composition Information in the MMT provides information about the spatial and temporal relationships between MMT assets in the MMT package.
MMT-CI는 HTML5를 확장하여 그러한 정보를 제공하는 설명적인 언어이다. HTML5가 텍스트 기반 컨텐츠의 페이지기반 프리젠테이션을 설명하도록 설계되었다면, MMT-CI는 주로 소스들간의 공간적인 관계를 표현한다. MMT 애셋들 간의 시간적 관계를 알려주는 표현을 지원하기 위하여, 프리젠테이션 리소스와 같이 MMT 패키지에 있는 MMT 애셋에 관련된 정보, MMT 애셋의 전송 및 소비 순서를 결정하는 시간 정보 및 HTML5에서 다양한 MMT 애셋을 소비하는 미디어 요소들의 추가적인 속성을 가지도록 확장될 수 있다. 자세한 설명은 후술한다. MMT-CI is an explanatory language that extends HTML5 to provide such information. If HTML5 is designed to describe page-based presentations of text-based content, MMT-CI mainly represents spatial relationships between sources. In order to support the presentation of the temporal relationship between MMT assets, information related to MMT assets in an MMT package, such as presentation resources, time information for determining the order in which MMT assets are sent and consumed, and various MMT assets are consumed in HTML5. It can be extended to have additional properties of media elements. Detailed description will be described later.
애셋 전달 특성(Asset Delivery Characteristics, ADC) 또는 전송 특성(transport characteristics) 정보(164)는 전송 특성에 대한 정보를 포함하며, 각각의 MMT 애셋(또는 MMT 패킷)의 전송 조건(delivery condition)을 결정하기 위해 필요한 정보를 제공할 수 있다. 애셋 전달 특성(Asset Delivery Characteristics, ADC) 또는 전송 특성 정보는 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다. Asset Delivery Characteristics (ADC) or transport characteristics information (164) includes information about the transmission characteristics, and determines the delivery condition (delivery condition) of each MMT asset (or MMT packet) To provide the necessary information. Asset delivery characteristics (ADC) or transmission characteristic information may include a traffic description parameter and a QoS descriptor.
트래픽 기술 파라미터는 미디어 프래그먼트 유닛(MFU)(130) 또는 MPU에 대한 비트율(bitrate) 정보, 우선 순위(priority) 정보등을 포함할 수 있다. 비트율 정보는 예를 들어 MMT 애셋이 가변 비트율(Variable BitRate; VBR) 또는 고정 비트율(Constant BitRate; CBR)인지 여부에 대한 정보, 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대해 보장된 비트율(guaranteed bitrate), 미디어 프래그먼트 유닛(MFU)(또는 MPU)에 대한 최대 비트율을 포함할 수 있다. 상기 트래픽 기술 파라미터는 전달 경로상의 서버, 클라이언트, 기타 다른 구성요소들 간에 리소스 예약(resource reservation)을 위해 사용될 수 있으며, 예를 들어 MMT 애셋내의 미디어 프래그먼트 유닛(MFU)(또는 MPU)의 최대 크기 정보를 포함할 수 있다. 상기 트래픽 기술 파라미터는 주기적 또는 비주기적으로 업데이트될 수 있다.The traffic description parameter may include bitrate information, priority information, or the like for the media fragment unit (MFU) 130 or the MPU. The bitrate information is for example information about whether the MMT asset is Variable BitRate (VBR) or Constant BitRate (CBR), guaranteed bitrate for the Media Fragment Unit (MFU) (or MPU). ), The maximum bit rate for the media fragment unit (MFU) (or MPU). The traffic description parameter may be used for resource reservation between servers, clients, and other components on a delivery path, for example, maximum size information of a media fragment unit (MFU) (or MPU) in an MMT asset. It may include. The traffic description parameter may be updated periodically or aperiodically.
QoS 기술자는 QoS 제어를 위한 정보를 포함하며, 예를 들어 지연(delay) 정보 및 손실 정보(loss information)를 포함할 수 있다. 손실 정보는 예를 들어 MMT 애셋의 전달 손실(delivery loss)이 허용되는지 않되는지에 대한 손실 지시자(loss indicator)를 포함할 수 있다. 예를 들어 손실 지시자가 ‘1’인 경우 ‘lossless’를 나타내고, ‘0’인 경우에는 ‘lossy’를 나타낼 수 있다. 지연(delay) 정보는 MMT 애셋의 전송 지연의 민감도를 구분하는데 사용되는 지연 지시자(delay indicator)를 포함할 수 있다. 지연 지시자는 MMT 애셋의 타입이 대화(conversation), 인터랙티브(interactive), 실시간(real time) 및 비실시간(non-realtime) 인지 여부를 지시할 수 있다. The QoS descriptor includes information for QoS control and may include, for example, delay information and loss information. The loss information may include, for example, a loss indicator of whether delivery loss of the MMT asset is allowed or not. For example, a loss indicator of '1' may indicate 'lossless', and a '0' indicates 'lossy'. The delay information may include a delay indicator used to distinguish the sensitivity of the transmission delay of the MMT asset. The delay indicator may indicate whether the type of the MMT asset is conversation, interactive, real time, and non-realtime.
하나의 컨텐츠(content)는 하나의 MMT 패키지로 이루어질 수 있다. 또는 하나의 컨텐츠(content)는 복수개의 MMT 패키지로 이루어질 수도 있다. 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 시간적(temporal), 공간적(spatial), 적응적(adaptive) 관계(relationship)를 나타내는 콤포지션 정보(composition information) 또는 구성 정보(configuration information)가 MMT 패키지들 중에 하나의 MMT 패키지 내부에 존재하거나 MMT 패키지 외부에 존재할 수 있다. One content may consist of one MMT package. Alternatively, one content may consist of a plurality of MMT packages. When one content consists of a plurality of MMT packages, composition information or composition information indicating temporal, spatial, and adaptive relations between the plurality of MMT packages ( configuration information) may exist inside one MMT package or outside the MMT package.
예를 들어 하이브리드 전송(hybrid delivery)의 경우 컨텐츠 컴포넌트(content component)들 중 일부는 방송망(broadcast network)을 통해 전송되고 컨텐츠 컴포넌트(content component)들 중 나머지 부분은 광대역망(broadband network)을 통해 전송될 수 있다. 예를 들어 하나의 멀티뷰 서비스를 구성하는 복수의 AV 스트림(audiovisual stream)의 경우 하나의 스트림은 방송망으로 전송되고 다른 스트림은 광대역망으로 전송될 수 있으며, 각각의 AV 스트림은 다중화되고 클라이언트 단말에 개별적으로 수신되어 저장될 수 있다. 또는 예를 들어 위젯(widget)과 같은 애플리케이션 소프트웨어는 광대역망으로 전송되고, AV 스트림(AV 프로그램)은 기존 방송망으로 전달되는 시나리오도 존재할 수 있다. 또한, 다른 예에서, 하나의 미디어 컴포넌트는 광대역망으로 전송되고 다른 미디어 컴포넌트는 다른 광대역망으로 전송될 수도 있다.For example, in the case of hybrid delivery, some of the content components are transmitted through a broadcast network and the rest of the content components are transmitted through a broadband network. Can be. For example, in the case of a plurality of audio visual streams constituting one multi-view service, one stream may be transmitted to a broadcasting network and the other stream may be transmitted to a broadband network, and each AV stream may be multiplexed and transmitted to a client terminal. Can be individually received and stored. Alternatively, there may be a scenario in which application software such as a widget is transmitted to a broadband network and an AV stream (AV program) is transmitted to an existing broadcasting network. Also, in another example, one media component may be transmitted over a broadband network and another media component may be transmitted over another broadband network.
상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 복수의 AV 스트림 전체가 하나의 MMT 패키지로 될 수 있으며, 이 경우에는 복수의 스트림 중의 하나는 하나의 클라이언트 단말에만 저장될 수 있고, 스토리지 컨텐츠(storage content)는 MMT 패키지의 부분이 되며, 클라이언트 단말은 콤포지션 정보(composition information) 또는 구성 정보(configuration information)를 재기록 해야하고, 재기록 된 컨텐츠는 서버와 무관한 새로운 MMT 패키지가 된다. In the multi-view service scenario and / or widget scenario as described above, the entire plurality of AV streams may be a single MMT package, and in this case, one of the plurality of streams may be stored in only one client terminal. The storage content becomes part of the MMT package, and the client terminal needs to rewrite the composition information or the configuration information, and the rewritten content becomes a new MMT package independent of the server. .
상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 각각의 AV 스트림이 하나의 MMT 패키지로도 될 수 있으며, 이 경우에는 복수의 MMT 패키지가 하나의 컨텐츠를 구성하게 되며, 스토리지(storage)에는 MMT 패키지 단위로 기록되며, MMT 패키지들간의 관계(relationship)를 나타내는 컴포지션 정보 또는 구성 정보가 필요하다. In the multi-view service scenario and / or widget scenario as described above, each AV stream may be one MMT package, and in this case, a plurality of MMT packages constitute one content, and storage Storage is recorded in MMT package units and requires composition information or configuration information indicating a relationship between MMT packages.
하나의 MMT 패키지내에 포함된 컴포지션 정보 또는 구성 정보(configuration information)는 다른 MMT 패키지내의 MMT 애셋을 참조할 수 있으며, 또한 아웃-밴드(out-band) 상황에서 MMT 패키지를 참조하는 MMT 패키지의 외부를 표현할 수 있다. The composition information or configuration information included in one MMT package may refer to an MMT asset in another MMT package, and may refer to an outside of an MMT package that refers to the MMT package in an out-band situation. I can express it.
한편, 서비스 제공자(service provider)에 의해 제공된 MMT 애셋(160)들의 리스트 및 MMT 패키지(160)의 전달을 위해 가능한 경로를 클라이언트 단말에게 알려주기 위하여 MMT 패키지(160)는 제어(C) 계층을 통하여 서비스 디스커버리 정보(Service discovery information)로 번역되어 MMT 제어 메시지에는 서비스 디스커버리를 위한 정보 테이블을 포함할 수 있다. Meanwhile, in order to inform the client terminal of a list of MMT assets 160 provided by a service provider and a possible path for delivery of the MMT package 160, the MMT package 160 is controlled through a control (C) layer. Translated into service discovery information, the MMT control message may include an information table for service discovery.
멀티미디어 컨텐츠를 복수개의 세그먼트로 분할한 서버는 소정의 개수로 분할된 복수개의 세그먼트들에 URL 정보를 할당하고, 각각의 세그먼트들에 대한 URL 정보를 미디어 정보 파일에 저장하여 클라이언트로 전송한다. The server dividing the multimedia content into a plurality of segments allocates URL information to a plurality of segments divided into a predetermined number, and stores URL information about each segment in a media information file and transmits the URL information to the client.
상기 미디어 정보 파일은 HTTP 스트리밍을 표준화하는 표준화 기구에 따라서‘미디어 표현 기술(MPD: Media Presentation Description)’ 또는 ‘매니페스트 파일(Manifest file)’등의 다양한 명칭으로 불리어 질 수 있다. 이하에서는 상기 미디어 정보 파일은 미디어 표현 기술(MPD)로 지칭하고 설명한다. The media information file may be called various names such as "media presentation description (MPD)" or "manifest file" according to a standardization organization that standardizes HTTP streaming. Hereinafter, the media information file is referred to and described as a media presentation description (MPD).
이하 교차 계층 인터페이스에 대하여 설명한다.The cross-layer interface is described below.
교차 계층 인터페이스(Cross Layer Interface; CLI) 는 응용계층 및 MAC/PHY 계층을 포함하는 하위 계층 사이에서 QoS 관련 정보를 교환하는 것으로 QoS를 지원하는 수단을 단일 MMT 개체에서 제공한다. 하위 계층이 네트워크 채널 상태와 같은 상향식 QoS 정보를 제공하는 한편 응용계층은 하향식 QoS정보로 미디어 특성에 관련된 정보를 제공한다.The Cross Layer Interface (CLI) provides a means for supporting QoS in a single MMT entity by exchanging QoS related information between lower layers including the application layer and the MAC / PHY layer. The lower layer provides bottom-up QoS information such as network channel status, while the application layer provides information related to media characteristics as top-down QoS information.
교차 계층 인터페이스는 응용계층과 IEE802.11 WiFi, IEEE 802.16 WiMAX, 3G, 4G LTE 등을 포함하는 다양한 네트워크 계층 사이에서 통합된 인터페이스를 제공한다. 인기있는 네트워크 표준의 공통된 네트워크 파라미터들은 다양한 네트워크를 통하는 실시간 미디어 어플리케이션의 정적 및 동적 QoS 제어를 위하여 NAM(Network Abstraction for Media) 파라미터로 발췌된다. The cross layer interface provides an integrated interface between the application layer and various network layers including IEE802.11 WiFi, IEEE 802.16 WiMAX, 3G, 4G LTE, etc. Common network parameters of popular network standards are extracted as NAM (Network Abstraction for Media) parameters for static and dynamic QoS control of real-time media applications over various networks.
교차계층 인터페이스에서, 응용계층은 하위 계층에 대한 미디어 특성에 관련된 하향식 QoS 정보를 제공한다. MMT 애셋 레벨 정보 및 패킷 레벨 정보와 같이 두 가지의 하향식 정보가 존재한다. MMT 애셋 정보는 하위 계층에서 용량 교환 및/또는 자원 (재)할당을 위하여 사용된다. 패킷 레벨 하향식 정보는 지원하는 QoS 레벨을 식별하도록 하위 계층을 위하여 모든 패킷의 적절한 필드에 기록되어 있다. In the cross-layer interface, the application layer provides top-down QoS information related to media characteristics for lower layers. There are two types of top-down information such as MMT asset level information and packet level information. MMT asset information is used for capacity exchange and / or resource (re) allocation at lower layers. Packet level top down information is recorded in the appropriate field of every packet for the lower layer to identify the QoS level it supports.
또한, 교차계층 인터페이스에서, 하위 계층은 응용 계층에 상향식 QoS 정보를 제공한다. 하위 계층은 응용 계층에서 빠르고 보다 정확한 QoS 제어를 가능하게 하는 시간에 따라 변하는 네트워크 상태에 관련된 정보를 제공한다. 상향식 정보는 이종의 네트워크 환경을 지원하기 위해 추상화된 형태로 표현된다. 이러한 파라미터들은 하위 계층에서 측정되고, 주기적으로 또는 MMT 어플리케이션의 요청에 따라 응용 계층에서 읽어진다.In addition, in the cross layer interface, the lower layer provides bottom-up QoS information to the application layer. The lower layer provides information regarding network conditions that change over time, enabling faster and more accurate QoS control at the application layer. Bottom-up information is expressed in an abstracted form to support heterogeneous network environments. These parameters are measured at the lower layer and read at the application layer periodically or at the request of the MMT application.
도 4는 패킷 손실률(Packet Error Rate; PER)을 레이트 어댑테이션(rate adaptation)에 사용시 발생하는 문제를 도시한다. PER은 비트에러의 양에 무관히 하나 이상의 비트에러가 있으면 전체 패킷을 드랍(drop)하기 때문에 패킷 내에 얼마나 많은 에러가 있었는지를 정확히 판단할 수 없게 된다. 4 illustrates a problem that occurs when using a packet error rate (PER) for rate adaptation. The PER drops the entire packet if there is more than one bit error, regardless of the amount of bit errors, so it is impossible to determine exactly how many errors were in the packet.
도 4를 참조하여 패킷 손실률(Packet Error Rate; PER)을 레이트 어댑테이션(rate adaptation)에 사용시 발생하는 문제를 설명한다. 도 4의 Case 1은 Case 2보다 패킷내에 오류 비트(corrupted bit)를 적게 포함하는 상황을 도시한다. 따라서, Case 1은 Case 2보다 BER(Bit Error Rate)이 낮아 Case 2보다 좋은 채널 환경(낮은 BER)을 보여준다. 이러한 두 상황(Case 1, Case 2)에서, PER을 사용할 경우 Case 1과 Case 2는 동일한 채널로 간주하여 레이트 어댑테이션(rate adaptation)에 사용하게 된다. 따라서, PER측면에서 도4의 Case 1과 Case 2는 동일한 채널 상황으로 판단된다.Referring to FIG. 4, a problem occurring when using a packet error rate (PER) for rate adaptation will be described. Case 1 of FIG. 4 illustrates a situation in which fewer corrupted bits are included in a packet than Case 2. FIG. Therefore, Case 1 has a lower bit error rate (BER) than Case 2, and thus shows a better channel environment (lower BER) than Case 2. In these two situations (Case 1 and Case 2), when using PER, Case 1 and Case 2 are regarded as the same channel and used for rate adaptation. Therefore, in terms of PER, Case 1 and Case 2 of FIG. 4 are determined to be in the same channel condition.
도 5는 도 4의 case 1에서, 레이트 어댑테이션시 PER을 사용한 경우와 BER을 사용한 경우를 쓰루풋(Throughput)향상 관점에서 비교한 개념도이다. 도 5에는 두개의 코드워드의 예가 도시되어 있다. 제1 코드워드(510)는 PER을 이용하여 채널 코딩(블록코딩)을 한 경우의 코드워드이고, 제2 코드워드(520)는 BER을 이용하여 채널 코딩(블록코딩)을 한 경우의 코드워드이다. 제1 코드워드(510)의 경우 코드워드에서 리던던트 비트(redundant bit) r(511)이 차지하는 비율은 50%에 가까울 정도로 크다. 그러나 제2 코드워드(520)의 경우 코드워드에서 리던던트 비트(redundant bit) r(521)이 차지하는 비율은 20% 정도에 불과하다. 즉 제1 코드워드(510)와 같이 위의 Case 1을 PER을 이용하여 채널 코딩(블록 코딩)을 할 경우에는 불필요하게 많은 리던던트 비트(redundant bit) r을 사용하기 때문에 BER을 이용하여 채널을 추정하여 채널 코딩을 할 때 보다 효율성에서 떨어질 수 밖에 없다. 결론적으로, BER을 사용할 경우에(도 4의 case 1) PER을 사용한 경우 보다 쓰루풋(throughput) 향상을 도출할 수 있다.FIG. 5 is a conceptual diagram comparing case of using PER and rate of BER in case 1 of FIG. 4 in terms of throughput. An example of two codewords is shown in FIG. The first codeword 510 is a codeword when channel coding (block coding) using PER, and the second codeword 520 is a codeword when channel coding (block coding) using BER. to be. In the case of the first codeword 510, the ratio of the redundant bit r 511 in the codeword is close to 50%. However, in the case of the second codeword 520, the ratio of the redundant bit r 521 in the codeword is only about 20%. That is, when channel coding (block coding) Case 1 using PER as shown in the first codeword 510, an unnecessary number of redundant bits r are used to estimate a channel using BER. This can lead to less efficiency when channel coding. In conclusion, in case of using BER (case 1 of FIG. 4), throughput improvement can be obtained compared to using PER.
따라서, BER을 이용하여 레이트 어댑테이션을 함으로써 효과적인 멀티미디어 전송이 가능하다. BER은 MAC(Media Access Control) 계층에서 신호세기와 모듈레이션 정보(도 7 내지 9)를 이용하여 추정이 가능하며, 하기의 표 1, 표 2 및 표 3 중 어느 하나에서 나타나는 실시 예와 같이 메시지 규격화 하여 서로 다른 무선 네트워크에서 호환적으로 사용할 수 있다. MAC 계층에서는 MAC 패킷 수신 시 변조(modulation) 방식, 신호세기, 주위의 무선 트래픽 등의 정보를 이용하여 BER을 추정한다. (PHY 계층에 비해 BER 값의 정확도는 약간 떨어짐). 물리(Physical) 계층에서는 비트 단위로 에러 체크가 가능하므로 정확한 BER값 추정이 가능하다.Accordingly, rate adaptation using BER enables efficient multimedia transmission. BER can be estimated using the signal strength and modulation information (FIGS. 7 to 9) in the MAC (Media Access Control) layer, and message standardization as shown in any one of Tables 1, 2, and 3 below. Can be used interchangeably on different wireless networks. In the MAC layer, when the MAC packet is received, the BER is estimated using information on a modulation scheme, signal strength, and surrounding wireless traffic. (The BER value is slightly less accurate than the PHY layer). In the physical layer, error checking is possible in units of bits, so accurate BER value estimation is possible.
실시예 1Example 1
표 1
Figure PCTKR2013005134-appb-T000001
Table 1
Figure PCTKR2013005134-appb-T000001
본 발명의 일 실시 예에 따르면, BER 변수(또는 파라미터)를 이용하여, 비트 에러율을 PHY 또는 MAC 계층에서 얻는다. PHY 계층에서의 BER을 위해, BER 값은 양의 값으로 제시된다. MAC 계층에서의 BER을 위해 BER 값은 절대값으로 사용될 수 있는 음의 값으로 제시된다. 즉 BER의 MSB(Most significant bit)는 PHY 또는 MAC 계층을 지시하는 플래그이다.According to an embodiment of the present invention, the bit error rate is obtained at the PHY or MAC layer using a BER variable (or parameter). For BER in the PHY layer, the BER value is presented as a positive value. For BER in the MAC layer, the BER value is presented as a negative value that can be used as an absolute value. That is, the most significant bit (MSB) of the BER is a flag indicating a PHY or MAC layer.
실시예 2Example 2
표 2
Figure PCTKR2013005134-appb-T000002
TABLE 2
Figure PCTKR2013005134-appb-T000002
본 발명의 다른 실시 예에 따르면, PHY 계층 또는 MAC 계층에서 BER을 추정한 후, BER 변수(또는 파라미터)를 이용하여 상위 계층으로 전달 가능하다. Type 변수(또는 파라미터)를 이용하여 비트 에러율이 PHY 계층 또는 MAC 계층 중 어디에서 얻어지는지를 나타낸다.According to another embodiment of the present invention, after estimating the BER in the PHY layer or the MAC layer, the BER variable (or parameter) can be delivered to the upper layer. The type variable (or parameter) is used to indicate whether the bit error rate is obtained from the PHY layer or the MAC layer.
물리(Physical) 계층에서는 비트 단위로 에러 체크가 가능하므로 정확한 BER값 추정이 가능하다. MAC 계층에서는 MAC 패킷 수신 시 변조(modulation) 방식, 신호세기, 주위의 무선 트래픽 등의 정보를 이용하여 BER을 추정한다. (PHY 계층에 비해 BER 값의 정확도는 약간 떨어짐). TYPE 필드는 BER이 어떤 계층에서 전달되는지를 명시한다.In the physical layer, error checking is possible in units of bits, so accurate BER value estimation is possible. In the MAC layer, when the MAC packet is received, the BER is estimated using information on a modulation scheme, signal strength, and surrounding wireless traffic. (The BER value is slightly less accurate than the PHY layer). The TYPE field specifies on which layer the BER is delivered.
실시예 3Example 3
표 3
Figure PCTKR2013005134-appb-T000003
TABLE 3
Figure PCTKR2013005134-appb-T000003
이하, 본 발명의 일 실시 예에 따른 BER을 이용한 멀티미디어 시스템의 교차계층 인터페이스에서 NAM 파라미터에 BER 파라미터를 사용하는 예를 설명한다. 교차계층 인터페이스에서, NAM 파라미터는 응용계층과 하위 계층 간의 인터페이스로 사용될 수 있다. NAM 파라미터는 비트 에러율인 BER 값을 포함할 수 있다. BER은 PHY 또는 MAC 계층에서 측정될 수 있다. 또한 NAM은 하부 네트워크의 식별, 가능한 비트율, 버퍼상태, 피크 비트율, 서비스 유닛 크기 및 서비스 데이터 유닛 유실율을 제공한다.Hereinafter, an example of using the BER parameter in the NAM parameter in the cross-layer interface of the multimedia system using the BER according to an embodiment of the present invention will be described. In the cross layer interface, the NAM parameter may be used as an interface between the application layer and the lower layer. The NAM parameter may include a BER value that is a bit error rate. BER can be measured at the PHY or MAC layer. The NAM also provides the identification of the underlying network, possible bit rates, buffer conditions, peak bit rates, service unit sizes, and service data unit loss rates.
두개의 상이한 방법이 NAM을 제공하는 데에 사용될 수 있다. 하나의 방법은 절대적인 값을 제공하는 것이다. 절대적 NAM 정보는 각각의 유닛에서 측정된 그대로의 QOS 값이다. 그리고 다른 방법은 상대적인 값을 제공하는 것이다. 아래의 표 4는 절대적 NAM 파라미터의 신택스를 나타낸다.Two different methods can be used to provide the NAM. One way is to provide an absolute value. Absolute NAM information is the QOS value as measured in each unit. And another way is to provide relative values. Table 4 below shows the syntax of the absolute NAM parameter.
표 4
Figure PCTKR2013005134-appb-T000004
Table 4
Figure PCTKR2013005134-appb-T000004
여기서 CLI_id는 하부 네트워크에서 해당 NAM을 확인하게 하는 임의의 정수이다. BER(Bit Error Rate)는 PHY 또는 MAC 계층에서의 마지막으로 측정된 비트에러율이다. PHY 계층에서 측정된 BER은 양수 값으로 제공된다. MAC 계층에서 측정된 BER은 음수 값으로 제공되며, 실제 사용시에는 절대값으로 환산된 값이 사용된다.CLI_id is an arbitrary integer that allows the underlying network to identify the NAM. Bit Error Rate (BER) is the last measured bit error rate in the PHY or MAC layer. The BER measured at the PHY layer is provided as a positive value. The BER measured in the MAC layer is provided as a negative value, and in actual use, an absolute value is used.
상대적 NAM 정보는 현재 NAM 값과 예상되는 NAM 값의 비로 표현된다. 예를 들어, 현재 NAM 값에 대한 예상되는 NAM 값의 비로 표현될 수 있고, 다르게는 예상되는 NAM 값에 대한 현재 NAM 값의 비로 표현될 수도 있다. 상대적 NAM 정보를 제공하는 방법은 접속중에 NAM을 업데이트하는 용도로 사용하거나, 또는 QOS환경 변화의 경향을 알리는데 사용될 수도 있다. 아래의 표 5는 상대적 NAM 파라미터의 신택스를 나타낸다.Relative NAM information is expressed as the ratio of the current NAM value to the expected NAM value. For example, it may be expressed as the ratio of the expected NAM value to the current NAM value, or alternatively it may be expressed as the ratio of the current NAM value to the expected NAM value. The method of providing relative NAM information may be used to update the NAM during the connection, or may be used to inform the trend of QOS environment changes. Table 5 below shows the syntax of relative NAM parameters.
표 5
Figure PCTKR2013005134-appb-T000005
Table 5
Figure PCTKR2013005134-appb-T000005
여기서 CLI_id는 하부 네트워크에서 해당 NAM을 확인하게 하는 임의의 정수이다. BER(Bit Error Rate)는 PHY 또는 MAC 계층에서의 마지막으로 측정된 비트에러율이다. PHY 계층에서 측정된 BER은 양수 값으로 제공된다. MAC 계층에서 측정된 BER은 음수 값으로 제공되며, 실제 사용시에는 절대값으로 환산된 값이 사용된다.CLI_id is an arbitrary integer that allows the underlying network to identify the NAM. Bit Error Rate (BER) is the last measured bit error rate in the PHY or MAC layer. The BER measured at the PHY layer is provided as a positive value. The BER measured in the MAC layer is provided as a negative value, and in actual use, an absolute value is used.
또한, BER은 패키지의 전달에 관련된 메시지중 NAMF(Network Aware Media feedback) 메시지에 사용될 수 있다. NAMF는 수신장치로부터 전송장치로 피드백 되는 NAM 파라미터 리포트의 형식이다. 아래의 표 6은 NAM 피드백의 신택스를 도시한 표이다.In addition, the BER may be used for a Network Aware Media Feedback (NAMF) message among messages related to package delivery. NAMF is a form of NAM parameter report that is fed back from the receiver to the transmitter. Table 6 below shows the syntax of the NAM feedback.
표 6
Figure PCTKR2013005134-appb-T000006
Table 6
Figure PCTKR2013005134-appb-T000006
여기서, message_id는 NAM 피드백 메시지의 ID를 나타낸다. 예를 들어, Message_id는총 16비트의 길이를 가질 수 있다. CLI_id는 하위 네트워크중에서 특정 NAM을 확인하기 위한 임의의 정수이다. BER은 PHY 또는 MAC 계층에서 생성된 값으로, PHY 계층에서 생성된 BER은 양의 값을 가지고, MAC 계층에서 생성된 BER은 음의 값을 가지며, 값을 사용할 때에는 절대값으로 환산된 값이 사용된다. 표 6에 도시된 바와 같이 BER파라미터는 NAM_Feddback_message의 페이로드에 삽입된 형태로 수신장치에서 전송장치로 피드백될 수 있다.Here, message_id represents the ID of the NAM feedback message. For example, Message_id may have a total length of 16 bits. CLI_id is an arbitrary integer for identifying a specific NAM in a lower network. BER is a value generated at the PHY or MAC layer, BER generated at the PHY layer has a positive value, BER generated at the MAC layer has a negative value, and an absolute value is used when using the value. do. As shown in Table 6, the BER parameter may be fed back from the receiver to the transmitter in the form of being inserted into the payload of the NAM_Feddback_message.
도 6은 본 발명의 일 실시 예에 따른 BER을 이용한 멀티미디어 시스템의 블록도이다. 도 6을 참조하면, 본 발명의 일 실시 예에 따른 BER을 이용한 멀티미디어 시스템은 전송장치(650), 수신장치(600) 및 AP와 같은 무선 네트워크(wireless network) 장치를 포함한다. 일 실시 예에서, 전송장치(650)는 서버일 수 있고, 수신장치(600)는 클라이언트일 수 있다.6 is a block diagram of a multimedia system using BER according to an embodiment of the present invention. Referring to FIG. 6, a multimedia system using a BER according to an embodiment of the present invention includes a transmitter 650, a receiver 600, and a wireless network device such as an AP. In one embodiment, the transmitter 650 may be a server and the receiver 600 may be a client.
전송장치(650)는 비디오 인코더(653), FEC(Forward Error Correction) 인코더(654), 레이트 튜너(Rate Tuner, 652) 및 전송부를 포함한다. 비디오 인코더(653)와 FEC 인코더(654)는 인코더부(655)를 형성하며, 이는 전송될 미디어 데이터를 생성하는 미디어 데이터 생성부에 해당한다.The transmitter 650 includes a video encoder 653, a forward error correction (FEC) encoder 654, a rate tuner 652, and a transmitter. The video encoder 653 and the FEC encoder 654 form an encoder unit 655, which corresponds to a media data generator that generates media data to be transmitted.
비디오 인코더(653)는 MMT 전송 패킷 또는 MMT 패킷을 전송하기 위해 적어도 하나의 MMT 전송 패킷을 포함하는 MMT 전송 패킷 블록 또는 적어도 하나의 MMT 패킷을 포함하는 MMT 패킷 블록에 채널 코딩을 수행하여 심볼 블록을 생성하고, FEC 인코더(654)는 생성된 심볼 블록에 FEC 인코딩을 수행하여 생성된 비디오 스트림을 전송부로 전달한다.The video encoder 653 performs channel coding on an MMT transport packet block including at least one MMT transport packet or an MMT packet block including at least one MMT packet to transmit an MMT transport packet or an MMT packet. In addition, the FEC encoder 654 performs FEC encoding on the generated symbol block and transmits the generated video stream to the transmitter.
레이트 튜너(652)는 수신장치(600)로부터 수신한 피드백 정보(603)를 수신하여 인코더부(655)의 동작을 제어한다. 예를 들면, 레이트 튜너(652)는 채널 상태에 따라 비디오 스트림의 레이트 컨트롤을 수행하여 인코더부(655)의 채널 코딩 레이트를 선택할 수 있다.The rate tuner 652 receives the feedback information 603 received from the receiver 600 and controls the operation of the encoder 655. For example, the rate tuner 652 may select the channel coding rate of the encoder unit 655 by performing rate control of the video stream according to the channel condition.
수신장치로부터 수신되는 피드백 정보(603)에는 추정된 BER 값과 BER이 추정된 계층의 정보가 포함되어 있어서, 레이트 튜너(652)는 BER값과 추정된 계층의 정보를 사용하여 채널 상태를 추정함으로써 인코더부(655)의 채널 코딩 레이트를 제어하여 동작을 제어할 수 있다. The feedback information 603 received from the receiver includes the estimated BER value and information of the layer where the BER is estimated, so that the rate tuner 652 estimates the channel state by using the BER value and the information of the estimated layer. The operation may be controlled by controlling the channel coding rate of the encoder 655.
다른 실시 예에서, 레이트 튜너(652)는 BER 값과 BER이 추정된 계층의 정보를 사용하여 수신장치(600)에서 추정되어 피드백 정보(630)에 포함된 채널 상태 정보를 사용하여 인코더부(655)의 동작을 제어할 수도 있다.In another embodiment, the rate tuner 652 is an encoder unit 655 using channel state information included in the feedback information 630 estimated by the receiver 600 using the BER value and the information of the BER estimated layer. ) Can also be controlled.
인코더부(655)는 레이트 튜너(652)의 제어에 따른 코딩 레이트로 채널을 코딩하여 비디오 스트림(video stream)을 수신장치(600)로 전송한다. 보다 상세하게는 인코더부(655)는 해당 코딩 레이트에 따라 MMT 전송 패킷을 채널 코딩하여 생성된 비디오 스트림을 전송부로 전달하고, 전송부는 비디오 스트림을 유선 네트워크를 통해 AP로 전달하며, AP는 무선 네트워크(wireless network, 601)를 통해 비디오 스트림을 수신장치(600)로 전달한다.The encoder 655 codes the channel at a coding rate under the control of the rate tuner 652 and transmits a video stream to the receiver 600. More specifically, the encoder unit 655 transmits the video stream generated by channel coding the MMT transport packet to the transmission unit according to the coding rate, the transmission unit delivers the video stream to the AP through a wired network, and the AP transmits the wireless network. The video stream is transmitted to the receiver 600 through a wireless network 601.
전송장치(650)가 수신장치(600)로 비디오 스트림을 전송하는 과정에서 부가 정보(side information, 602)가 생성될 수 있다. 이때 부가정보는 무선 네트워크 상에서 발생하는 부가정보만을 포함할 수 있다. 예를 들어, 부가정보는 신호세기, 모듈레이션 정보 및 주위 무선 트래픽 정보들을 포함할 수 있다. 수신장치(600)의 수신부는 비디오 스트림을 수신하면서 부가정보(602)를 함께 수신할 수 있다. Side information 602 may be generated while the transmitting device 650 transmits the video stream to the receiving device 600. In this case, the additional information may include only additional information occurring on the wireless network. For example, the additional information may include signal strength, modulation information, and ambient wireless traffic information. The receiver of the receiver 600 may receive additional information 602 together with the video stream.
수신장치(600)는 채널 추정부(Channel estimator, 610), FEC 디코더(FEC decoder, 622), 비디오 디코더(Video decoder, 624) 및 수신부를 포함한다. FEC 디코더(622)와 비디오 디코더(624)는 디코더부(620)를 구성한다. FEC 디코더(622)는 수신한 비디오 스트림에 FEC 디코딩을 수행하여 심볼 블록을 생성하고, 비디오 디코더(624)는 생성된 심볼블록에 비디오 디코딩을 수행하여 MMT 전송 패킷 블록 또는 MMT 패킷 블록을 생성하여 MMT 전송 패킷 또는 MMT 패킷을 생성한다.The receiver 600 includes a channel estimator 610, an FEC decoder 622, a video decoder 624, and a receiver. The FEC decoder 622 and the video decoder 624 constitute a decoder 620. The FEC decoder 622 generates a symbol block by performing FEC decoding on the received video stream, and the video decoder 624 performs video decoding on the generated symbol block to generate an MMT transport packet block or an MMT packet block. Generate a transport packet or an MMT packet.
채널 추정부(610)는 수신부를 통하여 얻은 부가정보(side information, 602)를 사용하여 추정된 BER값을 사용하여 채널 상태를 추정하고, 추정된 채널 상태를 채널 상태 정보로 생성한다. 채널 상태 추정부는 생성된 채널 상태 정보를 디코더부(620)나 응용계층으로 전달할 수 있고, 이때 MMT 시스템의 교차 계층 인터페이스를 사용할 수 있다. 즉, 채널 상태 추정부는 생성된 채널 상태 정보를 NAM 파라미터를 사용하여 다른 계층으로 전달할 수 있다. 예를 들어, 추정된 BER 파라미터를 NAM 파라미터에 포함시켜 응용계층으로 전달할 수 있다. 또한, 채널 상태 추정부(610)는 생성된 채널 상태 정보를 전송장치(650)의 레이트 튜너(652)로 전달할 수 있다. The channel estimator 610 estimates a channel state using the estimated BER value using side information 602 obtained through the receiver, and generates the estimated channel state as channel state information. The channel state estimator may transmit the generated channel state information to the decoder 620 or the application layer, and may use a cross-layer interface of the MMT system. That is, the channel state estimator may transfer the generated channel state information to another layer using the NAM parameter. For example, the estimated BER parameter may be included in the NAM parameter and delivered to the application layer. In addition, the channel state estimator 610 may transmit the generated channel state information to the rate tuner 652 of the transmitter 650.
다른 실시 예에서, 채널 상태 추정부는 PHY 계층 및 MAC 계층 중 어느 한 계층에서 추정된 BER 값을 BER 값이 추정된 계층을 지시하는 지시자와 함께 다른 계층으로 전달하거나, 전송장치(650)로 전달할 수 있다. 채널 상태 추정부(610)가 BER값을 추정된 계층을 지시하는 지시자와 함께 다른 계층으로 전달하는 경우 교차 계층 인터페이스를 사용할 수 있고, 이러한 경우 NAM 파라미터에 BER 파라미터를 포함시켜 다른 계층으로 전달할 수 있다.In another embodiment, the channel state estimator may transmit the BER value estimated in one of the PHY layer and the MAC layer to another layer or the transmitter 650 together with an indicator indicating the layer where the BER value is estimated. have. When the channel state estimator 610 delivers the BER value to another layer with an indicator indicating the estimated layer, the cross layer interface may be used. In this case, the channel state estimator 610 may include the BER parameter in the NAM parameter and transmit the BER value to another layer. .
채널 상태 추정부(610)가 BER값을 추정된 계층을 지시하는 지시자와 함께 전송장치(650)로 피드백(603)하는 경우 NAMF 파라미터에 BER 파라미터를 포함시켜 전송장치(650)로 전달할 수 있다.When the channel state estimator 610 feeds back the BER value to the transmitter 650 together with an indicator indicating the estimated layer, the BER parameter may be included in the NAMF parameter and transmitted to the transmitter 650.
도 10 내지 도 11은 본 발명의 일 실시 예에 따른 무선망에서의 레이트 어댑테이션(Rate Adaptation)을 설명하기 위한 흐름도이다. 이하 도 10 내지 도 11을 사용하여 본 발명의 일 실시 예에 따른 BER을 이용한 멀티미디어 시스템에서 레이트 어댑테이션이 수행되는 과정을 설명한다.10 to 11 are flowcharts illustrating rate adaptation in a wireless network according to an embodiment of the present invention. Hereinafter, a process of performing rate adaptation in a multimedia system using BER according to an embodiment of the present invention will be described with reference to FIGS. 10 to 11.
먼저, 수신장치(600)인 클라이언트가 수신된 패킷에 대한 부가정보를 이용하여 BER을 추정한다(S1001). 이는 도 11과 같이 클라이언트가 PHY 계층 또는 MAC 계층으로부터 추정된 BER을 전달 받는것으로 수행될 수도 있다(S1101). 다음으로, 클라이언트는 추정된 BER을 이용하여 무선망의 채널 용량을 추정한다(S1003). 그리고 추정된 채널 용량을 전송 장치(650)인 서버로 전달한다(S1005). 서버는 피드백된 채널용량 추정치를 이용하여 채널용량을 예측한다(S1007). 그리고 예측된 채널용량을 기초로 비디오/채널 코딩 레이트를 최적으로 조절한다(S1009) 마지막으로, 서버는 조절된 코딩레이트를 이용하여 비디오 코딩 및 채널 코딩하여 클라이언트로 전송한다(S1011).First, a client, which is a receiver 600, estimates a BER using additional information about a received packet (S1001). This may be performed by the client receiving the BER estimated from the PHY layer or the MAC layer as shown in FIG. 11 (S1101). Next, the client estimates the channel capacity of the wireless network by using the estimated BER (S1003). In operation S1005, the estimated channel capacity is transmitted to the server that is the transmission device 650. The server predicts the channel capacity using the fed back channel capacity estimate (S1007). The video / channel coding rate is optimally adjusted based on the predicted channel capacity (S1009). Finally, the server transmits the video coding and channel coding to the client by using the adjusted coding rate (S1011).
도 7 내지 9는 서로 다른 무선 네트워크 (MAC 계층)에서 신호세기(SNR)와 모듈레이션 방식에 따른 BER 추정을 보여주고 있다. 도 7은 802.11a 무선 네트워크에서의 BER과 SNR(signal to noise ratio)의 상관관계를 보여주는 그래프이며, 도 8은 802.11g 무선 네트워크의 BER과 SNR(signal to noise ratio)의 상관관계를 보여주는 그래프이고, 도 9는 WiMax 무선 네트워크의 BER과 SNR(signal to noise ratio)의 상관관계를 보여주는 그래프이다. 이렇게 MAC 또는 물리(PHY) 계층에서 전달받은 BER추정치는 아래와 같은 방법을 통해 최적의 비디오/채널 코딩 레이트 또는 최적의 소스/채널 코딩 레이트를 예측할 수 있다.7 to 9 illustrate BER estimation according to signal strength (SNR) and modulation scheme in different wireless networks (MAC layer). FIG. 7 is a graph showing the correlation between BER and signal to noise ratio (SNR) in an 802.11a wireless network, and FIG. 8 is a graph showing the correlation between BER and signal to noise ratio (SNR) in an 802.11g wireless network. 9 is a graph showing the correlation between BER and signal to noise ratio (SNR) of a WiMax wireless network. The BER estimate delivered by the MAC or physical (PHY) layer can predict the optimal video / channel coding rate or the optimal source / channel coding rate by the following method.
수학식 1
Figure PCTKR2013005134-appb-M000001
Equation 1
Figure PCTKR2013005134-appb-M000001
수학식 1을 참조하면, Q(.)는 비디오의 레이트 디스토션(Rate Distortion: RD) 함수이며, RD 함수는 비디오 부호화시 얻을 수 있다.Referring to Equation 1, Q (.) Is a rate distortion (RD) function of a video, and the RD function can be obtained during video encoding.
Q´(.)은 채널용량 초과에 다른 비디오 화질 왜곡 추정 함수(function)이다. Q´(.)은 f(x)=axb+c,0≤x≤0.12를 이용한다. a=-1.18×102; b=2.148; 그리고 c=0.9898이다. 상기 값들은 실험을 통하여 얻는다. 따라서, 비디오데이터에 따라 수치가 변할 수 있으나 오차가 많지 않으며, 특히 상기 값들을 0으로 대입했을 경우보다 정확한 값을 예측할 수 있다. x는 예측할 레이트와 채널용량의 차(즉, Q '(.) Is a video quality distortion estimation function that differs beyond the channel capacity. Q '(.) Uses f (x) = ax b + c, 0 ≦ x ≦ 0.12. a = -1.18 × 10 2 ; b = 2.148; And c = 0.9898. The values are obtained through experiment. Accordingly, the numerical value may change depending on the video data, but there are not many errors. In particular, an accurate value may be predicted when the values are substituted with zero. x is the difference between the rate to be predicted and the channel capacity (i.e.
Figure PCTKR2013005134-appb-I000001
)이다. 즉, 차이가 클수록 비디오 화질의 왜곡이 커진다. 여기서 가우시안 분포는 예측오류 확률분포이다. 따라서, 수학식 1에서의 최적의 레이트는 Q(.), Q´(.)과 레이트 예측오류 확룰분포의 조합이 최상이 되는 경우의 값이다. 상기 수학식 1을 이용하여 최적의 비디오/채널 코딩 레이트 또는 최적의 소스/채널 코딩 레이트를 구하는 상세한 과정은 본 출원인의 기출원된 한국 공개 특허 10-2009-0071005를 참조할 수 있다.
Figure PCTKR2013005134-appb-I000001
)to be. In other words, the larger the difference, the larger the distortion of the video quality. Where the Gaussian distribution is the prediction error probability distribution. Therefore, the optimum rate in Equation 1 is a value when the combination of Q (.), Q '(.) And rate prediction error expansion rule distribution becomes the best. For a detailed process of obtaining an optimal video / channel coding rate or an optimal source / channel coding rate using Equation 1, refer to the previously published Korean Patent Application Publication No. 10-2009-0071005.
서버(150)에서는 상기 채널 코딩 시, LDPC 코드를 이용하여 비디오 프레임의 특성에 따라 차등 레이트를 적용할 수 있다. 패킷의 길이 및 α의 값(아래 설명 참조)에 따라 LDPC 코드의 성능은 변한다(도 9 참조). 또한, 부호화된 비디오 프레임은 종류에 따라 중요도가 서로 다르다. 즉, I 프레임(frame)이 없으면 P 또는 B 프레임은 복호화할 수 없다. 따라서, I 프레임을 포함한 패킷(각 패킷의 길이는 다름)은 클라이언트 단말(100)에서 복호화가 확실한 α값을 적용하여 채널코딩을 한다(즉, 더 많은 리던던트 비트(redundant bit)를 줌으로써 에러에 보다 강하게 한다). 예를 들어, 길이가 800 비트(bit)인 I 프레임 패킷인 경우, α값을 2.7을 적용하여 채널코딩을 할 수 있다. The server 150 may apply the differential rate according to the characteristics of the video frame using the LDPC code when the channel coding. The performance of the LDPC code varies depending on the length of the packet and the value of α (see below) (see FIG. 9). In addition, encoded video frames differ in importance depending on the type. That is, if there is no I frame, the P or B frame cannot be decoded. Therefore, a packet including an I frame (each packet has a different length) performs channel coding by applying a value of α which is sure to be decoded in the client terminal 100 (i.e., by providing more redundant bits to give more error to the error). Harden). For example, in the case of an I frame packet having a length of 800 bits, channel coding may be performed by applying an α value of 2.7.
I-프레임 패킷의 채널 코딩 후, P 프레임 패킷은 아래의 수학식 2에 따라서 α값을 적용하여 채널 코딩을 한다(수학식 4 참조). After channel coding of the I-frame packet, the P frame packet is channel coded by applying an α value according to Equation 2 below (see Equation 4).
수학식 2
Figure PCTKR2013005134-appb-M000002
Equation 2
Figure PCTKR2013005134-appb-M000002
한편, 상기 수학식 1에서의 ROP는 동작 레이트(operational rate)를 나타낸다. 현존하는 모든 채널코드는 채널용량(channel capacity)보다 성능이 떨어진다. 따라서, 채널코드의 성능에 따라 성능감소가 있으며, 이는 아래의 수식 3에서와 같이 α값을 적용한다. 이상적인(ideal) 채널코드인 경우 α는 1이다. 보통 α는 약 2.0 이상이다.On the other hand, R OP in Equation 1 represents an operational rate (operational rate). All existing channel codes are inferior to channel capacity. Therefore, there is a performance decrease depending on the performance of the channel code, which applies an α value as shown in Equation 3 below. Α is 1 for an ideal channel code. Α is usually at least about 2.0.
수학식 3
Figure PCTKR2013005134-appb-M000003
Equation 3
Figure PCTKR2013005134-appb-M000003
한편, 수학식 1을 통해 전체(total) 리던던트 비트(redundant bit)가 계산되며, 이는 다음과 같이 재정리 될 수 있다.Meanwhile, a total redundant bit is calculated using Equation 1, which may be rearranged as follows.
수학식 4
Figure PCTKR2013005134-appb-M000004
Equation 4
Figure PCTKR2013005134-appb-M000004
본 발명을 활용한 단말에서 비디오화질 결과(ORPACLDS)는 다음 표 3과 같다. ORPACON은 현재 802.11b 프로토콜의 성능을 나타낸다. 본 발명에 따르면 최고 6dB 이상의 비디오화질이 좋아질 수 있다. The video quality result (ORPA CLDS ) in the terminal utilizing the present invention is shown in Table 3 below. ORPA CON represents the performance of the current 802.11b protocol. According to the present invention, video quality of up to 6 dB or more can be improved.
표 7
Figure PCTKR2013005134-appb-T000007
TABLE 7
Figure PCTKR2013005134-appb-T000007
표 7은 비디오 품질의 dB 면에서 레이트 어댑테이션 성능 비교(Rate adaptation performance comparison in terms of video quality in dB)를 나타낸다.Table 7 shows Rate adaptation performance comparison in terms of video quality in dB.
표 7에서 Xmit Rate는 비디오 데이터의 전송율(Transmit Rate)을 의미하며, Operation channel은 비디오 데이터를 전송할 경우 현실적으로 가능한 PSNR 최고치를 나타내며, ORPACLDS는 본 발명의 일실시예에 따른 신호 세기 정보를 포함한 부가 정보를 이용하여 채널상태를 추정하는 프로토콜을 적용한 경우의 성능을 나타내고, ORPACON는 종래의 WLAN 802.11b 프로토콜을 적용한 경우의 성능을 나타낸다(여기서, ORPA는 Optimal Rate Prediction Architecture를 의미함). 표 7을 참조하면, 물리 데이터 레이트(Phy data rate)가 낮은 경우(2 또는 5.5 Mbps인 경우)에는 표 3의 평균 전송률(avg)의 경우 성능을 참조하면, 종래 ORPACON의 성능(30.63 dB, 29.75 dB)에 비하여 본 발명의 일실시예에 따른 ORPACLDS의 성능(30.69dB, 30.11dB)에 큰 차이가 없는 것으로 나타났으나, 물리 데이터 레이트가 11 Mbps로 높은 경우에는 표 1의 평균 전송률(avg)의 경우 성능을 참조하면, 종래 ORPACON의 성능(23.28 dB)에 비하여 본 발명의 일실시예에 따른 ORPACLDS의 성능(29.47dB)에 6dB 이상의 큰 차이가 있어 크게 성능 개선이 이루어진 것을 알 수 있다. In Table 7, Xmit Rate refers to the transmission rate of video data, Operation channel represents the maximum PSNR realistically possible when transmitting video data, and ORPA CLDS includes additional signal strength information according to an embodiment of the present invention. The performance when the protocol for estimating the channel state using the information is applied, and the ORPA CON indicates the performance when the conventional WLAN 802.11b protocol is applied (here, ORPA means Optimal Rate Prediction Architecture). Referring to Table 7, when the physical data rate is low (2 or 5.5 Mbps), referring to the performance of the average transmission rate (avg) of Table 3, the performance of the conventional ORPA CON (30.63 dB, 29.75 dB) compared to the performance of the ORPA CLDS (30.69 dB, 30.11 dB) according to an embodiment of the present invention, but when the physical data rate is 11 Mbps, the average transmission rate of Table 1 ( avg), the performance of the ORPA CLDS according to the embodiment of the present invention (23.28 dB) compared to the performance of the conventional ORPA CON (a. Can be.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and changes without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited thereto. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

Claims (20)

  1. 물리(PHY)계층 및 MAC(Media Access Control)계층 중 적어도 하나를 포함하는 복수의 서로 다른 계층 중에서 비트 에러율이 생성된 계층을 지시하는 지시자를 포함하는 메시지를 생성하는 단계를 포함하는 비트 에러율을 이용한 멀티미디어 수신 방법.Generating a message including an indicator indicating a layer in which a bit error rate is generated among a plurality of different layers including at least one of a physical (PHY) layer and a media access control (MAC) layer. How to receive multimedia.
  2. 제 1 항에 있어서,The method of claim 1,
    상기 메시지는 상기 비트 에러율을 나타내는 파라미터를 더 포함하고,The message further includes a parameter indicative of the bit error rate;
    상기 비트에러율이 생성된 계층을 지시하는 지시자는 상기 비트 에러율을 나타내는 파라미터의 일부분에 속하는 것을 특징으로 하는 비트 에러율을 이용한 멀티미디어 수신 방법.And an indicator indicating a layer in which the bit error rate is generated belongs to a part of a parameter representing the bit error rate.
  3. 제 2 항에 있어서,The method of claim 2,
    상기 비트에러율이 생성된 계층을 지시하는 지시자 및 상기 생성된 비트 에러율을 전송 장치로 전송하거나, 채널 상태를- 여기서, 상기 채널 상태는 상기 비트에러율이 생성된 계층을 지시하는 지시자 및 상기 비트 에러율을 사용하여 생성됨- 전송장치로 전송하는 단계를 더 포함하는 것을 특징으로 하는 비트 에러율을 이용한 멀티미디어 수신 방법.An indicator indicating the layer at which the bit error rate was generated and transmitting the generated bit error rate to a transmitting device, or channel state, wherein the channel state is an indicator indicating the layer at which the bit error rate was generated and the bit error rate. Generated using-transmitting to the transmitting device.
  4. 제 1 항에 있어서,The method of claim 1,
    상기 비트에러율이 생성된 계층을 지시하는 지시자는 교차 계층 인터페이스(Cross Layer Interface; CLI)를 통하여 수신 장치의 계층간에 전달되는 것을 특징으로 하는 비트 에러율을 이용한 멀티미디어 수신 방법.And an indicator indicating a layer in which the bit error rate is generated is transmitted between layers of a receiving apparatus through a cross layer interface (CLI).
  5. 물리(PHY)계층 및 MAC(Media Access Control)계층 중 적어도 하나를 포함하는 복수의 서로 다른 계층 중에서 비트 에러율이 생성된 계층을 지시하는 지시자를 포함하는 메시지를 수신하는 단계를 포함하는 비트 에러율을 이용한 멀티미디어 전송 방법.Using a bit error rate comprising receiving a message including an indicator indicating a layer from which a bit error rate is generated among a plurality of different layers including at least one of a physical (PHY) layer and a media access control (MAC) layer Multimedia transmission method.
  6. 제 5 항에 있어서,The method of claim 5,
    상기 비트 에러율은 물리(PHY)계층 및 MAC(Media Access Control)계층 중 적어도 하나를 포함하는 복수의 서로 다른 계층에서 부가정보를 이용하여 추정되어 생성되는 것을 특징으로 하는 비트 에러율을 이용한 멀티미디어 전송 방법.And the bit error rate is estimated and generated by using additional information in a plurality of different layers including at least one of a physical (PHY) layer and a media access control (MAC) layer.
  7. 제 5 항에 있어서,The method of claim 5,
    미디어 코덱 계층으로부터 특정 미디어 코덱에 독립적인 포맷을 가지는 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)을 제공받는 단계;Receiving a Media Fragment Unit (MFU) having a format independent of a specific media codec from a media codec layer;
    상기 미디어 프래그먼트 유닛을 사용하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성하는 단계; Generating a Media Processing Unit (MPU) using the media fragment unit;
    상기 생성된 미디어 프로세싱 유닛을 캡슐화하여 MMT 애셋(MMT Asset)을 생성하는 단계;Encapsulating the generated media processing unit to generate an MMT asset;
    상기 생성된 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성하는 단계;Generating an MMT package by encapsulating the generated MMT asset;
    상기 생성된 MMT 패키지를 받아서 MMT 페이로드(MMT Payload)를 생성하는 단계; 및Receiving the generated MMT package and generating an MMT payload; And
    상기 생성된 MMT 페이로드를 사용하여 MMT 전송 패킷을 생성하는 단계를 더 포함하는 것을 특징으로 하는 비트 에러율을 이용한 멀티미디어 전송 방법.And generating an MMT transport packet using the generated MMT payload.
  8. 제 5 항에 있어서,The method of claim 5,
    상기 생성된 메시지내의 상기 비트 에러율에 근거하여 전송될 미디어 데이터의 레이트 컨트롤을 수행하여 코딩 레이트를 선택하는 단계를 더 포함하는 것을 특징으로 하는 비트 에러율을 이용한 멀티미디어 전송 방법.And selecting a coding rate by performing a rate control of media data to be transmitted based on the bit error rate in the generated message.
  9. 제 6 항에 있어서,The method of claim 6,
    상기 부가정보는 신호세기, 모듈레이션 정보 및 주위 무선 트래픽 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 비트 에러율을 이용한 멀티미디어 전송 방법.The additional information includes at least one of signal strength, modulation information, and surrounding wireless traffic information.
  10. 비트 에러율을 이용하여 채널 상태를 추정하는 방법에 있어서,In the method for estimating the channel state using the bit error rate,
    물리계층 및 MAC 계층 중 적어도 하나를 포함하는 복수의 서로 다른 계층 중에서 부가정보를 이용하여 상기 비트 에러율을 생성하는 단계 및Generating the bit error rate by using additional information among a plurality of different layers including at least one of a physical layer and a MAC layer; and
    메시지에 상기 생성된 상기 비트 에러율 및 상기 비트 에러율이 생성된 계층의 지시자를 포함시켜 다른 계층으로 전송하는 단계를 포함하는 비트 에러율을 이용한 채널 상태 추정 방법.And including the generated bit error rate and an indicator of a layer in which the bit error rate is generated and transmitting the message to another layer.
  11. 물리(PHY)계층 및 MAC(Media Access Control)계층 중 적어도 하나를 포함하는 복수의 서로 다른 계층 중에서 비트 에러율이 생성된 계층을 지시하는 지시자를 포함하는 메시지를 생성하는 BER(Bit Error Rate) 생성부를 포함하는 것을 특징으로 하는 비트 에러율을 이용한 멀티미디어 수신 장치. A bit error rate (BER) generation unit generating a message including an indicator indicating a layer in which a bit error rate is generated among a plurality of different layers including at least one of a physical (PHY) layer and a media access control (MAC) layer. Multimedia receiving apparatus using a bit error rate, characterized in that it comprises a.
  12. 제 11 항에 있어서,The method of claim 11,
    상기 BER 생성부로부터 비트 에러율 및 상기 비트에러율이 생성된 계층의 정보를 수신하여 채널 상태를 추정하는 채널 추정부를 더 포함하는 것을 특징으로 하는 비트 에러율을 이용한 멀티미디어 수신 장치.And a channel estimator configured to receive a bit error rate and information on the layer in which the bit error rate is generated from the BER generator and estimate a channel state.
  13. 제 11 항에 있어서,The method of claim 11,
    상기 메시지는 상기 비트 에러율을 나타내는 파라미터를 더 포함하고,The message further includes a parameter indicative of the bit error rate;
    상기 비트에러율이 생성된 계층을 지시하는 지시자는 상기 비트 에러율을 나타내는 파라미터의 일부분에 속하는 것을 특징으로 하는 비트 에러율을 이용한 멀티미디어 수신 장치.And an indicator indicating a layer in which the bit error rate is generated belongs to a part of a parameter representing the bit error rate.
  14. 제 11 항에 있어서,The method of claim 11,
    상기 비트에러율이 생성된 계층을 지시하는 지시자는 상기 비트에러율이 생성된 계층이 물리계층인 경우 0의 값을 가지는 것을 특징으로 하는 비트 에러율을 이용한 멀티미디어 수신 장치.And an indicator indicating the layer in which the bit error rate is generated has a value of 0 when the layer in which the bit error rate is generated is a physical layer.
  15. 전송될 미디어 데이터를 생성하는 미디어 데이터 생성부;A media data generator for generating media data to be transmitted;
    상기 미디어 데이터 생성부에서 생성된 미디어 데이터를 전송하는 전송부; 및A transmitter for transmitting the media data generated by the media data generator; And
    수신장치로부터 수신한 채널 정보에 따라 상기 미디어 데이터 생성부의 작동을 제어하는 레이트 튜너를 포함하고And a rate tuner for controlling the operation of the media data generator according to the channel information received from the receiver.
    상기 채널 정보는 물리(PHY)계층 및 MAC(Media Access Control)계층 중 적어도 하나를 포함하는 상기 수신장치의 복수의 서로 다른 계층 중에서 비트 에러율이 생성된 계층을 지시하는 지시자를 포함하는 메시지이거나 상기 지시자를 사용하여 수신장치에서 생성된 채널 상태 정보인 것을 특징으로 하는 비트 에러율을 이용한 멀티미디어 전송 장치.The channel information is a message including an indicator indicating a layer in which a bit error rate is generated among a plurality of different layers of the receiving apparatus including at least one of a physical (PHY) layer and a media access control (MAC) layer. Multimedia transmission apparatus using a bit error rate, characterized in that the channel state information generated by the receiving apparatus using.
  16. 제 15 항에 있어서,The method of claim 15,
    상기 비트 에러율은 물리(PHY)계층 및 MAC(Media Access Control)계층 중 적어도 하나를 포함하는 복수의 서로 다른 계층에서 부가정보를 이용하여 추정되어 생성되는 것을 특징으로 하는 비트 에러율을 이용한 멀티미디어 전송 장치.And the bit error rate is estimated and generated using additional information in a plurality of different layers including at least one of a physical (PHY) layer and a media access control (MAC) layer.
  17. 제 15 항에 있어서,The method of claim 15,
    미디어 코덱 계층으로부터 특정 미디어 코덱에 독립적인 포맷을 가지는 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)을 제공받는 미디어 프래그먼트 생성부;A media fragment generation unit receiving a media fragment unit (MFU) having a format independent of a specific media codec from a media codec layer;
    상기 미디어 프래그먼트 유닛을 사용하여 미디어 프로세싱 유닛(Media Processing Unit; MPU)을 생성하는 미디어 프로세싱 유닛 생성부;A media processing unit generation unit generating a media processing unit (MPU) using the media fragment unit;
    상기 생성된 미디어 프로세싱 유닛을 캡슐화하여 MMT 애셋(MMT Asset)을 생성하는 MMT 애셋 생성부;An MMT asset generator for generating an MMT asset by encapsulating the generated media processing unit;
    상기 생성된 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성하는 MMT 패키지 생성부;An MMT package generator for generating an MMT package by encapsulating the generated MMT asset;
    상기 생성된 MMT 패키지를 받아 MMT 페이로드(MMT Payload)를 생성하는 MMT 페이로드 생성부; 및An MMT payload generator configured to receive the generated MMT package and generate an MMT payload; And
    상기 생성된 MMT 페이로드를 사용하여 MMT 전송 패킷을 생성하는 MMT 전송 패킷 생성부를 더 포함하고,Further comprising an MMT transport packet generation unit for generating an MMT transport packet using the generated MMT payload,
    상기 미디어 데이터 생성부는 상기 MMT 전송 패킷 생성부에서 생성된 MMT 전송 패킷을 채널 코딩하여 상기 전송될 미디어 데이터를 생성하는 것을 특징으로 하는 비트 에러율을 이용한 멀티미디어 전송 장치.The media data generator generates the media data to be transmitted by channel coding the MMT transport packet generated by the MMT transport packet generator.
  18. 제 15 항에 있어서, 상기 레이트 튜너는 상기 수신한 채널 정보에 근거하여 상기 미디어 데이터의 레이트 컨트롤을 하여 코딩 레이트를 선택하는 것을 특징으로하는 비트 에러율을 이용한 멀티미디어 전송 장치.The apparatus of claim 15, wherein the rate tuner selects a coding rate by performing rate control of the media data based on the received channel information.
  19. 제 18 항에 있어서,The method of claim 18,
    상기 미디어 데이터 생성부는 상기 코딩 레이트로 채널을 코딩하여 상기 미디어 데이터를 생성하고,The media data generator generates the media data by coding a channel at the coding rate,
    상기 전송부는 상기 미디어 데이터를 클라이언트로 전송하는 것을 특징으로 하는 비트 에러율을 이용한 멀티미디어 전송 장치.And the transmitting unit transmits the media data to a client.
  20. 비트 에러율을 이용하여 채널 상태를 추정하는 장치에 있어서,An apparatus for estimating a channel state using a bit error rate,
    물리계층 및 MAC 계층 중 적어도 하나를 포함하는 복수의 서로 다른 계층 중에서 부가정보를 이용하여 상기 비트 에러율을 생성하는 BER 생성부; 및A BER generator for generating the bit error rate by using additional information among a plurality of different layers including at least one of a physical layer and a MAC layer; And
    메시지에 상기 측정된 상기 비트 에러율 및 상기 비트 에러율이 생성된 계층의 지시자를 포함시켜 다른 계층으로 전송하는 계층간 전송부를 포함하는 비트 에러율을 이용한 채널 상태 추정 장치.And an interlayer transmission unit including the measured bit error rate and an indicator of a layer in which the bit error rate is generated and transmitting the same to another layer.
PCT/KR2013/005134 2012-06-11 2013-06-11 Rate adaptation method using bit error rate for multimedia service and apparatus therefor WO2013187667A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/391,071 US9509439B2 (en) 2012-06-11 2013-06-11 Rate adaptation method using bit error rate for multimedia service and apparatus therefor
US15/349,709 US10181928B2 (en) 2012-06-11 2016-11-11 Rate adaptation method using bit error rate for multimedia service and apparatus therefor
US16/206,550 US10615907B2 (en) 2012-06-11 2018-11-30 Rate adaptation method using bit error rate for multimedia service and apparatus therefor

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
KR20120062312 2012-06-11
KR10-2012-0062312 2012-06-11
KR20120073678 2012-07-06
KR10-2012-0073678 2012-07-06
KR20120101468 2012-09-13
KR10-2012-0101468 2012-09-13
KR10-2012-0103995 2012-09-19
KR1020120103995A KR20130138638A (en) 2012-06-11 2012-09-19 The utilization of ber(bit error rate) for rate adaptation in mmt d3-ld
KR10-2013-0066484 2013-06-11
KR1020130066484A KR102170717B1 (en) 2012-06-11 2013-06-11 Method and apparatus of rate adaptation utilizing ber for multimedia service

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/391,071 A-371-Of-International US9509439B2 (en) 2012-06-11 2013-06-11 Rate adaptation method using bit error rate for multimedia service and apparatus therefor
US15/349,709 Continuation US10181928B2 (en) 2012-06-11 2016-11-11 Rate adaptation method using bit error rate for multimedia service and apparatus therefor

Publications (1)

Publication Number Publication Date
WO2013187667A1 true WO2013187667A1 (en) 2013-12-19

Family

ID=49758438

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/005134 WO2013187667A1 (en) 2012-06-11 2013-06-11 Rate adaptation method using bit error rate for multimedia service and apparatus therefor

Country Status (1)

Country Link
WO (1) WO2013187667A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015105311A1 (en) * 2014-01-09 2015-07-16 한국전자통신연구원 Method and device for retransmitting packet of mmt service, and retransmission request method and device
KR20150083428A (en) * 2014-01-09 2015-07-17 한국전자통신연구원 Packet retransmission method and apparatus, and retransmission request method and apparatus in mmt system
WO2016060506A1 (en) * 2014-10-16 2016-04-21 Samsung Electronics Co., Ltd. Method and apparatus for bottleneck coordination to achieve qoe multiplexing gains
WO2016129964A1 (en) * 2015-02-13 2016-08-18 에스케이텔레콤 주식회사 Computer-readable recording medium having program recorded therein for providing network adaptive content, and network adaptive content provision apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090128311A (en) * 2008-06-10 2009-12-15 한국전자통신연구원 A method and apparatus for packet aggregation according to traffic characteristics
JP2010518653A (en) * 2006-09-05 2010-05-27 エルジー エレクトロニクス インコーポレイティド Link adaptive data transfer method in wireless communication system
JP2010187127A (en) * 2009-02-10 2010-08-26 Canon Inc Broadcasting receiver, and control method thereof
US20110199906A1 (en) * 2010-02-12 2011-08-18 Mark Edward Kanode Methods, systems, and computer readable media for performing diameter answer message-based network management at a diameter signaling router (dsr)
KR20120056271A (en) * 2009-08-10 2012-06-01 마이크론 테크놀로지, 인크. Packet deconstruction/reconstruction and link-control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010518653A (en) * 2006-09-05 2010-05-27 エルジー エレクトロニクス インコーポレイティド Link adaptive data transfer method in wireless communication system
KR20090128311A (en) * 2008-06-10 2009-12-15 한국전자통신연구원 A method and apparatus for packet aggregation according to traffic characteristics
JP2010187127A (en) * 2009-02-10 2010-08-26 Canon Inc Broadcasting receiver, and control method thereof
KR20120056271A (en) * 2009-08-10 2012-06-01 마이크론 테크놀로지, 인크. Packet deconstruction/reconstruction and link-control
US20110199906A1 (en) * 2010-02-12 2011-08-18 Mark Edward Kanode Methods, systems, and computer readable media for performing diameter answer message-based network management at a diameter signaling router (dsr)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015105311A1 (en) * 2014-01-09 2015-07-16 한국전자통신연구원 Method and device for retransmitting packet of mmt service, and retransmission request method and device
KR20150083428A (en) * 2014-01-09 2015-07-17 한국전자통신연구원 Packet retransmission method and apparatus, and retransmission request method and apparatus in mmt system
US10097319B2 (en) 2014-01-09 2018-10-09 Electronics And Telecommunications Research Institute Method and apparatus for re-transmitting MMT packet and method and apparatus for requesting MMT packet re-transmission
US10523376B2 (en) 2014-01-09 2019-12-31 Electronics And Telecommunications Research Institute Method and apparatus for re-transmitting MMT packet and method and apparatus for requesting MMT packet re-transmission
KR102105656B1 (en) 2014-01-09 2020-04-28 한국전자통신연구원 Packet retransmission method and apparatus, and retransmission request method and apparatus in mmt system
US11070327B2 (en) 2014-01-09 2021-07-20 Electronics And Telecommunications Research Institute Method and apparatus for re-transmitting MMT packet and method and apparatus for requesting MMT packet re-transmission
WO2016060506A1 (en) * 2014-10-16 2016-04-21 Samsung Electronics Co., Ltd. Method and apparatus for bottleneck coordination to achieve qoe multiplexing gains
US9635407B2 (en) 2014-10-16 2017-04-25 Samsung Electronics Co., Ltd. Method and apparatus for bottleneck coordination to achieve QoE multiplexing gains
WO2016129964A1 (en) * 2015-02-13 2016-08-18 에스케이텔레콤 주식회사 Computer-readable recording medium having program recorded therein for providing network adaptive content, and network adaptive content provision apparatus
US10165311B2 (en) 2015-02-13 2018-12-25 Sk Telecom Co., Ltd. Non-transitory computer-readable recording medium having program recorded therein for providing network-adaptive content and apparatus for providing network-adaptive content

Similar Documents

Publication Publication Date Title
WO2013169084A1 (en) Hybrid transmission method through mmt packet format extension
WO2013141666A1 (en) Hybrid delivery method and reception method for mmt packaged svc video contents
WO2013077697A1 (en) Method for hybrid delivery of mmt pakcage and content and method for receiving content
WO2013077698A1 (en) Method for linking mmt media and dash media
WO2013089437A1 (en) Device and method for receiving media content
WO2014171790A1 (en) Method and apparatus for controlling media delivery in multimedia transport network
WO2013162312A1 (en) Method and apparatus for transceiving data for multimedia transmission system
JP3931595B2 (en) Data correction apparatus and data correction method
WO2012060581A2 (en) Method for transreceiving media content and device for transreceiving using same
WO2013055191A2 (en) Apparatus and method for configuring control message in broadcasting system
KR20180089341A (en) Interface apparatus and method for transmitting and receiving media data
WO2013112027A1 (en) Method for estimating network jitter in apparatus for transmitting coded media data
WO2011152675A2 (en) Method and apparatus for adaptive streaming based on plurality of elements for determining quality of content
WO2012177041A2 (en) Media content transceiving method and transceiving apparatus using same
KR102170717B1 (en) Method and apparatus of rate adaptation utilizing ber for multimedia service
WO2016195354A1 (en) Transmitting apparatus, receiving apparatus, and method for controlling the same
WO2012011722A2 (en) Method for transmitting/receiving media and device for transmitting/receiving using same
WO2018174367A1 (en) Broadcast signal transmitting and receiving method and device
WO2016111607A1 (en) Transmitting apparatus and signal processing method thereof
WO2013187667A1 (en) Rate adaptation method using bit error rate for multimedia service and apparatus therefor
WO2016003234A1 (en) Method and device for receiving and transmitting information in multimedia system
US20090259764A1 (en) Intro outro merger with bit rate variation support
JP5654116B2 (en) How to broadcast multimedia content
WO2016003254A1 (en) Devices and methods for transmitting/receiving data in communication system
WO2013055168A1 (en) Method for transmitting media data interlinked with composition information and transmission characteristics information via a heterogeneous ip network

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13804095

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14391071

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13804095

Country of ref document: EP

Kind code of ref document: A1