CN101529901B - 视频特性的动态修改 - Google Patents

视频特性的动态修改 Download PDF

Info

Publication number
CN101529901B
CN101529901B CN2007800402597A CN200780040259A CN101529901B CN 101529901 B CN101529901 B CN 101529901B CN 2007800402597 A CN2007800402597 A CN 2007800402597A CN 200780040259 A CN200780040259 A CN 200780040259A CN 101529901 B CN101529901 B CN 101529901B
Authority
CN
China
Prior art keywords
video flowing
frame
described video
network
properties
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007800402597A
Other languages
English (en)
Other versions
CN101529901A (zh
Inventor
J·丘
R·J·克林恩
T·M·摩尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN101529901A publication Critical patent/CN101529901A/zh
Application granted granted Critical
Publication of CN101529901B publication Critical patent/CN101529901B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems

Abstract

本法明的各方面涉及提高在联网的计算机之间传输的视频流的质量。根据一个实施例，提供了一种基于网络条件来动态修改视频流的特性的方法。就此，该方法包括收集描述当正在传送视频流时存在的网络条件的服务质量数据。然后，使用所收集的数据来计算视频流中的预测伪像的量。响应于标识触发事件，该方法修改视频流的特性以解释网络条件。

Description

视频特性的动态修改
背景
诸如因特网等的计算机网络已彻底改变了人们获取信息的方式。例如，现代计算机网络支持使用电子邮件通信以便在访问该计算机网络的人之间传输信息。正在开发越来越多的能够通过网络进行具有实时成分的数据交换的系统。例如，视频流可以在通信地连接的计算机之间传输以使得网络条件可影响信息如何被呈现给用户。
本领域的技术人员和其他人将认识到数据是通过计算机网络以分组来传送的。不幸的是，当正通过计算机网络传送的一个或多个分组无法到达其目的地时发生分组丢失。分组丢失可由多个因素造成，包括但不限于：过度利用的网络、信号劣化、分组被有故障的硬件破坏等。当分组丢失发生时，用户就可能注意到性能问题。例如，在视频流的上下文中，分组丢失可导致在视频帧序列中可见的“伪像”或失真。
视频流中的伪像和其它失真的量是对总体视觉质量影响最大的因素之一。然而，现有系统的一个缺点是无法客观地测量视频流中的预测伪像的量。开发者可使用通过客观地测量伪像而获取的信息来做出关于传递优质视频服务所需的各种折衷的有见识的决策。此外，本领域的技术人员和其他人将会认识到当分组丢失发生时，可实现各种差错恢复技术以防止视频流的劣化。然而，这些差错恢复技术具有其自己的关于消耗网络资源和影响视频质量的折衷。当做出对视频流的特性的修改时，如果能够客观地测量这些修改将如何影响视频服务的质量，这将会是有益的。就此，客观地度量差错恢复技术将如何影响视频流的质量以便特别地确定是否应执行差错恢复，这也将是有益的。
现有系统的另一缺点是无法客观地测量视频流中的伪像量并基于所观察到的数据来动态修改编码过程。例如，在传送视频流期间，分组丢失率或其它网络条件可能改变。然而，在现有系统的情况下，压缩视频流中的帧的编码器可能无法标识如何修改视频流的特性以解释(account for)网络条件。
概述
提供本概述以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护的主题的关键特征，也不旨在用于帮助确定所要求保护的主题的范围。
本发明的各方面涉及提高在联网的计算机之间传输的视频流的质量。根据一个实施例，提供了一种基于网络条件来动态修改视频流的特性的方法。就此，该方法包括收集描述当正在传送视频流时存在的网络条件的服务质量数据。然后，使用所收集的数据来计算视频流中的预测伪像的量。响应于标识触发事件，该方法可修改视频流的特性以便更准确地解释网络条件。
附图说明
当结合附图参考以下详细描述时，可以更容易领会并更好地理解本发明的上述方面和许多附加的优点，附图中：
图1是根据本发明的一个实施例的适用于示出可用于传送视频流的组件的联网环境的图示描绘；
图2A和2B是适用于示出编码视频流以便通过图1所描绘的联网环境上传送的示例性帧序列的图示描绘；
图3是描述在给定特定网络条件的情况下的视频质量的图表；
图4A和4B是描述在给定特定网络条件的情况下的视频质量的图表；
图5是描述在给定特定网络条件的情况下的视频质量的图表；
图6是描述在给定特定网络条件的情况下的视频质量的图表；
图7是支持适用于实现本发明的各方面的属性的另一联网环境的图示描绘；
图8是根据一个实施例的示出联网设备之间的视频流的传输的图7所描绘的联网环境的图示描绘；以及
图9是示出根据本发明的另一实施例的用于修改视频流的特性的示例性例程的流程图。
详细描述
本发明可在诸如程序模块等由计算机执行的计算机可执行指令的一般上下文中描述。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、窗口小部件、对象、组件、数据结构等。
尽管本发明将主要在基于所观察到的网络条件来修改视频流的特性的系统和方法的上下文中描述，但本领域的技术人员和其他人可以理解，本发明也可应用于其它上下文中。无论如何，下面的描述首先提供其中可以实现本发明的各方面的系统的概览。然后描述基于所观察到的网络条件来动态修改视频流的特性的示例性例程。在此提供的示例不旨在是穷尽的或将本发明限于所公开的精确形式。类似地，在此描述的任何步骤能与其它步骤或步骤组合互换以实现相同的结果。因此，以下描述的本发明的各实施例应被解释为本质上是说明性的而非限制性的。
现在参考图1，将描述用于在联网环境100中传送视频流的组件之间的交互。如图1所示，联网环境100包括以对等网络连接通信地连接的发送计算机102和接收计算机104。就此，发送计算机102和接收计算机104通过网络106来传送数据。如将在以下参考图7和8更详细地描述的那样，发送计算机102可以是与用户相关联的网络端点。或者，发送计算机102可通过将视频流中继给接收计算机104来用作联网环境100中的节点。本领域的技术人员及其他人将认识到，网络106可被实现为局域网(“LAN”)、诸如通常也被称为因特网或万维网(“WWW”)的的全球网络等广域网(“WAN”)、蜂窝网络、IEEE 802.11、蓝牙无线网络等等。
在图1所示的实施例中，视频流使用输入设备108来从应用层105输入到发送计算机102。输入设备108可以是能够捕捉图像流的任何设备，包括但肯定不限于摄像机、数码照相机、蜂窝电话等。当视频流被输入到发送计算机104中时，使用编码器/解码器110来压缩视频流的帧。本领域的技术人员和其他人将会认识到，编码器/解码器110以减少帧序列中的图像数据的冗余的方式来执行压缩。因为视频流通常包括仅递增地彼此不同的帧序列，所以显著的压缩通过基于与其他帧的区别来编码至少某些帧来实现。如将在以下进一步描述的那样，视频流中的帧可被编码为“I帧”、“P帧”、“SP帧”和“B帧”；尽管正越来越多地利用其他帧类型(例如单向B帧等)。然而，当差错导致分组丢失或其它视频劣化时，将视频流编码为压缩的帧可能使差错保持，由此导致伪像在多个帧上存留。
一旦编码器/解码器110通过减少帧序列中的图像数据的冗余来压缩视频流，就可使用网络设备112及相关联的媒体传输层113组件(未示出)来传送视频流。就此，视频帧数据可根据实时传输协议(“RTP”)所指示的标准来分组化和传送。本领域的技术人员和其他人将会认识到，RTP是可用于传输实时数据的一个示例性因特网标准协议。在任何情况下，当接收到视频流时，接收计算机104上的编码器/解码器110使得该流被解码并在呈现设备114上呈现给用户。就此，呈现设备114可以是能够呈现图像数据的任何设备，包括但不限于计算机显示器(例如CRT或LCD屏幕)、电视机、监视器、打印机等。
控制层116为诸如支持视频流的传输的应用程序等具有实时特性的应用程序提供服务质量支持。就此，质量控制器118通过收集包括但不限于分组丢失率、往返时间等之类的与视频流相关联的统计数据来提供服务质量反馈。仅作为示例，质量控制器118所收集的数据可由差错恢复组件120用来标识将在执行差错恢复时重传的分组。就此，遵守实时传输协议的数据可在交换视频流的用户之间周期性地传送。可使用控制层116的组件来基于所收集的服务质量信息来修改视频流的特性。本领域的技术人员和其他人将会认识到，虽然特定组件和协议已参考图1来描述，但这些特定示例应被解释为示例性的，因为本发明的各方面可使用不同的组件和/或协议来实现。例如，虽然参考图1来提供的描述使用RTP来在联网的计算机之间传输视频流并使用RTCP来提供控制信息，但可利用其它协议而不背离所要求保护的主题的范围。
现在参考图2A和2B，将描述视频流中的示例性帧序列200。如先前参考图1所提到的那样，可使用编码器来以减少图像数据的冗余的方式压缩视频流中的帧。就此，图2A示出了由I帧202-204、SP帧206-208、P帧210-216和B帧218-228组成的帧序列200。I帧202-204是独立的，其中I帧并不参考其它帧类型并且可用于呈现完整的图像。如图2A所示，I帧202-204或者直接或者间接地用作SP帧206-208、P帧210-216和B帧218-228的预测参考。就此，SP帧206-208是可预测的，因为这些帧是参考先前最近的I帧或其它SP帧来编码的。类似地，P帧210-216也是可预测的，因为这些帧参考一早先的帧，该早先的帧可以是先前最近的I帧或SP帧。如图2所进一步示出的，B帧218-228使用被称为双向预测的技术来编码，其中图像数据参考先前的和后续的帧。
每一帧中的数据量可视地描绘在图2A中，其中I帧202-204包含最大的数据量，而SP帧206-208、P帧210-216和B帧218-228各自提供依次更大的压缩量。如此处所使用的，术语“压缩模式”指的是当某一帧类型(例如，I帧、SP帧、P帧、B帧等)被编码以便通过网络连接来传输时编码器的状态。本领域的技术人员和其他人将会认识到，出于创建不同的帧类型的目的，编码器可被配置成支持不同的压缩模式。虽然将帧序列200编码为各种帧类型减少了传送的数据量，但图像数据的压缩可使差错保存。就此，I帧202可在通信地连接的计算机之间以一组分组来传输。然而，如果I帧202中的任一个分组在传输中丢失，则I帧202不是受该差错影响的唯一的帧。相反，该差错可持续至直接或间接参考该I帧202的其它帧。例如，如图2B的时间线250所描绘的那样，在事件252处当I帧202经受一差错时，该差错存留直到当接收到后续I帧204时的事件254。在这种情况下，在事件252和254之间接收到的帧通常以伪像的形式经受质量劣化。
类似于以上所提供的描述，当与SP帧相关联的分组丢失时，差错可持续至其它帧。例如，如时间线250所描绘的那样，在事件256处当SP帧206经受分组丢失时，该差错存留直到当接收到下一个I帧204时的事件254。由于与I帧相比，对于SP帧存在更少的依赖性，所以分组丢失的影响也更小。当P帧经受分组丢失时，只有参考经受分组丢失的P帧的B帧和其它P帧受到该差错的影响。最后，B帧中的差错并不存留，因为B帧不被其它帧类型参考。
如以上参考图2A和2B所描述的那样，编码视频流可由于存在帧之间的依赖性而导致伪像存留。就此，等式1包含基于通用统计假设的、可用于在未执行差错恢复时计算预测伪像的一个数学模型。就此，等式1提供了用于计算当视频流由以上参考图2A-B描述的四种帧类型组成时的预测伪像的公式。在该上下文中，术语“预测伪像”一般指的是一组图像中受分组丢失影响的帧的数量。如将在以下更详细描述的那样，使用等式1中的公式来计算预测伪像可用于确定本发明的各方面如何以及是否修改视频流的特性。
Figure G2007800402597D00061
P I N GOP + ( 1 - P I ) N GOP ( N SP + 1 ) * N SP P SP - ( 1 - P SP ) * ( 1 - ( 1 - P SP ) N sp ) P SP
+ ( 1 - P I ) P SP * [ 1 - ( 1 - P SP ) ( N SP + 1 ) ]
* N GOP ( N SP + 1 ) ( N P G + 1 ) N P G P P - ( 1 - P P ) * ( 1 - ( 1 - P P ) N P G ) P P
+ ( 1 - P I ) N B P B P SP [ 1 - ( 1 - P SP ) ( N SP + 1 ) ] [ 1 - ( 1 - P P ) ( N P G + 1 ) ] (等式1)
其中：
NB＝一组图像中的B帧数；
NGOP＝一组图像中的帧数；
NPG＝连续的I-I、I-SP、SP-SP或SP-I帧之间的P帧数；
NSP＝一组图像中的SP帧数；
PB＝B帧丢失概率；
PI＝I帧丢失概率；
PP＝P帧丢失概率；以及
PSP＝SP帧丢失概率。
类似于等式1，等式2包含可用于计算预测伪像的数学模型。然而，在这种情况下，等式2中所描绘的数学模型应用于执行差错恢复时。例如，差错恢复可以在正传送视频流的计算机被配置成重新发送在传输中损环的视频帧的分组时执行。就此，等式1提供了用于计算当视频流由以上参考图2A-B描述的四种帧类型组成时的最初在计算机之间传输的主视频流中的预测伪像的公式。类似于关于等式1所提供的描述，等式2可用于确定本发明的各方面如何以及是否修改视频流的特性。然而，等式2应用于执行差错恢复时。
预测伪像＝
PIPI(RTT+1)
+PSPPSP(RTT+1)
+PPPP(RTT+1)
+PBPB    (等式2)
其中：
PI＝I帧丢失概率；
PSP＝SP帧丢失概率；
PP＝P帧丢失概率；
PB＝B帧丢失概率；以及
RTT＝往返时间。
本领域的技术人员和其他人将会认识到，以上关于等式1和2所提供的数学模型应被解释为示例性的而非限制性的。例如，这些数学模型假设视频流由I帧、P帧、SP帧和B帧组成。然而，如先前所提到的，视频流可由与以上所描述的相比更少或更多的帧类型和/或一组不同的帧类型组成。在这些情况下，可使用以上所提供的数学模型的各种变型来计算视频流中的预测伪像。此外，等式1和2是在计算预测伪像的量的上下文中描述的。来自视频流的“伪像百分比”可使用以上所描述的数学模型通过将预测伪像除以图像组(“GOP”)中的帧数来计算。
现在参考图3-6，将描绘描述在给定各种网络条件的情况下的视频流中的伪像的量的分布。在一说明性实施例中，图3-6所描绘的分布可用于标识当可修改视频流的特性以便更准确地反映网络条件时的实例。如图3所示，x轴对应于分组丢失率而y轴对应于最初在计算机之间传输的主视频流中的图像组(“GOP”)的预测伪像百分比。就此，图3描绘了分布302，其示出了在未执行差错恢复时不同的分组丢失率下的图像组的预测伪像的数量百分比。类似地，分布304示出了在执行差错恢复时的不同的分布丢失率下的预测伪像的量。
如图3所示，伪像百分比对于分布302和304两者而言都随着分组丢失率增加而增加。此外，在未执行差错恢复时，预测伪像百分比与执行差错恢复时的实例相比对于所有分组丢失率都基本上更大。如先前在上文中所提到的那样，分组丢失率可由于各种网络条件而改变，甚至在相同的网络会话期间也可能改变。就此，质量控制器118(图1)通过收集与网络会话相关联的包括分组丢失率的统计数据来提供服务质量反馈。当从质量控制器118取到分组丢失率时，分布302和304可用于标识视频流的预测伪像。
根据一个实施例，与分布302-304相关联的预测伪像的范围可用于设置视频流的特性。例如，当执行差错恢复并且分布304中所表示的伪像百分比被标识为小于十(10)个百分点时，视频流可根据第一组特性来传送。在给定伪像百分比的范围的情况下可能修改的视频流的特性可包括但不限于：帧类型的分布(例如，I帧、SP帧、P帧、B帧的百分比和频率)、帧速率、帧和分组的大小、包括其中正向纠错(“FEC”)被应用于每一帧类型的范围在内的信道编码中的冗余的应用等。就此，通过客观地测量视频流中的预测伪像，可做出关于应如何传送视频流的更多有见识的决策。例如，随着预测伪像的量增长，视频流的特性可被修改成包括更高百分比的B帧，由此提高更高分组丢失率下的视频质量。此外，如果分布304中所表示的伪像百分比被标识为对应于不同的范围，则视频流可根据另一组视频特性来传送。
图4A描绘了分布402、404、406和408，示出了不同的帧速率和分组丢失率下的预测伪像的数量百分比。如图4A所示，x轴对应于每秒十五(15)到三十(30)之间的帧速率而y轴对应于不同的帧速率下的预测伪像百分比。更具体而言，分布402示出了当网络会话正经受百分之五(5)的分组丢失率并且未执行差错恢复时每秒十五(15)到三十(30)帧之间的预测伪像的数量百分比。分布404示出了当网络会话正经受百分之一(1)的分组丢失率并且未执行差错恢复时每秒十五(15)到三十(30)帧之间的预测伪像的数量百分比。分布406示出了当网络会话正经受百分之五(5)的分组丢失率并且执行差错恢复时每秒十五(15)到三十(30)帧之间的主视频流中的预测伪像的数量百分比。分布408示出了当网络会话正经受百分之一(1)的分组丢失率并且执行差错恢复时每秒十五(15)到三十(30)帧之间的预测伪像的数量百分比。图4A可视地描绘的不同情况下的预测伪像的确切值在图4B所呈现的表格中用数字来表示。如图4A和4B所示，当视频流被编码为各种帧类型时，帧速率的增加实际上可增加预测伪像百分比并降低视频质量。
根据一个实施例，可建立使用分布402-408获取的预测伪像的范围以设置视频流的特性。例如，在某些情况下，内容提供商保证视频流的特定服务质量。基于分布402-408中所表示的信息，可标识不同帧速率下的预测伪像百分比、分组丢失率和其它网络特性。通过标识预测伪像百分比，可调整帧速率以使得满足服务质量保证。就此，可降低帧速率以便造成伪像的相应的减少。
图5描绘了分布502和504，示出了当网络正经受百分之一(1)的分组丢失率时不同的图像组(“GOP”)值下的预测伪像的数量百分比。本领域的技术人员和其他人将会认识到，GOP指的是开始于第一独立帧(例如I帧)并结束于下一个独立帧的帧序列。如图5所示，x轴对应于视频流中的GOP值而y轴对应于各个GOP值下的预测伪像百分比。就此，分布502示出了在未执行差错恢复时的对应于不同的GOP值的预测伪像的数量百分比。类似地，分布504示出了在对最初在计算机之间传输的主视频流执行差错恢复时的预测伪像的数量百分比。如分布502所示，在未执行差错恢复时，更大的GOP值导致伪像的相应增加以及视频质量的降低。相反，在执行差错恢复时，更大的GOP值导致更少的伪像以及更佳的视频质量。类似于以上所提供的描述，可使用从分布502-504中获取的预测伪像的范围来建立视频流的特性。就此，在未执行差错恢复时，帧序列通过增加I帧的出现而以较低的GOP值来编码。相反，在执行差错恢复时，帧序列可用较少的I帧和较大的GOP值来编码。
图6描绘了分布602，其示出了在执行差错恢复时不同的往返时间(“RTT”)下的预测伪像的数量百分比。本领域的技术人员和其他人将会认识到，往返时间指的是网络通信从发送设备行进至接收设备并返回所需的时间。因为差错恢复可通过发送指示未接收到视频流中的分组的消息来执行，所以差错恢复的效率取决于获得丢失的分组所需的往返时间。此外，本领域的技术人员和其他人将会认识到，通信地连接的计算机之间的RTT影响可被重传的分组及其相关联的视频帧的数量。如图6所示，通信地连接的计算机之间的RTT描绘在x轴上。y轴对应于在网络正经受百分之五(5)的分组丢失率时各个往返时间下的预测伪像百分比。就此，分布602示出了在未执行差错恢复时，预测伪像的量随着RTT的增加而增加。此外，分布602示出了在某些特定阈级之上，预测伪像以比该阈级之下的情况更快的速率增加。类似于以上所提供的描述，可使用从分布602中获取的预测伪像的范围来建立视频流的特性。例如，当网络经受5％的分组丢失率并且往返时间被标识为大于二百(200)毫秒(0.2秒)时，可实现通过可能使得同一分组被发送多次来在信道编码中添加冗余的正向纠错以减少伪像。就此，可对于视频流中的每一帧类型应用和修改信道编码中的不同的冗余强度。此外，帧类型的分布和其它视频特性也可基于从分布602中标识的预测伪像百分比的阈值来修改。
关于图3-6所提供的示例应被解释为示例性的而非限制性的。就此，图3-6示出了描述在给定各种网络条件的情况下的视频流中的预测伪像百分比的各分布。虽然提供了示例性的网络条件，但本发明的各方面可用于修改其它上下文中的视频流的特性而不背离所要求保护的主题的范围。
视频流正越来越多地通过多个网络链路来传送。例如，多点控制单元是支持多个用户之间的视频会议的设备。就此，图7示出了联网环境700，包括多点控制单元701、包括发送设备702和接收设备704-708在内的多个视频会议端点。此外，联网环境700包括发送设备702和多点控制单元701之间的对等网络连接710，以及多点控制单元701和接收设备704-708之间的多个下游网络连接712-716。一般而言，多点控制单元701收集关于将参与视频会议的设备的能力的信息。基于所收集的信息，可建立网络端点之间的视频流的特性。
现在参考图8，将更详细地描述图7所描绘的多点控制单元701、发送设备702和接收设备704-708的组件。类似于以上参考图1所提供的描述，发送设备702和接收设备704-708包括编码器/解码器802、差错恢复组件804、信道质量控制器806和本地质量控制器808。在该示例性实施例中，多点控制单元701包括交换机810、速率匹配器812、信道质量控制器814和视频会议控制器816。
在该示例性实施例中，由发送设备702上的编码器/解码器802编码的视频流被传送到交换机810。当接收到时，交换机810将编码的视频流路由至每一个速率匹配器812。对于将接收视频流的每一个设备，速率匹配器812中的一个对编码的视频流应用允许相同的内容在以不同的带宽传送数据的设备上重现的算法。一旦速率匹配器812应用了速率匹配算法，视频流就被发送到接收设备704-708，在接收设备中视频流可被解码以便向用户显示。
不幸的是，现有系统可能将视频流的特性设置成最小公分母以适应保持联网环境700中的最差连接的设备。此外，视频流使用多点控制单元701的传输可能不能缩放到大量端点。例如，当发送设备702将视频流传送到多点控制单元701时，数据可分别通过下游网络连接712-716转发至接收设备704-708中的每一个。当在下游网络连接712-716上发生分组丢失时，在未执行差错恢复的情况下重新发送丢失的分组的请求可被回传给发送设备702。然而，由于发送设备702对于所有接收设备704-708支持差错恢复，所以发送设备702可能被请求压垮。更一般而言，随着参与视频会议的端点数的增加，执行差错恢复的负面结果也增加。由此，客观地测量视频质量并设置视频流的特性以解释网络条件在管理视频会议的多点控制单元的上下文中尤其适用。然而，虽然本发明的各方面可被描述为在多点控制单元的上下文中实现，但本领域的技术人员和其他人将认识到，本发明的各方面也将在其它上下文中适用。
多点控制单元701上的信道质量控制器814与发送设备702和接收设备704-708上的信道质量控制器806进行通信。就此，信道质量控制器814监视其各个通信信道中的每一个上的带宽、RTT和分组丢失。视频会议控制器816可从每一个信道质量控制器806中获取数据并设置一个或多个视频流的特性。就此，视频会议控制器816可与速率匹配器812和本地质量控制器808进行通信以设置用于在发送设备702上编码视频流的特性。这些特性可包括但不限于：帧和数据传输速率、GOP值、帧类型的分布、差错恢复、信道编码中的冗余、帧和/或分组大小等。
本发明的各方面可以在视频会议控制器816中实现以调谐视频数据在发送和接收设备之间传输的特性。根据一个实施例，视频流的特性基于所观察到的网络条件来动态修改。例如，视频会议控制器816可从各个信道质量控制器806中的每一个中获取描述所观察到的网络条件的数据。然后，可执行计算以确定是否可实现视频流中的伪像减少。例如，通过使用参考图3-6描述的信息，可做出关于一组不同的视频特性是否将减少视频流中的伪像数量的判定。就此，视频会议控制器816可与速率匹配器812和本地质量控制器808进行通信以设置一个或多个视频流的特性。
根据一个实施例，视频会议控制器816出于动态修改发自发送设备702的视频流的特性的目的而与速率匹配器812进行通信。就这点而言，描述下游网络连接712-714上的网络条件的数据在多点控制单元701上聚集。然后，标识用于在发送设备702上编码视频流的一组优化的视频特性。例如，通过使用上述数学模型，标识解释在下游网络连接上观察到的网络条件的一组优化的视频特性。然后，本发明的各方面使得视频流在发送设备702上根据该组优化的视频特性来编码以便在网络连接710上传输。就此，视频会议控制器816可与速率匹配器812和本地质量控制器808进行通信以设置用于在发送设备702上编码视频流的特性。
根据另一实施例，视频会议控制器816出于动态修改发自多点控制单元701的一个或多个视频流的特性的目的而与速率匹配器812进行通信。就此，获取描述至少一个下游网络连接上的网络条件的数据。例如，通过使用上述数学模型，标识解释在下游网络连接上观察到的网络条件的一组优化的视频特性。然后，本发明的各方面使得视频流在多点控制单元701上根据该组优化的视频特性来进行编码转换(transcode)以便在适当的下游网络连接上传输。就这点而言，视频会议控制器816可与速率匹配器812进行通信以设置用于在多点控制单元701上用于对视频流进行编码转换的特性。
在又一实施例中，本发明的各方面聚集从发送和接收设备702-708中获取的数据以提高视频质量。例如，本领域的技术人员和其他人将会认识到，信道编码中的冗余可在传送视频流时实现。一方面，信道编码中的冗余通过允许执行诸如正向纠错等技术来增加传送视频流的鲁棒性。另一方面，信道编码中的冗余与可能由于消耗额外的网络资源以冗余地传送数据而负面地影响视频质量的缺点相关联。仅作为示例，本发明的各方面可聚集从发送和接收设备702-708中获取的信息以确定发送设备702是否以及如何实现信道编码中的冗余。例如，在将数据传送到接收设备704-708时观察到的分组丢失率可在多点控制单元701上聚集。然后，执行计算以确定在给定冗余地传送视频流中的数据的折衷的情况下是否将实现信道编码中的冗余。在该示例中，本发明的各方面可用于确定在给定观察到的网络条件和网络配置的情况下信道编码中的冗余是否将导致提高的视频质量。
现在参考图9，将描述示出动态修改例程900的流程图。一般而言，本发明可在众多上下文中使用以提高视频流的质量的。在一个实施例中，本发明运用于离线上下文中，以设置用于传送视频流的默认特性。在另一实施例中，本发明运用于在线上下文中，以动态修改视频流的特性以解释所观察到的网络条件。虽然图9所描绘的例程900被描述为在在线和离线上下文两者中应用，但本领域的技术人员将会认识到这仅仅是示例性的。
在框902，使用默认特性来发起视频数据的传输。如先前所提到的，本发明的各方面可在包括利用针对因特网、无线网络(例如，蜂窝网络、IEEE 802.11、蓝牙网络)等开发的协议的广域网和局域网在内的不同类型的网络中实现。此外，视频流可以在保持不同的配置的设备和网络之间传输。例如，如先前所提到的，发送设备可仅仅通过对等网络连接来传送视频流。或者，在以上参考图7和8描述的示例中，视频流可使用管理视频会议的控制单元来传送。在该示例中，视频流通过对等网络连接以及一个或多个下游网络连接来传送。
本领域的技术人员和其他人将会认识到，网络的能力影响可如何传送视频流。例如，在无线网络中，可传送数据的速率通常小于有线网络中的速率。本发明的各方面可以在离线上下文中应用，以建立用于在给定网络的能力的情况下传送视频流的默认特性。就此，可针对可能遇到的每一种类型的网络和/或配置标识最小化视频流中的伪像的一组优化的特性。例如，可使用图3-6所描绘的分布来标识将在给定网络的能力以及所预期的网络条件的情况下最小化伪像的用于传送视频流的特性组合。
一旦发起视频流的传输，在框904，观察网络条件并收集描述网络条件的统计数据。如先前所提到的，视频流的传输中所涉及的设备上的质量控制器可提供一组统计数据形式的服务质量反馈。这些统计数据可包括分组丢失率、往返时间、可用和消耗的带宽、或描述网络变量的其它数据。根据一个实施例，利用根据RTCP协议来传输的数据来收集描述网络条件的统计数据。然而，控制数据可使用其它协议来获取而不背离所要求保护的主题的范围。
如图9所示，在框906，计算视频流中的预测伪像的量。如以上参考等式1和2所描述的，可使用数学模型来计算视频流中的预测伪像的量。一旦已收集描述网络条件的统计数据，则在框904，可计算视频流中的预测伪像的量。此外，诸如图3-6所描绘的分布等各种分布可使用描述网络条件的统计数据来生成。
如图9所示，在判定框908，做出关于是否发生触发事件的判定。在一个实施例中，定义将导致本发明的各方面基于所观察到的网络条件来修改视频流的特性的触发事件。例如，由本发明定义的一个触发事件是预测伪像与预定义阈值相交。就此，如果该预测伪像跨预定于阈值增加/减少，则可动态修改视频流的特性以解释视频质量中的改变。可定义的其它触发事件包括但不限于：分组丢失率中的改变、可用带宽中的改变、视频会议的参与者的数量中的改变等。虽然已提供了触发事件的特定示例，但这些示例应被解释为说明性的而非限制性的，因为可定义其它类型的触发事件。在任何情况下，当标识了触发事件时，例程900前进至框910。在框908，如果未标识触发事件，则例程900返回到框904，并且框904到908重复直到标识触发事件。
在框910，修改视频流的特性以解释所观察的网络条件。类似于以上(在框902)描述的离线上下文，可使用图3-6所描绘的分布来标识将导致最少伪像量的一组特性。然而，在这种情况下，所预期的网络条件不在标识视频流的质量时被利用。相反，利用“在线”观察的实际网络条件来执行计算并标识将最小化视频流中的伪像量的一组特性。如先前所提到的，可由本发明的各方面来修改的视频流的特性可包括但不限于：图像组(“GOP”)值、帧类型的分布、可包括正向纠错的信道编码中的冗余、差错恢复、帧和分组大小、帧速率等。就此，在框910，例程900可与诸如视频会议控制器、速率匹配器、信道质量控制器等其它软件模块进行通信以修改视频流的特性。然后，该例程前进至框912并在此终止。
尽管示出和描述了各说明性实施例，但是可以认识到，可在其中作出各种改变而不背离本发明的精神和范围。

Claims (19)

1.一种在包括发送设备(102)和接收设备(104)的联网环境(100)中的最小化视频流中的伪像的方法，所述方法包括：
(a)建立用于传送所述视频流的默认特性；
(b)基于所述默认特性来发起所述视频流的传输(902)；
(c)收集关于在传送所述视频流时存在的网络条件的数据(904)，其中所述收集关于网络条件的数据包括计算所述视频流中的预测伪像的量，并且其中所述预测伪像指的是所述视频流中受分组丢失影响的帧的数量；以及
(d)修改所述视频流的默认特性以计及所述网络条件(910)。
2.如权利要求1所述的方法，其特征在于，建立用于传送所述视频流的默认特性包括标识将在给定预期的网络条件的情况下最小化所述视频流中的伪像的图像组值、帧速率、以及帧类型的分布。
3.如权利要求1所述的方法，其特征在于，所述视频流中的帧使用实时传输协议来传送，并且其中描述所述网络条件的数据根据所述实时控制协议来传送。
4.如权利要求1所述的方法，其特征在于，所述视频流中的帧被压缩为多个不同的帧类型，并且其中修改所述视频流的默认特性包括改变帧类型的分布。
5.如权利要求1所述的方法，其特征在于，收集关于在传送所述视频流时存在的网络条件的数据包括标识分组丢失率。
6.如权利要求1所述的方法，其特征在于，响应于所述视频流中的预测伪像与一阈值相交，修改所述视频流的默认特性。
7.如权利要求1所述的方法，其特征在于，修改所述视频流的默认特性包括在标识出所述分组丢失率中的阈值增加的情况下对所述视频流的信道编码中的冗余应用不同的强度。
8.如权利要求1所述的方法，其特征在于，修改所述视频流的默认特性包括：
确定是否正执行差错恢复；以及
如果正在执行执行差错恢复，则提高图像组值以实现伪像的相应减少。
9.如权利要求8所述的方法，其特征在于，还包括如果未执行差错恢复，则降低所述图像组值以实现伪像的相应减少。
10.一种用于基于网络条件来修改视频流的特性的系统，所述系统包括：
(a)发送设备(702)，配置成用于编码视频流并通过上游网络连接来发送经编码的视频流；
(b)一个或多个接收设备(704-708)，配置成用于接收并解码在下游网络连接上接收到的视频流；以及
(c)控制单元设备(701)，配置成建立用于传送所述视频流的默认特性、收集关于当在上游和下游网络连接上传送所述视频流时存在的网络条件的数据、以及修改所述默认特性以计及所述网络条件，
其中所述收集关于网络条件的数据包括计算所述视频流中的预测伪像的量，并且
其中所述预测伪像指的是所述视频流中受分组丢失影响的帧的数量。
11.如权利要求10所述的系统，其特征在于，所述控制单元设备还被配置成：
聚集描述所述下游网络连接上的网络条件的数据；
使用数学模型来标识用于在所述发送设备上编码所述视频流的一组优化的视频特性；
其中所述一组优化的视频特性计及在所述下游网络连接上观察到的网络条件；以及
使得所述视频流在所述发送设备上根据所述一组优化的视频特性来编码以便在所述上游网络连接上传输。
12.如权利要求10所述的系统，其特征在于，所述控制单元设备还被配置成：
获取描述下游网络连接上的网络条件的数据；
使用数学模型来标识用于在所述控制单元设备上编码转换所述视频流的一组优化的视频特性；
其中所述一组优化的视频特性计及在所述下游网络连接上观察到的网络条件；以及
使得所述视频流根据所述一组优化的视频特性来进行编码转换以便在所述下游网络连接上传输。
13.一种动态修改视频流的特性的方法，所述方法包括：
(a)收集关于从所述发送设备发送到所述接收设备的视频流的服务质量数据(904)；
(b)使用所述服务质量数据来计算所述视频流中的预测伪像，其中所述预测伪像指的是所述视频流中受分组丢失影响的帧的数量；以及
(c)响应于标识触发事件(908)，修改所述视频流的特性以最小化伪像(910)。
14.如权利要求13所述的方法，其特征在于，计算所述预测伪像包括确定是否正在执行差错恢复；
其中如果正在执行差错恢复，则修改所述视频流的特性包括提高图像组值以实现伪像的相应减少；以及
其中如果未执行差错恢复，则修改所述视频流的特性包括降低所述图像组值以实现伪像的相应减少。
15.如权利要求13所述的方法，其特征在于，所述视频流中的帧被压缩为多个不同的帧类型，并且其中修改所述视频流的特性包括：
标识由编码器用来压缩所述视频流中的每一帧类型的压缩模式；
使用数学模型来标识用于编码所述视频流中的每一帧类型的一组优化的视频特性。
16.如权利要求13所述的方法，其特征在于，发起所述视频流的特性的修改的触发事件是预测伪像的量与阈值相交。
17.如权利要求13所述的方法，其特征在于，发起所述视频流的特性的修改的触发事件是分组丢失率中的改变。
18.如权利要求13所述的方法，其特征在于，修改所述视频流的默认特性包括在信道编码中应用取决于帧类型的不同强度的冗余。
19.如权利要求13所述的方法，其特征在于，经修改的所述视频流的特性包括图像组值、帧速率、和/或帧类型的分布。
CN2007800402597A 2006-10-31 2007-09-05 视频特性的动态修改 Expired - Fee Related CN101529901B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/591,297 2006-10-31
US11/591,297 US20080115185A1 (en) 2006-10-31 2006-10-31 Dynamic modification of video properties
PCT/US2007/077661 WO2008054926A1 (en) 2006-10-31 2007-09-05 Dynamic modification of video properties

Publications (2)

Publication Number Publication Date
CN101529901A CN101529901A (zh) 2009-09-09
CN101529901B true CN101529901B (zh) 2011-02-23

Family

ID=39344597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800402597A Expired - Fee Related CN101529901B (zh) 2006-10-31 2007-09-05 视频特性的动态修改

Country Status (8)

Country Link
US (1) US20080115185A1 (zh)
EP (1) EP2106662A4 (zh)
KR (2) KR20140098248A (zh)
CN (1) CN101529901B (zh)
AU (1) AU2007313931B2 (zh)
BR (1) BRPI0716147A2 (zh)
RU (1) RU2497304C2 (zh)
WO (1) WO2008054926A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104813633A (zh) * 2012-11-20 2015-07-29 阿尔卡特朗讯公司 用于传输视频流的方法

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9138644B2 (en) 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
US10201760B2 (en) 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US7969997B1 (en) * 2005-11-04 2011-06-28 The Board Of Trustees Of The Leland Stanford Junior University Video communications in a peer-to-peer network
WO2008076192A2 (en) * 2006-11-13 2008-06-26 Raytheon Sarcos Llc Versatile endless track for lightweight mobile robots
US8605779B2 (en) * 2007-06-20 2013-12-10 Microsoft Corporation Mechanisms to conceal real time video artifacts caused by frame loss
CN101394568B (zh) * 2007-09-20 2011-06-15 华为技术有限公司 视频数据的更新方法及其装置和系统
US20090164576A1 (en) * 2007-12-21 2009-06-25 Jeonghun Noh Methods and systems for peer-to-peer systems
US8612620B2 (en) * 2008-04-11 2013-12-17 Mobitv, Inc. Client capability adjustment
EP2290978A1 (en) * 2008-05-30 2011-03-02 NEC Corporation Server device, communication method, and program
US20090303309A1 (en) * 2008-06-04 2009-12-10 Pantech Co., Ltd. Mobile terminal and method for transmitting video data in video telephony system
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8798150B2 (en) * 2008-12-05 2014-08-05 Motorola Mobility Llc Bi-directional video compression for real-time video streams during transport in a packet switched network
EP2359587A4 (en) * 2008-12-16 2012-06-06 Hewlett Packard Development Co MASTER ARTIFACTS IN VIDEO DATA
US8929443B2 (en) * 2009-01-09 2015-01-06 Microsoft Corporation Recovering from dropped frames in real-time transmission of video over IP networks
US20110066924A1 (en) * 2009-09-06 2011-03-17 Dorso Gregory Communicating in a computer environment
US8621098B2 (en) * 2009-12-10 2013-12-31 At&T Intellectual Property I, L.P. Method and apparatus for providing media content using a mobile device
JP5553663B2 (ja) * 2010-03-31 2014-07-16 日立コンシューマエレクトロニクス株式会社 映像送信装置、映像受信装置、映像伝送システム
US9374290B2 (en) * 2010-12-13 2016-06-21 Verizon Patent And Licensing Inc. System and method for providing TCP performance testing
JP5884076B2 (ja) * 2010-12-22 2016-03-15 パナソニックＩｐマネジメント株式会社 無線伝送端末及び無線伝送方法、それに用いる符号化装置及び符号化方法、並びにコンピュータ・プログラム
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US20140119460A1 (en) * 2011-06-24 2014-05-01 Thomson Licensing Method and device for assessing packet defect caused degradation in packet coded video
US9426459B2 (en) 2012-04-23 2016-08-23 Google Inc. Managing multi-reference picture buffers and identifiers to facilitate video data coding
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
US10033658B2 (en) * 2013-06-20 2018-07-24 Samsung Electronics Co., Ltd. Method and apparatus for rate adaptation in motion picture experts group media transport
US9104241B2 (en) 2013-07-17 2015-08-11 Tangome, Inc. Performing multiple functions by a mobile device during a video conference
US9544534B2 (en) * 2013-09-24 2017-01-10 Motorola Solutions, Inc. Apparatus for and method of identifying video streams transmitted over a shared network link, and for identifying and time-offsetting intra-frames generated substantially simultaneously in such streams
US20150117516A1 (en) * 2013-10-30 2015-04-30 Vered Bar Bracha Dynamic video encoding based on channel quality
US9432623B2 (en) * 2014-09-24 2016-08-30 Ricoh Company, Ltd. Communication terminal, display control method, and recording medium
CN104320669A (zh) * 2014-10-24 2015-01-28 北京有恒斯康通信技术有限公司 视频传输方法及装置
US9773261B2 (en) * 2015-06-19 2017-09-26 Google Inc. Interactive content rendering application for low-bandwidth communication environments
KR101957672B1 (ko) * 2018-10-17 2019-03-13 (주)아이제이일렉트론 감시카메라 전원제어장치 및 방법
US11824737B2 (en) 2019-09-09 2023-11-21 Apple Inc. Per-packet type packet loss management
CN112468758B (zh) * 2019-09-09 2023-12-15 苹果公司 用于分组丢失管理的设备及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6014694A (en) * 1997-06-26 2000-01-11 Citrix Systems, Inc. System for adaptive video/audio transport over a network
US6317795B1 (en) * 1997-07-22 2001-11-13 International Business Machines Corporation Dynamic modification of multimedia content
US6621934B1 (en) * 1996-12-17 2003-09-16 Thomson Licensing S.A. Memory efficient compression apparatus in an image processing system
CN1466388A (zh) * 2002-06-19 2004-01-07 华为技术有限公司 视讯图像传输的主动防错方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997022201A2 (en) * 1995-12-12 1997-06-19 The Board Of Trustees Of The University Of Illinois Method and system for transmitting real-time video
US6148005A (en) * 1997-10-09 2000-11-14 Lucent Technologies Inc Layered video multicast transmission system with retransmission-based error recovery
US6421387B1 (en) * 1998-05-15 2002-07-16 North Carolina State University Methods and systems for forward error correction based loss recovery for interactive video transmission
US6473875B1 (en) * 1999-03-03 2002-10-29 Intel Corporation Error correction for network delivery of video streams using packet resequencing
US6996097B1 (en) * 1999-05-21 2006-02-07 Microsoft Corporation Receiver-driven layered error correction multicast over heterogeneous packet networks
US6658618B1 (en) * 1999-09-02 2003-12-02 Polycom, Inc. Error recovery method for video compression coding using multiple reference buffers and a message channel
TW444506B (en) * 1999-09-16 2001-07-01 Ind Tech Res Inst Real-time video transmission method on wireless communication networks
US6728924B1 (en) * 1999-10-21 2004-04-27 Lucent Technologies Inc. Packet loss control method for real-time multimedia communications
KR100833222B1 (ko) * 2000-03-29 2008-05-28 삼성전자주식회사 멀티미디어 송수신 장치 및 방법
US20060130104A1 (en) * 2000-06-28 2006-06-15 Madhukar Budagavi Network video method
JP3699910B2 (ja) * 2000-10-31 2005-09-28 株式会社東芝 データ伝送装置、データ伝送方法及びプログラム
KR100425676B1 (ko) * 2001-03-15 2004-04-03 엘지전자 주식회사 비디오 전송 시스템의 에러 복구 방법
US7639739B2 (en) * 2001-11-02 2009-12-29 The Regents Of The University Of California Technique to enable efficient adaptive streaming and transcoding of video and other signals
US7606314B2 (en) * 2002-08-29 2009-10-20 Raritan America, Inc. Method and apparatus for caching, compressing and transmitting video signals
JP4475235B2 (ja) * 2004-01-28 2010-06-09 日本電気株式会社 コンテンツの符号化、配信及び受信方法と装置とシステムならびにプログラム
US20050234927A1 (en) * 2004-04-01 2005-10-20 Oracle International Corporation Efficient Transfer of Data Between a Database Server and a Database Client
US7848428B2 (en) * 2004-06-17 2010-12-07 Broadcom Corporation System and method for reducing visible artifacts in video coding using multiple reference pictures
US20060007943A1 (en) * 2004-07-07 2006-01-12 Fellman Ronald D Method and system for providing site independent real-time multimedia transport over packet-switched networks
US20060015799A1 (en) * 2004-07-13 2006-01-19 Sung Chih-Ta S Proxy-based error tracking for real-time video transmission in mobile environments
US8356327B2 (en) * 2004-10-30 2013-01-15 Sharp Laboratories Of America, Inc. Wireless video transmission system
US8139642B2 (en) * 2005-08-29 2012-03-20 Stmicroelectronics S.R.L. Method for encoding signals, related systems and program product therefor
US20070234385A1 (en) * 2006-03-31 2007-10-04 Rajendra Bopardikar Cross-layer video quality manager

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6621934B1 (en) * 1996-12-17 2003-09-16 Thomson Licensing S.A. Memory efficient compression apparatus in an image processing system
US6014694A (en) * 1997-06-26 2000-01-11 Citrix Systems, Inc. System for adaptive video/audio transport over a network
US6317795B1 (en) * 1997-07-22 2001-11-13 International Business Machines Corporation Dynamic modification of multimedia content
CN1466388A (zh) * 2002-06-19 2004-01-07 华为技术有限公司 视讯图像传输的主动防错方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104813633A (zh) * 2012-11-20 2015-07-29 阿尔卡特朗讯公司 用于传输视频流的方法
CN104813633B (zh) * 2012-11-20 2018-04-10 阿尔卡特朗讯公司 用于传输视频流的方法

Also Published As

Publication number Publication date
KR20140098248A (ko) 2014-08-07
WO2008054926A1 (en) 2008-05-08
AU2007313931B2 (en) 2011-03-17
AU2007313931A1 (en) 2008-05-08
RU2497304C2 (ru) 2013-10-27
US20080115185A1 (en) 2008-05-15
EP2106662A4 (en) 2010-08-04
RU2009116472A (ru) 2010-11-10
EP2106662A1 (en) 2009-10-07
CN101529901A (zh) 2009-09-09
KR20090084826A (ko) 2009-08-05
BRPI0716147A2 (pt) 2013-09-17

Similar Documents

Publication Publication Date Title
CN101529901B (zh) 视频特性的动态修改
CN101636983B (zh) 用于减少视频传输时的分组丢失的影响的方法和系统
Khan et al. QoE prediction model and its application in video quality adaptation over UMTS networks
Bolot et al. Experience with control mechanisms for packet video in the Internet
CN102239690B (zh) 用于拥塞控制的稳定视频速率适配
US7191246B2 (en) Transmission rate selection for a network of receivers having heterogenous reception bandwidth
EP2627054B1 (en) System and method for handling the loss of critical packets in multi-hop rtp streaming
US8890930B2 (en) Multi-channel video communication system and method for processing multi-channel video communication
CN102868666B (zh) 基于用户体验交互的流媒体质量监测报告的实现方法
JP5304213B2 (ja) データ処理装置、プログラム及び方法、並びに、ネットワークシステム
CN101984661B (zh) 视频会议系统的信息传输方法及视频会议系统
US6731605B1 (en) Prioritized optimal server side bandwidth allocation in a multimedia session with push and pull sources
JP2001045098A (ja) データ通信システム、データ通信装置、データ通信方法及び記憶媒体
CN103716648A (zh) 远程教学系统的数据传输方法及远程教学系统
CN107659827A (zh) 基于内容分析的桌面视频编码控制系统
Sevetto et al. Broadcast quality video over IP
Fankhauser et al. WaveVideo–An integrated approach to adaptive wireless video
Le Léannec et al. Packet loss resilient MPEG-4 compliant video coding for the Internet
CN1996813A (zh) 用于区域/广域网络环境中连续媒体流的自适应媒体传输管理
CN115720257B (zh) 一种视频会议系统的通信安全管理方法及系统
Ma et al. Realizing MPEG4 video transmission based on mobile station over GPRS
Khalfa et al. Source Level Protection for HEVC Video Coded in Low Delay Mode for Real-Time Applications
Yin et al. An adaptive distance learning system based on media streaming
Servetto et al. Video multicast over fair queueing networks
CN114866763A (zh) 一种视频质量的评估方法、装置、终端设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150512

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150512

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110223

Termination date: 20190905

CF01 Termination of patent right due to non-payment of annual fee