CN1939030A - 发送录制的材料 - Google Patents

Abstract

本发明涉及发送录制的材料。诸如视频的录制的材料以压缩的形式发送到接收方，该接收方具有缓冲器，用于消除所接收的数据速率与后面的解码器所消耗的数据速率之间的差异。分析整个录制品以确定使得不会发生缓冲器下溢的开始播放点；仅当到达该点时，解码器才开始播放。

Description

发送录制的材料

技术领域

本发明涉及通过网络发送录制的材料(诸如要实时播放的视频、音频或其他材料)的方法和设备。

背景技术

发明内容

根据本发明的一方面，提供了一种发送录制品(recording)的方法，该方法包括以下步骤：

开始其发送；

将接收到的数据保存在接收方缓冲器中；以及

开始播放所述接收到的数据；

所述方法的特征在于以下步骤：分析整个所述录制品，确定使得不会发生缓冲器下溢(underflow)的开始播放点；以及仅当到达该点时才开始播放。

在另一方面中，本发明提供了一种发送录制品的方法，该方法包括以下步骤：

开始其发送；

将接收到的数据保存在接收方缓冲器中；以及

开始播放所述接收到的数据；

所述方法的特征在于以下步骤：

分析整个所述录制品，以识别位于其开始处的第一部分，该部分符合这样的条件，即其所覆盖的播放时间间隔大于或等于后面的任何长度的部分的定时误差的最大值，每个定时误差被定义为各个随后部分的传输时间超过其播放时间间隔的程度；以及使所述接收方仅在接收到所述第一部分之后才开始播放。

在权利要求书中阐述了本发明的其他方面。

附图说明

现在将参照附图通过示例描述本发明的一些实施例，在附图中：

图1是实现本发明的传输系统的框图；

图2是一时序图；

图3是解释图1所示的控制单元的操作的流程图；

图4是解释控制单元的操作的另选模式的流程图；以及

图5是解释又一版本的流程图；

具体实施方式

在图1中，成流器(streamer)1包含(或者可访问)其中存储有文件的存储器11，每个文件是压缩版本的视频序列，其是使用传统压缩算法(诸如在ITU标准H.261或H.263或者ISO MPEG标准之一中定义的算法)进行编码的。自然地，人们可能存储其他视频序列的类似录制品，但是这对于操作原理而言不重要。

“比特率”在这里指的是由原始编码器产生以及由最终解码器消耗的比特率；通常，该比特率与成流器实际传输的速率(将其称为传输比特率)不同。还应该注意，这些文件是以可变比特率(VBR)产生的，即，针对视频的特定帧产生的比特数取决于图像内容。因此，以上以及后面(等)提到的比特率指的是平均比特率。

该服务器具有发送器12，发送器12用来将数据经由网络2输出到终端3。该发送器是传统的，可能以众所周知的协议(诸如TCP/IP)工作。控制单元13用来以传统方式接收来自终端的要求传送特定序列的请求，并从存储器11中读取数据的分组，以在发送器12能够接收它们时将其发送到发送器12。这里假设数据是作为离散的分组被读出的，虽然不排除针对单个帧产生多于一个的分组的可能性，但是通常每个视频帧一个分组。(虽然在原理上单个分组可以包含多于一帧的数据，但是通常在实践中没什么好处)。

要注意，这些分组不必与网络2中使用的任何分组结构相关。

终端3具有接收器31、缓冲器32和解码器33。

某些网络(包括TCP/IP网络)具有这样的特性，即，可用的传输数据率根据网络的负载程度而波动。

将针对此点进行一些理论性讨论。

如图2所示，经编码的视频序列包括N个分组。每个分组具有包含时间索引t_i(i＝0...N-1)(依据实际显示时间而设置，例如其可以是视频帧号)的头部并且包含b_i位。该分析假设在可以对分组i解码之前必须完整地接收到它(即，必须首先缓冲整个分组)。

在简单的情况下，每个分组对应于一个帧，并且时间戳t_i单调地增加，即对于所有的i，t_i+1＞t_i。然而，如果一帧可以产生两个或更多个分组(每个具有相同的t_i)，那么t_i+1≥t_i。如果帧可以用完拍摄和显示序列(如在MPEG中)，那么t_i不会单调地增加。此外，在实践中，某些帧会丢失，从而将会没有针对特定值t_i的帧。

这些时间是相对的。假设接收方接收到分组0并在时刻t_ref+t₀开始对分组0解码。在“现在时刻”t_ref+t_g，接收方接收到分组t_g(并且可能还接收到更多的分组)并正开始对分组g解码。

分组g到h-1位于缓冲器中。要注意(在该简单情况下)，如果h＝g+1，那么该缓冲器仅包含分组g。在时刻t_ref+t_j，要求解码器开始对分组j解码。因此，在该时刻t_ref+t_j，解码器必须已接收到上至分组j且包括分组j的所有分组。

从现在起到t_ref+t_j的可用时间为(t_ref+t_j)-(t_ref+t_g)＝t_j-t_g    (1)

在该时刻要发送的数据是分组h到j的数据，即

$\underset{i=h}{\overset{j}{\mathrm{\Σ}}}{b}_i---\left(2\right)$

在传输率R的情况下，这些数据将需要以下传输时长

$\frac{\underset{i=h}{\overset{j}{\mathrm{\Σ}}}{b}_i}{R}---\left(3\right)$

仅当该传输时长小于或等于所述可用时间时，即，在当前可用的传输率R满足不等式

$\frac{\underset{i=h}{\overset{j}{\mathrm{\Σ}}}{b}_i}{R}\≤t_j-t_g---\left(4\right)$

时，这才是可能的。

要注意，这是对分组j进行令人满意的接收和解码的条件；而令人满意的所有剩下的序列的传输要求对于所有j＝h...N-1满足该条件。

由于将变得显而易见的原因，我们将等式(4)重写为：

$\frac{\underset{i=h}{\overset{j}{\mathrm{\Σ}}}{b}_i}{R}-(t_j-t_{h-1})\≤t_{h-1}-t_g---\left(5\right)$

要注意， $t_j-t_{h-1}=\underset{i=h}{\overset{j}{\mathrm{\Σ}}}(t_i-t_{i-1})=\underset{i=h}{\overset{j}{\mathrm{\Σ}}}\mathrm{\Δ}{t}_i,$ 其中Δt_i＝t_i-t_i-1。

此外，我们定义Δε_i＝(b_i/R)-Δt_i

要注意t_h-1-t_g是缓冲器中最近接收到的分组的时间戳与缓冲器中最早接收到的分组(即我们正开始解码的分组)的时间戳之间的差。

那么该条件为

$\underset{i=h}{\overset{j}{\mathrm{\Σ}}}\mathrm{\Δ}{\mathrm{\ϵ}}_i\≤t_{h-1}-t_g---\left(6\right)$

为了成功传输一直到最后一个分组N-1，对于任何可能的j必须满足该条件，即

${\mathrm{Max}}_{j=h}^{j=N-1}\left\{\underset{i=h}{\overset{j}{\mathrm{\Σ}}}\mathrm{\Δ}{\mathrm{\ϵ}}_i\right\}\≤t_{h-1}-t_g---\left(7\right)$

等式(7)的左侧表示从传输分组h直到该序列结束可能发生的最大定时误差，而该条件说明，在给定其当前内容的情况下，该误差必须不超过接收方缓冲器适应该误差的能力。为了方便起见，我们将等式(7)的左侧标记为T_h，即

$T_h={\mathrm{Max}}_{j=h}^{j=N-1}\left\{\underset{i=h}{\overset{j}{\mathrm{\Σ}}}\mathrm{\Δ}{\mathrm{\ϵ}}_i\right\}---\left(8\right)$

从而可将等式(7)写为

T_h≤t_h-1-t_g    (9)

考虑在时刻t_g＝t₀的情况，即，当解码器要开始对第一个分组解码时的情况。在通常情况下，在缓冲器中仅有一个分组(h＝1)时不会满足以上条件。接收方在开始解码前等待缓冲器的内容达到令人满意的水平。利用以上条件，显见的是，接收方应该至少等到缓冲器包含分组H-1，其中H是满足条件

T_h≤t_h-1-t₀    (10)

的h的最小值。

在本发明的该实施例中，控制单元13的功能之一是，每次当它向发送器12发送分组时，它评估在等式10中所体现的测试。

图3是示出了控制单元的操作的流程图。在步骤101，重置分组计数器。然后(步骤102)，从存储器11中读取第一个分组(或者在随后的循环中读取下一分组)并将其发送到发送器12。在步骤103，控制单元计算T_n的值。在此处，计数器n指向最后发送的分组，而等式(10)针对的最后发送的分组为h-1。因此，在步骤103计算的是T_n+1，在步骤104执行是否T_n+1≤t_n-T₀的测试。

如果没有通过该测试，则分组计数器在步骤106递增，并且控制返回到步骤102，在步骤102，只要发送器准备好接收分组，另一分组就被读出并发送。如果通过了测试，那么知道接收方一接收到该分组就开始解码是安全的。因此，在步骤105，控制单元向发送器发送“开始”消息，该消息要被发送到接收方。当接收方接收到该开始消息时，它开始解码。如果存在消息以与这些消息被发送的顺序不同的顺序被接收的任何可能性，那么该开始消息应该包含分组索引n，以使接收方可以在开始解码之前检查是否已实际接收到了分组n。另选地，发送器可以将T_n+1的值发送到接收方，并且接收方自己进行测试。

在发送了“开始”消息之后，分组计数器在步骤107递增，并在步骤108发送另一帧：重复这些步骤直到到达文件的末端为止，是否到达文件的末端是在步骤109识别的，并且处理在步骤110终止。

前面的描述假设控制单元在每次当其向发送器发送分组时执行该计算，这样计算强度很大。一另选例旨在较稀疏地执行计算，可能每五个分组一次，这减少了计算量，但是会导致缓冲比所需的更多的帧。

另一另选例旨在只要它能够完成计算就立刻完成计算(即，不等待下一分组)，然后将开始消息(具有开始分组号)发送到接收方。又一另选例旨在在发送任何分组之前执行计算。一旦确定了h的值，那么就按相反的顺序(分组h-1、分组h-2、…、分组0)发送分组0到h-1。在此情况下，它必须停止以发送明确的“开始”命令。支持UDP传输协议的标准接收方能够对分组重新排序，并且在开始解码前会自动等到分组0到达。事实上，保留分组0直到发送了分组1到h-1(其顺序是不重要的)之后就足够了。

然而，这排除了考虑在等待时段期间传输数据率R的变化的可能性，因此仅当不会发生这种化时才令人满意。

(通过检查等式(3))观察到，速率R的意义在于计算发送分组h到j所花费的时间。因此，由于用于发送分组0到h-1的实际速率不影响结果，所以它不重要。

另一吸引人的选项是预先执行尽可能多的计算。如果存在其中R仅可能或仅允许有一个值的系统，那么可以对每个帧预先执行在步骤103处对T_n+1的计算以及步骤104的测试，直到测试通过，并且例如通过将n的对应值记录在文件开始处的单独字段中，或者通过将特殊标志附加到帧n自身，从而将结果记录在文件中。因此，在图3中，步骤103和104将被测试“n的当前值等于存储在文件中的n的值吗？”、或者“当前帧包含开始标志吗？”所代替。另选地，可以将所述单独字段(或标志)转发到接收方，并在接收端执行该识别处理。

图4示出了应对传输数据率R变化的情况的处理的流程图。就原理而言，这涉及每个分组的T_h并将该值存储在分组的头部中。然而，在实践中，必须对序列的开始处的、人们确信在其时段内会通过测试的足够数量的帧(以每秒25帧的速度可能为250帧)计算这些T_h。不幸的是，对T_h的计算涉及R的值，而R的值在该预处理时当然是未知的。因此，我们通过针对R的可能值的选集来计算T_h，所述选集例如(如果R_A是正在讨论的文件的平均比特率)

R₁=0.5R_A

R₂＝0.7R_A

R₃＝R_A

R₄＝1.3R_A

R₅＝2R_A

因此，每个分组h具有存储在其中的这五个预先计算的T_h的值。如果需要(出于下面要讨论的目的)，还可存储出现等式(8)中的最大值的相对时间位置，即，

Δt_hmax＝t_jmax-t_h，其中，t_jmax是等式8中的j的值，针对所述j的值获得了T_h。

在此情况下，在发送了帧n之后，该流程如下继续进行：

112：询问发送器12以确定可用的传输率R；

103A：-如果R与已针对其对T_h进行了预先计算的速率之一相对应，则从存储器中读取该值；

或者-如果R不那么对应，则从存储器中读取与速率R₁...R₅中的、小于R的实际值的最高一个(R^-)相对应的T_h的值(如果需要的话还读取t_hmax)，并根据其估计T_h：

104A：应用测试T_n+1+Δ≤t_n-t₀，其中，Δ是固定的安全裕度；如前继续。

可以简单地通过利用与R^-相关联的值T_h ^-来进行对T_h的估计；这会行得通，但是因为这将过高估计T_h，所以有时会导致接收方等待比所需更长的时间。另一选项是在为R₁...R₅中的位于实际值R的两侧的两个值所存储的T_h的值之间进行线性(或其他)内插。然而，我们的优选方法是根据以下等式计算估计值：

${T_i}^{\′}=\frac{({T_i}^{-}+\mathrm{\Δ}{t^{-}}_{i\max })R^{-}}{R}-\mathrm{\Δ}{t^{-}}_{i\max }$

其中R^-是速率R₁...R₅中小于R的实际值的最高一个，T_i ^-是针对此速度预先计算的T_h，Δt_imax ^-。是从t_i起的、在其获得T_i ^-的时间(即，Δt_hmax ^-的伴随值)。如果该方法返回负值，则我们将其设置为零。

要注意，这仅仅是估计，而T_h是速率的非线性函数。但是使用该方法，T_i ^′总是比真实值高并且自动提供了安全裕度(从而可以省略上面示出的裕度Δ)。

要注意，这些等式对于以下情况有效：编码处理对一个帧产生两个或更多个分组(具有相等的t_i)的情况；以及在使用双向预测的MPEG中遇到的情况，在该情况下，帧是按照需要对它们进行解码的顺序发送的，而不是按照t_i的升序发送的。

现在我们将描述一另选实施例，在该另选实施例中将计算转换为等同的形式，然而该形式不是针对每个分组单独地进行计算，而是利用已经为前一分组进行的计算。

回忆等式(8)：

$T_h={\mathrm{Max}}_{j=h}^{j=N-1}\left\{\underset{i=h}{\overset{j}{\mathrm{\Σ}}}\mathrm{\Δ}{\mathrm{\ϵ}}_i\right\}$

可将其重写为

$T_h=\mathrm{Max}\{\underset{i=h}{\overset{h}{\mathrm{\Σ}}}\mathrm{\Δ}{\mathrm{\ϵ}}_i,{\mathrm{Max}}_{j=h+1}^{j=N-1}\{\underset{i=h}{\overset{h}{\mathrm{\Σ}}}\mathrm{\Δ}{\mathrm{\ϵ}}_i+\underset{i=h+1}{\overset{j}{\mathrm{\Σ}}}\mathrm{\Δ}{\mathrm{\ϵ}}_i\left\}\right\}$

$=\mathrm{Max}\{\mathrm{\Δ}{\mathrm{\ϵ}}_h,{\mathrm{Max}}_{j=h+1}^{j=N-1}\{\mathrm{\Δ}{\mathrm{\ϵ}}_h+\underset{i=h+1}{\overset{j}{\mathrm{\Σ}}}\mathrm{\Δ}{\mathrm{\ϵ}}_i\left\}\right\}---\left(12\right)$

$=\mathrm{\Δ}{\mathrm{\ϵ}}_h+\mathrm{Max}\{0,{\mathrm{Max}}_{j=h+1}^{j=N-1}\{\underset{i=h+1}{\overset{j}{\mathrm{\Σ}}}\mathrm{\Δ}{\mathrm{\ϵ}}_i\left\}\right\}$

$=\mathrm{\Δ}{\mathrm{\ϵ}}_h+\mathrm{Max}\{0,T_{h+1}\}---\left(13\right)$

假设T_h+1≥0，其在文件的开始处为真，则这变为

T_h＝T_h+1+Δε_h    (14)

或者一般地

T_a+1＝T_a-Δε_u

T_a+2＝T_a+1-Δε_u+1＝T_a-Δε_a-Δε_u+1

$T_{a+b}=T_u-\underset{i=a}{\overset{a+b-1}{\mathrm{\Σ}}}\mathrm{\Δ}{\mathrm{\ϵ}}_i$

如果b＝h-a，那么

$T_h=T_a-\underset{i=a}{\overset{h-1}{\mathrm{\Σ}}}\mathrm{\Δ}{\mathrm{\ϵ}}_i---\left(15\right)$

代入 $\mathrm{\Δ}{\mathrm{\ϵ}}_i=\frac{b_i}{R}-\mathrm{\Δ}{t}_i$ 以及Δt_i＝t_i-t_i-1

$T_{h=}{T}_a-\underset{i=a}{\overset{h-1}{\mathrm{\Σ}}}\frac{b_i}{R}+\underset{i=a}{\overset{h-1}{\mathrm{\Σ}}}\mathrm{\Δ}{t}_i=T_a-\underset{i=a}{\overset{h-1}{\mathrm{\Σ}}}\frac{b_i}{R}+(t_{h-1}-t_{a-1})---\left(16\right)$

如果a＝0，那么

$T_h=T_0-\underset{i=0}{\overset{h-1}{\mathrm{\Σ}}}\frac{b_i}{R}+(t_{h-1}-t_{-1})$

如果a=1，那么

$T_h=T_1-\underset{i=1}{\overset{h-1}{\mathrm{\Σ}}}\frac{b_i}{R}+(t_{h-1}-t_0)$

考虑该测试

T_h≤t_h-1-t₀

可将其写成

$T_a-\underset{i=a}{\overset{h-1}{\mathrm{\Σ}}}\frac{b_i}{R}+(t_{h-1}-t_0)\≤t_{a-1}-t_0---\left(17\right)$

如果a＝0，这变为

$T_0-\underset{i=0}{\overset{h-1}{\mathrm{\Σ}}}\frac{b_i}{R}\≤+t_{-1}-t_0---\left(18\right)$

要注意，t_-1是无意义的量(出现在不等式的两侧)，从而其可被给予任何值，将t_-1定义为与t₀相等比较方便，据此我们获得

$T_0\≤\underset{i=0}{\overset{h-1}{\mathrm{\Σ}}}\frac{b_i}{R}---\left(19\right)$

(或者，如果a=1：则 $T_1\≤\underset{i=1}{\overset{h-1}{\mathrm{\Σ}}}\frac{b_i}{R}$ )

因此，可将等式(10)的测试

T_h≤t_h-1-t₀

替代写为

$T_0\≤\underset{i=0}{\overset{h-1}{\mathrm{\Σ}}}\frac{b_i}{R}---\left(20\right)$

那么第一次测试(h＝1)为测试1：

$T_0\≤\frac{b_0}{R}?$

或者，如果我们定义 $Z_x=T_0-\frac{1}{R}\underset{i=0}{\overset{x-1}{\mathrm{\Σ}}}{b}_{i,}$ 则第一次测试为Z₁≤0？第二次测试为Z₂≤0

第x次测试为Z_x≤0

但是 $Z_{x+1}=T_0-\frac{1}{R}\underset{i=0}{\overset{x}{\mathrm{\Σ}}}{b}_i=T_0-\frac{1}{R}\underset{i=0}{\overset{x-1}{\mathrm{\Σ}}}{b}_i-\frac{b_x}{R}=Z_x-\frac{b_x}{R}$

因此，每次测试可以更新Z的前一值，如图5的流程图所示。首先，在步骤201，根据等式(8)计算T₀，然后(步骤202)将Z₀设置为与T₀相等。在步骤203，重置分组计数器。然后(在步骤204)，从存储器11中读取第一个分组(或者在随后的循环中读取下一分组)并将其发送到发送器12。在步骤205，控制单元计算Z_n+1的值，并在步骤206进行关于是否Z_n+1≤0的测试。如果通过了该测试，那么知道接收方一接收到该分组就开始解码是安全的。因此，在步骤207，控制单元向发送器发送“开始”消息，该消息要被发送到接收方。当接收方接收到该开始消息时，它开始解码。分组计数器在步骤208递增，并且控制返回到步骤204，在步骤204，发送器一准备好接收分组，就读出并发送另一分组。

可以预先进行计算T₀的步骤201并存储计算的值。当然可以将该过程按与先前所述的方式相类似的方式进行调整，以适应R的不同的值。

该处理不必从T₀开始。可以从T1开始(在该情况下第一次测试为T₁≤0？)，或者，如果有人总是选择缓冲至少两个(或更多个分组)，则他可以从T₂开始，等等。

虽然针对经编码的视频给出了所述示例，但是可将相同的方法应用于经编码的音频或者实际上要实时播放的任何其他材料。

如果希望，则在多速率系统中，可以将这些方法与在我们的国际专利申请WO04/086721中所描述的速率切换方法进行组合使用。

Claims (11)

1、一种发送录制品的方法，该方法包括以下步骤：

开始其发送；

将接收到的数据保存在接收方缓冲器中；以及

开始播放所述接收到的数据；

所述方法的特征在于以下步骤：分析整个所述录制品，确定使得不会发生缓冲器下溢的开始播放点；以及仅当到达该点时才开始播放。

2、一种发送录制品的方法，该方法包括以下步骤：

开始其发送；

将接收到的数据保存在接收方缓冲器中；以及

开始播放所述接收到的数据；

所述方法的特征在于以下步骤：

分析整个所述录制品，以识别位于其开始处的第一部分，该部分符合这样的条件，即其所覆盖的播放时间间隔大于或等于随后的任何长度的部分的定时误差的最大值，各定时误差被定义为各个随后部分的传输时间超过其播放时间间隔的程度；以及使所述接收方仅在接收到所述第一部分之后才开始播放。

3、根据权利要求2所述的方法，该方法包括：在发送了所述第一部分之后，将一指令发送到所述接收方以开始播放。

4、根据权利要求2所述的方法，该方法包括：向所述接收方发送指定所述第一部分的指令，并且其中，当所述接收方识别出所述第一部分位于所述缓冲器中时，所述接收方开始播放。

5、根据权利要求2所述的方法，其中，所述分析包括：

(a)在所述发送方，针对序列的不同部分计算所述最大定时误差值，以及

(b)在所述接收方，将所述值与缓冲器的内容进行比较，以识别所述第一部分何时位于所述缓冲器中。

6、根据权利要求2所述的方法，该方法包括保留不发送所述录制品的初始部分，直到已发送了所述第一部分的剩余部分为止；发送所述初始部分；并且其中，所述接收方仅当接收到所述初始部分时才开始播放。

7、根据权利要求2、3、4或6所述的方法，该方法包括预先进行所述分析并对录制品中所识别的部分进行标记。

8、根据权利要求2至6中任一项所述的方法，其中，所述分析包括：预先计算与多个传输数据率相对应的定时误差值并将其存储；以及随后根据所述定时误差值估计与实际传输数据率相对应的误差值。

9、根据前述权利要求中任一项所述的方法，其中，所述分析包括对为所述录制品的连续部分估计的定时误差参数进行测试，其中所述定时误差参数是首先针对所述录制品的第一部分或初期部分计算的，并且通过更新针对前一部分所获得的参数，来获得随后部分的定时误差参数。

10、根据前述权利要求中任一项所述的方法，其中，所述录制品是视频录制品。

11、根据前述权利要求中任一项所述的方法，其中，所述录制品是音频录制品。

Images