CN105359544A - 数字视频流传输中的特技播放 - Google Patents

数字视频流传输中的特技播放 Download PDF

Info

Publication number
CN105359544A
CN105359544A CN201480039412.4A CN201480039412A CN105359544A CN 105359544 A CN105359544 A CN 105359544A CN 201480039412 A CN201480039412 A CN 201480039412A CN 105359544 A CN105359544 A CN 105359544A
Authority
CN
China
Prior art keywords
frame
video
playback
fragment
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480039412.4A
Other languages
English (en)
Other versions
CN105359544B (zh
Inventor
D·L·彼德曼
周小松
D·S·普莱斯
苏野平
C·Y·昌
吴锡荣
李振蘅
J·苏
J·D·巴特森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Publication of CN105359544A publication Critical patent/CN105359544A/zh
Application granted granted Critical
Publication of CN105359544B publication Critical patent/CN105359544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Abstract

本发明呈现了一种用于视频流的改进回放的系统和方法。识别包括用于回放的若干个连续帧的视频片段。片段可在视频流中暂时均匀隔开或可适应于内容。然后，可选择片段的第一帧作为场景的第一帧或其他适当的停止点。在视频流的编码或解码期间产生的场景检测、对象检测、运动检测、视频元数据或其他信息可辅助适当的片段选择。

Description

数字视频流传输中的特技播放
背景技术
本发明的各方面总体涉及视频显示领域，并且更具体地，涉及优化最终用户设备上显示的视频内容的回放。
当在显示设备上导航音频内容和视频内容时，特定的回放模式允许用户以预先确定的速度对视频内容进行快进或回退。通过视频内容进行导航的问题中的一个问题是难以在期望的精确时刻按下播放键，使得回放将在视频流中的期望位置处恢复。此外，常规的回放模式将常常以与正常回放相同的帧速率来显示帧，在此期间，快进回放模式可能导致视频序列闪烁并且难以观看或理解。另选地，常规回放模式将常常以更慢的帧速率来显示更少的帧，以避免闪烁。然而，帧之间的更大的跳跃可能会跳过包含期望停止点的帧。
因此，在本领域中需要这些系统和方法，以在快进和回退回放模式期间以更加用户友好的方式显示视频数据。
附图说明
结合附图，通过检查本发明的以下详细描述，本发明的各个实施例的前述内容和其他方面将是显而易见的，在附图中，类似的附图标号用于指示功能上类似的元件。
图1是示出了根据本发明的实施例的示例性视频显示设备的部件的简化框图。
图2是示出了根据本发明的实施例的示例性视频通信系统的部件的简化框图。
图3是示出了根据本发明的实施例的示例性编码器的部件的简化框图。
图4(A)-(C)示出了用于视频数据帧的子集的常规回放模式。
图5(A)-(D)示出了根据本发明的实施例的具有用于回放的固定间隔的示例性回放模式。
图6(A)-(C)示出了根据本发明的实施例的示例性回放模式。
图7(A)-(B)示出了根据本发明的实施例的示例性回退回放模式。
图8示出了根据本发明的实施例的用于选择用于回放的帧的示例性方法。
具体实施方式
在所公开的实施例中，对视频帧进行子采样以用于改善回放。并非一次回放一个隔离帧，而是回放若干个连续的或紧密隔开的帧。然后可在更高帧速率下回放，而不会导致闪烁。通过这种方式，观看者将看到连续运动，这是一种更令人愉悦的体验并且使得观看者更容易识别该内容。
可通过首先识别用于显示的片段来确定视频序列的回放。片段以选择用于显示的第一帧开始，接着是从视频流选择的以回放次序排在第一所选择的帧之后的若干个帧。片段可在视频流中均匀隔开。
片段的选择也可适应于内容。然后，可选择片段的第一帧作为场景的第一帧。场景检测、对象检测和/或运动检测可辅助进行适当的片段选择。例如，给定关于与可映射到该元数据以选择适当片段的数字媒体中的标记结合的程序之间的边界的元数据，可优化回放体验以通过允许观看者选择适当停止点的方式来显示视频数据的内容。
如果内容的质量差、如果场景中的帧数低于预先确定的阈值、如果在序列中检测到的运动过高而不能形成有意义的片段等等，则在回放期间可跳过场景或视频序列。
根据实施例，可将视频片段的第一帧或视频片段的最后一帧显示稍长时间。这为用户提供了更宽的时间范围来命中播放并停在他们希望的精确点上。
图1是示出了根据本发明的实施例的示例性视频显示设备100的部件的简化框图。如图1所示，显示设备100可从信道、从本地存储装置110(作为由相机115捕获的源视频)、或从另一种视频通信方法接收视频数据，另一种视频通信方法例如是经由卫星连接或电视电缆供应商(未示出)。可根据预测编码技术或其他已知的编码方法来对编码视频数据进行编码。对于从信道接收的视频数据，显示设备100包括用于接收和存储信道数据的缓存105。
如图1所示，为了处理视频数据，显示设备100进一步包括：解码引擎125，该解码引擎用于接收编码视频数据并通过反转视频数据编码期间执行的编码过程来对编码视频数据进行解码；控制器130，该控制器用于识别编码视频数据的特性、为编码视频数据选择解码模式、并管理视频的显示；以及后期处理器135，该后续处理器拥有进一步处理视频以准备显示。后期处理操作可包括滤波、解交织、缩放或对视频数据进行的可提高所显示的视频的质量的其他处理操作。然后在屏幕或其他显示器上显示视频数据。
此外，在快进、回退或其他技巧回放模式期间，控制器130和/或后期处理器135可准备和管理视频数据的回放。此类准备可包括生成具有所选择的或经更改的帧的交替流，将在交替回放模式期间显示该交替流。显示设备100可包含用于存储经更改的视频数据的序列的缓存140，以根据本文所述的回放模式来显示视频。因此，可在本地存储器110中与视频数据一起存储先前生成的本文所述的交替，或者通过信道或其他通信流来与视频数据一起接收该交替。
图2是示出了根据本发明的实施例的示例性视频通信系统200的部件的简化框图。如图2所示，示例性视频编码系统可包括在经由信道230的通信中提供的编码器系统210和解码器系统220。编码器系统210可接受源视频201并可将源视频201编码成编码视频。编码器系统210可向信道230输出编码视频数据，该信道可以是存储设备诸如光学存储设备、磁存储设备或电存储设备，或由计算机网络或通信网络形成的通信信道。
解码器系统220可从信道230检索编码视频数据，反转由编码器系统210执行的编码操作，并向相关联的显示设备输出解码视频数据。视频显示设备可包括电视机、个人计算机(台式计算机和膝上计算机两者)、平板计算机、手持式计算设备、媒体播放器、专用视频会议设备等。如图所示，系统200仅在一个方向上支持视频编码和解码。然而，根据实施例，可在每个终端处捕获视频，并且可与在每个终端处实施的编码器和解码器实现双向通信。
图3是示出了根据本发明的实施例的示例性编码器300的部件的简化框图。如图3所示，编码器300可包括预处理器305、编码引擎310、解码引擎315、复用器320和控制器325。编码器300可从视频源诸如相机或视频存储器接收输入源视频序列301。预处理器305可将输入源视频序列301处理为一系列帧，并调节源视频以用于更有效的压缩。例如，可评估输入源视频序列的图像内容以为每个帧确定适当的编码模式。预处理器305可另外对帧执行视频处理操作，该视频处理操作包括滤波操作诸如降噪滤波、双侧滤波或改善由编码器300执行的编码操作的效率的其他种类处理操作。
常规编码器可将源视频序列301编码成解码表达，该解码表达的比特率比源视频的比特率小，由此实现数据压缩。编码引擎310可以从预处理器305接收处理过的视频数据并产生压缩视频。用于数据压缩的一种常见技术使用预测编码技术(例如，时间/运动预测编码)。例如，可独立地对视频流中的一些帧(I帧)进行编码，并且可使用其他帧作为参考帧来对一些其他帧(例如，P帧或B帧)进行编码。可参考单个先前编码帧(P帧)来对P帧进行编码，并且可参考一对先前编码帧来对B帧进行编码，该一对先前编码帧通常是按显示次序出现在B帧之前的一个帧，以及按显示次序出现于在B帧之后的另一个帧。
编码引擎310可根据预先确定的多级协议诸如H.263、H.264或MPEG-2进行操作。因此，编码视频数据可符合由所使用的协议指定的语法。编码引擎可另外从多种编码模式中选择或被分配一种编码模式，以对视频数据进行编码，其中取决于源视频的内容，每种不同的编码模式产生不同水平的压缩。例如，编码引擎310可根据像素数据的规则阵列(例如，8×8块或16×16块)(这里称为“像素块”)来对源视频帧进行语法分析，并可根据块预测和预测残余的计算、量化和熵编码来对像素块进行编码。
编码器300还可包括解码引擎315，通过反转在编码引擎310中执行的编码操作来对从该编码引擎输出的编码像素块进行解码。解码引擎315可产生解码器系统将要产生的源视频数据的相同解码副本，可将其用作由编码引擎310执行的预测编码技术的依据。解码引擎315可访问参考帧高速缓存，以检索用于解码的参考数据，并存储可代表针对输入到视频编码系统中的稍晚接收的帧的预测源的解码帧数据。
然后可从编码引擎310输出编码帧或像素块并由MUX320存储，其中可将它们组合成待由传输信道递送到解码器、终端或数据存储器的普通比特流。为了恢复视频数据，可在解码器处通过反转由编码器执行的编码过程来对比特流进行解压，从而产生所接收的解码视频序列。
根据该实施例的一个方面，在解码过程期间，编码器300可识别场景变化或与本文所述的调节视频数据的回放相关的其他信息。例如，预处理器305或控制器325可在上文所述的编码过程期间捕获这种信息。然后可与编码视频一起存储由编码器捕获或生成的此类信息和/或将其传输到解码器以用于解码和处理。在实施例中，编码器300可在由用于带外数据的支配协议所建立的逻辑信道中与用于视频数据序列的编码帧一起来传输回放信息。作为由H.264协议使用的一个实例，编码器300可在H.264指定的补充增强信息(SEI)信道中传输回放信息。在此类实施例中，MUX320代表在与SEI信道对应的逻辑信道中引入回放信息的过程。在待将本发明用于不指定此类带外信道的协议时，MUX320可在输出信道内针对回放信息建立独立逻辑信道。
根据该实施例的一个方面，编码器300可另外生成包含视频数据的片段的交替流，将在各种回放模式期间显示该交替流。这种交替流可被独立编码并与源视频数据的编码流一起被传输或存储，并在技巧播放期间被访问。
图4(A)-(C)示出了用于视频数据帧的子集的常规回放模式。在图4(A)中，包括帧1-30的帧序列400可代表场景、帧序列、一组图片或视频数据流的其他子集。然后，如图4(A)所示，在正常回放期间，可以回放速率按次序来播放帧1-30，该回放速率例如是每秒30帧(fps)。
常规上，各种快进或回退回放速率将以相同回放速率(图4(B))或以不同回放速率例如10fps(图4(C))来对视频数据帧进行采样。如图4(B)所示，30fps下的4×快进回放模式可能得到有闪烁且难以观看或理解的视频序列410。如图4(C)所示，常规4×快进回放模式可将帧速率降低到10fps，对于显示的帧获得了可视性改进的视频序列420，但所显示的帧更少，由此可能跳过适当的停止点。
根据实施例，快进回放模式将在向前跳到另一帧之前显示多个连续帧。图5(A)-(B)示出了根据本发明的实施例的示例性回放模式。如图5(A)所示，以4×回放速度显示的视频序列500将在每次跳跃时按回放次序来显示预先确定数量的连续帧。例如，如图5(A)所示，初始显示包含帧0-2的片段，然后显示包含帧12-14的片段，然后显示帧24-26，等等。通过这种方式，回放模式将维持4×回放速度(以30fps进行显示)。在每次跳跃时显示连续运动允许观看者获得对内容的理解，同时避免闪烁，在以更高的回放速率进行的常规回放中这是一个问题。
根据实施例的一个方面，可将片段的初始帧显示更长时间，由此确保观看者有时间看到正在显示的新片段并识别片段的内容。
在用户利用例如遥控器或其他输入设备指示应当停止快进回放时，显示设备可能在所指示的停止点之前显示预先确定数量的帧，这些帧代表来自用户停止的场景的起点或来自用户指出应当停止快进回放的点的所指定的停止点之前的视频序列的预先确定的时间量。
应当理解，可变更预先确定数量的帧，例如以用于显示每个片段中的5个或6个连续帧或可变更每次跳跃之间的固定间隔。然后为了维持回放速度(例如，4×)，可根据需要来变更帧或片段之间的距离或片段中的帧数。
类似地，可变更视频片段的回放帧速率，例如可基于视频数据的内容来自适应地变更回放帧速率。如图5(B)所示，以20FPS速率利用4×回放速度来显示视频序列510。另选地，可以标准回放速率(即，30fps)来显示连续帧，其与待显示的下一组帧具有更长的过渡。如图5(C)中所示，在视频序列520中例示了这种替代回放模式。
根据实施例的一个方面，先前识别的帧的时间间隔可适应于内容。图5(D)示出了将以内容适应性帧定时显示的视频序列530。在图5(D)中，对于呈现低运动量的帧序列，子采样序列将包括紧密隔开但连续的帧，用于显示。在图5(D)中示出了示例性序列。可通过任何常规运动分析方法例如参考本地和/或全局运动线索来检测低运动序列。例如，基于所存储的参考帧具有最佳预测的帧可能几乎没有运动，高运动帧可能几乎不与所存储的参考帧相关。
根据实施例的一个方面，回放期间的片段之间的跳跃可不以固定间隔发生。例如，可基于其内容来选择回放期间所显示的帧。如图6(A)所示，在视频序列600的回放期间，每个片段开始于场景的起点。在序列600中，场景开始于阴影帧中的每个阴影帧(即，在帧0和84处)。然后可在跳到下一场景之前，在每个场景的起点处显示连续运动。
可通过常规场景检测方法来检测场景的变化。例如，在编码期间，编码器可输入所检测的场景的标记或其他指示符。另选地，可在检测到内编码(I帧)时在编码器处或利用另一种已知检测方法来检测场景变化。
可识别所检测到的场景和其他片段起始帧，并组织成分级结构，以辅助生成各种速度的回放流。例如，可识别主要的场景变化。主要的场景变化可包括在商业节目和主要节目之间的过渡，或视频内容中的其他可识别的变化。然后，可识别较不显著或较小的场景变化。例如，扬声器之间或视频内容中的位置之间的变化。一旦识别出场景的分级结构，例如可与视频数据一起存储此类分级结构并在要求显示设备在替代回放模式中显示视频内容时进行访问。然后，对于更低速的回放，可将主要场景变化和次要场景变化两者识别为片段起始点。然而，在高速回放中，仅显示与主要场景对应的片段。
基于视频的内容类型可考虑其他选择片段的方法。例如，对于电影或电视播放，帧间隔选择可基于如上所述的常规场景检测。然而，对于体育节目，可基于拿球方变化、分数变化、每次打比赛等来选择间隔。可利用对视频图像内容的分析来检测此类内容。例如，可通过识别代表记分牌的帧的部分中的变化或通过检测可代表拿球权变化的运动方向的变化来检测分数变化。类似地，对于新闻节目，可设置片段以在每个新闻区段之间的过渡处开始。
音频提示可另外辅助识别片段起始点。例如，代表观众欢呼的声音的增大可表示分数的变化。
可利用常规上可用于为显示作准备或在编码或解码期间生成的视频数据的其他信息来识别片段。例如，隐蔽字幕信息可表示会话何时开始或结束，新人物何时讲话等。此外，对象检测和相关的信息可提供关于场景中的内容和/或变化的线索。如果片段整体相对于视频或音频内容，则也可优选片段并相应地进行选择。与视频数据相关联的其他元数据还可提供与识别片段应在哪里开始相关的信息。例如，用于视频的创建时间或其他时间戳信息可表示视频数据序列是独立于相邻序列而创建的。此类特征可能对于识别电影或电视节目视频流内的广告尤其有用。
根据实施例的一个方面，在显示设备处接收的视频可包括代表视频流的时间线的播放列表或清单。例如，清单可识别视频数据的完整区段。视频流的提供者可能已编写了清单以识别区段。此类清单对于有线电视而言是常见的，可允许有效地变更视频流而不会影响主要内容。例如，该清单允许本地电视台向视频流中插入本地商业广告。然后，可选择片段以与清单中识别的区段重合。
另选地，可设置片段以跳过视频中的较不重要的序列。例如，在快进回放期间，可跳过拍摄不良，光照不佳捕获或其他原因而具有有限重要内容的视频序列，而不显示来自该序列的任何帧。对于用户创建的移动视频或其他用户捕获的图像，此类特征可能尤其有用。另选地，可通过序列的大小来识别较不重要的序列。例如，如果检测到具有有限数量(例如低于预先确定的阈值)帧的场景，则可在回放期间跳过该序列。
根据实施例的一个方面，由用户捕获的视频数据可包括预设片段。在视频创建或编辑期间，用户可将帧标记为片段起始点。然后，在快进回放期间，片段可在每个标记的帧处开始。
根据实施例的一个方面，可混合片段过渡处的帧以产生淡出效果。如图6(B)所示，在视频序列610的回放期间，可组合片段开始之前和之后的多个帧以产生淡出效果。在片段之间可类似地实现其他效果。例如，在图像处理期间，可对片段之间的过渡或所检测到的场景进行平滑化，使得过渡更加清晰。此外，可在片段之间的过渡处实现翻页或其他视觉效果，以使过渡对于观看者而言更加可见。此类效果将使用户清楚他们处于快进模式中，并将使场景过渡更明显。
根据实施例的一个方面，可将片段过渡处的帧显示更长时间。如图6(C)所示，在视频序列620的回放期间，显示将在所显示序列的最后一帧上暂停预先确定的时间段。为了实现这个效果，如图6(C)所示，可将该间隔的最后一帧(即，帧10)显示延长的时间。另选地，可反复显示最后一帧，直到显示下一片段的场景。
根据实施例的一个方面，用于快进回放的选项可包括直接跳到视频流中的最后一项或最后片段。最后一项可适应于内容，使得最后一项可以是电影中的最后的场景变、球赛中的最后拿球权、喜剧演出中的最后一次笑话等。
根据实施例的一个方面，可在编码期间生成具有代表本文所述的快进回放流的变更帧序列的视频数据流，并在视频显示设备处与视频数据一起进行传输和/或存储。然后，显示设备可仅访问用于显示针对所选择的回放模式如本文所述的适当片段所需的那些回放流，而不是整个视频流。另选地，可在解码、后期处理期间或回放期间在显示设备处生成变更序列。
尽管主要参考快进功能进行描述，但在回退期间也适用于本文所述的回放模式。在回退期间，可按照图7(A)的序列700中所示的快进次序或按照图7(B)的序列710中所示的反向回放次序来显示回放期间显示的片段的帧。
图8示出了根据本发明的实施例用于选择回放帧的示例性方法800。如图8所示，为了在快进或回退模式中显示视频流，控制器可首先选择将开始新片段的一个或多个帧(框810)。可选择帧以如上所述形成片段。图8中示出了用于选择帧的示例性选项。例如，可以选择每第N个帧(框811)。或者，如果呈现了与视频流相关联的清单(框812)，则可选择清单中识别的每隔区段的起点处的帧(框813)。或者，如果存在用于场景检测的方法(框814)，则可选择每个所检测到的场景起点处的帧(框815)。可实施与本文所述实施例相容的用于选择帧以发起片段的其他选项。
然后，控制器可在每个先前选择的起始帧之后选择待显示的帧(框820)。可选择帧以如上所述形成片段。图8中示出了用于从片段选择帧的示例性选项。例如，可选择每个起始帧之后的M个连续帧(框821)。应当理解，为了实现快进显示，M<N，其中N是两个连续片段的起点处的帧之间的距离。或者，如果存在视频序列中的帧的运动信息，则对于低运动帧(框822)，可选择该间隔中的预先确定数量的不连续帧，例如，每X个帧进行一次选择(框823)。可基于内容特性例如当检测到低运动场景时，自适应地调节间隔X。可实施与本文所述的实施例相容的用于选择帧以形成片段的其他选项。
根据实施例，可混合处于所选片段末尾处的帧以及处于下一片段起点处的帧以生成如上所述的消隐效果(框830)。然后，一旦选择了用于片段的帧，便可显示该片段(框840)。
如上所述，图1-图3示出了根据本发明的实施例的示例性系统的功能框图。在实施方式中，可将该系统实现为硬件，在这种情况下，图示的框可对应于系统内的电路子系统。另选地，可将系统的部件实现为软件，在这种情况下，图示的框可对应于软件程序内的程序模块。在又一个实施例中，系统可是涉及硬件电路系统和软件程序两者的混合系统。
此外，并非需要提供本文所述的所有功能块或需要将它们提供为独立单元。例如，尽管图1将示例性系统的部件诸如例如控制器、解码引擎和后期处理器例示为独立单元，但在一个或多个实施例中，可将它们中的一些或全部进行集成。此类具体实施对于本发明的操作而言并不重要，除非上文另有说明。此外，尽管图8示出了示例性方法，但可变更操作的次序，或者完全跳过一些操作。
可使用非暂态计算机可读存储介质或可存储指令或指令集的制品来实现一些实施例，如果由处理器执行，则指令或指令集可使得处理器根据所公开的实施例来执行方法。可在非暂态机器可读存储介质上实现示例性方法和计算机程序指令。此外，服务器或数据库服务器可包括被配置为存储可执行程序指令的机器可读介质。可在硬件、软件、固件或其组合中实现本发明的实施例的特征，并用于系统、子系统、部件或其子部件中。机器可读存储介质可包括可存储信息的任何介质。机器可读存储介质的实例包括电子电路、半导体存储器设备、ROM、闪存存储器、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质或任何电磁存储器设备或光学存储器设备。
尽管上文已参考一些实施例详细描述了本发明，但本发明的范围和实质内的变化对于本领域的普通技术人员而言将是显而易见的。因此，应将本发明视为仅受所附权利要求的范围的限制。

Claims (25)

1.一种用于显示视频数据流的方法，包括：
在快进播放期间识别要显示的所述视频数据流中的第一多个帧；
针对所述第一多个帧中的每个相应帧，识别所述第一多个帧中的所述相应帧和连续帧之间的间隔中的第二多个帧，其中所述第二多个帧包括比所述间隔中的帧的数量少的帧，并且所述第二多个帧按回放次序紧密隔开；以及
显示所述第一多个帧和所述第二多个帧。
2.根据权利要求1所述的方法，其中所述第二多个帧中的所述帧是连续的。
3.根据权利要求1所述的方法，其中识别所述第一多个帧包括选择在所述视频流中相距恒定距离的帧。
4.根据权利要求1所述的方法，其中识别所述第二多个帧包括选择在所述第一多个帧中的每个帧之后的预先确定数量的帧。
5.根据权利要求1所述的方法，其中所述第一多个帧中的每个帧开始新场景。
6.根据权利要求5所述的方法，还包括在所述视频流中检测新场景。
7.根据权利要求6所述的方法，其中识别所述第一多个帧包括跳过检测到的场景。
8.根据权利要求7所述的方法，其中当所述场景中的帧的数量低于预先确定的阈值时，跳过检测到的场景。
9.根据权利要求1所述的方法，其中识别所述第一多个帧包括选择与所述视频流相关联的清单中识别的每个区段中的第一帧。
10.根据权利要求1所述的方法，还包括将来自为形成第一片段而选择的多个帧的帧与为形成第二片段而选择的多个帧混合，其中每个片段由来自所述第一多个帧的帧和来自在所述第一多个帧中的所述帧之后选择的所述第二多个帧的帧形成，并且所述第一片段和所述第二片段按回放次序是连续的。
11.根据权利要求1所述的方法，其中识别所述第二多个帧包括为所述第二多个帧选择附加帧以及在确定所述帧具有低运动时丢弃来自所述第二多个帧的帧。
12.根据权利要求1所述的方法，其中识别所述第一多个帧包括根据在对所述视频数据流进行编码期间捕获的回放信息来选择每个区段中的第一帧。
13.根据权利要求1所述的方法，其中识别所述第一多个帧包括根据在对所述视频数据流进行解码期间捕获的回放信息来选择每个区段中的第一帧。
14.一种视频显示设备，包括：
存储器，所述存储器用于存储视频数据；
控制器，所述控制器被配置为接收以快速回放速率来显示所述视频数据的请求，并被配置为通过以下操作来选择所述视频数据的片段：
识别要显示的所述视频数据中的第一多个帧；
针对所述第一多个帧中的每个相应帧，识别所述第一多个帧中的所述相应帧和连续帧之间的间隔中的第二多个帧，其中所述第二多个帧包括比所述间隔中的帧的数量少的帧，并且所述第二多个帧按回放次序是连续的；和
显示器，所述显示器用于显示所述视频数据的所选择的片段。
15.根据权利要求14所述的显示设备，其中所述第二多个帧中的所述帧是连续的。
16.根据权利要求14所述的显示设备，其中识别所述第一多个帧包括选择在所述视频流中相距恒定距离的帧。
17.根据权利要求14所述的显示设备，其中识别所述第二多个帧包括选择在所述第一多个帧中的每个帧之后的预先确定数量的帧。
18.根据权利要求14所述的显示设备，其中所述第一多个帧中的每个帧开始新场景。
19.根据权利要求14所述的显示设备，其中识别所述第一多个帧包括选择与所述视频流相关联的清单中识别的每个区段中的第一帧。
20.一种存储程序指令的非暂态计算机可读介质，所述程序指令当由处理设备执行时使得所述设备：
在快进播放期间识别要显示的视频数据流中的第一多个帧；
针对所述第一多个帧中的每个相应帧，识别所述第一多个帧中的所述相应帧和连续帧之间的间隔中的第二多个帧，其中所述第二多个帧包括比所述间隔中的帧的数量少的帧，并且所述第二多个帧按回放次序紧密隔开；以及
显示所述第一多个帧和所述第二多个帧。
21.根据权利要求20所述的非暂态计算机可读介质，其中所述第二多个帧中的所述帧是连续的。
22.根据权利要求20所述的非暂态计算机可读介质，其中识别所述第一多个帧包括选择在所述视频流中相距恒定距离的帧。
23.根据权利要求20所述的非暂态计算机可读介质，其中识别所述第二多个帧包括选择在所述第一多个帧中的每个帧之后的预先确定数量的帧。
24.根据权利要求20所述的非暂态计算机可读介质，其中所述第一多个帧中的每个帧开始新场景。
25.根据权利要求20所述的非暂态计算机可读介质，其中识别所述第一多个帧包括选择与所述视频流相关联的清单中识别的每个区段中的第一帧。
CN201480039412.4A 2013-07-12 2014-07-03 数字视频流传输中的特技播放 Active CN105359544B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/941,174 2013-07-12
US13/941,174 US9508390B2 (en) 2013-07-12 2013-07-12 Trick play in digital video streaming
PCT/US2014/045450 WO2015006167A1 (en) 2013-07-12 2014-07-03 Trick play in digital video streaming

Publications (2)

Publication Number Publication Date
CN105359544A true CN105359544A (zh) 2016-02-24
CN105359544B CN105359544B (zh) 2019-01-11

Family

ID=51225902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480039412.4A Active CN105359544B (zh) 2013-07-12 2014-07-03 数字视频流传输中的特技播放

Country Status (7)

Country Link
US (2) US9508390B2 (zh)
EP (1) EP3008911B1 (zh)
JP (2) JP6255095B2 (zh)
KR (2) KR102232120B1 (zh)
CN (1) CN105359544B (zh)
TW (1) TWI571116B (zh)
WO (1) WO2015006167A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375875A (zh) * 2016-09-29 2017-02-01 乐视控股（北京）有限公司 视频流的播放方法及装置
CN110121098A (zh) * 2018-02-05 2019-08-13 腾讯科技（深圳）有限公司 视频播放方法、装置、存储介质和电子装置
CN114946192A (zh) * 2020-01-15 2022-08-26 杜比国际公司 利用比特率切换自适应流式传输媒体内容

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6217462B2 (ja) * 2014-03-05 2017-10-25 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像処理システム
KR102476207B1 (ko) 2015-11-12 2022-12-08 삼성전자주식회사 반도체 장치의 동작 방법 및 반도체 시스템
US10182114B2 (en) 2016-07-04 2019-01-15 Novatek Microelectronics Corp. Media content sharing method and server
EP3337174B1 (en) * 2016-12-14 2021-04-07 Alcatel-Lucent España Method and device for transmission of content
TWI657697B (zh) 2017-12-08 2019-04-21 財團法人工業技術研究院 搜尋視訊事件之方法、裝置、及電腦可讀取記錄媒體
US11036996B2 (en) * 2019-07-02 2021-06-15 Baidu Usa Llc Method and apparatus for determining (raw) video materials for news
US11323730B2 (en) 2019-09-05 2022-05-03 Apple Inc. Temporally-overlapped video encoding, video decoding and video rendering techniques therefor
US10923158B1 (en) * 2019-11-25 2021-02-16 International Business Machines Corporation Dynamic sequential image processing
CN111683272A (zh) * 2020-05-22 2020-09-18 海信视像科技股份有限公司 一种流媒体播放方法及显示设备
CN112559800B (zh) * 2020-12-17 2023-11-14 北京百度网讯科技有限公司 用于处理视频的方法、装置、电子设备、介质和产品
US11785314B2 (en) * 2021-11-04 2023-10-10 Rovi Guides, Inc. Systems and methods to enhance segment during trick play

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794798A (zh) * 2004-12-24 2006-06-28 株式会社日立制作所 视频重放装备
CN101193298A (zh) * 2006-11-27 2008-06-04 三星电子株式会社 播放运动图像的系统、方法和介质
JP2008193285A (ja) * 2007-02-02 2008-08-21 Mitsubishi Electric Corp 映像表示装置
CN102124727A (zh) * 2008-03-20 2011-07-13 无线电技术研究学院有限公司 将视频图像适配到小屏幕尺寸的方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3250467B2 (ja) * 1996-10-04 2002-01-28 松下電器産業株式会社 映像要約方法および映像表示方法
WO1999003273A1 (fr) * 1997-07-11 1999-01-21 Mitsubishi Denki Kabushiki Kaisha Appareil de lecture de films et appareil permettant de constituer un recueil de films
US6327418B1 (en) 1997-10-10 2001-12-04 Tivo Inc. Method and apparatus implementing random access and time-based functions on a continuous stream of formatted digital data
CN1265386C (zh) 1999-03-30 2006-07-19 提维股份有限公司 在快进或快倒后的自动修正播放位置的系统
JP2002010259A (ja) 2000-06-21 2002-01-11 Mitsubishi Electric Corp 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体
EP1182584A3 (en) * 2000-08-19 2005-12-28 Lg Electronics Inc. Method and apparatus for video skimming
KR100403238B1 (ko) * 2000-09-30 2003-10-30 엘지전자 주식회사 비디오의 지능형 빨리 보기 시스템
JP4099973B2 (ja) 2001-10-30 2008-06-11 松下電器産業株式会社 映像データ送信方法及び映像データ受信方法、並びに映像監視システム
US20030156824A1 (en) * 2002-02-21 2003-08-21 Koninklijke Philips Electronics N.V. Simultaneous viewing of time divided segments of a tv program
US8155498B2 (en) * 2002-04-26 2012-04-10 The Directv Group, Inc. System and method for indexing commercials in a video presentation
US7106798B1 (en) * 2002-05-23 2006-09-12 Microsoft Corporation Smooth scanning presenter
US20040004599A1 (en) 2002-07-03 2004-01-08 Scott Shepard Systems and methods for facilitating playback of media
KR100555427B1 (ko) * 2002-12-24 2006-02-24 엘지전자 주식회사 비디오 재생 장치 및 지능형 스킵 방법
JP4208634B2 (ja) * 2003-04-23 2009-01-14 キヤノン株式会社 再生装置
KR100991619B1 (ko) 2003-09-17 2010-11-04 엘지전자 주식회사 내용 기반 트릭 플레이를 위한 방송 서비스 방법 및 시스템
JP3867695B2 (ja) 2003-09-30 2007-01-10 ヤマハ株式会社 画像再生装置
JP2005286881A (ja) * 2004-03-30 2005-10-13 Nec Corp 映像コンテンツ再生装置および方法
US8018995B2 (en) * 2005-03-09 2011-09-13 Vudu, Inc. System and method for trick play of highly compressed video data
KR100716291B1 (ko) 2005-07-27 2007-05-09 삼성전자주식회사 영상재생장치와 그 제어방법 및 ｐｖｒ
EP1806919A1 (en) 2006-01-05 2007-07-11 Alcatel Lucent Media delivery system with content-based trick play mode
US7881582B2 (en) 2006-06-12 2011-02-01 International Business Machines Corporation Slowing display of digital video
JP4763589B2 (ja) 2006-12-18 2011-08-31 株式会社日立製作所 再生装置、および、その再生方法
AU2007345938B2 (en) * 2007-02-01 2011-11-10 Briefcam, Ltd. Method and system for video indexing and video synopsis
US8136140B2 (en) 2007-11-20 2012-03-13 Dish Network L.L.C. Methods and apparatus for generating metadata utilized to filter content from a video stream using text data
US20100077435A1 (en) 2008-09-24 2010-03-25 Concert Technology System and method for smart trick mode display
JP5213630B2 (ja) * 2008-10-09 2013-06-19 三菱電機株式会社 映像信号再生装置
US8781305B2 (en) * 2008-12-02 2014-07-15 Microsoft Corporation Media streaming with smooth fast-forward and rewind
US9087508B1 (en) * 2012-10-18 2015-07-21 Audible, Inc. Presenting representative content portions during content navigation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794798A (zh) * 2004-12-24 2006-06-28 株式会社日立制作所 视频重放装备
CN101193298A (zh) * 2006-11-27 2008-06-04 三星电子株式会社 播放运动图像的系统、方法和介质
JP2008193285A (ja) * 2007-02-02 2008-08-21 Mitsubishi Electric Corp 映像表示装置
CN102124727A (zh) * 2008-03-20 2011-07-13 无线电技术研究学院有限公司 将视频图像适配到小屏幕尺寸的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375875A (zh) * 2016-09-29 2017-02-01 乐视控股（北京）有限公司 视频流的播放方法及装置
CN110121098A (zh) * 2018-02-05 2019-08-13 腾讯科技（深圳）有限公司 视频播放方法、装置、存储介质和电子装置
CN110121098B (zh) * 2018-02-05 2021-08-17 腾讯科技（深圳）有限公司 视频播放方法、装置、存储介质和电子装置
CN114946192A (zh) * 2020-01-15 2022-08-26 杜比国际公司 利用比特率切换自适应流式传输媒体内容

Also Published As

Publication number Publication date
JP6255095B2 (ja) 2017-12-27
US10382830B2 (en) 2019-08-13
KR20160019106A (ko) 2016-02-18
EP3008911A1 (en) 2016-04-20
US20150016804A1 (en) 2015-01-15
JP2016531471A (ja) 2016-10-06
KR101819618B1 (ko) 2018-01-17
US20170041681A1 (en) 2017-02-09
CN105359544B (zh) 2019-01-11
JP6562992B2 (ja) 2019-08-21
TWI571116B (zh) 2017-02-11
KR102232120B1 (ko) 2021-03-25
TW201515453A (zh) 2015-04-16
JP2018078583A (ja) 2018-05-17
WO2015006167A1 (en) 2015-01-15
US9508390B2 (en) 2016-11-29
WO2015006167A8 (en) 2015-09-24
KR20180008891A (ko) 2018-01-24
EP3008911B1 (en) 2020-11-04

Similar Documents

Publication Publication Date Title
CN105359544B (zh) 数字视频流传输中的特技播放
CN106060578B (zh) 生成视频数据的方法和系统
KR101248371B1 (ko) 비디오 프로세싱에서의 전력 및 연산 부하 관리 기술
US20070103558A1 (en) Multi-view video delivery
WO2021147448A1 (zh) 一种视频数据处理方法、装置及存储介质
EP1871098A2 (en) Processing of removable media that stores full frame video &amp; sub-frame metadata
EP1871100A2 (en) Adaptive video processing using sub-frame metadata
CN107634930B (zh) 一种媒体数据的获取方法和装置
CN103039087A (zh) 发信号通知用于串流视频数据的随机存取点
CN101536515A (zh) 通过资源的有效利用在数字视频录像机中执行特技播放功能
CN111277826B (zh) 一种视频数据处理方法、装置及存储介质
US20110135286A1 (en) Apparatus and method for extracting key frames and apparatus and method for recording broadcast signals using the same
CN103081488A (zh) 发信号通知用于特技模式视频表示的视频样本
CN104270672A (zh) 一种视频处理方法及装置
CN109963176B (zh) 视频码流处理方法、装置、网络设备和可读存储介质
CN113225585A (zh) 一种视频清晰度的切换方法、装置、电子设备以及存储介质
US10997426B1 (en) Optimal fragmentation of video based on shot analysis
KR101843017B1 (ko) 임의편집 압축 동영상 컨텐츠 제공 시스템 및 제공방법
CN115278307A (zh) 一种视频播放方法、装置、设备和介质
TWI735297B (zh) 具有初始化片段之視訊及音訊之寫碼
KR102049119B1 (ko) 클라우드 환경에서 녹화 서비스 제공 방법 및 장치
US20230071585A1 (en) Video compression and streaming
CN115695918A (zh) 多摄像头导播控制方法、装置、可读存储介质及终端设备
CA3210941A1 (en) Playback of media content during dual mode trick play operations
CN115052191A (zh) 码流切换处理方法、装置、存储介质与电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant