CN1754194A - 用于对数字视频内容进行基于交互式映像的分析的方法及装置 - Google Patents

用于对数字视频内容进行基于交互式映像的分析的方法及装置 Download PDF

Info

Publication number
CN1754194A
CN1754194A CNA2003801098789A CN200380109878A CN1754194A CN 1754194 A CN1754194 A CN 1754194A CN A2003801098789 A CNA2003801098789 A CN A2003801098789A CN 200380109878 A CN200380109878 A CN 200380109878A CN 1754194 A CN1754194 A CN 1754194A
Authority
CN
China
Prior art keywords
traversal
mark
video
record
viewdata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2003801098789A
Other languages
English (en)
Inventor
罗伊·佩亚
迈克尔·米尔斯
埃里克·霍费尔特
约瑟夫·罗森
肯尼斯·道贝尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leland Stanford Junior University
Original Assignee
Leland Stanford Junior University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leland Stanford Junior University filed Critical Leland Stanford Junior University
Publication of CN1754194A publication Critical patent/CN1754194A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09C—CIPHERING OR DECIPHERING APPARATUS FOR CRYPTOGRAPHIC OR OTHER PURPOSES INVOLVING THE NEED FOR SECRECY
    • G09C5/00—Ciphering apparatus or methods not provided for in the preceding groups, e.g. involving the concealment or deformation of graphic data such as designs, written or printed messages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Abstract

本发明提供用于以交互方式创作、共享和分析数字视频内容的电子方法和装置。创作方法包括：显示可视数据，将每一遍历界定为一基于时间的帧序列，并注解和存储所述遍历的记录及其相关联的音频记录。界定所述遍历包括：通过相对于所述可视数据定位一覆盖窗口来以交互方式扫视所述可视数据，并通过调整所述覆盖窗口的大小来进行放大或缩小。在替代实施例中，可以一矩形布局或一圆柱形布局来显示所述可视数据。使用一集成图形界面来实施所述方法，所述集成图形界面包括一显示所述可视数据的概览区、一在所述覆盖窗口内显示当前数据的细节区、及一显示先前所存储的带注解的遍历记录的列表的工作表区。在另一方面中，所述带注解的遍历记录的工作表区列表是在一可使用一标准HTML浏览器通过网络访问的网络文档中公布，并且可由一网络用户社区添加更多的注解。本发明还提供分析方法，其中相对于交互式抽象映像绘制对应于遍历记录的数据标记，可使使用户在探测所述视频记录时在各抽象层次之间移换。

Description

用于对数字视频内容进行基于交互式映像的分析的方法及装置
技术领域
本发明涉及用于数字视频内容的交互式创作、共享和分析的电子方法和系统。
背景技术
目前已经提出并设计了用于捕捉全景数字影像并对全景数字影像进行交互式导航的各种系统。举例而言，参见：“FlyCam：实用全景视频(Flycam：PracticalPanoramic Video)”,IEEE International Conference on Multimedia and Expo会刊第III卷第1419-1422页(2000年8月)；Nalwa的第6,285,365号美国专利“由图标定位的全景图像显示(Icon-Referenced Panoramic Image Display)”；及Teodosio等人的第6,121,966号美国专利“可导航的观察系统(Nabigable Viewing System)”
单独地，还存在用于注解和共享传统视频“剪辑”或选录的系统。例如，参见“VideoNoter：一种用于探索性视频分析的工具(VideoNoter：A Tool for ExploratoryVideo Analysis)”，Roschelle，Pea及Trigg，Institute for Research on Learning，Technical Report第17期(1990年)。
然而，至今人们却几乎没有注意到这样一种更大的需求-及机会：即并置的或分散的用户社区通过创建、注解、存储和共享“视点式”可视媒体遍历的永久记录来创作和共享对多媒体内容的个人解释的需求。此等记录应忠实地捕捉作者在查看特定媒体内容时的独特观点(例如，记录作者的查看经历的空间焦点和定时)以及通过注释、分类以及其他的注解符号形式为作者提供一种表达他或她对该媒体内容的解释的载体。一种解决这一需求的有效解决方案应该提供能够允许进行强有力的表达但又适用于并非技术专家的作者的充分集成的交互式设备。此外，该解决方案应使作者能够与一联网的用户社区共享其解释，并同样地使社区的参与者能够根据特定媒体内容来发表其自己的注释和观点。此外，所需解决方案应支持使用户能够探测和量化所共享的媒体内容和注释的重要性的分析工具。
发明内容
简单地说，本发明提供用于对数字视频内容进行交互式创作、共享和分析的电子方法及装置。
在一方面中，本发明通过显示可视数据、将每一遍历界定为一基于时间的帧序列并注释和存储该遍历的一记录，来提供一种创作带注释的遍历的交互式电子方法。当重复实施该方法时，该方法会创建复数个可能来自于不同可视源的所存储遍历。该可视数据较佳包括动态视频、静止影像、模拟影像/动画影像、全景影像及/或活动影像。所述全景影像较佳包括使用复数个自一固定点朝向外部(或自一周边朝向内部)的摄像机所捕捉的影像，以便各遍历可反映一可由用户调整的3D立体图。所述注解较佳包括文本注释、图形符号、分类码、元数据及/或音频转录。所述分类码是以交互方式选自可由用户界定的码模板。在另一方面中，所述所存储的遍历记录可以被压缩图像数据的形式对所遍历的可视数据进行编码，或将所遍历的可视数据编码为一组界定所述遍历的位置座标。
界定所述遍历较佳包括：通过相对于所述可视数据对一覆盖窗口进行定位，以交互方式扫视所述数据；通过调整所述覆盖窗口的大小进行放大或缩小；以及存储所述遍历的一记录。所述可视数据可以一矩形布局进行显示；或者，另一选择为，以一圆柱形布局进行显示，其中所述覆盖的位置由一位于所述圆柱中央的虚拟摄像机界定。此外，对所述覆盖窗口进行定位可包括移动所述可视数据，而使所述覆盖窗口保持固定或者，另一选择为，移动所述覆盖窗口，而所述可视数据保持固定。所述覆盖窗口具有一较佳可由用户选择的几何形状。本发明的进一步的方面包括同时使用复数个独立定位的覆盖窗口来扫视所述可视数据。
在本发明的另一方面中，较佳使用一集成图形界面来实施所述方法。所述图形用户界面较佳包括复数个计算机显示区-包括一显示所述可视数据的概览区、一在所述覆盖窗口内显示当前数据的细节区及一显示一由所述复数个所存储的带注解遍历记录构成的列表的工作表区。所述细节区以一高于所述概览区的放大率或分辨率来显示数据。该放大率或分辨率可由用户控制，或由对用户带宽连接性或其他与性能相关的量度敏感的网络服务来使能。通过以交互方式选择其中一个遍历记录，例如通过将一对应于所选记录的图形元素从所述工作表拖放至所述细节区上，启动所选存储记录在所述细节区中的重放。本发明的进一步的方面包括指定一复合遍历记录，即复数个所存储的遍历记录的一组合。重放所述复合遍历记录包括相邻地显示所组合的各遍历记录。可通过选择一源记录、关闭所有音频及/或为每一记录指定一相对音频成分，来指定所组合的各遍历记录的音频成分。在另一方面中，在一可使用一标准HTML浏览器通过网络访问的文档中公布由带注解的遍历记录构成的工作表区列表。
在一实施例中，使用一用于以交互方式创作可视数据的带注解遍历的遥控数字电子装置来实施本发明。所述装置包括一用于显示可视数据的第一显示器件及一与所述第一器件进行通信的手持式遥控器件。所述遥控器经配置用于控制图形交互作用，所述图形交互作用界定所显示的可视数据的遍历、注解和存储带注解遍历的一基于时间的记录。界定所述遍历包括：通过相对于所显示的可视数据对一覆盖窗口进行定位来扫视所述可视数据，及通过调整所述覆盖窗口的大小来进行缩放。
本发明进一步提供一种用于创作可视数据及相关联的空间音频数据的遍历的交互式电子方法。所述方法包括：显示所述可视数据；以交互方式界定所述数据的一遍历，即一基于时间的帧序列，其中每一帧均包括所述可视数据的一空间子集；以及存储所述遍历的一记录，包括与每一帧中的可视数据相关联的空间音频数据。所述可视数据和音频数据较佳包括对一情景的视听记录。所述可视数据也可包括对位置的描绘，且所述音频数据也可包括对来自所述位置的声音的记录。举例而言，可视数据可描绘一音乐厅或一会议室，而所述空间音频可包括对所述音乐厅中的音乐或对所述会议室中的谈话的记录。另一方面包括通过转录所述记录中所包含的空间音频数据来对所述遍历记录进行注解。
在另一实施例中，本发明提供一种用于通过公布(较佳作为一网页)一由遍历记录和注解构成的列表来共享用户对可视数据的观点的系统和方法。公布在因特网联网或一专用内联网上的网页较佳提供一用于显示所选遍历的区域。浏览或访问公布页面的用户可以交互方式选择遍历用于重放，并以交互方式向所述页面添加注解以供他人查看。可对每一注解进行编码(例如，用颜色或阴影以及用名字)，以表明其作者。在另一特征中，所列遍历记录包括至少一个复合遍历记录(指定一遍历组合)；根据此特征，重放较佳包括以并排窗格或以窗口中的窗口的格式相邻地重放相应复数个遍历的内容。在又一特征中，还公布所述注解的一索引，所述索引可通过一网络浏览器查找。此类索引可提供缩略图或动态图像表示以作为所注解的媒体项的替代物。此特征允许检索和访问一个列出那些与在所述查找中指定的注解相关联的遍历记录的网页。
在另一方面中，本发明提供一种使用复数个遍历记录对可视数据进行交互式电子探测和分析的方法。所述方法包括显示一抽象映像；在所述映像上相应的复数个位置上绘制复数个标记，每一标记均对应于一遍历记录；并响应于选择所述标记而重复所述遍历。举例而言，所述抽象映像可代表来自所述可视数据的一景物的轮廓，其通过使用边缘检测算法自动产生，在此种情形中，可根据在每一相应的遍历记录中所捕捉的影像的空间位置以逻辑方式绘制所述标记。或者，所述抽象映像可代表一曲线图，该曲线图的轴线度量一个或多个为所述存储记录指定的注解数据值，在此种情形中，可根据为每一相应遍历记录指定的特定注解值以逻辑方式绘制所述标记。在本发明的又一方面中，使用一图形用户界面来实施所述方法，该图形用户界面包括一具有一由遍历记录和相关注解构成的列表的工作表区。在这一方面中，所述方法进一步涵盖在所述抽象映像内以交互方式选择一空间区域(例如借助一滑动条)以及响应于此而在所述工作表内显示一由与那些位于所关心空间区域内的标记对应的遍历记录构成的经过滤的列表。
附图说明
图1为一流程图，其根据本发明一较佳实施例图解说明一用于创作可视数据的带注解的“视点”遍历的方法。
图2A根据一矩形实施例图解说明一用于界定视点遍历的图形用户界面。
图2B根据一圆柱形实施例图解说明一用于界定视点遍历的图形用户界面。
图3图解说明一用于查看复合遍历记录的图形用户界面。
图4图解说明一用于为一遍历记录指派分类代码注解的图形选择模板。
图5是一流程图，其图解说明一种公布并与一网络社区的成员共享可视数据的带注解的“视点”遍历的方法。
图6为一流程图，其图解说明一种使用数据映像来探测和分析可视数据遍历的方法。
图7图解说明一使用数据映像来探测和分析可视数据遍历的图形用户界面的一实施例。
图8图解说明一使用数据映像来探测和分析可视数据遍历的图形用户界面的又一实施例。
图9图解说明一使用数据映像来探测和分析可视数据遍历的图形用户界面的又一实施例。
图10描绘一从具体到抽象呈现的用于探测和分析可视数据遍历的信息工作流。
图11图示一用于实施本文所述较佳实施例的数字电子装置的网络。
图12图解说明通过“内容循环”来传送“元内容”数据包的现有技术。
图13图解说明用于适应性速率多服务和外边缘内容高速缓存的现有技术架构。
具体实施方式
现在将参照附图来详细说明本发明的较佳实施例。出于本发明的目的，可视数据通常包括任一形式的数字图像数据，包括动态视频、静止影像、模拟或动画影像、全景影像及活动影像-均带有或不带有伴随的音频通道。
A. 创作
图1为一流程图，其根据本发明一较佳实施例图解说明一用于创作可视数据的带注解的“视点”遍历的方法。图2A根据一矩形实施例图解说明一用于界定视点遍历的图形用户界面。大致地说，所述创作过程由从可视数据中以交互方式选择一组剪辑的空间和时间选择、以及在所述工作空间中对其进行标记组成。我们在本文中将这种交互式选择称为遍历。
在100中，在概览窗口210中显示可视数据，从而提供整个景物的一概览。概览210可与一标准视频流、静止图像或动画相关联，或者可利用一视频景物的全景360度表示法。对于线性视频，概览210将显示一自原始视频记录创建的标准4∶3长宽比的视频流，其中所述景物上的一矩形覆盖200对应于一对准该特定景物区域的虚拟摄像机的视野的经剪辑的空间区域。对于所描绘的全景视频，概览210(也称为“全景概览”)显示一自原始圆柱形视频记录创建的脱壳(peeled back)的图像。该全景图像上的矩形覆盖200对应于一对准所述特定景物区域的虚拟摄像机的视场。在两种情形下，细节窗口220均较佳提供“摄像机视野”-由概览210内的矩形覆盖200的边界所界定的一更高分辨率图像。这种更高分辨率较佳可由用户调整，或者可由对用户带宽连接性及/或其他与性能相关的量度敏感的网络服务来实现和调整。如下文所要进一步论述，工作空间230提供一用于注解和组织选自所述景物的视频和音频遍历的灵活环境。
在110中，覆盖窗口200以交互方式定位于在窗口210中显示的可视数据的一指定的空间子集上。在120中，覆盖窗口由用户以交互方式调整大小，以在所选可视数据上“放大”或“缩小”。任务110和120是根据用户需要而随时间重复实施，而100中的可视数据则是连续显示。用户由此遍历可视数据的一所需空间和时间子集。举例而言，如果所述可视数据包括视频数据，则通过根据每一当前视频帧内所特别关注的内容将所述覆盖窗口定位到200并确定200的大小，所述用户实际上可创建“电影中的电影”。我们在本文中有时会提及将这种遍历定义为“视点”创作，因为在每一遍历中均反映作者/用户对可视数据的独特的和个人的视觉观点。
就全景可视数据而言，创建有效的导航界面为计算机成像和用户界面设计带来挑战和机遇。一方面，全向摄像机可为用户提供对整个现实世界空间的360度表示(从一单个节点)。另一方面，用于创建全景概览的光学装置会在图像中引入投影失真(变形)，从而限制其作为一信息图像的有效性(例如，参见Foote&Kimber 2000)，当用户需要抽取关于景物中的空间布局、人的位置及身体取向的精确信息时尤其如此。举例而言，考虑对于一全景概览而言回答下列问题的难度：景物的空间布局是何种布局？哪个方向是前向及后向？左向及右向？各演员彼此离多远？另一方面，也许存在其他种类的其中所述概览中的空间失真将不会妨碍信息抽取的任务。举例而言，一全景概览很可能将允许用户回答例如以下等问题：谁讲了什么？他们何时讲的？他们这样讲时的状态如何(关于非口头姿势、面部表情、身体位置、声音语调等的信息)？有趣的是，当前用于产生全景概览的方法可能非常缺乏空间定向力，以致于人们发现其令人迷惑，无论该任务是否涉及抽取在空间上精确的信息。
考虑到空间定向，图2B图解说明具有用于查看和遍历全景数据的特定值的一本发明替代实施例。我们将此实施例称为“旋转罐”查看。此处，并非将一圆柱形全景图像脱壳，而是将所述图像映射到一圆柱或圆筒210上，用户可将该圆柱或圆筒210围绕其竖直和水平轴线旋转，以便检查其内容。举例而言，通过在所述圆筒210中央显示一摄像机图标260并使用摄像机260的视场界定覆盖窗口270，可向用户更清楚地显示所述观察图像是如何形成的及所述摄像机聚焦于所述景物的哪一部分上。通过旋转所述摄像机或围绕所述摄像机的圆筒，可在细节窗口220(其未在图2B中显示)中显示经矫正的部分图像270。此界面可使用户更容易理解前/后、左/右取向以及物体在所述景物中的相对位置。
在一较佳实施例中，可视数据包括使用复数个围绕所述景物并且朝内的摄像机捕捉的全景景物数据。如实践者所将认识到，这使遍历能够反映一经用户调整的3D立体图，从而尤其能够使导航看到原本从一特定摄像机角度看不到的隐藏物体。
在130中，用户较佳使用图2A所示的图形用户界面对遍历进行注解，以添加包括自由文本注释250(a)和分类码250(c)在内的注解。如在图4中所描绘，分类码250(c)为选自一编码模板菜单400中的预定义的标签。此特征使用户能够根据一支持后续数据分析(举例而言，如下文结合图6-10所述)的统一的分类学对遍历进行迅速分类。较佳地，分类标签编码模板400可由用户自定义。在另外的实施例中，遍历注解较佳包括对与每一遍历中所记录的视频(其如果尚不能以电子形式得到，则可使用传统的语音识别技术自动产生)相对应的音频250(b)的转录以及描述遍历段的“元数据”250(d)，例如(但不限于)角色名称、景物名称、时间/日期，等等。
在140中，存储所述带注解的遍历的一永久记录，以供将来参考和研究，包括网络公布和分析(将在下文中根据图5-10来详细阐述)。对许多实践者和应用而言，图1所示的方法将重复实施，从而产生复数个带注解的遍历记录。图2A中的工作表区230显示此等记录的一交互式列表。这样，列240以一代表性缩略图标识每一遍历，列250(a)-(d)显示相关联的注解。举例而言，视频缩略图可包括静止图像、全景缩略图或动作预览。
注意，对于图2A和图2B二者的实施例，通过使覆盖窗口200保持固定而移动概览窗口210或者使概览窗口210保持固定而移动覆盖窗口200来将覆盖窗口200相对定位，可遍历概览窗口210中的可视数据。这两种技术是等效的，其均属于本发明的精神和范围内；实践者可根据特定应用的详细情节来选择一种方法。
在150-170中，用户可重放一记录遍历的内容。在150中，用户从在工作表区230中显示的列表中以交互方式选择一存储遍历。在一较佳实施例中，可用的选择机制包括使用鼠标或其他光标控制器件来将一缩略图从对应于所需遍历记录的列240“拖放”至细节窗口220上。较佳地，这使细节窗口220以及概览窗口210复位到所选遍历序列开始时的适当的帧。较佳地，通过点击屏幕视频控制区215上的“播放”按钮来启动在窗口210和220中的遍历的重放170。
如果所选遍历为一复合遍历，即由用户指定的一个以上存储遍历的复合，例如图3所示的复合遍历320，那么重放170较佳包括同时和相邻地重放多个遍历记录，例如以并排窗格340的形式或以窗口中的窗口的形式。当所述复合遍历包括音频通道时，在160中为重放170指定一合适的音频混合。所述混合可较佳是：一收听一个遍历而使其它遍历无声的用户选择；或使所有音频均无声的选择；或是由用户选择的相对衰落(例如使用屏幕上的滑动条来指定)，从而突出复合遍历中的一个所需遍历，且不完全使其它遍历无声。
附带注意图3所示的变化，其中将细节窗口220显示为一与工作表区230重叠的“弹出”窗口，而不是象在图2A和2B中一般显示为一与覆盖窗口210相邻的固定区域。实践者易知，视特定应用的需要和喜好而定，可具有此种变化及其他类似性质的变化，这些变化都属于本发明的精神和范围内。
在某些应用中，可使用一单个工作表区230来列出和组织来自一个以上源的可视数据的遍历。举例而言，此可适用于对不同电影中的相似景物或不同景物和视频中一单个演员或个人的行为进行比较和对比。
在一针对某些应用的较佳实施例中，一包括空间音频数据的音频通道与正被遍历的视频数据相关联。举例而言，正被遍历的数据可包括一景物的一视听记录；或者，所述视频数据可包括对一地点的描绘，例如一音乐厅、会议室或讲堂的图像，而相关联的音频数据包括对所述音乐厅中的音乐、所述会议室中的谈话或所述讲堂里的演讲的记录。
如相关技术领域的实践者所知，空间音频通常是例如通过在要录音的地点配备多个麦克风并对合成立体声数据进行适当的信号处理来捕捉。
作为本发明的一个优点，包括空间音频数据的实施例较佳随每一遍历记录一起存储与用户在整个景物内所遍历的空间区域相关联的音频数据。举例而言，一较佳实施例允许用户以交互方式界定多个离散的空间声区，例如通过在概览窗口210(未显示)内以图形方式设置“虚拟麦克风”图标。随一特定遍历一起存储的音频数据于是将在所述遍历的每一帧处反映可在与该特定帧的空间位置相关联的音区内听到的适当声音。在本发明所实现的另一特征中，可通过对包含在所述记录中的空间音频数据进行转录来对所述遍历记录进行注解(如上文结合图1的任务130及图形界面区域250b所述)。因此，仅转录在空间上相关的音频可滤除不相关的全局噪声并提供几个优点。举例而言，由于滤除了来自其他扇区的无关噪声，因此提高了自动语音识别的精确度。同样，如果产生转录，则其将包含仅着重于相关空间内的言辞的可查找文本数据，从而使文本查找更具效率和有效。
B. 共享和协作
1. 网络公布
图5是一流程图，其图解说明一种公布并与一网络社区的成员共享可视数据的带注解的“视点”遍历的方法。在500中，我们从一带注解的遍历记录列表开始。所述列表可例如使用在本文中结合图1-4所述的方法和装置、具体而言使用在工作表区230中产生的内容来创建。在510中，将此列表作为一网络文档或网页进行公布；较佳地，如所属领域的技术人员在其他相关背景中所知，较佳提供输出实用程序来利于进行或为用户自动进行此过程。所述网页较佳公布在公用网络上，例如因特网或专用企业内联网上，此视应用性质而定。在515中，由其他用户通过网络、较佳使用标准网络浏览器来访问所述网页。在520中，访问所述网页的用户以交互方式从所显示的列表中选择一所关心的遍历记录(例如通过“点击”该记录)。作为响应，在530中，通常在网页的一指定区域中或者在一弹出式播放窗口中，为用户重放与所选记录相对应的遍历数据。
在网络用户查看一遍历后，可鼓励所述网络添加他或她自己关于该遍历内容的注解。在这种情况下，在540中，所述网络用户以交互方式输入一新的补充注解，并在550处，通过网络以交互方式将新的注解提交给主持所述网页的服务器。如实践者在其他上下文中所熟知，所述网页较佳利用交互式联机形式技术以此种方式捕捉新的注解。在560中，所述服务器将所述新的注解添加到所公布的网页上，并将其作为该页面的一部分显示给随后访问该页面的所有网络用户。
在本发明的较佳实施例和应用中，进一步使网络用户能够形成反映共同兴趣的社区和子社区。(注意：我们在本文中有时将本发明的一实施例称为一DIVERTM系统，其代表数字交互式视频探测与反映(Digital Interactive VideoExploration and Reflection)技术，并将所存储遍历的一工作表列表230称为一DIVETM工作表。))举例而言，本发明的较佳系统可记录并向网络用户公布所共同感兴趣的使用数据，例如最流行的DIVE、最近张贴的DIVE、最近谁访问过、现在谁在DIVE等。用户可较佳定阅关于新公布的DIVE或DIVE更新的电子邮件通知，并且在选择(使用页面中的HTML定位符)所述电子邮件消息中的一链接时，可在515中直接浏览一特定的所公布工作表230内的一指定的或突出显示的窗格。
较佳网络实施例的进一步特征包括一“HyperDiving”能力，其使所公布网页中的工作表230表项(例如注解区250)能够直接超级链接至诸如下列等参考材料类型：
·现有的视频DIVE；
·另一所公布的DIVE工作表；
·网络URL(即一网页或一网络文档引用)；及，
·所加载的文档(在此种情况下，将较佳为创建此种链接的用户提供一界面，以浏览用户的本地目录并选择和向服务器加载一文件，然后，该文件即与所述超级链接相关联)。
在针对协作性网络应用的较佳实施例中，用户可使用诸如“公众”(全部注册的和非注册的用户)、“全部注册的”(全部注册用户)及个别和共同界定的用户和群组的特定组合等访问方法，为DIVE设定访问控制。较佳可赋予不同类别的DIVER用户适当类别的权利和特权，这些权利和特权包括“全权”(用户可创建和修改DIVE)、“查看和注解权”(用户只能查看和注解DIVE)及“只查看”(用户只能查看DIVE及其注释；用户不可以添加注释)。举例而言，可能非注册用户应全部为“只查看”。
2. 网络视频分发问题
在因特网上传送数字视频在某种意义上已在所属领域中众所周知和简单易懂，但要实现不变的高性能可能极具挑战性。文件会很大，查看者偏爱高质量和高性能，实时要求很高，管道仍然狭窄-且因特网常常不可靠、拥挤、慢且易于崩溃。可靠的协议(即FTP、HTTP和TCP)可保证传送，但可能遭受无法接受程度的等待时间和延迟，而且无法保证及时的数据传送。不可靠的协议(例如UDP或RTSP)可提供更快的性能，但可能遭受数据丢失，并因而导致接收器侧的内容不完整。视频压缩算法可减少带宽，但会相应地降低质量。不仅限于回放地对数字视频进行处理-包括创作、共享、协作及专门的交互作用，是一极大的挑战，对于复杂问题而言，在处理用于创作、交互作用、协作和传送的全景的超高带宽视频时，这些对于传统线性视频内容即已非常严重的问题会以指数方式变得更加困难。
幸而，存在很多种在因特网上处理数字视频的方法，而且这一前景发展迅速。的确，在该技术前沿上经常出现管理视频的新方案，并经常出现形成新的视频创新的机会。由于本发明的许多应用和实施例可受益于数字视频内容在因特网上的高性能传输，因而本节对当前的和新兴的技术选项进行综述，以供实践者在该上下文中考虑：
(a)流式视频算法。视频流式算法和协议的新方法，包括可适合于根据本发明独有的特性来传送视频的专门算法。
(b)视频文件传输协议。此种解决方案类型包括使用基于软件的文件传输协议的技术方法，包括查看用于诸如对等传输和多点传输(通常为无状态性质)等高速因特网文件传输的“下一代协议”。
(c)媒体分发方法。存在媒体计算、存储和分发方法，其可用于提供增强的性能，例如内容高速缓存和复制、联合服务器和数据库、网格计算和专用超高速网络等。
(d)视频压缩算法。此种解决方案类型包括视频压缩算法。此视频压缩算法查看MPEG2国际视频压缩标准的替代方案和发展路径。
注意：我们在下文中有时将本发明的一实施例称为DIVERTM(代表数字交互式视频探测与反映(Digital Video Exploration and Reflection)技术)，并将所存储遍历的一工作表列表230称为一DIVETM工作表。
(a) 流式视频算法。
在数字视频领域中，存在很多种众所周知的流式媒体技术。然而，这些流式算法均未设计成满足本发明的独特要求。为了本文说明的目的，将设计成满足本发明的特殊要求的新的类型的流式算法称为DIVER流。为处理DIVER流，流式算法应较佳能够解决媒体的甚高带宽性质、并行流表示(概览和虚拟摄像机)、线性及/或全景视频特性、以及如下要求：提供对虚拟摄像机电影的时空随机访问，以便能够在空间和时间上缩放和扫视所述景物显示。下面介绍若干备选方法。
(i)自适应多分辨率
提出一种自适应多分辨率存储和网络化访问方法来处理DIVER流，其中所述流能适应可用网络带宽和CPU能力。可利用一电影“基本对”-具有一适度分辨率的概览电影和更高分辨率虚拟摄像机电影。从所述高分辨率基本对得到的其他电影以越来越低的分辨率存储，从而实质上形成一“图像金字塔”，即一具有不同分辨率的图像堆叠(Ramella，2001年)。此方案能够适应可用带宽和CPU能力(借助一反馈机构)以确定用于重放的分辨率水平。有人提出根据对网络带宽的实时监控和桌面CPU性能测量来使用“金字塔分辨率转换”。
(ii)压缩数据二次抽样
提出一种压缩数据二次抽样方案来允许对压缩的高分辨率虚拟摄像机电影进行时空随机访问，以在进行中产生压缩的、经过时空剪辑的虚拟摄像机数据流。虽然视频压缩会降低存储和网络成本，但会提高处理要求，因为数据在处理之前必须解压缩。解压缩的开销非常大：压缩算法(例如JPEG或MPEG)要求每一像素150到300个解压缩指令，相当于所处理的质量视频的每一NTSC秒的27亿个指令。数据在处理后必须压缩，此会显著增加开销。在解压缩后处理视频被称为空间域处理，这是最常使用的方法。避免这些问题的一种方法是直接以视频数据的压缩形式处理视频数据(Smith 1993年，Arman 1993年)，此会减少处理所需的数据量，并减少复杂且费时的压缩和解压缩循环。这种方法被称为压缩域处理，它将空间域处理转换成其频域的等效处理。通过如下方式对压缩的数据进行处理：对压缩的位流进行熵译码以在频域中恢复稀疏向量数据，应用一个或多个压缩域运算符，并对结果进行量化和压缩。注意，可对压缩数据格式、以频率空间或其他编码表示形式实施压缩域处理。
在所提出的方案中，将使用一种能在压缩域中支持处理和视频景物二次抽样的DIVER视频的压缩表示形式。此可用于帧间或帧内视频算法。当在服务器处应用该方法时，该方法将在压缩的数据流内选择感兴趣的剪辑的时空视频流区，并且只随压缩的概览电影一起为虚拟摄像机路径传输对应的压缩流。一种更大程度地使用客户机的替代方法是随界定虚拟摄像机路径的矩形的空间和时间坐标一起传输压缩的全分辨率虚拟摄像机视频，然后在客户机侧选择并解压缩所述电影的适当区域。推荐使用服务器侧方法，因为其更具前景，但确实要求进行大量的服务器处理。
(iii)逐渐改良
提出一种逐渐改良的方案来在用户与所述DIVE交互作用时提供分辨率随时间逐渐升高的DIVER视频影像。所述逐渐改良概念(Cohen 1988年)起源于用于使用辐射通量密度算法来逐渐地迅速渲染复杂3D景物的计算机图形领域。在DIVER情形中，而是使用一类似机理将逐渐改良应用于数字视频流。此方法也可以结合上文所述的多分辨率算法使用。在此种情况下，将首先传输所述图像金字塔的最低或较低层，接着传输所述金字塔的后续层。将使用标准内插算法将所述金字塔的一层添加到下一层，并且如果需要，产生若干中间金字塔层。首先发送所述景物的最低分辨率版本作为一起点并将其用于产生所述概览电影和所述虚拟摄像机。在用户与所述电影随时间交互作用期间，将分辨率逐渐提高的视频传输至客户机。随着所述用户与一特定视频DIVE的交互越来越多，所述视频的显示质量也越来越高。
(iv)服务器侧再压缩
提出一种服务器侧再压缩方案来允许创建传输中的所剪辑时空虚拟摄像机电影的实时压缩版本。通过此种方法，在服务器上将高带宽高分辨率虚拟摄像机原作解压缩。使用一图像尺寸减小和过滤过程来减小分辨率并在服务器处产生未压缩的视频。所述未压缩的视频以一更低的分辨率受到再压缩并以一压缩形式传输。本方案既可用于概览又可用于虚拟摄像机。此模型在需要时起作用并且将需要能够在用户正查看许多DIVE时处理许多并行的再压缩。此方法将有可能只用于其中在服务器层上有极高性能的分布式和并行处理阵列可供用于视频变码(解压缩和再压缩)的情况下。
(v)凹显示
提出一种“凹点”概念(Chang及Yap，1997年)，以在虚拟摄像机和概览电影中所关心的区域中提供高分辨率。所述凹点概念模仿人眼的行为。可视化主要是一种“心理生理现象”。这一事实可用来解决当前可视化研究中的挑战。生物视觉的一关键事实是其使用“凹的图像”，在这类图像中，在凹处的分辨率远远高于外围的分辨率。与标准图像相比，这些种类的图像明显具有极小的数据密度。为对不均匀的分辨率进行调整，必须向查看者提供新程度的“有效控制”(Chang，Yap及Yen，1997年)。在针对DIVER提出的方案中，将有一个用于所关注区域(剪辑的时空区)且覆盖一粗粒度的“大图片”的高分辨率聚焦的虚拟摄像机图像(在一高级实施方案中，该概念可与眼睛跟踪结合使用，以根据引起人睛兴趣的区域来精确地提供分辨率)。
(b) 文件传输协议
(i)标准协议
HTTP、HTTPS、FTP、WebDAV-这些是当前在因特网上用于文件传输和共享的若干标准协议。这些协议和系统均可用于传输、共享和分发大的媒体文件。这些协议最大的优点是其无处不在，而最大的缺点是其缺少对增强媒体内容的高性能传送的特定支持。
(ii)下一代协议
FTP(“文件传送协议”)是在20世纪70年代初作为一在因特网上传输文件的协议开发而成。此标准在客户机与服务器之间建立一对话，其中数据被分离成信息包并以小的网络数据包形式传输。在典型的数据包丢失和往返时间(RTT)中，FTP通常在拥挤和延迟的环境下运行。一旦网络丢失和延迟达到一定限度，对数据传输而言，增大带宽的益处可能极小甚至毫无益处，即使在甚高速链路上，数据传输率也无法超过一相当低的阈值，从而导致这些链路上的效率非常低。FTP因其无处不在而颇为有用，但在用于当前因特网上所需的大文件尺寸传输类型时，当数据包丢失增加时，其效率可能非常有限。
最近出现了使用许多种不同的独特方法来处理与FTP协议的低效率相关的主要根本原因的创新解决方案。现在可得到一组据说“可提供TCP的可靠性和UDP的速度”的新协议；这些方案可比FTP明显改进，其量化的速度提高量的范围为5X到10X或更高。
一种特别引起注意的方法是MetaContent方法(Digital Fountain，2002年)，在本文中将其称为内容循环(Content cycling)方法，其中内容是以一与顺序无关的方式传输。如图12所示，Digital Fountain的数据分发技术与传统文件服务器或传输协议的数据分发技术根本不同。该架构由一Digital Fountain服务器、一Digital Fountain客户机和一叫做“MetaContent(元内容)”的专利概念组成，其中使用数学“比喻”在接收器处重新构造数据。使用MetaContent，将数据作为一“与顺序无关”的信息流来接收，此信息流类似于多点传输视频流。包含独立产生的Meta-Content(元内容)的数据包完全可互换，且接收器可随时接入数据“源泉”。所述Fountain客户机接收哪一Meta-Content以及以什么样的顺序接收并不重要。只有所接收的独立产生的Meta-Content的数量才能决定何时可重新构造原始内容。因此，如果包含Meta-Content的数据包在传输中丢失，则在随后接收的数据包中所包含的任何相等数量的Meta-Content刚好可用于重新构造原始内容。在此种情形中，并非如大多数传输协议一般实施严格的顺序性数据传送，而是利用循环的重复性数据方案。
与例如FTP等标准协议相比，使用Digital Foutain可使传输速度得到显著提高。在通常情况下，与FTP相比，传输速度通常提高2.5X到5X或更高，并且可以高达2至3个数量级。另外，在某些情况下，Digital Fountain可提供高达95％的链路利用率。拥塞流量控制可确保对其他网络通信量的公平性，而且此方案使用一小的(若干兆字节)的存储器使用量。Digital Fountain要求所有数据接收方使用专有客户机侧软件以及在服务器侧上使用Transporter Fountain。为使用Transporter Fountain平台，必须购买一服务器许可证。Digital Fountain使用UDP协议，这可能要求媒体用户的IT或网络部门进行防火墙配置工作。虽然DigitalFountain的优点可能很大，但其优点会根据网络速度、等待时间和跳跃次数而对上下文非常敏感；实践者应留心查看此功能的潜在应用，以保证其只用于适当的情况下。
(c) 媒体分发
(i)内容高速缓存
DIVER工程可考虑许多种内容高速缓存方法来提高终端用户的视频性能。DIVER组可使用其自身的开发资源开发一组方法。这可能包括用于使用一同步算法将视频内容从一中央DIVER服务器复制到区域DIVER服务器的独特机理，以将经常被访问的视频DIVE内容分发到一由DIVER服务器构成的分布式局部网络。当一用户请求所述内容时，可将其指引到满足所规定标准(即通信量最少、负荷最小、位置最近或这些量度的组合)的最近的DIVER服务器。另一选择将是采用市售内容高速缓存产品(Vichare，2002年)。一附加选择将是将一内部开发的高速缓存模型与市售高速缓存产品相结合。
目前，内部网和因特网上的终端用户正使用内容联网产品(由例如Inktomi、Akamai、CacheFlow、Cisco、Network Appliance等供应商提供)来提高对丰富内容的查看和交互性能。这些产品为以一可缩放的、可靠且安全的方法传送静态内容、流式内容及动态内容提供基础结构。高速缓存的要素包括：在网络边缘处靠近终端用户存储的内容，以提高性能并使上游带宽最小化；内容选路，其对内容进行选路以创建一内容位置目录，网络和服务器负荷使用所述目录将请求选路到最佳的数据中心或提供最近的内容；及内容分发和管理，其是将静态内容、动态内容和流式内容积极、智能地从任一起始点分发到网络边缘。为了便于在网络上存取，一高速缓存器件智能并迅速地选择和存储Web数据。更频繁被请求的内容是存储在网络上，从而大大减轻Web服务器和防火墙的负担。因此，网络可更快地满足对网页和增强媒体内容的请求。高速缓存器件用于三种不同的情景中：其可以“反向高速缓冲存储器”形式位于网路服务器前面，以减小服务器负荷和加快站点性能；其可以“正向高速缓冲存储器”形式位于一企业LAN面向WAN的位置处，以减少WAN上的通信量；其可沿着一ISP的或运营商的主干线驻存于许多个“分布式高速缓冲存储器”点上，以减少沿着传送路线的通信量。
实践者可对可供用于在分布式环境中优化对DIVER内容的访问的各种内容高速缓存选项进行评估。
(ii)联合服务器与数据库
联合服务器和数据库是实践者可考虑用于DIVER的可能感兴趣的技术。较佳应用包括开发一在Video Collaboratories分布式网络上复制的DIVER环境；对于此种应用，较佳具有一种允许媒体存储于分布式数据库中的系统。这将使各个DIVER中心能够各自保持其自己的DIVER服务器和内容，但仍然能够在所有DIVER站点中以全局方式共享内容和元数据。
联合系统是一种特殊种类的分布式数据库管理系统(DBMS)(Rutledge，2001年)。联合系统使人们能够查询和检索位于其他DBMS(例如Oracle、Sybase、Microsoft SQL服务器或如mySQL等Open Source数据库)上的数据。SQL语句可以在一单个语句中提及多个DBMS或单独的数据库。举例而言，人们可以连接位于一Oracle表格、Microsoft SQL服务器和mySQL视图中的数据。在一联合数据库环境下，会自多个异质数据源提供一单个同步视图。联合系统模型是一适用于具有一般通信量和性能要求的小重要和中等重要应用的架构。
联合系统由一将用作联合数据库(一数据库实例)的数据库和一个或多个数据“源”组成。用于标识数据源及其特性的目录项构成所述联合数据库。DBMS和数据构成所述数据源。可使用“绰号”来指代位于所述数据源中的表格和视图。应用程序如同连接至任一其他数据库一般连接至联合数据库，并期望仿佛其是一个统一数据库一般来利用其内容。
在联合系统建立后，便可访问各数据源中的信息，仿佛其处于一个大的数据库中一般。用户和应用程序向一个联合数据库发送查询，由所述联合数据库从数据源中检索数据。联合系统可在某些限制条件下运行；举例而言，分布式请求仅限于只读操作。
(iii)网格计算
最近几年中，众多的开发已将网格计算(Foster 2001年、Chen 2002年)领域变成一种对大规模分布式计算任务似乎可取的解决方案。人们已经开始着重于用于科学性可视化、图像渲染、航天计算和诸如多人多媒体游戏(也称作MMG-对应于大规模多人游戏(Massively Multiplayer Gaming，且是IBM Butterfly.Net( http：//www.butterfly.net)首创精神的核心)等商业应用的研究应用。如果DIVFR的使用在Digital Video Collaboratories网络上变得很普遍，并且在一分布式用户基数中广泛地需要处理大量的大文件尺寸的全景和传统视频，那么网格计算可是一可供考虑的非常令人感兴趣的解决方案。网格计算令人感兴趣，因为其允许大规模地捕获空闲的CPU循环，从而实质上高效地利用计算资源(并因此显著降低成本)。一确定一计算任务是否映射到一网格计算解决方案的检查表可见于(Dyck 2002年)。一典型的网格计算“检查表”包括确定所述计算是否需要满足下列标准：
Figure A20038010987800241
分散式管理结构
Figure A20038010987800242
需要高级计算
Figure A20038010987800243
计算可分布至各组件封装内
Figure A20038010987800244
数据已经分布于许多位置中
Figure A20038010987800245
不需要快速或可预测的响应时间
计算容忍软件和硬件故障
实践者应检查在一特定应用中所述DIVER对数字视频处理的需要，以确定是否与一网格计算方法潜在地匹配。例如，在实施下列数字视频分析任务的应用中也可提高网格计算的DIVER值：
将音频自动转录成可查找的带索引的文本
Figure A20038010987800248
全景反扭曲
Figure A20038010987800249
将视频“编码”成行为类别和统计分析
Figure A200380109878002410
将视频变码成低位速率和视频流格式，随着这些能力日趋复杂和
对计算的要求越来越苛求，会尤其如此。
Globus Project( http：//www.globus.org)是一管理网格计算的Open Source(开放式源码)开发、研究和原型的组织。Globus Toolkit2.0现在可供用于生产目的；Globus Toolkit3.0着重于开放网格服务架构(OGSA)-网格计算与网络服务框架的结合。
(iv)对等式
在Kontiki(http：//www.kontiki.com)传送管理系统(Delivery ManagementSystem，图13所示的架构)中，可得到一组在企业中提供数字媒体的公布安全性、传送和跟踪的应用程序。此技术采用对等式文件共享和一大型文件分发模型，在所述模型中，一旦内容已在一节点处得到访问，便以一分布式方式在广域网和局域网节点之间高速缓存数据。在越来越多数量的用户更频繁地访问数据时，数据便被分发到更多节点，因而对内容的访问变得更快。此技术类似于大规模对等文件共享能力，但注重于增强媒体的更加安全、可靠和企业强度的传送。Kontiki解决方案要求一转有客户机和一服务器模块。
此技术是基于Bandwidth Harvesting(包括Adaptive Rate MultiServing(自适应速率多服务，其中Kontiki监控正服务于该文件的每一台计算机的响应时间和可用带宽，并且自适应性地从提供最佳吞吐量的计算机请求更多的数据)、Caching Content(高速缓存内容，在外部网格边缘处)、及Time Shifting(时移，其中Kontiki的网络目录建立已预定了即将进行的一次性传送和正在进行的传送(例如每周新闻提要)的媒体用户的列表，并在非高峰时间自动传送这些文件))、Digital Rights Management(数字权限管理)和一Secure Distributed NetworkManagement Protocol(安全分布式网络管理协议)。
此方法的速度优点相当突出，并且类似于Digital Fountain，在各种情形中，回报可能很显著，其中速度提高多倍或多个数量级(即当在局部网上在一就近的台式机上就地高速缓存媒体文件时)。
(v)手持式及移动视频
手持式和移动装置领域继续以惊人的步伐前进，新型的手持式装置和手机可提供彩屏、更大的存储器、带宽和存储能力。合乎逻辑地，可考虑使用这些装置作为一在上面使用媒体分发的平台。举例而言，数据存储卡(CompactFlash、SmartMedia及其他数据存储卡)提供从几兆字节一直到四分之一吉字节或以上的不等的数据存储能力。此种存储水平非常适合于处理压缩的数字视频文件。可以设想在此种能够实现高数据存储能力的新类型装置上使用线性或全景视频内容。Kinoma(http：//www.kinoma.com)刚刚发布了一种用于在手持式装置上显示高质量数字视频的有力的解决方案。Kinoma提供一创作环境，该创作环境允许获取一输入源电影并将它转换成一适合于在一手持式装置上重放和交互的专门格式。
为在手持式装置上使用视频DIVE，值得考虑多种视频编码选项。举例而言，可以一“可缩放”的方式呈现DIVE视频，以便以包括适合于低端装置的位速率在内的多种位速率产生内容。或者，可将视频变码成一设计用于手持式装置上的低位速率视频的新格式。最后，可使用所述视频的一“智能”呈现-其将根据可用的计算能力、屏幕尺寸，等而自动按比例缩放。
(d) 视频压缩
(i)概述
视频压缩算法是总体视频传送图片的一重要部分。所使用的算法将在确定文件大小、传输时间、图片质量、编辑能力和与工业标准的相符性中起关键作用。在视频压缩领域中不断涌现出创新性的新开发，其中许多厂家提出许多关于文件大小和图片质量的强烈权利主张。建议在此领域中谨慎行事，因为新的压缩算法要求大量的时间和资源投资和投入。应该根据基本的设计参数(压缩比、文件尺寸、传输时间、标准相符性、图片质量、开放度，等等)对任何新的压缩算法进行评价。许多供应商只强调其视频压缩文件的尺寸和速率信息，但这对于评价而言是不够的。对一新的编译码器来说，一重要的决定因素是图片质量。目前还没有用于测定图片质量的既定的通用定量量度(虽然可使用例如信噪比等量度进行)。在缺少定量数据的条件下，必须对目标用户实施测试，以确定图片质量是否满足对可接受质量视频的需要。
(ii)标准
MPEG-4是由MPEG(运动图像专家组)开发的一ISO/IEC标准，该委员会还开发了称作MPEG-1的全球标准(从而产生视频CD、PC重放、MP3)和MPEG-2(当前在DVD和数字电视上广泛使用)。例如参见http：//mpeg.telecomitalialab.com/standards/mpeg-4/mpeg-4.htm。MPEG-4是由全世界数百个研究者和工程师所进行的一项新的国际性努力的结果。MPEG-4是建立在三个领域(数字电视；交互式图形应用(合成内容)；和交互式多媒体(环球网，内容的分发和访问)的经过证明的成功之上。MPEG-4提供能够集成所述三个领域的生产、分发和内容访问范例的标准化技术元素。相关标准MPEG-7(内容描述标准(Standard for Content Description))和MPEG-21(多媒体框架(Multimedia Framework))当前正在开发之中，并且很可能会与MPEG-4相关。
MPEG-4是一基于目标的视频标准，其流式方法会产生与MPEG-2(当前的行业标准)相同质量的视频流，但只使用MPEG-2位速率的三分之一。这种在相同质量级别上的位速率降低非常明显并使传输时间显著加速。MPEG-4在整个带宽频谱上-从手机一直到高位速率宽带-提供极高的质量，这可与当今所具有的最好的专利压缩算法相媲美。
Apple计算机强力支持MPEG-4。例如参见http：//www.apple.com/mpeg4/。MPEG-4将为QuickTime 6的一组成要素，Real Networks也已采用这一标准。然而，值得注意的是，Microsoft尚待接受这一标准，且正在提供一种叫做“Corona”(Windows Media 9)的替代方案。参看http：//www.microsoft.com/windows/windowsmedia/thirdgen/default.asp。
(iii)开放式源码(编译码器)
VP3( www.vp3.com)为一“开放式源码”视频编译码器。该编译码器允许开放式源码社区访问一具有增强和扩展视频处理代码的选项的视频编译码器源码基数。VP3的目标是高质量视频和高压缩程度，且可在PC和Macintosh计算机上快速解压。内容可在网上流式传输，或由一本地磁盘驱动器、CD或DVD播放。
当前在QuickTime中支持VP3，且VP3支持视频内容的编码(以QuickTime5.x Pro)和译码(QuickTime 5.x标准)。编码后的视频文件自QuickTime StreamServer流式传输或由一网络服务器提供以便逐渐下载。对于Mac和PC，VP3可与QuickTime兼容，而且它可实现使用QuickTime Pro编码，或任何其他与QuickTime一致的编码应用。VP3文件也可使用Windows Media Player(其中文件与Direct X和Video For Windows平台二者都兼容)播放。Windows的VP3允许使用与Video For Windows相一致的编码器(例如Adobe Premiere和Cleaner)在VP3视频中编码。所述编译码器的译码器部分既与Video ForWindows一致又与DirectShow一致。
由于VP3是开放式源码软件，因而编译码器源可免费得到并可整合入定制应用中。对于视频捕捉和编码，虽然可从On2Technologies(Open Source Codec forVideo(视频开放式源码编译码器)的发起者)得到视频捕捉和编码功能，但在该行业中对VP3的支持有限。
还有一种叫做“Ogg Vorbis”的开放式源码音频编译码器，其中Ogg Vorbis为非专利性的、开放的、无专利和专利权税的音频格式和编译码器，其用于固定和可变位速率下的中等到高质量的音频以供在因特网上传送。
(iv)开放式源码(服务器)
Real Networks已经宣布了第一个主要的开放式源码流式媒体服务器-“Helix”Universal Server，参见http：//www.realnetworks.com/info/helix/index.html，其支持许多种媒体编译码器(即QuickTime、MPEG-2、MPEG-4、WindowsMedia、Real Media，等等)，并还提供对一用于增强和扩展所述媒体服务器的开放式源码基数的访问。在按照上文所概述将新的种类的流式媒体算法及协议构建为DIVER流时，此种新服务器可能非常适用于实践者。其也可适用于建立用于DIVER的定制的Helix编码器和客户侧播放器(叫做“HelixDNA播放器”)。
表1提供在本节中所引用的关于数字影像的处理和分发的技术参考文献的列表，以供感兴趣的实践者进一步参考和查阅。
                            表1-参考文献
Foster，I.Kesselman，C，Tuecke，S.(2001)″The Anatomy of theGrid：Enabling Scalable Virtual Organizations，″International J.SupercomputerApplications，15(3)，2001年。
Rutledge，S.，Medicke，J.(2001)″Building Federated Systems with RelationalConnect and Database Views，″IBM e-business Solution Integration Technical WhitePaper，2001年。
Arman，F.，Hsu，A.and Chiu，M.(1993)″Image Processing on CompressedData for Large Video Databases，″Proceedings of the First ACM InternationalConference on Multimedia，1993年8月。
Smith，B.及Rowe，L.(1993)″Algorithms for Manipulating CompressedImages，″IEEE Computer Graphics and Applications，1993年9月，第13卷，(no.5)：第34-42页。34-42.
Vichare，R.，and Borovick，L.(2002)″Content Caching Vendor MarketShare，″2001，IDCBulletin #26785，2002年3月。
Chang，E.，及Yap，C.(1997)″A Wavelet Approach to Foveating Iinages，″Proc.13th ACM Symposium on Computational Geometry，第397-399页，1997年。
Chang，E.，Yap，C.及Yen，T.(1997)″RealTime Visualization of Large imagesover a Thinwire，″IEEE Visualization 97 (Late Breaking Hot Topics)，Tucson，Arizona.，1997年10月19-24日。CD and Video Proceedings.
Ramella，G.，Sanniti，G.(2001)″Shape and Topology Preserving MuIti-ValuedImage Pyramids for  Multi-Resolution  Skeletonization，″Pattern RecognitionLetters，第22卷，No.5，第741-751页，2001年。741-751，2001.
Cohen，M.F.，Chen，S.E.，Wallace，J.R.，Greenberg，D.P(1988)″AProgressive Refinement Approach to Fast Radiosity Image Generation，″SIGGRAPH(1988)第75-84页。
Digital Fountain Corporation(2002)″Digital Fountain′s MetaContentTechnology，″Technology White Paper，2002年4月23日。
Chen，A.(2002)″Girding for Grid Battle，″eWeek Labs Report，第37页，2002年7月22日。
Dyck，T.(2002)″Grid Technical Challenges Daunting，″eWeek Labs Report，第38页，2002年7月22日。
C. 分析和探测
图6-10图解说明称为交互式全景视频映像的概念：即一交互式、可转换的表示法，其有助于用户超越对事件(基本的音频视频记录)表面结构的体验，以便在视频数据中探测和分析更多的抽象式样和关系。我们将这些全景概览称为映像，以强调与传统映像制作和映像理解的类似。如同传统映像一样，一全景视频映像是一比其所代表的真实世界时空事件更为抽象的图像。并且像传统映像一样，为有用，一全景视频映像在强调原始动态事件的那些对现有分析任务有用的特征的同时，过滤掉无关的细节。然而，与传统的纸上映像不同，全景视频映像的强大特征之一是其可以是交互式的；其允许用户选择适合于现有任务的景物抽象层次。
交互式全景映像概览的方案
为了阐明交互式全景映像概览的概念，我们提供四种显示其如何用作本发明应用的用户方案。如实践者将了解，这些方案并非穷尽性，而是旨在提供对人机交互的挑战和机遇的了解，使用本发明即可有利地解决这些挑战和机遇。
方案1.在全景概览映像内查找注解“热点”
工作空间区230是用户可在其中注解、组织和分析将构成一“DIVE”的遍历(用户对全景视频事件的特定观点)的区域。在先前在图2A和2B中所描绘的实施例中，工作表230由一组面板组成，其中每一面板尤其包含一电影缩略图240、时间码250(d)和一用于注解所述电影的正文框250(a)。现在假定一有兴趣在学生和教师之间进行非语言式交互作用的研究者已经创建了一包含从一教室事件的全景视频中选出的几百个带注解遍历的DIVER工作表。进一步假定所述研究者希望得到这些带注解的“热点”在所述视频中的位置的概览。换句话说，所述注解群集于所述事件中特定时间和空间点的周围？一沿视频时间线显示注解频率的直方图将是查看此等热点的传统方法。不过，传统直方图只显示注解发生的时间，但不显示发生的地点。图7显示一界面窗格，其中带注解的遍历710的缩略图预览730覆盖在一边缘受检测的全景概览720上。
注意，全景概览720已受到边缘检测(一种为实践者所熟知的图像处理方法)和整理，以突出遍历缩略图730的空间位置。因为在标记2D全景内一视频遍历段的x-y位置以进行注解时会自动记录该x-y位置，因此可在2D映像720上显示遍历缩略图730。通过改变一滑动条740的时间范围，用户将以动态方式看到注解活动的空间分布在所述景物内如何改变。举例而言，在下文的实例中，在该时间片期间，看起来有许多该教师处于其讲示工作台上的带注解遍历。为得到更细程度的细节，可在整个所述全景景物内拖动一注解滑动条740；拖动所述滑动条可过滤所述DIVER工作表，以在与所述滑动条相交的显示中仅显示那些带注解的遍历。最后，如先前结合图1-3所述，通过点击一缩略图730(n)在一细节播放器窗口中重放相应的音频片断710(n)，用户便可更进一步地向下观看。
方案2.使用全景视频映像进行数据覆盖
全景概览也可用于信息可视化，尤其用于探测关于自然背景及其对行为的影响的假想。假定一研究者使用DIVER探测一实际课堂课节的全景视频，以便形成深入了解并开始创建分析类别。举例而言，假定所述研究者开发一交互简表并就所述教员所从事的交互作用的种类和时间长度，使用DIVER对所述视频进行编码(如图4所示，使用分类码注解)。将一DIVER编码表中的分析结果视为一遍历列表将不能提供关于交互作用模式与自然背景之间关系的大量深入了解。.然而，通过使所述系统将所编码的数据覆盖到一受到边缘检测的全景概览(所述空间的一种等高线图)，研究者即可容易地看到群集于房间的不同空间区域中的各交互作用模式的分布(每一交互式样较佳均由一着色点编码)。图8描绘这样一种显示：其显示以一受到边缘检测的全景景物810为背景绘制的带索引号的数据点820。(此实例显示替代实施例2A和2B对于某些应用的重要性。举例而言，在这里，如果所述全景概览在空间上不直观或不精确，则其作为一可视化映像的适用性可能会受到限制。)不难看出如何在本发明的精神范围内对这一概念作进一步的延伸。举例而言，全景视频映像可用于检查同以物理空间如何可由不同的教师使用或用于不同的对象。另一使用一视频腹腔镜的全景形式进行医学教育的应用能够检查具有不同专业观察力和能力水平的学生如何对同一身体器官进行手术。
方案3.全景视频数据的动态查询
另外，信息可视化技术可帮助用户发现选自一全景流中的数据的式样和关系。举例而言，假定一个对研究学生-教师的交互作用感兴趣的教育研究者已使用了DIVER分类码注解在例如面部表情、手势、学生问问题的频率、讲话时间，等类别方面对一大组视频遍历进行编码。进一步假定所述研究者也能在学生名字、年龄、性别、平均测试得分、声望得分等方面对每一剪辑进行编码。图9中的界面图解说明如何使用动态查询技术来帮助所述研究者探测所述数据中的式样。图9描绘一散点图920，其显示所问问题的平均数与平均测试得分之间的关系。电影缩略图930用于标记数据点。在左边，用户可通过下拉菜单910选择x和y轴的变量。在此实例中，所述研究者已选择绘示所问问题的平均数与平均测试得分之间的关系。
所述散点图有助于研究者看到学生提问题的频率与其测试得分之间的线性关系。所述关系图还有助于用户注意到例外的人930(a)，即平均得分很高但看起来问问题并不多的学生。使用电影缩略图930作为数据点有助于研究者将数据置于上下文中进行分析(contextualize)；能够将外围数据点看作代表一特定的学生可能引发更多的询问。举例而言，通过点击所述电影缩略图，研究者不仅能够在细节窗口950中播放这一特定数据点所表示的视频遍历，而且能够在全景概览940中在其原始空间和时间上下文中看到它。通过此种方式，所述界面会鼓励研究者(以及其他可能在查看所述数据的人)迅速地上下移动抽象标尺(如图10所示)、轻松地链接回到主视频记录以便在上下文中查阅人行为的短暂细节。最后，如先前结合图3所述，所述界面通过如下方式允许进行更细程度的分析：令研究者创建一组空间合成的遍历(一种新的复合电影)，允许她进行更精细的逐帧分析，将(例如)女孩问问题的遍历与男孩问问题的遍历相比较。
一般而言，如图10所示，可以认为用户的分析任务是沿一抽象标尺存在。所述标尺的范围是从对事件1010的直接感觉经历到更具思考性的思维和发现模式1030。并且，对于所述标尺的每一尺度，均将有一相应的呈现(1020，1040)，这种呈现的功能是帮助用户在一特定抽象层次来探测所述事件。事实上，此概念的能力恰好是在研究者专注于所述全景视频记录时使她能够轻松地沿一抽象标尺的任一方向行进的能力。因此，在本发明的较佳实施例中，一全景视频映像是一种可变换的呈现形式，其使用户能够在探测所述全景视频记录时在各抽象层次之间轻松移换。
图6为一流程图，其图解说明一种使用例如图7-10所示视频数据映像来探测和分析视频数据遍历的方法。在600中，显示正被分析的视频数据的一抽象映像。对于刚刚所述的方案，所述抽象映像将分别包括全景概览720(图7)、受到边缘检测的景物810(图8)或散点图920(图9)。在610中，使一标记与正被分析的每一遍历记录相关联。同样，对于刚刚所述的方案，所述标记将包括遍历缩略图像730和930(图7和9)或分类码点820(图8)。在620中，沿所述抽象映像在适当位置处绘示所述标记。在630中，用户以交互方式选择所关心的标记并在640中重放对应的遍历记录，从而在不同的抽象层次之间链接和移换，以便探测所述视频记录，如图10所示。
方案4.全景视频事件的协作性可视化
至此所述的各方案涉及由单个用户分析一全景视频行为记录。可设想，作为一研究者联网社区的一部分，可得到一教室事件的一全景视频。随着时间的经过，许多具有不同背景和观点的研究者可创建与所述全景事件相关的DIVE和分析。如上文结合图5所阐述，在DIVER中用于共享分析的一基本机理是查看网上所公布的DIVER工作表上的串线式讨论。如结合图6-10所阐述，全景视频映像通过使用户能够看到景物上的可视化和数据覆盖(可能是数百或也许数千个用户的总体，每一用户对所述景物均具有其自己的观点)，而提供该概念的强大延伸。如实践者根据本文中的教示所显而易见，可应用动态查询和信息可视化原理来使用户能够将一族观点视为景物上的注解覆盖。举例而言，一显示由以特定颜色或特征形状编码的各个人类学家所作注解的时空群集的数据覆盖。另一实例将是显示由创建可通过一网站访问的动画视频记录的遍历的不同年龄儿童群组(或那些沿其他可度量尺寸的有差别轮廓)所作注解的时空群集的对比式样。
虽然上述联网社区方案涉及与影像有关的非同步DIVE和分析，但是另一方案涉及多个可同时创建与视频或其他影像相关的DIVE的个人，如在讲堂中或对于例如动画等娱乐事件。
图11图示一用于实施本文所述较佳实施例的数字电子装置的网络。创作工作站1100，即一标准个人计算机，包括处理器和存储器1130、显示器1110及输入1120，其用于实施图1所示的创作方法并产生图2-4所示的图形界面显示。
在一变化形式中，遥控装置1140较佳以无线方式连接至工作站1100，从而能够对交互式会话实施方便的手持控制。在某些实施例中，装置1140可包括足够的处理能力和存储能力，以充分控制该逻辑并产生图1-4所示的交互式显示，在此种情形中，装置1100可基本上为一电子显示器，可不必需要独立的计算处理能力1130。
总之，装置1130/1140较佳通过网络1150(例如，因特网或专用内联网)与较佳包括标准网络浏览客户机功能的用户装置1160(a)-(n)连接。该联网装置社区按照图5实施带注解遍历的公布和共享。按照图6-10使用抽象视频映像进行的遍历分析可由任一所配备的处理能力和存储能力足以运行可执行结合所述附图所说明及论述的功能的映射及绘制软件例程的装置1130/1140或1160(a)-(n)独立实施。
本发明的范围不应由所阐释的实施例确定，而应由随附权利要求书及其合法的等效内容确定。

Claims (18)

1、一种使用复数个遍历记录来探测及分析可视数据的交互式电子方法，所述遍历记录中的每一遍历记录均包括一基于时间的帧序列，每一帧均为所述可视数据的一空间子集，所述方法包括：
显示所述可视数据的一抽象映像；
在所述映像上的复数个位置上绘制对应复数个标记，所述标记中的每一标记均与所述遍历记录中的一遍历记录相关联；及
响应于交互式地选择所述标记中的一个所需标记来重放对应遍历。
2、如权利要求1所述的方法，其中所述抽象映像包括来自所述可视数据的一景物的一轮廓。
3、如权利要求2所述的方法，其中使用一边缘检测算法自所述可视数据自动产生所述景物轮廓。
4、如权利要求1所述的方法，其中所述抽象映像包括为所述存储遍历记录指定的一或多个注解数据值的一曲线图。
5、如权利要求1所述的方法，其中所述标记中每一标记均包括其相关联记录的一缩略图。
6、如权利要求1所述的方法，其中所述标记中每一标记均标示一为其对应遍历记录所指定的注解值。
7、如权利要求1所述的方法，其中使用一图形用户界面来实施所述方法，所述图形界面包括复数个计算机显示区，所述复数个计算机显示区包括一显示所述抽象映像及所绘制标记的映像区、及一显示所需遍历的重放区。
8、如权利要求7所述的方法，其中所述图形界面进一步包括一工作表区，所述工作表区用于显示所述遍历记录及相关联注解的一列表。
9、如权利要求8所述的方法，其进一步包括：以交互方式选择所述抽象映像内的一个感兴趣的空间区域，并在所述工作表区内显示那些与位于所述感兴趣的空间区域内的所述标记相对应的遍历记录的一经过滤的列表。
10、一种使用复数个遍历记录来探测及分析可视数据的交互式电子装置，所述遍历记录中的每一遍历记录均包括一基于时间的帧序列，每一帧均为所述可视数据的一空间子集，所述装置包括：
显示构件，其用于显示所述可视数据的一抽象映像；
绘制构件，其用于在所述映像上的复数个位置上绘制对应复数个标记，所述标记中的每一标记均与所述遍历记录中的一遍历记录相关联；及
重放构件，其用于响应于交互式地选择所述标记中的一个所需标记来重放对应遍历。
11、如权利要求10所述的装置，其中所述抽象映像包括来自所述可视数据的一景物的一轮廓。
12、如权利要求11所述的装置，其中使用一边缘检测算法自所述可视数据自动产生所述景物轮廓。
13、如权利要求10所述的装置，其中所述抽象映像包括为所述存储遍历记录指定的一或多个注解数据值的一曲线图。
14、如权利要求10所述的装置，其中所述标记中每一标记均包括其相关联记录的一缩略图。
15、如权利要求10所述的装置，其中所述标记中每一标记均标示一为其对应遍历记录所指定的注解值。
16、如权利要求10所述的装置，其中所述用于显示、绘制及重放的构件包含于一集成图形用户界面中，所述图形界面包括复数个计算机显示区，所述复数个计算机显示区包括一显示所述抽象映像及所绘制标记的映像区、及一显示所需遍历的重放区。
17、如权利要求16所述的装置，其中所述图形界面进一步包括一工作表区，所述工作表区用于显示所述遍历记录及相关联注解的一列表。
18、如权利要求17所述的装置，其进一步包括：以交互方式选择所述抽象映像内的一个感兴趣的空间区域，并在所述工作表区内显示那些与位于所述感兴趣的空间区域内的所述标记相对应的遍历记录的一经过滤的列表。
CNA2003801098789A 2002-12-30 2003-12-22 用于对数字视频内容进行基于交互式映像的分析的方法及装置 Pending CN1754194A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/331,776 2002-12-30
US10/331,776 US7082572B2 (en) 2002-12-30 2002-12-30 Methods and apparatus for interactive map-based analysis of digital video content

Publications (1)

Publication Number Publication Date
CN1754194A true CN1754194A (zh) 2006-03-29

Family

ID=32654824

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2003801098789A Pending CN1754194A (zh) 2002-12-30 2003-12-22 用于对数字视频内容进行基于交互式映像的分析的方法及装置

Country Status (7)

Country Link
US (2) US7082572B2 (zh)
EP (1) EP1579407A1 (zh)
JP (1) JP2006514796A (zh)
KR (1) KR20050087876A (zh)
CN (1) CN1754194A (zh)
AU (1) AU2003297445A1 (zh)
WO (1) WO2004061798A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277598A (zh) * 2016-04-07 2017-10-20 北京文香信息技术有限公司 针对教学的视频直播点播系统
CN108564447A (zh) * 2012-08-17 2018-09-21 电子湾有限公司 基于可穿戴传感器的推荐
CN109920025A (zh) * 2019-01-31 2019-06-21 甘肃省地震局 一种海量数据在时间域的高效分层抽样绘图方法及系统

Families Citing this family (149)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010030667A1 (en) * 2000-04-10 2001-10-18 Kelts Brett R. Interactive display interface for information objects
US20080060020A1 (en) * 2000-12-22 2008-03-06 Hillcrest Laboratories, Inc. Methods and systems for semantic zooming
US20030135552A1 (en) * 2002-01-14 2003-07-17 Blackstock Michael A. Method for discovering and discriminating devices on local collaborative networks to facilitate collaboration among users
JP4065142B2 (ja) * 2002-05-31 2008-03-19 松下電器産業株式会社 オーサリング装置およびオーサリング方法
US7613772B2 (en) * 2002-07-25 2009-11-03 Colligo Networks, Inc. Method for context based discovery and filtering of portable collaborative networks
US7549127B2 (en) * 2002-08-01 2009-06-16 Realnetworks, Inc. Method and apparatus for resizing video content displayed within a graphical user interface
US10151599B1 (en) * 2003-03-13 2018-12-11 Pamala Meador Interactive virtual reality tour
US8046705B2 (en) * 2003-05-08 2011-10-25 Hillcrest Laboratories, Inc. Systems and methods for resolution consistent semantic zooming
US7770117B1 (en) 2003-05-22 2010-08-03 Apple Inc. Morphing between views of data
US7788605B1 (en) * 2003-05-22 2010-08-31 Apple Inc. Morphing between views of data
US6975089B2 (en) * 2003-07-28 2005-12-13 Cablecam International Inc. System and method for facilitating fluid three-dimensional movement of an object via directional force
US7299417B1 (en) * 2003-07-30 2007-11-20 Barris Joel M System or method for interacting with a representation of physical space
US7580909B2 (en) * 2003-08-26 2009-08-25 Northrop Grumman Corporation Visual representation tool for structured arguments
JP2005094391A (ja) * 2003-09-18 2005-04-07 Pioneer Electronic Corp データ編集記録装置、データ編集記録方法、並びに、データ編集記録プログラムおよびそれを記録した記録媒体
WO2005033871A2 (en) * 2003-09-28 2005-04-14 Nbor Corporation Method for creating a collection of multimedia interactive graphic elements using arrow logic
US7725828B1 (en) * 2003-10-15 2010-05-25 Apple Inc. Application of speed effects to a video presentation
US20050188325A1 (en) * 2004-02-20 2005-08-25 Kolman Robert S. Highlighting panning window interface
US7324069B2 (en) * 2004-05-14 2008-01-29 Pixar Animation review methods and apparatus
US20060037057A1 (en) * 2004-05-24 2006-02-16 Sharp Laboratories Of America, Inc. Method and system of enabling trick play modes using HTTP GET
US7512883B2 (en) * 2004-06-30 2009-03-31 Microsoft Corporation Portable solution for automatic camera management
US8403485B2 (en) * 2004-09-03 2013-03-26 Ucansi Inc. System and method for vision evaluation
JP2006174309A (ja) * 2004-12-17 2006-06-29 Ricoh Co Ltd 動画再生装置、プログラム、及び記録媒体
US8145777B2 (en) 2005-01-14 2012-03-27 Citrix Systems, Inc. Method and system for real-time seeking during playback of remote presentation protocols
US7831728B2 (en) 2005-01-14 2010-11-09 Citrix Systems, Inc. Methods and systems for real-time seeking during real-time playback of a presentation layer protocol data stream
US20060161838A1 (en) * 2005-01-14 2006-07-20 Ronald Nydam Review of signature based content
US8200828B2 (en) 2005-01-14 2012-06-12 Citrix Systems, Inc. Systems and methods for single stack shadowing
US8230096B2 (en) 2005-01-14 2012-07-24 Citrix Systems, Inc. Methods and systems for generating playback instructions for playback of a recorded computer session
US8340130B2 (en) 2005-01-14 2012-12-25 Citrix Systems, Inc. Methods and systems for generating playback instructions for rendering of a recorded computer session
US8296441B2 (en) 2005-01-14 2012-10-23 Citrix Systems, Inc. Methods and systems for joining a real-time session of presentation layer protocol data
US8935316B2 (en) 2005-01-14 2015-01-13 Citrix Systems, Inc. Methods and systems for in-session playback on a local machine of remotely-stored and real time presentation layer protocol data
US20060159432A1 (en) 2005-01-14 2006-07-20 Citrix Systems, Inc. System and methods for automatic time-warped playback in rendering a recorded computer session
US20080141180A1 (en) * 2005-04-07 2008-06-12 Iofy Corporation Apparatus and Method for Utilizing an Information Unit to Provide Navigation Features on a Device
US10271097B2 (en) * 2005-04-15 2019-04-23 Autodesk, Inc. Dynamic resolution determination
US8078740B2 (en) 2005-06-03 2011-12-13 Microsoft Corporation Running internet applications with low rights
US7900191B1 (en) 2005-06-20 2011-03-01 The Math Works, Inc. System and method of using an active link in a state programming environment to locate an element in a graphical programming environment
US8726233B1 (en) 2005-06-20 2014-05-13 The Mathworks, Inc. System and method of using an active link in a state programming environment to locate an element
CA2519003A1 (en) * 2005-09-13 2007-03-13 Cognos Incorporated System for and method of providing overview of a worksheet in an electronic report
US8191008B2 (en) 2005-10-03 2012-05-29 Citrix Systems, Inc. Simulating multi-monitor functionality in a single monitor environment
US9384178B2 (en) * 2005-12-09 2016-07-05 Adobe Systems Incorporated Review of signature based content
US20070204238A1 (en) * 2006-02-27 2007-08-30 Microsoft Corporation Smart Video Presentation
US20070271331A1 (en) * 2006-05-17 2007-11-22 Steve Muth System of archiving and repurposing a complex group conversation referencing networked media
US8185737B2 (en) 2006-06-23 2012-05-22 Microsoft Corporation Communication across domains
US20080046925A1 (en) * 2006-08-17 2008-02-21 Microsoft Corporation Temporal and spatial in-video marking, indexing, and searching
US9630104B2 (en) * 2006-10-23 2017-04-25 Konrad V. Sherinian Systems, methods, and apparatus for transmitting virtual world content from a server system to a client
US20080104538A1 (en) * 2006-10-26 2008-05-01 Weixin Li Method of operating popup window of browsers through remote controller
US8756333B2 (en) * 2006-11-22 2014-06-17 Myspace Music Llc Interactive multicast media service
US20080145829A1 (en) * 2006-12-15 2008-06-19 Atellis, Inc. Synchronous multi-media recording and playback with end user control of time, data, and event visualization for playback control over a network
US8113844B2 (en) * 2006-12-15 2012-02-14 Atellis, Inc. Method, system, and computer-readable recording medium for synchronous multi-media recording and playback with end user control of time, data, and event visualization for playback control over a network
US8943410B2 (en) 2006-12-22 2015-01-27 Apple Inc. Modified media presentation during scrubbing
US8020100B2 (en) * 2006-12-22 2011-09-13 Apple Inc. Fast creation of video segments
US10108437B2 (en) * 2007-02-12 2018-10-23 Adobe Systems Incorporated Rendition of a content editor
US7865585B2 (en) 2007-03-12 2011-01-04 Citrix Systems, Inc. Systems and methods for providing dynamic ad hoc proxy-cache hierarchies
US7865589B2 (en) 2007-03-12 2011-01-04 Citrix Systems, Inc. Systems and methods for providing structured policy expressions to represent unstructured data in a network appliance
US7453379B2 (en) * 2007-03-12 2008-11-18 Citrix Systems, Inc. Systems and methods for identifying long matches of data in a compression history
US8631147B2 (en) 2007-03-12 2014-01-14 Citrix Systems, Inc. Systems and methods for configuring policy bank invocations
US7827237B2 (en) 2007-03-12 2010-11-02 Citrix Systems, Inc. Systems and methods for identifying long matches of data in a compression history
US7853679B2 (en) 2007-03-12 2010-12-14 Citrix Systems, Inc. Systems and methods for configuring handling of undefined policy events
US7853678B2 (en) 2007-03-12 2010-12-14 Citrix Systems, Inc. Systems and methods for configuring flow control of policy expressions
US8490148B2 (en) 2007-03-12 2013-07-16 Citrix Systems, Inc Systems and methods for managing application security profiles
US8255570B2 (en) 2007-03-12 2012-08-28 Citrix Systems, Inc. Systems and methods of compression history expiration and synchronization
US7619545B2 (en) 2007-03-12 2009-11-17 Citrix Systems, Inc. Systems and methods of using application and protocol specific parsing for compression
US7532134B2 (en) 2007-03-12 2009-05-12 Citrix Systems, Inc. Systems and methods for sharing compression histories between multiple devices
US7460038B2 (en) * 2007-03-12 2008-12-02 Citrix Systems, Inc. Systems and methods of clustered sharing of compression histories
US8161369B2 (en) * 2007-03-16 2012-04-17 Branchfire, Llc System and method of providing a two-part graphic design and interactive document application
US8671337B2 (en) * 2007-03-27 2014-03-11 Sharp Laboratories Of America, Inc. Methods, systems and devices for multimedia-content presentation
US8074241B2 (en) * 2007-03-30 2011-12-06 The Board Of Trustees Of The Leland Stanford Jr. University Process for displaying and navigating panoramic video, and method and user interface for streaming panoramic video and images between a server and browser-based client application
US20080313541A1 (en) * 2007-06-14 2008-12-18 Yahoo! Inc. Method and system for personalized segmentation and indexing of media
US20100283843A1 (en) * 2007-07-17 2010-11-11 Yang Cai Multiple resolution video network with eye tracking based control
US20090049373A1 (en) * 2007-08-14 2009-02-19 Nbc Universal, Inc. Method and system for user receipt of digital content
US7712150B2 (en) * 2007-10-01 2010-05-11 Pardillo Joseph M Protective pad assembly magnetically attachable to garment
US8582805B2 (en) * 2007-11-05 2013-11-12 California Institute Of Technology Synthetic foveal imaging technology
CN101815995B (zh) * 2007-11-15 2012-08-22 Sk普兰尼特有限公司 基于重要性等级产生富媒体的系统和方法及应用于其的服务器
US20090172547A1 (en) * 2007-12-31 2009-07-02 Sparr Michael J System and method for dynamically publishing multiple photos in slideshow format on a mobile device
US9098647B2 (en) * 2008-03-10 2015-08-04 Apple Inc. Dynamic viewing of a three dimensional space
US9240056B2 (en) * 2008-04-02 2016-01-19 Microsoft Technology Licensing, Llc Video retargeting
US20090254867A1 (en) * 2008-04-03 2009-10-08 Microsoft Corporation Zoom for annotatable margins
US20090307618A1 (en) * 2008-06-05 2009-12-10 Microsoft Corporation Annotate at multiple levels
US20090327896A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Dynamic media augmentation for presentations
US8171411B1 (en) 2008-08-18 2012-05-01 National CineMedia LLC System and method for delivering content in a movie trailer
US8122017B1 (en) * 2008-09-18 2012-02-21 Google Inc. Enhanced retrieval of source code
WO2010042578A1 (en) * 2008-10-08 2010-04-15 Citrix Systems, Inc. Systems and methods for real-time endpoint application flow control with network structure component
US8504716B2 (en) * 2008-10-08 2013-08-06 Citrix Systems, Inc Systems and methods for allocating bandwidth by an intermediary for flow control
US9087211B2 (en) * 2008-11-17 2015-07-21 International Business Machines Corporation Method and system for annotation based secure caching
US8626322B2 (en) * 2008-12-30 2014-01-07 Apple Inc. Multimedia display based on audio and visual complexity
US8621357B2 (en) * 2008-12-30 2013-12-31 Apple Inc. Light table for editing digital media
US8832555B2 (en) * 2008-12-30 2014-09-09 Apple Inc. Framework for slideshow object
US20100169906A1 (en) * 2008-12-30 2010-07-01 Microsoft Corporation User-Annotated Video Markup
US8639086B2 (en) 2009-01-06 2014-01-28 Adobe Systems Incorporated Rendering of video based on overlaying of bitmapped images
US8740701B2 (en) * 2009-06-15 2014-06-03 Wms Gaming, Inc. Controlling wagering game system audio
EP2446590B1 (en) * 2009-06-22 2015-11-25 Citrix Systems, Inc. Systems and methods for platform rate limiting
WO2011005797A1 (en) 2009-07-07 2011-01-13 Wms Gaming, Inc. Controlling gaming effects for gaming network nodes
WO2011005798A1 (en) 2009-07-07 2011-01-13 Wms Gaming, Inc. Controlling wagering game lighting content
WO2011014760A1 (en) 2009-07-31 2011-02-03 Wms Gaming, Inc. Controlling casino lighting content and audio content
US10269207B2 (en) 2009-07-31 2019-04-23 Bally Gaming, Inc. Controlling casino lighting content and audio content
US8622830B2 (en) * 2009-08-20 2014-01-07 Wms Gaming, Inc. Controlling sound distribution in wagering game applications
US8806341B2 (en) * 2009-12-10 2014-08-12 Hulu, LLC Method and apparatus for navigating a media program via a histogram of popular segments
US8613667B2 (en) 2009-12-21 2013-12-24 Wms Gaming, Inc. Position-based lighting coordination in wagering game systems
US8840464B1 (en) 2010-04-26 2014-09-23 Wms Gaming, Inc. Coordinating media in a wagering game environment
US8814673B1 (en) 2010-04-26 2014-08-26 Wms Gaming, Inc. Presenting lighting content in wagering game systems
US9367987B1 (en) 2010-04-26 2016-06-14 Bally Gaming, Inc. Selecting color in wagering game systems
US8912727B1 (en) 2010-05-17 2014-12-16 Wms Gaming, Inc. Wagering game lighting device chains
US9204040B2 (en) 2010-05-21 2015-12-01 Qualcomm Incorporated Online creation of panoramic augmented reality annotations on mobile platforms
US8933986B2 (en) 2010-05-28 2015-01-13 Qualcomm Incorporated North centered orientation tracking in uninformed environments
US8819557B2 (en) 2010-07-15 2014-08-26 Apple Inc. Media-editing application with a free-form space for organizing or compositing media clips
US10324605B2 (en) 2011-02-16 2019-06-18 Apple Inc. Media-editing application with novel editing tools
US8827805B1 (en) 2010-08-06 2014-09-09 Wms Gaming, Inc. Balancing community gaming effects
US8443285B2 (en) 2010-08-24 2013-05-14 Apple Inc. Visual presentation composition
US8943134B2 (en) 2010-12-28 2015-01-27 Google Inc. Targeting based on social updates
US9251855B2 (en) 2011-01-28 2016-02-02 Apple Inc. Efficient media processing
US9997196B2 (en) 2011-02-16 2018-06-12 Apple Inc. Retiming media presentations
US11747972B2 (en) 2011-02-16 2023-09-05 Apple Inc. Media-editing application with novel editing tools
US9026909B2 (en) 2011-02-16 2015-05-05 Apple Inc. Keyword list view
US9351028B2 (en) 2011-07-14 2016-05-24 Qualcomm Incorporated Wireless 3D streaming server
US8615159B2 (en) 2011-09-20 2013-12-24 Citrix Systems, Inc. Methods and systems for cataloging text in a recorded session
US9536564B2 (en) 2011-09-20 2017-01-03 Apple Inc. Role-facilitated editing operations
GB2511668A (en) * 2012-04-12 2014-09-10 Supercell Oy System and method for controlling technical processes
US9860580B1 (en) * 2012-09-21 2018-01-02 Amazon Technologies, Inc. Presentation of streaming content
US9488489B2 (en) * 2012-09-28 2016-11-08 Google Inc. Personalized mapping with photo tours
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9014544B2 (en) 2012-12-19 2015-04-21 Apple Inc. User interface for retiming in a media authoring tool
US10482777B2 (en) * 2013-02-22 2019-11-19 Fuji Xerox Co., Ltd. Systems and methods for content analysis to support navigation and annotation in expository videos
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US11481091B2 (en) 2013-05-15 2022-10-25 Google Llc Method and apparatus for supporting user interactions with non- designated locations on a digital map
JP6167703B2 (ja) * 2013-07-08 2017-07-26 株式会社リコー 表示制御装置、プログラム及び記録媒体
US9539441B2 (en) * 2013-09-13 2017-01-10 Elekta Ab (Publ) Radiotherapy system with advanced graphical user interface
US9244940B1 (en) 2013-09-27 2016-01-26 Google Inc. Navigation paths for panorama
US20150135045A1 (en) * 2013-11-13 2015-05-14 Tutti Dynamics, Inc. Method and system for creation and/or publication of collaborative multi-source media presentations
US9189839B1 (en) 2014-04-24 2015-11-17 Google Inc. Automatically generating panorama tours
US10600245B1 (en) 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
US9002647B1 (en) 2014-06-27 2015-04-07 Google Inc. Generating turn-by-turn direction previews
US9418472B2 (en) 2014-07-17 2016-08-16 Google Inc. Blending between street view and earth view
US9472009B2 (en) 2015-01-13 2016-10-18 International Business Machines Corporation Display of context based animated content in electronic map
US10542961B2 (en) 2015-06-15 2020-01-28 The Research Foundation For The State University Of New York System and method for infrasonic cardiac monitoring
US11245939B2 (en) * 2015-06-26 2022-02-08 Samsung Electronics Co., Ltd. Generating and transmitting metadata for virtual reality
US11157689B2 (en) 2015-11-02 2021-10-26 Microsoft Technology Licensing, Llc Operations on dynamic data associated with cells in spreadsheets
US10997364B2 (en) 2015-11-02 2021-05-04 Microsoft Technology Licensing, Llc Operations on sound files associated with cells in spreadsheets
US20170169572A1 (en) * 2015-12-15 2017-06-15 Le Holdings (Beijing) Co., Ltd. Method and electronic device for panoramic video-based region identification
CN106294798B (zh) * 2016-08-15 2020-01-17 华为技术有限公司 一种基于缩略图的图像分享方法和终端
CN106454079B (zh) * 2016-09-28 2020-03-27 北京旷视科技有限公司 图像处理方法及装置和相机
CN107302671A (zh) * 2017-06-30 2017-10-27 北京金山安全软件有限公司 素材拼接处理方法、装置、电子设备及存储介质
US10587919B2 (en) 2017-09-29 2020-03-10 International Business Machines Corporation Cognitive digital video filtering based on user preferences
US11363352B2 (en) 2017-09-29 2022-06-14 International Business Machines Corporation Video content relationship mapping
US11116587B2 (en) * 2018-08-13 2021-09-14 Theator inc. Timeline overlay on surgical video
KR102572006B1 (ko) 2019-02-21 2023-08-31 시어터 인코포레이티드 수술 비디오의 분석을 위한 시스템 및 방법
US11065079B2 (en) 2019-02-21 2021-07-20 Theator inc. Image-based system for estimating surgical contact force
KR20210001324A (ko) 2019-06-27 2021-01-06 삼성전자주식회사 인공 신경망 모델 및 이를 포함하는 전자 장치
KR20210004229A (ko) 2019-07-03 2021-01-13 삼성전자주식회사 뉴럴 네트워크 프로세서를 구비하는 이미지 프로세싱 장치 및 이의 동작 방법
CN110765921B (zh) * 2019-10-18 2022-04-19 北京工业大学 一种基于弱监督学习和视频时空特征的视频物体定位方法
US11348682B2 (en) 2020-04-05 2022-05-31 Theator, Inc. Automated assessment of surgical competency from video analyses

Family Cites Families (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5513306A (en) * 1990-08-09 1996-04-30 Apple Computer, Inc. Temporal event viewing and editing system
US5359712A (en) * 1991-05-06 1994-10-25 Apple Computer, Inc. Method and apparatus for transitioning between sequences of digital information
FR2683648B1 (fr) * 1991-11-12 1996-12-13 Apple Computer Procede de choix d'objets dans une sequence d'images mobiles et piste d'essai de reussite correspondante.
US5682326A (en) * 1992-08-03 1997-10-28 Radius Inc. Desktop digital video processing system
US6121966A (en) 1992-11-02 2000-09-19 Apple Computer, Inc. Navigable viewing system
US5537529A (en) * 1993-04-22 1996-07-16 Apple Computer, Inc. Apparatus and method for creating versions of computer models and creating communications incorporating created versions therefrom
US6351261B1 (en) * 1993-08-31 2002-02-26 Sun Microsystems, Inc. System and method for a virtual reality system having a frame buffer that stores a plurality of view points that can be selected and viewed by the user
US5619709A (en) * 1993-09-20 1997-04-08 Hnc, Inc. System and method of context vector generation and retrieval
US5600775A (en) 1994-08-26 1997-02-04 Emotion, Inc. Method and apparatus for annotating full motion video and other indexed data structures
US5652714A (en) * 1994-09-30 1997-07-29 Apple Computer, Inc. Method and apparatus for capturing transient events in a multimedia product using an authoring tool on a computer system
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5729673A (en) * 1995-04-07 1998-03-17 Avid Technology, Inc. Direct manipulation of two-dimensional moving picture streams in three-dimensional space
US5736977A (en) * 1995-04-26 1998-04-07 E-Systems, Inc. Video real estate information service
US5896128A (en) * 1995-05-03 1999-04-20 Bell Communications Research, Inc. System and method for associating multimedia objects for use in a video conferencing system
US5786814A (en) * 1995-11-03 1998-07-28 Xerox Corporation Computer controlled display system activities using correlated graphical and timeline interfaces for controlling replay of temporal data representing collaborative activities
US5751281A (en) * 1995-12-11 1998-05-12 Apple Computer, Inc. Apparatus and method for storing a movie within a movie
US5884056A (en) * 1995-12-28 1999-03-16 International Business Machines Corporation Method and system for video browsing on the world wide web
US5812134A (en) * 1996-03-28 1998-09-22 Critical Thought, Inc. User interface navigational system & method for interactive representation of information contained within a database
GB2312140B (en) * 1996-04-12 2000-09-27 Sony Uk Ltd Controlling audio and/or video replay
US5903892A (en) * 1996-05-24 1999-05-11 Magnifi, Inc. Indexing of media content on a network
US5920317A (en) 1996-06-11 1999-07-06 Vmi Technologies Incorporated System and method for storing and displaying ultrasound images
US5768447A (en) * 1996-06-14 1998-06-16 David Sarnoff Research Center, Inc. Method for indexing image information using a reference model
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6230167B1 (en) * 1996-08-05 2001-05-08 International Business Machines Corporation Method and apparatus for generating and displaying hotlinks in a panoramic three dimensional scene
US6721952B1 (en) * 1996-08-06 2004-04-13 Roxio, Inc. Method and system for encoding movies, panoramas and large images for on-line interactive viewing and gazing
US5890172A (en) * 1996-10-08 1999-03-30 Tenretni Dynamics, Inc. Method and apparatus for retrieving data from a network using location identifiers
US6529234B2 (en) * 1996-10-15 2003-03-04 Canon Kabushiki Kaisha Camera control system, camera server, camera client, control method, and storage medium
US5982372A (en) * 1996-11-14 1999-11-09 International Business Machines Corp. Visual metaphor for shortcut navigation in a virtual world
US6006241A (en) 1997-03-14 1999-12-21 Microsoft Corporation Production of a video stream with synchronized annotations over a computer network
US6449653B2 (en) 1997-03-25 2002-09-10 Microsoft Corporation Interleaved multiple multimedia stream for synchronized transmission over a computer network
US6177930B1 (en) * 1997-03-28 2001-01-23 International Business Machines Corp. System and method for enabling a user to move between cyclically transmitted image streams
US6215505B1 (en) * 1997-06-20 2001-04-10 Nippon Telegraph And Telephone Corporation Scheme for interactive video manipulation and display of moving object on background image
US6573907B1 (en) * 1997-07-03 2003-06-03 Obvious Technology Network distribution and management of interactive video and multi-media containers
US6624846B1 (en) * 1997-07-18 2003-09-23 Interval Research Corporation Visual user interface for use in controlling the interaction of a device with a spatial region
US6360234B2 (en) * 1997-08-14 2002-03-19 Virage, Inc. Video cataloger system with synchronized encoders
US6028584A (en) * 1997-08-29 2000-02-22 Industrial Technology Research Institute Real-time player for panoramic imaged-based virtual worlds
US6400378B1 (en) * 1997-09-26 2002-06-04 Sony Corporation Home movie maker
US6243091B1 (en) * 1997-11-21 2001-06-05 International Business Machines Corporation Global history view
US5990886A (en) * 1997-12-01 1999-11-23 Microsoft Corporation Graphically creating e-mail distribution lists with geographic area selector on map
JP3535724B2 (ja) * 1997-12-25 2004-06-07 キヤノン株式会社 画像撮像装置およびその方法、並びに記憶媒体
US6085226A (en) * 1998-01-15 2000-07-04 Microsoft Corporation Method and apparatus for utility-directed prefetching of web pages into local cache using continual computation and user models
US6356297B1 (en) * 1998-01-15 2002-03-12 International Business Machines Corporation Method and apparatus for displaying panoramas with streaming video
JPH11203837A (ja) * 1998-01-16 1999-07-30 Sony Corp 編集システムおよび編集方法
US6154771A (en) * 1998-06-01 2000-11-28 Mediastra, Inc. Real-time receipt, decompression and play of compressed streaming video/hypervideo; with thumbnail display of past scenes and with replay, hyperlinking and/or recording permissively intiated retrospectively
US6377276B1 (en) * 1998-06-18 2002-04-23 Sony Corporation Bitmap animation of on-screen-display graphics over a distributed network and a clipping region having a visible window
US6229524B1 (en) * 1998-07-17 2001-05-08 International Business Machines Corporation User interface for interaction with video
US6144375A (en) * 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
US6285365B1 (en) 1998-08-28 2001-09-04 Fullview, Inc. Icon referenced panoramic image display
US6357042B2 (en) * 1998-09-16 2002-03-12 Anand Srinivasan Method and apparatus for multiplexing separately-authored metadata for insertion into a video data stream
US6369818B1 (en) 1998-11-25 2002-04-09 Be Here Corporation Method, apparatus and computer program product for generating perspective corrected data from warped information
US6452610B1 (en) * 1998-12-16 2002-09-17 Intel Corporation Method and apparatus for displaying graphics based on frame selection indicators
US6462754B1 (en) * 1999-02-22 2002-10-08 Siemens Corporate Research, Inc. Method and apparatus for authoring and linking video documents
US9811237B2 (en) * 1999-04-06 2017-11-07 Iii Holdings 2, Llc Visual navigation of virtual environments through logical processes
US6388688B1 (en) * 1999-04-06 2002-05-14 Vergics Corporation Graph-based visual navigation through spatial environments
US6538665B2 (en) * 1999-04-15 2003-03-25 Apple Computer, Inc. User interface for presenting media information
US6693649B1 (en) * 1999-05-27 2004-02-17 International Business Machines Corporation System and method for unifying hotspots subject to non-linear transformation and interpolation in heterogeneous media representations
US6842190B1 (en) 1999-07-06 2005-01-11 Intel Corporation Video bit stream extension with supplementary content information to aid in subsequent video processing
US6633309B2 (en) * 1999-08-16 2003-10-14 University Of Washington Interactive video object processing environment having concurrently active subordinate windows
US6525746B1 (en) * 1999-08-16 2003-02-25 University Of Washington Interactive video object processing environment having zoom window
EP1087618A3 (en) 1999-09-27 2003-12-17 Be Here Corporation Opinion feedback in presentation imagery
US6563529B1 (en) * 1999-10-08 2003-05-13 Jerry Jongerius Interactive system for displaying detailed view and direction in panoramic images
JP4366801B2 (ja) * 1999-12-28 2009-11-18 ソニー株式会社 撮像装置
KR100698106B1 (ko) * 2000-03-07 2007-03-26 엘지전자 주식회사 엠펙（ｍｐｅｇ）압축 비디오 환경에서 계층적 혼합형장면 변화 검출 방법
KR100512138B1 (ko) * 2000-03-08 2005-09-02 엘지전자 주식회사 합성 키프레임을 이용한 비디오 브라우징 시스템
US6934423B1 (en) * 2000-03-20 2005-08-23 Intel Corporation Incorporating camera effects into existing video sequences
US6952212B2 (en) * 2000-03-24 2005-10-04 Telefonaktiebolaget Lm Ericsson (Publ) Frame decimation for structure from motion
JP4431918B2 (ja) * 2000-05-01 2010-03-17 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
ITMI20001420A1 (it) * 2000-06-23 2001-12-24 Vrway Patent B V Sistema e metodo interattivi per l'effettuazione di transazioni commerciali
US7812856B2 (en) * 2000-10-26 2010-10-12 Front Row Technologies, Llc Providing multiple perspectives of a venue activity to electronic wireless hand held devices
US7624337B2 (en) * 2000-07-24 2009-11-24 Vmark, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
US7548565B2 (en) * 2000-07-24 2009-06-16 Vmark, Inc. Method and apparatus for fast metadata generation, delivery and access for live broadcast program
WO2002019147A1 (en) 2000-08-28 2002-03-07 Emotion, Inc. Method and apparatus for digital media management, retrieval, and collaboration
US7228061B2 (en) * 2000-11-17 2007-06-05 Canon Kabushiki Kaisha Image display system, image reproducing apparatus, digital television apparatus, image display method, and storage medium for controlling image display based on additional information read from multiple image recording apparatuses
US6948124B2 (en) * 2000-12-20 2005-09-20 Eastman Kodak Company Graphical user interface utilizing three-dimensional scatter plots for visual navigation of pictures in a picture database
US20020122073A1 (en) * 2001-03-02 2002-09-05 Abrams David Hardin Visual navigation history
KR100374040B1 (ko) * 2001-03-09 2003-03-03 엘지전자 주식회사 비디오 텍스트 합성 키 프레임 추출방법
US7216289B2 (en) * 2001-03-16 2007-05-08 Microsoft Corporation Method and apparatus for synchronizing multiple versions of digital data
US6907570B2 (en) * 2001-03-29 2005-06-14 International Business Machines Corporation Video and multimedia browsing while switching between views
US6996782B2 (en) * 2001-05-23 2006-02-07 Eastman Kodak Company Using digital objects organized according to a histogram timeline
US6961912B2 (en) * 2001-07-18 2005-11-01 Xerox Corporation Feedback mechanism for use with visual selection methods
US7296231B2 (en) * 2001-08-09 2007-11-13 Eastman Kodak Company Video structuring by probabilistic merging of video segments
US7107532B1 (en) * 2001-08-29 2006-09-12 Digeo, Inc. System and method for focused navigation within a user interface
US7096428B2 (en) * 2001-09-28 2006-08-22 Fuji Xerox Co., Ltd. Systems and methods for providing a spatially indexed panoramic video
KR100464076B1 (ko) * 2001-12-29 2004-12-30 엘지전자 주식회사 동영상 비디오 브라우징 방법과 장치
US7149974B2 (en) * 2002-04-03 2006-12-12 Fuji Xerox Co., Ltd. Reduced representations of video sequences
US7149983B1 (en) * 2002-05-08 2006-12-12 Microsoft Corporation User interface and method to facilitate hierarchical specification of queries using an information taxonomy
US7334190B2 (en) * 2002-06-27 2008-02-19 Mjw Corporation Inc. Interactive video tour system editor
US7257774B2 (en) * 2002-07-30 2007-08-14 Fuji Xerox Co., Ltd. Systems and methods for filtering and/or viewing collaborative indexes of recorded media
US20040123231A1 (en) * 2002-12-20 2004-06-24 Adams Hugh W. System and method for annotating multi-modal characteristics in multimedia documents
GB2397456B (en) * 2003-01-17 2007-07-18 Autodesk Canada Inc Data processing apparatus
US7152209B2 (en) * 2003-03-28 2006-12-19 Microsoft Corporation User interface for adaptive video fast forward
US7526718B2 (en) * 2003-04-30 2009-04-28 Hewlett-Packard Development Company, L.P. Apparatus and method for recording “path-enhanced” multimedia

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564447A (zh) * 2012-08-17 2018-09-21 电子湾有限公司 基于可穿戴传感器的推荐
CN108564447B (zh) * 2012-08-17 2023-09-22 电子湾有限公司 基于可穿戴传感器的推荐
US11869061B2 (en) 2012-08-17 2024-01-09 Ebay Inc. System and methods for recommendations based on wearable sensors
CN107277598A (zh) * 2016-04-07 2017-10-20 北京文香信息技术有限公司 针对教学的视频直播点播系统
CN109920025A (zh) * 2019-01-31 2019-06-21 甘肃省地震局 一种海量数据在时间域的高效分层抽样绘图方法及系统
CN109920025B (zh) * 2019-01-31 2023-10-27 甘肃省地震局 一种海量数据在时间域的高效分层抽样绘图方法及系统

Also Published As

Publication number Publication date
KR20050087876A (ko) 2005-08-31
US20060253781A1 (en) 2006-11-09
EP1579407A1 (en) 2005-09-28
US8645832B2 (en) 2014-02-04
AU2003297445A1 (en) 2004-07-29
WO2004061798A1 (en) 2004-07-22
JP2006514796A (ja) 2006-05-11
US7082572B2 (en) 2006-07-25
US20040125121A1 (en) 2004-07-01

Similar Documents

Publication Publication Date Title
CN1754194A (zh) 用于对数字视频内容进行基于交互式映像的分析的方法及装置
CN1754139A (zh) 用于数字视频内容的交互式网络共享的方法及装置
CN1754160A (zh) 用于数字视频内容的交互式视点创作的方法及装置
US11409404B2 (en) Audio-visual navigation and communication
Li et al. Fundamentals of multimedia
JP2003150529A (ja) 情報交換方法、情報交換端末装置、情報交換サーバ装置、プログラム
CN1741607A (zh) 通过计算机网络对包含图象校正的图象访问与控制的装置
JP2005122276A (ja) コンテンツ構成方法、コンテンツ作成装置、およびプログラム
Taillibert Cinephile Culture on Online Platforms in France: Rethinking the Process of Cultural Mediation
Barmaiya Immersive Journalism: An Overview
Sawada Recast: an interactive platform for personal media curation and distribution
Zargham User aspects in synchronous visualisation of multiple photo streams
Montagud Category Archives: 0317
Rüger Multimedia Information Retrieval Research
Badiqué New Media Technologies: The European Perspective

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication