CN102576412A - 图像处理以为图像中的对象进行分类的方法和系统 - Google Patents

图像处理以为图像中的对象进行分类的方法和系统 Download PDF

Info

Publication number
CN102576412A
CN102576412A CN2010800038418A CN201080003841A CN102576412A CN 102576412 A CN102576412 A CN 102576412A CN 2010800038418 A CN2010800038418 A CN 2010800038418A CN 201080003841 A CN201080003841 A CN 201080003841A CN 102576412 A CN102576412 A CN 102576412A
Authority
CN
China
Prior art keywords
zone
image
information
video
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800038418A
Other languages
English (en)
Other versions
CN102576412B (zh
Inventor
黄浴
李红兵
田军
虹·希瑟·郁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
FutureWei Technologies Inc
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN102576412A publication Critical patent/CN102576412A/zh
Application granted granted Critical
Publication of CN102576412B publication Critical patent/CN102576412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Abstract

在图像处理方法中，对象(305)位于图像中，基于图像在该区域内的信息，确定对象(305)周围的区域(325)并将其至少分为第一和第二部分。并可以基于区域的第一部分中的图像信息和区域的第二部分的图像信息对该对象(305)进行分类。

Description

图像处理以为图像中的对象进行分类的方法和系统
交叉引用相关申请
本申请主张2009年1月13日申请的美国临时专利申请号61/144,380(标题为“Player Team Classification-Based Interactive Service for Sports Game Programsin an IPTV System”(基于运动员组分类的交互服务，用于IPTV系统中的运动比赛程序))，并且还主张2009年1月13日申请的美国临时专利申请号61/144,386(标题为“A Semi-Supervised Method For Learning and On-Line UpdatingPlayfield Model in Sports Videos”(用于学习在线更新运动视频中的Playfield模型的半监控方法)。这两个申请在此处以整体引用的方式并入到本文中。
技术领域
本发明与一般的图像处理相关，在特定实施例中，与用于在图像中区分对象的方法和系统相关。
发明背景
已经开发了用于定义视频中的对象、并通过视频的帧来跟踪对象的系统和方法。在各种应用程序中，人可能即是要被跟踪的“对象”。例如，运动图像用于跟踪人的运动(例如运动员和和/或裁判员)。
运动员和裁判员显示在运动视频中。可以在IPTV系统中定位和标记它们，以便常规TV广播(MPEG-2/-4)可以藉由额外信息(已解码的MPEG-7，用于在视频中定义这些对象)以及将要显示的额外的内容(当选择它们时)来增强其功能。具有额外内容(元数据)的对象的规范，通常通过创作工具予以实现，例如抽取截图和关键帧的功能、交互区域的规范以及跟踪特定区域以获取所有帧中的区域。
已经通过单击超视频中的运动员或iTV讨论了基于组分类的交互服务。组信息搜索和检索以及组数据(统计结果、文章和其他媒体)可以通过假设运动员可以通过交互服务系统来定位，而链接起来。用于定位运动员/裁判员的各种方法可以分为两组。第一组在受控环境中利用固定相机(通常经过提前校验)，第二组仅使用常规的广播视频。前者可以提供更好的性能，而后者的灵活性更高。在第二组中，尝试使用一些以下方法来克服困难：先找到运动场，通过使用颜色分段和使用形态计算的后处理(例如：已连接的组件分析)，以便限制搜索区域。
发明内容
根据本发明的第一个实施例，执行了图像处理方法(例如：“在处理器上执行”)。对象位于图像中，如视频或静态图像中。基于图像在该区域内的信息，确定对象周围的区域并将其至少分为第一和第二部分。然后，对象可以基于区域的第一部分中的图像信息和区域的第二部分的图像信息进行分类。
在另一个实施例中，交互式电视系统包含用于接收视频图像的创作工具，在图像中定位对象，将对象周围的区域分为第一和第二部分；并基于第一部分中的第一图像信息以及第二部分中的第二图像信息来生成元数据。用于接收视频图像和元数据的聚合器，并生成利用元数据增强的视频流，并且，分发系统用于传送利用元数据增强的视频流。
附图简述
为了更完整地了解本发明及其优势，因此，可以参考以下参考和附图，其中：
图1为根据本发明的一个实施例、基于组分类的交互系统的结构图；
图2为基于运动场模式的运动员/裁判员位置、根据本发明的一个实施例的流程图；
图3为根据本发明的一个实施例，对运动员“炸弹”进行垂直切割的示例图像；
图4为根据本发明的一个实施例、基于交互电视系统的结构图；
图5-7为交互电视系统的示例的屏幕快照。
具体实施方式
下面详细讨论了本发明优选实施例的制造和使用过程。但是，应该感谢本发明，它提供了许多可应用的发明概念，可以在大量特定环境中实施。所讨论的这些特定实施例仅说明了制造和使用本发明的特定方式，并不是本发明的全部范围。
运动员/裁判员的组分类用于区分其标识(“组A”或“组B”或“裁判员”)。本任务的问题包括特征的选择以及匹配的聚集方法。已经使用了模板和直方图方法。特征选择是基于不同级别、稳健性和计算成本的区别。直方图是这些要求之间的折中方法。聚集方法可以是受监控的，也可以是不受监控的。本发明可以同时提高直方图匹配中的特征提取和区分的效率。
在第一个实施例中，本发明揭示了基于IPTV系统的交互服务的运动组，包括实时和点播的视频传输。例如，实时处理运动事件视频，以及实时分析和分类组/裁判员的视觉对象。提出了一个用于通过区分功能，将运动员/裁判员的图斑(blob)(利用基于运动场模型分片获取)分为两部分(上和下)的多直方图匹配架构和方法。该架构可以获取良好的分类准确定，而计算的复杂性却很低。当单击运动员时，基于组分类的交互功能包括组信息搜索和检索以及组数据(统计结果、文章和其他媒体)链接。建议的组分类方法对于IPTV系统中的运动程序，在运动事件、策略分析以及交互服务运动程序中具有潜在的用途。
在其他实施例中，提供了一种用于IPTV系统中的运动程序的推荐的基于组分类的交互服务。在其他实施例中，提供了在足球运动视频中基于多直方图匹配架构的用于运动员/裁判员的组分类的方法，它提供了更好的分类准确定，同时计算复杂性较低。在另一个实施例中，说明了一个可用于通过建议的区分功能将运动员/裁判员的图斑(通过基于运动场模型分片获取)分为两部分(上和下)的方法。
在超链接视频中，可以选择对象，并导致相关动作，类似于与相关对象有关的已链接的富媒体内容。使用超链接视频可能的场合包括广播TV、流视频和已发布的媒体(如DVD)。超链接视频提供了使用流媒体进行交互操作的新的可能性。
随着广播和网络通信的融合，交互TV(iTV)为超链接视频的常见的应用领域，。例如，欧洲GMF4iTV(交互式电视的一般媒体框架)项目已经开发了这样一个系统，其中活动的视频对象与元数据信息相关联，在生产时嵌入到程序流中，可以由用户在运行时选择以触发其相关元数据的显示。另一个欧洲PorTiVity(便携的交互式)项目使用完全端到端平台来开发和实验，为便携式设备和移动设备提供多媒体(Rich Media)交互电视服务，实现与连接至DVB-H(广播信道)和UMTS(单播信道)的手持接收器上的移动对象制剂和交互。
IPTV(Internet协议电视)为一个系统，其中数据电视服务使用覆盖网络基础设施的Internet协议来提供的，它还可能包括通过带宽连接提供的服务。基于IP的平台还提供重要的机会，允许使电视观看体验更加交互式和人性化。交互式TV服务将成为新兴的大量IPTV产品的重要区分因素。通过快速的双向连接的交互将使IPTV在当今电视中处于领先地位。
本发明的各方面都与多媒体交互电视应用程序(例如：IPTV应用程序)相关。专注点在于与运动程序中的移动对象交互。在与某些对象直接交互的基础上，电视观看者可以检索相关对象的链接多媒体内容。术语“电视”用于说明向用于显示的任何视频图像。例如，该图像可以显示在计算机屏幕、移动设备或真实的电视中并且始终处于电视的范围。
运动员和裁判员为运动视频中的移动对象的两个示例。在IPTV系统中定位和标记它们对于IPTV系统中的交互服务非常有用，以便常规TV广播(MPEG-2/-4)可以藉由额外信息(已解码的MPEG-7，用于在视频中定义这些对象)以及将要显示的额外的内容(当选择它们时)来增强其功能。具有额外内容(元数据)的对象的规范，可以通过创作工具予以实现，例如抽取截图和关键帧的功能、交互区域的规范以及跟踪特定区域以获取所有帧中的区域。
本发明的实施例中，推荐使用IPTV系统中的足球比赛程序的基于运动员组分类的交互服务。图1概述了此IPTV交互服务系统100。
此交互是基于由IPTV服务器侧准备的信息以及IPTV客户端侧和/或网络中间盒中的实时组分类(例如：图1中显示的内容和元数据源块105)。服务器侧的信息存储为MPEG-7格式或者其他标准兼容(或专有)格式的元数据。该信息描述了运动场，组多直方图模式和有关组的相关的媒体信息。网络中间盒(network middle box)或者客户端侧的功能性单元，执行基于在线运动员/裁判员特征抽取以及MPEG-7元数据来的实时组分类，在电视屏幕上显示相关媒体信息以进行用于用户交互。
此系统可用于多个运动中。例如，诸如美式足球、足球、篮球、棒球、曲棍球、板球以及之类的运动以及其他运动都采用此处描述的概念。
图1揭示了根据本发明的特征，基于组分类的IPTV交互系统100。请注意，图1中的上述特定配置仅为许多可能配置中的一个。例如，运动场信息以及组运动员颜色统计信息可以在网络节点或客户端处实施。
在本实施例中，用户使用IMS基础设施来注册。电视内容通过用于运动场描述的元数据信息以及表示多颜色直方图的组目标模型来增强功能。IPTV客户端通过这样的服务而增强，它表示一个环境，可用于运行额外的服务并在IPTV客户端执行高级应用程代码以分别用于在线运动员定位(分段或跟踪)。
图1进一步显示了示例系统的构造图。在此结构中，一个基本的行动流包括：用户160，注册用于请求交互服务并使用服务。用户160能够单击运动员/裁判员以定位相关对象(分段/跟踪)和获取组信息和位于远程控制上的与组相关的元数据。基于IMS的IPTV Client 155(例如Set-Top-Box或PDA)负责为用户160提供必需的功能以利用交互(例如：实施运动员/裁判员定位)以及查看额外内容。
IPTV服务控制功能150管理所有用户至内容和内容至用户的关系，并控制“内容交付和存储140”以及“内容聚合器110”。IPTV应用程序功能145支持多种服务功能并提供与用户160的交互，以通知IPTV服务信息并接受用户的服务请求(例如注册或验证)。IPTV应用功能145与服务控制功能150联合使用，为用户提供所请求的增值服务。
“内容聚合器130”向“内容传输控制135”发送内容发布请求。“内容传输控制135”在收到内容分发布请求时，根据已定义的发布策略，在“内容准备130”和“内容传输和存储140”之间生成发布任务。“内容传输和存储140”将已聚合的使用了元数据进行增强的内容传输至用户160，并可以在实施(其中这些任务没有在IPTV客户端155处执行)中执行运动员定位和组分类。
内容分聚合器110将内容120通过编辑工具115链接至元数据125，并聚合通过元数据信息增强的内容以用于交互式服务。编辑工具115运行运动场学习和团队模式的请求，并生成MPEG-7元数据。
尽管本发明针对IPTV系统中的交互服务，但是本发明的范围并不限于此。推荐的方案可用于其他准确性更高而复杂性更低的视频传输系统中。
运动员/裁判员定位可以通过多种方式来执行。例如，可以将定位运动员/裁判员的多种方法分为两组。第一组在受控型环境中利用固定相机(通常已提前校准)。此类技术曾由M.Xu，J.Orwell，G.Jones在“Tracking football players withmultiple cameras”(使用多个相机跟踪足球运动员)中讲授过。ICIP 2004，pp.2909-2912，此处以引用的方式并入本文中。第二组仅使用常规的广播视频。前者可以提供更好的性能，而后者的灵活性更高。在第二组中，尝试使用一些方法克服定位中的困难：通过使用颜色分段和具有形态计算的后处理(例如：已连接的组件分析)首先找到运动场，以便限制搜索区域。
图2显示了典型的架构，用于基于运动场模式的运动员/裁判员定位。此图说明了根据本发明的实施例，基于运动场模型的运动员/裁判员定位。运动员/裁判员的组分类尝试将每个人区分为“组A”或“组B”或“裁判员”。尽管讨论的内容与运动员/裁判员相关，应该理解，也可以利用本发明识别其他对象。这些对象可以是人，例如：运动员、裁判员、教练、解说员、球队吉祥物、球迷或其他人员。或者，对象可以是非人的动物，例如赛马比赛中的马，或者大学足球比赛中的吉祥物，或者非生命的对象(例如：球、场地指示器或其他比赛事件中的非生命对象)。
定位任务的问题包括特征的选择以及匹配的聚集方法。一方面，本发明可以同时提高直方图匹配中的特征提取和区分的效率。实施例采取多个(例如：两个)基于匹配方法的直方图以在比赛视频中分类运动员和裁判员。
图2显示了典型的架构，用于基于运动场模式的运动员/裁判员定位。
如图200中所示，可以将框架分为两部分，运动场提取205和对象检测230。下一步，根据图3中的图表，讨论对象分类。
运动场抽取205包括运动场像素检测210、已连接的组件分析215、形态滤波(例如：扩大、腐蚀)220和大小过滤225。现在，我们讨论有关运动场抽取的详细信息。
运动场可用于分析多种运动视频(例如：美式足球、足球、棒球和乒乓球)。例如，美式足球、棒球和足球的运动场为草地。尽管草地的颜色通常为绿色，这个颜色可以根据个别运动场、是否存在阴影或观看角度的不同而改变。在另一个示例中，用于冰球的运动场是冰，所以发生了相似的问题。
现在，我们针对足球来描述本发明的实施例。请理解，相同的概念可以应用到其他运动。
由于冰球运动的特性，存在很多宽域射击，所以图像的大部分为运动场。基于观察到的这种现象，一种无人管理的分段技术可以用于获取运动场模型。但是，并不是所有帧中的运动场区域永远足够大，能够使假定要使用的优势颜色有效。因此，可是使用用于学习运动场模式的受监管的方法。受监管方法的缺点是，需要大量带标记的数据，而手动标记即冗长又成本昂贵。
在一个实施例中，定义了两个选项。第一个选项是少量的标记数据的集合，给定运动场区域中的像素，用于生成带有一个或多个高斯分布的粗略的运动场模型(对于后一种，必须使用多个带标记的数据)。然后，可以使用优势颜色检测，基于受监控的方法收集多个运动场像素，对该模型进行修改。
在第二个选项中，选择了一个优势颜色假定符合条件的帧。然后，抽取其优势模式来生成初始运动场模型。像第一个选项一样，可以基于优势颜色检测收集更多的运动场像素，来修改该模型。
在申请序列号为No.61/144,386的临时专利中，非常详细地讨论了运动场模型的确定，此处以引用的方式并入到本文中。可以从该专利申请中，提取更详细的信息。
运动员和裁判员为美式足球运动场中的最重要的对象。由于美式足球是一个有观众的运动，运动场、画线、球以及运动员和裁判员的着装的设计在颜色上都有明显的区别。因此，图2中的帧可可用于从运动场中的抽取或检测运动员/裁判员blob。
对象检测230包括内部过滤235。在预先过滤和的图像数据之间进行了一个比较(如XOR门所示)。结果可被视为没有背景的图像。然后，该结果将经过已连接的组件分析240以及形状过滤245中。形状过滤功能可以处理大小、粗糙度和/或偏心率(如示例中所示)。
为运动员和裁判员提供分段blob之后，每一项都被标记了“组A”、“组B”或“裁判员”。有时两组的守门员也被分类。为此，每组运动员或裁判员的外观模型通过了解带标记的数据来获取。
由于运动员的球衣与短裤区别明显，而球衣在运动员的blob中占据的空间更大，所以可以使用两种颜色的柱状图来表示运动员的外观模型，并且其中一个在直方图匹配中占据更高的比重。在这种环境中，术语“短裤”和“球衣”分别用于说明运动员的上部分和下部分，而无论运动员实际上的短裤和球衣的状况如何。
例如，术语“球衣”包括篮球运动员所穿的球衣，还包括棒球运动员所穿的短裤。同样，术语“运动衣”可用于“衬衣对皮肤”运动的两个组中。
图3说明了可用于区分过程的运动员blob 300。在此示例中，足球运动员305穿的是球衣315和短裤320。处于球衣315和短裤320大致中心位置的矩形325用于表示该运动员。垂直切割线310用于调节球衣/短裤的边界的对齐。
球衣315和短裤320将每个运动员/裁判员blob 300分为上下两部分(这里，假设运动员是近似于垂直站立的)是基于区分功能。为矩形325给出尺寸w×h(宽w和高h)，切割线310用于在中间位置搜索以使目标函数的值最大
ρ [ p , q ] = 1.0 - Σ u = 1 m p u q u , - - - ( 1 )
其中，pu为上部分的颜色直方图，qu为下本分的颜色直方图，m为直方图中的“箱子”的数量。在一个实施例中，可使用直方图8×8×8的“箱子”，颜色为RGB颜色空间。等式(1)中的测量称为Bhattacharyya距离。
为了加速上面的过程，将计算目标窗口(矩形325)的搜索间隙中的每一行的颜色直方图，因此，当切割线310每次上下滚动一行时，仅分别从上下部分的直方图中增加或减去一行。由于切割线310的位置范围不宽，所以可以灵活使用彻底搜索以查找将上下部分完全区分开的最佳切割线。例如，搜索间隙包含的范围可能小于行数的25％，或者根据需要，可以少于行数的10％。
最终使用了两种颜色的直方图用于运动员/裁判员的标记。在外观模式的设计中，生成两个直方图并保存为pi和p2i用于每个组或裁判员(例如：i＝“组A”、“组B”和“裁判员”)。如果为每种类型(组运动员或裁判员)应用了多个样例(手动分段获取，或者从基于运动场模型的分段中获取)，则将收集分段blob的上部分(主要为球衣)和下部分(主要为短裤)中的所有像素，来分别构建上方和下方颜色直方图。最终，两种直方图都进行了标准化处理。
在分类的测试和运行时，对于足球比赛视频中的未知的blob(从基于运动场模型的分段过程中抽取)，还构建了两个用于球衣和短裤区域的进行了标准化的的颜色直方图(例如^和^2)，然后，其标签i通过求已加权Bhattacharyya距离的最小值来计算，公式为：
min i ρ [ ( p 1 i , p 2 i ) , ( q 1 , q 2 ) ] = w · ( 1.0 - Σ u = 1 m p 1 iu q 1 u ) + ( 1 - w ) · ( 1.0 - Σ u = 1 m p 2 iu q 2 u , - - - ( 2 )
其中，w为权重(0＜w＜1.0，建议值为0.7)。
上述讨论提供了确定运动员关联的球队的详细信息。使用额外的处理，还可以确定运动员的身份。例如，可以使用编号识别技术来找到和识别运动员的编号。在典型的比赛中，运动员的名单是已知的，因此比较主要在运动员信息和衍生的运动员信息之间进行。
现在，将根据图4-7来描述交互式电视系统的特定示例。该示例提供了可以实施此处描述的概念的许多方法中的一个。
该方案描述了一种多媒体交互式电视应用程序。它专注于与运动程序中的移动对象交互的新概念。在与某些对象直接交互的基础上，电视观看者可以检索与所选对象有关的多媒体内容。
这种交互是建立在IPTV服务器上准备的信息与在IPTV客户端侧的实时组分类的组合的基础上的。服务器端的信息以MPEG-7格式存储为元数据，并描述了运动场、组模板和有关组的相关媒体信息。客户端执行对象的实施处理，基于MPEG-7元数据执行组分类，在屏幕上显示相关的媒体信息以用于用户交互。
TV内容通过元数据信息而得到增强，用于描述表示为颜色直方图的字段和组模板。用户必须使用IMS基础结构进行注册。IPTV客户端必须通过这样的服务来增强，它提供了一个环境，可用于运行额外的服务并在IPTV客户端执行高级应用程代码以分别用于内容处理和对象突出显示。可以为交易或账务使用计费系统。
图4为说明一个交互式电视系统400的特定配置的结构图。可以看出，该系统应用了许多上面讨论的概念(根据图1)。
现在，请参考图4，服务提供商410提供了一个交互式信道和元数据信息。服务提供商410驻留在所需的网络实体上，并提供必需的基础设施。IMS计费系统为服务提供商410提供了账务功能。该功能允许服务提供商410为提供的服务提供基金。
IPTV客户端820，例如机顶盒(STB)，负责为观看者830提供根据在实时对象处理中利用交互的功能，以便分布亮显的包含额外内容的对象、选择对象或查看额外内容。基于IMS的IPTV客户端420启用了实时对象处理技术以提供交互服务。在另一个示例中，如果视频内容没有使用元数据信息得到增强，则IPTV客户端420可以为用户430提供用户界面以用于收集组模板。
用户430通过选择对象和采用额外内容来利用服务。传输系统840通常为服务提供商810所有，向用户传输已经聚合并使用元数据而增强的内容，为用户830提供技巧功能和高效的视频和音频技术。
内容分聚合器450将内容460通过编辑工具480链接至元数据470。此聚合器450聚合使用元数据信息增强的内容以用于交互式服务。内容聚合器450为传输系统440提供了已聚合内容并将其与增强的内容链接在一起。因此，需要考虑将MPEG7作为多媒体元数据描述的标准。
编辑工具480处理算法，以便在视频流和MPEG-7元数据生成器中用于运动场的学习和组模板识别代数计算。
在系统400的操作中，用户430使用服务提供商410进行注册并请求所需的服务。在此示例中，用户430能够单击运动员以启动对运动员的跟踪功能，并通过在遥控器上单击相应的彩色按钮，获取有关其组的组信息以及相关视频。
为了响应用户430的请求，服务提供商410使聚合器450准备增强的内容。为此，聚合器450与编辑工具480进行通信，编辑工具480处理内容图像并使用元数据470增强内容460的功能。然后，聚合器450将已聚合的内容提供给传输系统440。
传输系统440将增强的内容转发至IPTV客户端420，客户端420与用户430交互。用户430还通过IPTV客户端420或其他方式，将流控制提供给传输系统440。
图4中显示的每个功能性单元的功能将在下面的部分中说明。
服务提供商410的功能包括：
·转换内容提供商提供的元数据以注入交互式元素
·连接至IMS网络(例如：通过ISC界面)
·识别内容
·基于公共服务标识(PSI)提供服务触发功能
·接受并执行来自用户430的请求
·在出现带内信令时，控制聚合器450
·控制传输系统440以便将内容从聚合器450转发至IPTV客户端420
IPTV客户端420的功能包括：
·启用了IMS的客户(STB)
·音频和视频渲染支持
·基本编解码器支持，例如AC3(音频)和H.264/VC1(视频)
·RTP分接(基于RTP模式)支持以用于所支持的音频和视频编解码器(例如：H.264)
·用于对象检测和对象跟踪的实时对象处理
·应用程序逻辑(数据引擎)处理分段并编辑MPEG-7
元数据信息(MPEG7编解码器)
·用于对象突出显示的叠加渲染支持(显示器引擎)(如样例和交互式菜单中所示)。
·显示与所选对象(图片渲染中的图片、在线商店、网络门户、重新使用的MHP以及其他对象)的额外内容相关的引擎
用户430的功能包括：
·利用启用了IMS的客户端420
·请求内容
·需要为流控制使用技巧模式
·通过遥控器选择视频对象
·检索额外信息
传输系统440的功能包括：
·通过单播或多播信道将内容传输提供给IPTV客户端420
·转码
·调节内容
·连接至IMS核心
·启用IPTV客户端420以触发媒体处理和内容传输
·支持技巧功能；RTSP支持
·元数据的带内(DVB-MPEG TS复用)和/或带外(已链接内容在媒体端口上可用)输送
聚合器450的功能包括：
·聚合使用元数据增强的突出显示的流
·与编辑工具480(应用程序服务器)进行界面交互
·准备要传输的聚合内容
编辑工具480的功能包括：
·链接至内容
·运行字段学习算法以学习字段。
·运行对象检测算法以收集组样板信息。
·生成MPEG-7元数据以便容纳与字段和组模板有关的信息。
图5-7提供了用户透视图的屏幕快照的示例。例如，在图5中标识了运动员(该情况为西班牙人)。此标识可以在用户单击运动员时显示。
在图6中，打开可一个新窗口以响应西班牙运动员的标示。在本例中，执行了与西班牙运动员有关的搜索。同样，图7显示了一个示例，其中为与西班牙队相关的视频执行了搜索。尽管已说明了一般的Internet搜索，需要理解，还可以提供专用的信息。例如，窗口可以提供突出显示的视频、统计信息及其他团队信息的列表。该信息可以公共使用，也可以仅提供给用户。
在特定示例的背景中，已经描述了本发明的各方面特征。但是，需要理解，本发明的范围并不仅限于这些示例。例如，本发明讨论了有关视频图像的问题。此处描述的概念同样适用于静态图像。这些概念还应用于运动图像。任何其他图像，无论是摄影图像、绘制的图像、计算机生成的图像或者其他图像，也可以利用此处描述的概念。尽管使用说明性的实施例描述了本发明，但并不意味着从限制性角度来理解本发明。通过参考本发明，本领域技术人员将会理解，说明性的实施例的多个修改方案和组合以及本发明的其他实施例。因此，下面附加的权利要求用于涵盖这样的修改方案和实施例。

Claims (20)

1.一种图像处理方法，其特征在于，包括：
接收图像；
在所述的图像中定位对象；
在所述图像中确定所述对象周围的区域；
基于所述区域内的图像信息，使用处理器将所述区域至少分为第一部分和第二部分；并且
基于所述区域的第一部分中的图像信息和所述区域的第二部分的图像信息对所述图像中的所述对象进行分类。
2.如权利要求1所述的方法，其特征在于，所述接收图像包括接收视频图像。
3.如权利要求2所述的方法，其特征在于，所述接收图像包括接收因特网协议电视(IPTV)图像。
4.如权利要求1所述的方法，其特征在于，所述将所述区域至少分为第一和第二部分包括在所述区域中的彩色边界定位直线。
5.如权利要求4所述的方法，其特征在于，所述区域包含矩形，所述的直线为使得该区域被分为第一和第二部分的直线。
6.如权利要求1所述的方法，其特征在于，所述的第一部分由第一个颜色直方图表示，所述的第二部分由第二个颜色直方图表示，并且，其中，所述的区域基于所述的第一和第二颜色直方图被分为第一和第二部分。
7.如权利要求6所述的方法，其特征在于，所述将区域至少分为第一和第二部分包括利用Bhattacharyya距离在彩色边界定位直线。
8.如权利要求7所述的方法，其特征在于，所述定位直线包括利用加权的Bhattacharyya距离。
9.如权利要求6所示的方法，其特征在于，所述区域包含多个行，且，所述将该区域至少分为第一和第二部分包括：
对所述区域中的多个行计算多个行的颜色直方图，将各行颜色直方图与第一和/或第二颜色直方图进行比较以确定第一和第二部分之间的边界的位置。
10.如权利要求9所述的方法，其特征在于，所述的区域包含矩形，所述计算多个行的颜色直方图包括：仅为少量行计算行颜色直方图，少量行包括矩形中的总行数的至少百分之十。
11.如权利要求1所述的方法，其特征在于，所述图像信息包括颜色信息；并且其所述对所述对象进行分类包括：基于所述区域的第一部分中的颜色信息和所述区域的第二部分中的颜色信息对所述对象进行分类。
12.如权利要求11所述的方法，其特征在于，所述对象包括穿有球衣和短裤的运动员，所述对所述对象进行分类包括包括：基于球衣的颜色和短裤的颜色对所述的对象进行分类。
13.一种用于在视频中分类单个的对象的方法，其特征在于，该方法在处理器上执行并包括：
接收视频图像；
在所述的视频图像中定位单个对象；
确定所述单个对象周围的区域；
将所述的区域分为上部分和下部分；
确定上部分的颜色信息和下部分的颜色信息；
将所述上部分的颜色信息与已知的顶部颜色信息进行比较，将所述下部分的颜色信息与已知的底部颜色信息进行比较；
基于比较步骤的结果，标识独立对象的特征。
14.如权利要求13所述的方法，其特征在于，所述的视频图像为运动视频，所述的单个的对象为运动员/裁判员，所述的已知的顶部颜色信息包括球衣颜色信息，所述的已知的底部颜色信息为短裤颜色信息。
15.如权利要求14所示的方法，其特征在于，所述标识单个对象的特征包括确定运动员的组。
16.如权利要求13所述的方法，其特征在于，所述标识单个对象的特征包括确定单个对象的身份。
17.一种非短暂性的、计算机可读的存储介质，具有可执行的程序
存储在程序之上或之中，其特征在于，所述的程序指示微处理器以执行下面的步骤：
在图像中定位对象；
在所述图像中确定所述对象周围的区域；
基于所述区域中的图像信息，将该区域分成第一部分和第二部分；并且
基于所述区域的第一部分中的图像信息和所述区域的第二部分的图像信息对所述进行分类。
18.一种交互式电视系统，包括：
用于接收视频图像的创作工具，在视频图像中定位对象，将所述对象周围的区域分为第一和第二部分；并基于第一部分中的第一个图像信息以及第二部分中的第二个图像信息来生成元数据。
聚合器，用于接收视频图像和元数据，并生成使用元数据进行了增强的视频流；并且
传输系统，用于传输使用元数据增强了功能的视频流。
19.如权利要求18所述的系统，其特征在于，进一步包含交互式的电视客户端，经过耦合以便能够接收使用传输系统中的元数据增强了功能的视频流。
20.如权利要求18所述的系统，其特征在于，所述的视频图像包含IPTV图像。
CN201080003841.8A 2009-01-13 2010-01-13 图像处理以为图像中的对象进行分类的方法和系统 Active CN102576412B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14438009P 2009-01-13 2009-01-13
US14438609P 2009-01-13 2009-01-13
US61/144,386 2009-01-13
US61/144,380 2009-01-13
PCT/US2010/020927 WO2010083238A1 (en) 2009-01-13 2010-01-13 Method and system for image processing to classify an object in an image

Publications (2)

Publication Number Publication Date
CN102576412A true CN102576412A (zh) 2012-07-11
CN102576412B CN102576412B (zh) 2014-11-05

Family

ID=42319142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080003841.8A Active CN102576412B (zh) 2009-01-13 2010-01-13 图像处理以为图像中的对象进行分类的方法和系统

Country Status (3)

Country Link
US (2) US9269154B2 (zh)
CN (1) CN102576412B (zh)
WO (1) WO2010083238A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105453571A (zh) * 2013-07-24 2016-03-30 三星电子株式会社 广播提供装置、广播提供系统及其提供广播的方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7290698B2 (en) * 2004-08-25 2007-11-06 Sony Corporation Progress bar with multiple portions
WO2010083235A1 (en) * 2009-01-13 2010-07-22 Futurewei Technologies, Inc. Image processing system and method for object tracking
CN102576412B (zh) 2009-01-13 2014-11-05 华为技术有限公司 图像处理以为图像中的对象进行分类的方法和系统
CN102301395B (zh) * 2009-01-29 2014-08-06 日本电气株式会社 特征选择设备
US8724928B2 (en) * 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
EP2410467A1 (en) * 2010-07-23 2012-01-25 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO System and method for identifying image locations showing the same person in different images
US8923607B1 (en) 2010-12-08 2014-12-30 Google Inc. Learning sports highlights using event detection
CN102541403A (zh) * 2010-12-22 2012-07-04 上海宝钢钢材贸易有限公司 富媒体数据显示界面及其实现方法
US9049447B2 (en) 2010-12-30 2015-06-02 Pelco, Inc. Video coding
US9171075B2 (en) 2010-12-30 2015-10-27 Pelco, Inc. Searching recorded video
US8855361B2 (en) 2010-12-30 2014-10-07 Pelco, Inc. Scene activity analysis using statistical and semantic features learnt from object trajectory data
US9226037B2 (en) 2010-12-30 2015-12-29 Pelco, Inc. Inference engine for video analytics metadata-based event detection and forensic search
US8737727B2 (en) 2010-12-30 2014-05-27 Pelco, Inc. Color similarity sorting for video forensics search
US9615064B2 (en) 2010-12-30 2017-04-04 Pelco, Inc. Tracking moving objects using a camera network
US9681125B2 (en) 2011-12-29 2017-06-13 Pelco, Inc Method and system for video coding with noise filtering
US20140096014A1 (en) * 2012-09-29 2014-04-03 Oracle International Corporation Method for enabling dynamic client user interfaces on multiple platforms from a common server application via metadata
US9728008B2 (en) 2012-12-10 2017-08-08 Nant Holdings Ip, Llc Interaction analysis systems and methods
BR112017007408A2 (pt) * 2014-10-10 2019-11-19 Liverbarn Inc sistema e método para rastreamento ótico de jogadores em estádios esportivos
EP3478106A4 (en) * 2016-06-30 2020-12-16 776BC International Pty Ltd CLOTHING, SYSTEMS AND PROCEDURES FOR SPORTS TRAINING
US10181192B1 (en) * 2017-06-30 2019-01-15 Canon Kabushiki Kaisha Background modelling of sport videos
US20200302181A1 (en) * 2019-03-22 2020-09-24 The Regents Of The University Of California System and method for generating visual analytics and player statistics
CN110310263B (zh) * 2019-06-24 2020-12-01 北京师范大学 一种基于显著性分析和背景先验的sar图像居民区检测方法
CN114245206B (zh) * 2022-02-23 2022-07-15 阿里巴巴达摩院(杭州)科技有限公司 视频处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587593B1 (en) * 1998-04-28 2003-07-01 Sharp Kabushiki Kaisha Image processing device and image processing method
CN1991864A (zh) * 2005-12-27 2007-07-04 中国科学院计算技术研究所 球门检测和基于球门检测的足球视频精彩事件检测方法
CN101079109A (zh) * 2007-06-26 2007-11-28 北京中星微电子有限公司 基于制服特征的身份识别方法和系统
CN101243448A (zh) * 2005-08-17 2008-08-13 松下电器产业株式会社 影像场面分类装置及影像场面分类方法
WO2008118147A2 (en) * 2007-03-26 2008-10-02 Thomson Licensing Method and apparatus for detecting objects of interest in soccer video by color segmentation and shape anaylsis
CN101287056A (zh) * 2007-04-12 2008-10-15 奥林巴斯映像株式会社 图像再现装置、图像再现程序、记录介质、图像再现方法

Family Cites Families (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638465A (en) * 1994-06-14 1997-06-10 Nippon Telegraph And Telephone Corporation Image inspection/recognition method, method of generating reference data for use therein, and apparatuses therefor
US5961571A (en) * 1994-12-27 1999-10-05 Siemens Corporated Research, Inc Method and apparatus for automatically tracking the location of vehicles
JPH11275377A (ja) * 1998-03-25 1999-10-08 Fujitsu Ltd カラーデータ変換方法及びその装置
US6363160B1 (en) * 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US6751354B2 (en) * 1999-03-11 2004-06-15 Fuji Xerox Co., Ltd Methods and apparatuses for video segmentation, classification, and retrieval using image class statistical models
US6798897B1 (en) * 1999-09-05 2004-09-28 Protrack Ltd. Real time image registration, motion detection and background replacement using discrete local motion estimation
US6587576B1 (en) * 2000-05-17 2003-07-01 Ncr Corporation Method of quantifying the quality of a gray scale image of a document and an apparatus therefor
CN1381025A (zh) * 2000-05-18 2002-11-20 皇家菲利浦电子有限公司 前景/背景检测装置
JP4339988B2 (ja) * 2000-08-02 2009-10-07 コニカミノルタビジネステクノロジーズ株式会社 カラーマッチング方法およびカラーマッチング装置ならびにカラーマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体
JP3692500B2 (ja) * 2000-09-12 2005-09-07 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像処理方法、画像処理システムおよび記録媒体
US6771306B2 (en) * 2001-03-28 2004-08-03 Koninklijke Philips Electronics N.V. Method for selecting a target in an automated video tracking system
US6912297B2 (en) * 2001-04-16 2005-06-28 Ncr Corporation Method of determining usability of a document image and an apparatus therefor
CN1329872C (zh) * 2001-04-20 2007-08-01 皇家菲利浦电子有限公司 改善图像的图像处理装置及方法以及包括这种图像处理装置的图像显示装置
US20020168091A1 (en) * 2001-05-11 2002-11-14 Miroslav Trajkovic Motion detection via image alignment
US6870945B2 (en) * 2001-06-04 2005-03-22 University Of Washington Video object tracking by estimating and subtracting background
JP4319031B2 (ja) * 2001-09-06 2009-08-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 対象のセグメンテーション方法及び装置
US6898316B2 (en) 2001-11-09 2005-05-24 Arcsoft, Inc. Multiple image area detection in a digital image
US7688349B2 (en) * 2001-12-07 2010-03-30 International Business Machines Corporation Method of detecting and tracking groups of people
US7321687B2 (en) * 2002-03-07 2008-01-22 Canon Kabushiki Kaisha Apparatus and method for image processing to label an object in a binary image
US8214741B2 (en) * 2002-03-19 2012-07-03 Sharp Laboratories Of America, Inc. Synchronization of video and data
US7921036B1 (en) * 2002-04-30 2011-04-05 Videomining Corporation Method and system for dynamically targeting content based on automatic demographics and behavior analysis
US7190809B2 (en) * 2002-06-28 2007-03-13 Koninklijke Philips Electronics N.V. Enhanced background model employing object classification for improved background-foreground segmentation
US20040040041A1 (en) * 2002-08-22 2004-02-26 Microsoft Corporation Interactive applications for stored video playback
US20040126038A1 (en) * 2002-12-31 2004-07-01 France Telecom Research And Development Llc Method and system for automated annotation and retrieval of remote digital content
US7983446B2 (en) * 2003-07-18 2011-07-19 Lockheed Martin Corporation Method and apparatus for automatic object identification
US20050069225A1 (en) * 2003-09-26 2005-03-31 Fuji Xerox Co., Ltd. Binding interactive multichannel digital document system and authoring tool
US20050100204A1 (en) * 2003-11-06 2005-05-12 Spectra Systems Corporation Method and apparatus for detecting fluorescent particles contained in a substrate
JP4610182B2 (ja) * 2003-12-05 2011-01-12 株式会社日立ハイテクノロジーズ 走査型電子顕微鏡
US7639839B2 (en) * 2004-03-31 2009-12-29 Fuji Xerox Co., Ltd. Extracting video regions of interest
EP2273449A3 (en) * 2004-06-11 2012-07-25 Lyyn Ab Method and Apparatus for Image Processing using Histogram Equalization
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
US20060018516A1 (en) * 2004-07-22 2006-01-26 Masoud Osama T Monitoring activity using video information
TWI258692B (en) * 2004-12-01 2006-07-21 Himax Tech Ltd Method of reducing the frame buffer size for driving a pixel
WO2007044044A2 (en) * 2004-12-21 2007-04-19 Sarnoff Corporation Method and apparatus for tracking objects over a wide area using a network of stereo sensors
JP3882005B2 (ja) * 2005-03-02 2007-02-14 松下電器産業株式会社 画像生成方法、物体検出方法、物体検出装置および画像生成プログラム
FR2883441A1 (fr) * 2005-03-17 2006-09-22 Thomson Licensing Sa Procede de selection de parties d'une emission audiovisuelle et dispositif mettant en oeuvre le procede
EP1864505B1 (en) * 2005-03-29 2020-01-15 Sportvu Ltd. Real-time objects tracking and motion capture in sports events
TWI309026B (en) * 2005-04-12 2009-04-21 Newsoft Technology Corp Method for auto-cropping image objects and method for detecting image object contour
ITRM20050192A1 (it) * 2005-04-20 2006-10-21 Consiglio Nazionale Ricerche Sistema per la rilevazione e la classificazione di eventi durante azioni in movimento.
US20060265232A1 (en) * 2005-05-20 2006-11-23 Microsoft Corporation Adaptive customer assistance system for software products
US7305128B2 (en) * 2005-05-27 2007-12-04 Mavs Lab, Inc. Anchor person detection for television news segmentation based on audiovisual features
JP4420459B2 (ja) * 2005-06-14 2010-02-24 キヤノン株式会社 画像処理装置およびその方法
US20070016999A1 (en) * 2005-06-20 2007-01-25 Nike, Inc. Visual stimulus management
US7574043B2 (en) * 2005-06-27 2009-08-11 Mitsubishi Electric Research Laboratories, Inc. Method for modeling cast shadows in videos
US7376246B2 (en) * 2005-06-27 2008-05-20 Mitsubishi Electric Research Laboratories, Inc. Subspace projection based non-rigid object tracking with particle filters
US20090220070A1 (en) * 2005-09-09 2009-09-03 Justin Picard Video Watermarking
US7623675B2 (en) * 2005-09-19 2009-11-24 International Business Machines Corporation Video data management using encapsulation assets
US20070098257A1 (en) * 2005-10-31 2007-05-03 Shesha Shah Method and mechanism for analyzing the color of a digital image
US8064716B2 (en) * 2005-11-08 2011-11-22 Soundstarts, Inc. Apparatus and methods for enhancing digital images
US7835542B2 (en) * 2005-12-29 2010-11-16 Industrial Technology Research Institute Object tracking systems and methods utilizing compressed-domain motion-based segmentation
US8150155B2 (en) * 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US8265392B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
US8645991B2 (en) * 2006-03-30 2014-02-04 Tout Industries, Inc. Method and apparatus for annotating media streams
US7778492B2 (en) * 2006-04-04 2010-08-17 Oldford Group Limited System and method for scaling digital images
JP4193871B2 (ja) * 2006-05-18 2008-12-10 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US20080032797A1 (en) * 2006-07-24 2008-02-07 Nds Limited Combining broadcast sporting events and computer-based gaming
US7720281B2 (en) 2006-07-31 2010-05-18 Mavs Lab, Inc. Visual characteristics-based news anchorperson segment detection method
US7693331B2 (en) * 2006-08-30 2010-04-06 Mitsubishi Electric Research Laboratories, Inc. Object segmentation using visible and infrared images
EP2073905B1 (en) * 2006-09-11 2014-12-31 James A. Aman System and methods for translating sports tracking data into statistics and performance measurements
BRPI0622049A2 (pt) * 2006-09-29 2014-06-10 Thomson Licensing Estimativa de estado dinâmico
US7796812B2 (en) * 2006-10-17 2010-09-14 Greenparrotpictures, Limited Method for matching color in images
US7835587B2 (en) * 2006-12-18 2010-11-16 Intel Corporation Method and apparatus for local standard deviation based histogram equalization for adaptive contrast enhancement
US7667596B2 (en) * 2007-02-16 2010-02-23 Panasonic Corporation Method and system for scoring surveillance system footage
US8456528B2 (en) * 2007-03-20 2013-06-04 International Business Machines Corporation System and method for managing the interaction of object detection and tracking systems in video surveillance
WO2008139399A2 (en) 2007-05-15 2008-11-20 Philips Intellectual Property & Standards Gmbh Method of determining motion-related features and method of performing motion classification
US8253770B2 (en) * 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
US8644600B2 (en) * 2007-06-05 2014-02-04 Microsoft Corporation Learning object cutout from a single example
WO2009006605A2 (en) * 2007-07-03 2009-01-08 Pivotal Vision, Llc Motion-validating remote monitoring system
US7925083B2 (en) * 2007-07-09 2011-04-12 Eastman Kodak Company Method for digital image class detection
JP2009044423A (ja) * 2007-08-08 2009-02-26 Univ Of Electro-Communications シーン検出システム及びシーン検出方法
CN101601306B (zh) * 2007-09-07 2011-05-18 松下电器产业株式会社 多色图像处理装置以及信号处理装置
US7999862B2 (en) * 2007-10-24 2011-08-16 Lightcraft Technology, Llc Method and apparatus for an automated background lighting compensation system
TWI348659B (en) * 2007-10-29 2011-09-11 Ind Tech Res Inst Method and system for object detection and tracking
KR101423916B1 (ko) * 2007-12-03 2014-07-29 삼성전자주식회사 복수의 얼굴 인식 방법 및 장치
US8718363B2 (en) * 2008-01-16 2014-05-06 The Charles Stark Draper Laboratory, Inc. Systems and methods for analyzing image data using adaptive neighborhooding
US8687918B2 (en) * 2008-03-05 2014-04-01 Semiconductor Energy Laboratory Co., Ltd. Image processing method, image processing system, and computer program
US8265474B2 (en) * 2008-03-19 2012-09-11 Fujinon Corporation Autofocus system
KR20100002032A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
US9031279B2 (en) * 2008-07-09 2015-05-12 Disney Enterprises, Inc. Multiple-object tracking and team identification for game strategy analysis
US9185361B2 (en) * 2008-07-29 2015-11-10 Gerald Curry Camera-based tracking and position determination for sporting events using event information and intelligence data extracted in real-time from position information
US8433101B2 (en) * 2008-07-31 2013-04-30 Samsung Electronics Co., Ltd. System and method for waving detection based on object trajectory
US20100027845A1 (en) * 2008-07-31 2010-02-04 Samsung Electronics Co., Ltd. System and method for motion detection based on object trajectory
US8686953B2 (en) * 2008-09-12 2014-04-01 Qualcomm Incorporated Orienting a displayed element relative to a user
US8249343B2 (en) * 2008-10-15 2012-08-21 Xerox Corporation Representing documents with runlength histograms
US8363884B2 (en) * 2008-11-05 2013-01-29 International Business Machines Corporation Watermark hiding in designated applications
US8628453B2 (en) * 2008-12-05 2014-01-14 Nike, Inc. Athletic performance monitoring systems and methods in a team sports environment
CN102576412B (zh) * 2009-01-13 2014-11-05 华为技术有限公司 图像处理以为图像中的对象进行分类的方法和系统
WO2010083235A1 (en) * 2009-01-13 2010-07-22 Futurewei Technologies, Inc. Image processing system and method for object tracking
US8588465B2 (en) * 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
CN102356398B (zh) * 2009-02-02 2016-11-23 视力移动技术有限公司 用于视频流中的对象识别和跟踪的系统和方法
JP4521468B1 (ja) * 2009-02-25 2010-08-11 株式会社東芝 画像処理装置及び画像処理方法
KR20120042849A (ko) 2009-07-20 2012-05-03 톰슨 라이센싱 스포츠 비디오에서의 파 뷰 장면들에 대한 비디오 프로세싱을 검출하고 적응시키기 위한 방법
US9230173B2 (en) 2009-08-24 2016-01-05 Verizon Patent And Licensing Inc. Soft decision making processes for analyzing images
MX2012002948A (es) * 2009-09-11 2012-07-17 Disney Entpr Inc Inserciones virtuales en video 3d.
US9462318B2 (en) * 2009-11-03 2016-10-04 At&T Intellectual Property I, L.P. System for media program management
US8515134B2 (en) * 2009-12-11 2013-08-20 Nxp B.V. System and method for motion estimation using image depth information
US10474875B2 (en) * 2010-06-07 2019-11-12 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation
US8537157B2 (en) * 2010-06-21 2013-09-17 Verizon Patent And Licensing Inc. Three-dimensional shape user interface for media content delivery systems and methods
US8755432B2 (en) * 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues
US8532336B2 (en) * 2010-08-17 2013-09-10 International Business Machines Corporation Multi-mode video event indexing
AU2010241260B2 (en) * 2010-10-29 2013-12-19 Canon Kabushiki Kaisha Foreground background separation in a scene with unstable textures
US9171075B2 (en) * 2010-12-30 2015-10-27 Pelco, Inc. Searching recorded video
US8705894B2 (en) * 2011-02-15 2014-04-22 Digital Optics Corporation Europe Limited Image rotation from local motion estimates
US8587666B2 (en) * 2011-02-15 2013-11-19 DigitalOptics Corporation Europe Limited Object detection from image profiles within sequences of acquired digital images
US20120213438A1 (en) * 2011-02-23 2012-08-23 Rovi Technologies Corporation Method and apparatus for identifying video program material or content via filter banks
JP5716464B2 (ja) * 2011-03-07 2015-05-13 富士通株式会社 画像処理プログラムおよび画像処理方法並びに画像処理装置
US9681125B2 (en) * 2011-12-29 2017-06-13 Pelco, Inc Method and system for video coding with noise filtering
JP6046948B2 (ja) * 2012-08-22 2016-12-21 キヤノン株式会社 物体検知装置及びその制御方法、プログラム、並びに記憶媒体
US9165373B2 (en) * 2013-03-11 2015-10-20 Adobe Systems Incorporated Statistics of nearest neighbor fields
US9928874B2 (en) * 2014-02-05 2018-03-27 Snap Inc. Method for real-time video processing involving changing features of an object in the video
US9471889B2 (en) * 2014-04-24 2016-10-18 Xerox Corporation Video tracking based method for automatic sequencing of vehicles in drive-thru applications
US9779331B2 (en) * 2014-04-24 2017-10-03 Conduent Business Services, Llc Method and system for partial occlusion handling in vehicle tracking using deformable parts model
US9483838B2 (en) * 2014-04-24 2016-11-01 Xerox Corporation Method and system for automated sequencing of vehicles in side-by-side drive-thru configurations via appearance-based classification
CN105893920B (zh) * 2015-01-26 2019-12-27 阿里巴巴集团控股有限公司 一种人脸活体检测方法和装置
US9760792B2 (en) * 2015-03-20 2017-09-12 Netra, Inc. Object detection and classification
US9390506B1 (en) * 2015-05-07 2016-07-12 Aricent Holdings Luxembourg S.A.R.L. Selective object filtering and tracking
EP3142040A1 (en) * 2015-09-11 2017-03-15 Canon Kabushiki Kaisha Information processing apparatus, method of controlling the same, and program
US9898677B1 (en) * 2015-10-13 2018-02-20 MotionDSP, Inc. Object-level grouping and identification for tracking objects in a video
US9881380B2 (en) * 2016-02-16 2018-01-30 Disney Enterprises, Inc. Methods and systems of performing video object segmentation
EP3433816A1 (en) * 2016-03-22 2019-01-30 URU, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587593B1 (en) * 1998-04-28 2003-07-01 Sharp Kabushiki Kaisha Image processing device and image processing method
CN101243448A (zh) * 2005-08-17 2008-08-13 松下电器产业株式会社 影像场面分类装置及影像场面分类方法
CN1991864A (zh) * 2005-12-27 2007-07-04 中国科学院计算技术研究所 球门检测和基于球门检测的足球视频精彩事件检测方法
WO2008118147A2 (en) * 2007-03-26 2008-10-02 Thomson Licensing Method and apparatus for detecting objects of interest in soccer video by color segmentation and shape anaylsis
CN101287056A (zh) * 2007-04-12 2008-10-15 奥林巴斯映像株式会社 图像再现装置、图像再现程序、记录介质、图像再现方法
CN101079109A (zh) * 2007-06-26 2007-11-28 北京中星微电子有限公司 基于制服特征的身份识别方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105453571A (zh) * 2013-07-24 2016-03-30 三星电子株式会社 广播提供装置、广播提供系统及其提供广播的方法

Also Published As

Publication number Publication date
WO2010083238A1 (en) 2010-07-22
CN102576412B (zh) 2014-11-05
US20100177969A1 (en) 2010-07-15
US10096118B2 (en) 2018-10-09
US20160117835A1 (en) 2016-04-28
US9269154B2 (en) 2016-02-23

Similar Documents

Publication Publication Date Title
CN102576412B (zh) 图像处理以为图像中的对象进行分类的方法和系统
AU2017330571B2 (en) Machine learning models for identifying objects depicted in image or video data
D’Orazio et al. A review of vision-based systems for soccer video analysis
CN102369540A (zh) 用于对象跟踪的图像处理系统和方法
CN103442262B (zh) 基于电视终端视频节目的用户收视行为分析方法及系统
US20100095326A1 (en) Program content tagging system
Niu et al. Tactic analysis based on real-world ball trajectory in soccer video
US11064221B2 (en) Multi-camera live-streaming method and devices
Oskouie et al. Multimodal feature extraction and fusion for semantic mining of soccer video: a survey
CN108293140A (zh) 公共媒体段的检测
JP2006251885A (ja) スポーツ映像の分類装置およびログ生成装置
US10484757B2 (en) Systems and methods for graphical data presentation during a sporting event broadcast
Setterwall Computerised video analysis of football-technical and commercial possibilities for football coaching
CN103020094B (zh) 视频播放次数统计方法
Nieto et al. An automatic system for sports analytics in multi-camera tennis videos
Xue et al. Automatic video annotation system for archival sports video
Choroś Improved video scene detection using player detection methods in temporally aggregated TV sports news
Lee Automating NFL Film Study: Using Computer Vision to Analyze All-‐22 NFL Film
Desbordes Emerging technologies and sports events
Desbordes et al. DIGITAL TECHNOLOGY DEVELOPMENT AND COMMERCIAL SOLUTIONS FOR SPORTS EVENT
El-Saban Automatic Soccer Video Summarization

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant