WO2004107766A1

WO2004107766A1 - 映像受信装置および映像再生装置

Info

Publication number: WO2004107766A1
Application number: PCT/JP2004/007800
Authority: WO
Inventors: Motohiro Ito; Kazuto Ohara
Original assignee: Sharp Kabushiki Kaisha
Priority date: 2003-05-30
Filing date: 2004-05-28
Publication date: 2004-12-09
Also published as: EP1633148A1; KR100745304B1; CN1799267A; US20060269226A1; EP2453663A2; JP2004357156A; KR20060041171A; EP1633148A4; EP2453663A3

Description

明細書映像受信装置および映像再生装置技術分野

本発明は、両眼視差を利用した 3次元映像を撮影して通信路により伝送された映像データを受信して 3次元表示するための映像受信装置および両眼視差を利用した 3次元映像を撮影して記録媒体に記録された映像データを読み出して 3次元表示するための映像再生装置に関するものである。背景技術

従来、被写体に対して視差を持った複数の映像を左右の眼で別々に見ることにより、撮影された被写体を立体的に見ることのできるステレオ映像を撮影するための方法として、一般的な単眼カメラに視点の異なる複数の被写体像を形成するステレオアダプタを装着して、 1画面に視差のある複数の映像を撮影するということが行われている。

図 2 O A〜図 2 0 Cは、ステレオアダプタを装着した際の撮影映像を説明するための図である。

図 2 O Aはステレオアダプタを装着しない状態で撮影した映像であり、図 2 0 Bは、画角が 1 / 2になるタイプのステレオアダプタを装着して撮影した映像を、図 2 0 Cは、画角は変化せず撮影できる範囲が狭くなるタイプのステレオァダプタを装着して撮影した映像を示す。ステレオアダプタを装着した場合、一般に画面の左側に左眼用映像が、右側に右眼用映像が映される。

このようにして撮影された映像は、左眼用映像を左眼のみで、右眼用映像を右眼のみで見ることで立体視することができる。

図 2 1 Aおよび図 2 1 Bは、両眼視差を利用して立体視を実現する代表的な方式の 1つである、パララクスバリァ方式を説明するための図である。

図 2 1 Aは、視差が生じる原理を示す図である。図 2 1 Bは、パララクスバリァ方式で表示される画面の表示形式を示す図であり、左眼用映像と右眼用映像が水平方向 1画素おきに交互にならんだ形に配置されている。

図 2 1 Aでは、図 2 1 Bに示すような映像を、映像表示パネル 60 1に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア 602 を映像表示パネル 60 1の前面に置くことにより、左眼用映像は左眼 603だけで、右眼用映像は右眼 604だけで観察することになり、立体視を行うことができる。

ところで、このようにステレオ撮影した 3次元映像に適した再生を行うためには、単眼撮影された 2次元映像と、ステレオ撮影された 3次元映像を区別する必要があり、特開 200 1— 22 208 3号公報においては、ステレオ撮影された 3次元映像と単眼撮影された 2次元映像とを区別するために、前者には、 " s t e r e o l" , " s t e r e o 2" , …といった記録名を、後者には、 " n o r ma 1 1" , " n o r m a 1 2" ， …といった記録名を、それぞれ識別情報として付加することで、 3次元映像と 2次元映像とを識別する方法が開示されている。しかしながら、上記従来の技術では、付加される識別情報が記録名のみであるために、記録された映像がどのような条件で撮影されたものであるか知ることができない。ある特定の撮影機器で撮影した映像のみを再生するための再生機器を用いる場合にはよいが、他の撮影機器で撮影した映像の場合、同じ再生機器を用いて再生することができないことがある。

例えば、図 20 Bに示すようなステレオ撮影された映像を図 2 1 Bの表示形式に変換するためには、左眼用映像と右眼用映像を水平方向 1画素おきに交互に並ベればよい。一方、図 20 Cに示す映像を図 2 1 Bの表示形式に変換するためには、左眼用映像と右眼用映像を、それぞれ水平方向に 1/2に間引きしてから水平方向 1画素おきに交互に並べる必要がある。

このようにステレオ撮影された 3次元映像を再生するためには、表示デバイスに適合した形式に変換する必要がある。ところが、再生する映像のデータ形式が異なれば、必要となる処理方法も異なるため、同一の再生機器においても、再生する映像のデータ形式がわからなレ、場合には、表示形式に正しく変換することができない。反対に同じ撮影機器で撮影された映像であっても、再生機器側の表示方式が異なれば、必要となる処理方法が異なるため、正しく変換することができない。

つまり、撮影機器と再生機器が 1対 1に対応していればよいが、異なる機器間で映像をやり取りするためには撮影条件および再生条件が一致する必要があるため、撮影した映像の汎用性が大きく損なわれるという問題があった。

また、ステレオ撮影時のみならず単眼撮影時においても識別情報を記録しているが、記録の仕方によっては、他の機器において再生できなくなるという問題点があった。発明の開示

本発明は、上記の問題点に鑑みてなされたものであり、既存の機器に対する互換性を維持しつつ、ステレオ撮影時の映像データに汎用性を持たせるための付加情報を含んで構成された映像データの視聴を容易に行うことのできる映像再生装置および映像受信装置を提供することを目的とする。

上記の課題を達成するために、本発明の 1つの局面に従うと、通信路から所定の形式の映像データおよび映像データの付随情報を受信する受信部を備えた映像受信装置であって、映像データを 3次元表示するための付加情報を付随情報から検出する検出部を備え、検出部により付加情報が検出された場合に、映像データを 3次元表示するための信号を生成する。

この発明の他の局面に従うと、記録媒体に記録された映像データおよび映像データの付随情報を読み出す読出部を備えた映像再生装置であって、映像データを 3次元表示するための付加情報を付随情報から検出する検出部を備え、検出部により付加情報が検出された場合に、映像データを 3次元表示するための信号を生成する。

好ましくは、本発明は、付加情報の有無に応じて、映像データを、付加情報の付加された 3次元映像とそれ以外の 2次元映像に分類した分類情報を作成する。また、好ましくは、本発明は、分類情報に基づいて選択した映像データを再生する。

また、好ましくは、本発明は、分類情報に基づいて選択した映像データを記録媒体に記録する記録部を備える。また、好ましくは、本発明は、分類情報を記録媒体に記録する記録部を備える。図面の簡単な説明

図 1は、本発明における第 1の実施の形態による映像記録装置の構成例を示す図である。

図 2は、本発明における付加情報の一例を示す図である。

図 3は、磁気テープのトラック構成例を示す図である。

図 4は、磁気テープのトラックのフォーマツトを示す図である。

図 5は、磁気テープのトラックフォーマツトの映像記録領域のフォーマツトを示す図である。

図 6は、本発明における映像データのファイルへの記録形式の一例を示す図である。

図 7は、本発明における第 2の実施の形態による映像再生システムの構成例を示す図である。

図 8は、本発明における第 2の実施の形態による映像送信装置の構成例を示す図である。

図 9は、パケットの構成例を示す図である。

図 1 0は、 D V形式におけるデータブロックの伝送順を示す図である。

図 1 1は、本発明における第 2の実施の形態による映像受信装置の構成例を示す図である。

図 1 2は、本発明における付加情報の一例を示す図である。

図 1 3 Aおよび図 1 3 Bは、 3次元表示の例を示す図である。

図 1 4は、飛び出し量調整の原理を説明するための図である。 ' 図 1 5 Aおよび図 1 5 Bは、飛び出し量調整時の画像形式の変化を説明するための図である。

図 1 6 A〜図 1 6 Cは、飛び出し量調整時の表示方法を説明するための図である。

図 1 7 Aおよび図 1 7 Bは、垂直位置の調整を説明するための図である。

図 1 8は、本発明において 3 D情報のうち高速サーチ時に必要となる要素の一例を示す図である。

図 1 9は、本発明における分類情報の一例を示す図である。

図 2 O A〜図 2 0 Cは、ステレオアダプタを装着した際の撮影画面を説明するための図である。

図 2 1 Aおよび図 2 1 Bは、パララクスバリア方式の原理を説明するための図である。発明を実施するための最良の形態

以下、図面を参照して本発明の実施の形態について説明する。

[第 1の実施の形態]

図 1は、本発明における第 1の実施の形態による映像記録装置 1 0 0の構成を示すブロック図である。

図 1を参照して、映像記録装置 1 0 0は、被写体を撮影した映像を記録媒体 2 ◦ 0に記録し、記録媒体 2 0 0に記録された映像を再生する。したがって、映像記録装置 1 0 0は、映像再生装置としても機能する。

映像記録装置 1 0 0は、単眼撮影とステレオ撮影の撮影機能を選択的に切替えるための機能選択部 1 0 1と、 C C D (Charge Coupled Device) などの撮像素子やオートフォーカス回路を備えた撮像部 1 0 2と、所定のフォーマツトの 3次元情報（以下、「3 D情報」と呼ぶ）を生成する 3 D情報生成部 1 0 3と、映像データと 3 D情報とをフォーマツト化して記録媒体 2 0 0に記録するデータ記録部 1 0 4とを備える。映像記録装置 1 0 0は、さらに、記録媒体 2 0 0から記録データを読み出すデータ読出し部 1 0 6と、映像データを表示形式に変換する映像変換部 1 0 7と、 3 D情報に基づき映像変換部 1 0 7の制御を行う制御部 1 0 5と、パララックスバリア方式などの 3次元表示デバイスを備えた表示部 1 0 8とを備える。

以上のように構成された映像記録装置 1 0 0について、以下、その動作を説明する。

はじめに、撮影時の動作について説明する。なお、本実施の形態では、図 2 0 Bに示すように、 2つに分割された画面に左眼用の映像と右眼用の映像がそれぞれ水平方向に 1 / 2だけ縮小された状態で撮影されるタイプのステレオアダプタを使用するものとして説明するが、本宪明はこれに限定されるものではなく、他のタイプのステレオアダプタや 2眼式のカメラを使用しても構わない。

撮影者は、撮影を開始する前に機能選択部 1 0 1を操作して、撮影動作の選択を行う。 2次元映像を撮影する際には通常撮影動作を、 3次元映像を撮影する際には、撮像部 1 0 2にステレオアダプタを装着し、ステレオ撮影動作を選択する。機能選択部 1 0 1は 3 D情報生成部 1 0 3に対して、選択された撮影動作を機能選択信号により通知する。

撮影者が撮影を開始すると、所定の周期で撮像部 1 0 2により映像 1コマの取り込みが行われ、映像データがデータ記録部 1 0 4に対して出力される。通常撮影動作では、データ記録部 1 0 4は、撮像部 1 0 2により入力された映像データを所定のフォーマットで記録媒体 2 0 0に記録する。なお、図 1には図示していないが、音声や音楽を記録する場合は、それらのデータもデータ記録部 1 0 4にて多重化される。

また、表示部 1 0 8は、撮像部 1 0 2によりデータ記録部 1 0 4に入力された映像データを読み出して表示する。撮影者は表示部 1 0 8に表示された映像により、記録内容を確認しながら撮影を行うことができる。

一方、ステレオ撮影動作では、 3 D情報生成部 1 0 3は、画角などのステレオアダプタの特性に関するパラメータから 3次元表示のために用いる 3 D情報を生成する。これらのパラメータはステレオアダプタに固有のものであるので、予め撮影者等により設定がなされて 3 D情報生成部 1 0 3に記憶されているものとする。

図 2は、このときの 3 D情報の一例を示す図である。

図 2において、 "=" で結ばれた左側が 3 D情報の項目名を、右側が設定値を表している。図 2に示した 3 D情報は、図 2 0 Bの映像のデータ形式を示している。すなわち、水平方向の視点数は「2」、垂直方向の視点数は「1」であり、左右の 2視点の映像が存在することを示し、映像配置は「水平配置」であり、左右 2つの映像が水平方向に結合されていることを示している。また、水平方向の縮小は「あり」であり、画角が変わらないために水平方向に縮小されていることを示し、続く縮小比で 1 / 2に縮小されていることを示している。垂直方向には縮小されていないため、縮小比は指定されない。 2 D映像は、 2次元表示をするときに選択する視点を示しており、ここでは左眼用映像が指定されている。なお、 3 D情報開始データは 3 D情報の開始を表す固定値のデータであり、パージョン情報は 3 D情報の互換性を示すためのものである。以上のようにして生成された 3 D情報は、映像データに付随する情報の一部としてデータ記録部 1 0 4に対して出力される。

データ記録部 1 0 4は、 3 D情報生成部 1 0 3から入力された 3 D情報と撮像部 1 0 2から入力された映像データを、所定のフォーマツトに従って記録媒体 2 0 0に記録する。記録データを記録するための記録媒体には、一般に I。メモリや光磁気ディスク、磁気テープ、ハードディスクなどが使用されるが、ここでは磁気テープを使用する場合について説明する。

一般に、磁気テープへの記録方式としてはへリカルスキャンと呼ばれる方式が普及している。この方式では図 3に示すように、磁気テープ上に不連続に構成されたトラック 3 0 0に対してデータが記録される。

図 4はトラック 3 0 0の 1つを拡大したものであり、トラックフォーマツトの一例を示している。

図 4において、トラック 3 0 0は、アフレコを確実にするための I T I (Insert and Track Information) 領域 3 0 1と、音声に関するデータが記録される音声記録領域 3 0 2と、映像に関するデータが記録される映像記録領域 3 0 3と、トラック番号やタイムコードなどの付随情報が記録されるサブコード記録領域 3 0 4 とを含む。

図, 5は、図 4に示した映像記録領域 3 0 3を拡大したものである。

映像記録領域 3 0 3は、同期パターンなどが記録されたプリアンプル 4 0 1と、映像に関する付随情報が記録される領域 V A U X (Video AUXiliary data) a 4 0 2及び V A U X /3 4 0 4と、映像符号化データが記録される映像符号化データ記録領域 4 0 3と、エラー訂正符号 4 0 5と、マージンを稼ぐための機能を持つポストアンプノレ 4 0 6とを含む。

本実施の形態では、映像に関する付随情報が記録される領域が、領域 V A U X « 4 0 2と領域 VAU X ]3 4 0 4の 2つに分かれているが、以後はこの 2つをまとめて VAU X領域と呼ぶことにする。なお、図示はしないが音声記録領域 3 0 2にも、音声に関する付随情報を記録する領域として AAU X (Audio AUXiliary data) 領域が用意されている。 3 D情報は VAU X領域、 AAU X領域、サプコード領域のいずれかの領域に記録される。本実施の形態では、 VAU X領域に記録する場合について説明する。

データ記録部 1 0 4は、入力された映像データを、複数のトラックに分割して記録する。映像データは所定の方式により符号化された後、映像符号化データ記録領域 4 0 3に配置される。 3 D情報は固定長符号化や可変長符号化によりビット列に変換されて、他の付随情報と共に VAU X領域に配置される。 3 D情報のデータ量は、 VAU X領域のサイズと比較して十分小さいので、映像 1コマのデ —タを記録する複数トラックの各々に記録するものとする。その際には、常に V AU X a 4 0 2に配置してもよいし、トラックごとに VAU X α 4 0 2と VAU X ]3 4 0 4とに交互に配置してもよい。また、他の付随情報を含めて VAU X領域に収まらない場合には、複数のトラックに分割して記録してもよい。

これらにプリアンプル 4 0 1と、エラー訂正符号 4 0 5と、ポストアンブル 4 0 6とを付カロして 1 トラック分の映像記録領域用データを作成し、同様に作成した音声記録領域用データとサブコード記録領域用データとを、図 4に示したフォ一マットとなるよう合成した後、さらに I T I情報 3 0 1や各領域間のマージンを付加して記録データを出力する。

なお、 3 D情報は、 VAU X領域、 AAU X領域、サブコード領域、それぞれに分割して記録してもよい。さらにデジタル V T Rには付随情報を記録するためのカセットメモリを搭載しているものがあり、上記の 3 D情報をカセットメモリに記録してもよい。

次に、記録媒体 2 0 0に記録された映像を再生する再生機能について説明する。図 1において、データ読出し部 1 0 6は磁気テープのトラック 3 0 0から記録データを読み出し、トラック 3 0 0から読み出した順に音声データ、映像データおよびサブコードに分割し、それぞれエラー訂正を行う。映像データの場合、映像符号化データ記録領域 4 0 3から読み出した映像符号化データを所定の方式により復号し、復号した映像データを映像変換部 1 0 7に出力する。また、 VAU X領域から読み出した付随情報の中から 3 D情報開始マーカを検索して、 3 D情報を抽出し、制御部 1 0 5に出力する。

制御部 1 0 5は、データ読出し部 1 0 6から入力された 3 D情報の中のパージヨン情報を参照し、これ以降に続く項目が解釈可能か否かの判定を行う。 3 D情報の項目が解釈可能な場合には、解釈した 3 D情報から制御情報を決定し映像変換部 1 0 7に出力する。 3 D情報がない場合には、 2次元表示を行うための制御情報を映像変換部 1 0 7に対して出力する。

例えば 3 D情報が、図 2に示すような構成をとる場合には、映像データは、図 2 0 Bに示すように左右映像が水平に結合され、水平方向に 1 Z 2に縮小された形式であることがわかる。したがって、制御部 1 0 5は、この映像データを水平方向に 1画素おきに並べ換えて表示部 1 0 8にあわせた形式に変換するように映像変換部 1 0 7に対して制御情報を出力する。

なお、 3次元映像を表示する際には、必要に応じて 2次元表示と 3次元表示を手動で切替えられるようにしてもよい。 2次元表示に切替えられた場合には、 3 D情報の 2 D映像で指定された視点の映像が表示されるように映像変換部 1 0 7 に対して制御情報を出力する。 3 D情報が存在しない場合にはデータ読出し部 1 0 6から入力された映像データをそのまま出力するように映像変換部 1 0 7に対して制御情報を出力する。

以上のように、映像を記録する際に、映像データの付随情報の記録領域に他の付随情報と識別可能に 3 D情報を記録するため、既存の機器に対する互換性を維持したまま、再生機器側で表示装置に適した表示形式に変換することが可能となり、記録した映像に汎用性を持たせることを容易に行うことが可能となる。なお、上記の実施の形態では、記録媒体として磁気テープを使用する場合について述べたが、ファイルシステムが構築された I Cメモリや光磁気ディスク、ハードディスクなどの記録媒体を用いて、映像データをファイルとして記録してもよい。この場合、 3 D情報は映像フアイルのフアイルへッダに記録してもよいし、映像データとは別のフアイルに記録してもよレ、。

図 6は、 3 D情報を映像ファイルのフアイルへッダに記録する際のフアイル形式の一例を示す図である。図 6では、データは図の上から下に向かう順にフアイルに記録されるものとする。図 6に示すように、 3D情報は従来のファイル形式に用意されているへッダ部を拡張する仕組みを用いて、既存のへッダ部の一部として記録されるものとする。ここでは、拡張されたヘッダを拡張ヘッダと呼ぶ。例えば、映像符号化方式の国際標準である MP EG-4 (Moving Picture Experts Group-4)を使用する場合、ファイルヘッダは V i s u a l Ob j e c t S e q u e n c eまた fま/および V i d e o Ob j e c t L a y e r 指し、 3 D情報はこれらの中にユーザデータとして記録される。

また、映像 1コマを静止画として記録する際には、例えば静止画符号化方式の国際標準である J PEG (Joint Photographic Experts Group) を使用し、この場合、ファイルヘッダはアプリケーションデータセグメントを指し、新たなアブリケーションデータセグメントを定義して 3 D情報を記録する。こうすることで、既存のフアイル形式と互換性を保ったまま、記録した映像に汎用性を持たせることができる。

また、上記の実施の形態では、ステレオ撮影動作中に記録媒体 200に記録される映像データのデータ形式を撮影された映像の形式と一致するようにして記録している力 S、機能選択部 101により、撮影者が所望のデータ形式を選択できるようにしてもよい。このとき映像データのデータ形式に関するパラメータが 3D 情報生成部 103に送られ、 3D情報生成部 103は入力されたパラメータに基づき 3 D情報を生成する。データ記録部 104は 3 D情報生成部 103から入力された 3D情報に基づいて、撮像部 102から入力された映像データの形式を変更する。

また、上記の実施の形態では、撮影者により録画機能が選択されたとき、表示部 108は、撮像部 102により撮影された映像データを、データ記録部 104 から読み出して表示しているが、この映像はステレオ撮影動作時には、図 20B に示すように、 2つに分割された画面に左眼用映像と右眼用映像がそれぞれ水平方向に 1 2だけ縮小された状態となっている。このとき、データ記録部 104 力ら出力される記録データを直接データ読出し部 106に対して入力して記録データを再生するようにしてもよい。または、データ記録部 104により記録媒体 2 0 0に記録された記録データをすぐに読出して再生するようにしてもよい。こうすることで、記録媒体から再生するときと同じようにステレオ撮影中の 3次元映像を表示し、内容を確認することができる。

また、本発明は、記録データを通信路に送信する映像送信装置に対して適用することも可能である。

[第 2の実施の形態]

図 7は、映像データを送信する映像送信装置 1 4 0と映像データを受信する映像受信装置 1 5 0を伝送路 1 6 0により接続し、伝送路 1 6 0を介して、映像デ一タのほ力接続先の装置を制御するためのコマンドのやり取りを行うようにした映像再生システムである。

図 8は、映像送信装置 1 4 0の構成例を示すブロック図である。

図 8において、図 1と同一部分には同一符号が付して、その説明は繰り返さない。映像送信装置 1 4 0は、機能選択部 1 0 1と、撮像部 1 0 2と、 3 D情報生成部 1 0 3と、データ記録部 1 4 1と、制御部 1 0 5と、データ読出し部 1 4 2 と、映像変換部 1 0 7と、表示部 1 0 8と、送信部 1 4 3と、受信部 1 4 5と、記録媒体 2 0 0とを含む。

以上のように構成された映像送信装置 1 4 0について、以下、その動作を説明する。しカゝしな力 Sら、撮影が開始されてから記録データが記録媒体 2 0 0に記録されるまでの動作は、上述した第 1の実施の形態と同様であるので、ここでの説明は省略する。

データ記録部 1 4 1は、映像データと 3 D情報を所定の記録フォーマットにしたがって多重化した多重化データを記録媒体 2 0 0に記録するほか、前記多重化データを送信部 1 4 3.に対して出力する。あるいは、データ読出し部 1 4 2は記録媒体 2 0 0に記録されている多重化データを読み出し、送信部 1 4 3に対して出力する。

送信部 1 4 3は、データ記録部 1 4 1またはデータ読出し部 1 4 2から入力されたデータを所定の通信規約に定められる形式のバケツトに格納して、伝送路 1 6 0に送信する。

伝送路 1 6 0としては、 I E E E 1 3 9 4 (Institute of Electrical and Electronic Engineers 1394) 規格や U S B (Universal Serial Bus) 規格のシリアルバス等が使用される。本実施の形態においては I EEE 1394規格のシリアルバスを使用する場合について説明する。

I EEE 1394規格では、データ伝送の方式として、ァシンクロナス通信方式とアイソクロナス通信方式の 2種類の通信方式があるが、映像データをリアルタイム伝送する場合には、事前に保証された帯域を確保できるアイソクロナス通信方式を使用する。

図 9は、 I EEE 1394規格のアイソクロナス通信方式におけるパケット形式を示す図である。

図 9に示すようにパケット 600は、パケットヘッダ 601と、パケットへッダ 601に対する CRC (Cyclic Redundancy Check) であるヘッダ CRC602 と、伝送するデータを格納するための領域であるデータフィールド 603と、データフィールドに対する CRCであるデータ CRC 604とを含む。

さらに、データフィールドは、伝送するデータであるデータ 632と当該データ 632の属性を示す C I P (Common Isochronous Packet) ヘッダ 631からなる。 C I Pヘッダ 631にはデータ 632のサイズや同期のための時間情報などが記録される。

記録方式に DV (Digital Video) 方式を用いた場合、データ記録部 141またはデータ読み出し部 142から送信部 143へ、図 4に示されるようなトラックデータが、トラック同期信号と共に入力される。送信部 143は、入力されたトラックデータを 80バイトのデータプロック（3バイトは I Dに使用される）に分割する。

図 10は、分割されたデータブロックの伝送順を示す図である。

図 10において、プロック H0は図 4における I T I 301等の記録データを格納するブロックであり、ブロック SC i ( i =0, 1) は図 4におけるサブコード記録領域 304の記録データを、プロック VAj (j =0、 1， 2) は、図 5における領域 VAUXa 402および VAUX β 404の記録データを、ブロック Vk (kは 0から 134までの整数）は、図 5における映像符号化領域 40 3の記録データを、ブロック Am (mは 0から 8までの整数）は図 4における音声記録領域 3 0 2の記録データを分割したデータブロックを示している。またデ一タブ口ックの上側の数字は伝送順を示している。

送信部 1 4 3は、図 1 0に示す伝送順となるように 6データブロックを 1パケットに格納して、通信路 1 6 0に送信する。したがって 1 トラックあたり 2 5パケットが送信される。前述のように VAU X領域に 3 D情報を格納した場合、各トラックにおける最初のバケツトにより 3 D情報が伝送されることになる。

なお、伝送されるバケツトに 3 D情報が含まれているか否かを示す情報をパケットヘッダに付けて伝送するようにしてもよい。例えば、前述のァイソクロナス通信方式の場合には、 3 D情報が含まれているか否かを示す情報を図 9に示す C I Pヘッダ 6 3 1の拡張領域に記録するようにしてもよい。

次に、映像受信装置 1 5 0について説明する。

図 1 1は、映像受信装置 1 5 0の構成例を示すプロック図である。

図 1 1に示すように、映像受信装置 1 5 0は、通信路 1 6 0を介してデータを受信する受信部 1 5 1と、多重化されたデータを分離するデータ分離部 1 5 2と、受信データ中の 3 D情報の有無と制御情報を出力する制御部 1 5 3と、符号化された映像データを復号する映像復号部 1 5 4と、映像データのデータ形式を変換する映像変換部 1 5 5と、 3次元表示と 2次元表示の 2つの表示モードが切り替え可能な表示部 1 5 6、送信部 1 5 8とを含む。

次に、以上のように構成された映像受信装置 1 5 0について、一般的な動作を説明する。

受信部 1 5 1は、通信路 1 6 0からバケツト化された受信データを受信し、パケットヘッダ等を除いて図 9に示したデータ 6 3 2を抽出し、データ分離部 1 5 2に対して出力する。また、パケットのヘッダ部分から該パケットに 3 D情報が含まれているか否かの情報を読み取り、 3 D情報の有無（「あり」、「なし」および「不定」のいずれかの値をとる）として、データ分離部 1 5 2に出力する。

データ分離部 1 5 2は、受信部 1 5 1から入力された多重化データから映像データを分離し、映像復号部 1 5 4に対して出力する。また、 3 D情報の有無が「あり」を示す場合には、多重化データから 3 D情報を分離して、制御部 1 5 3に対して出力する。 3 D情報の有無が「不定」を示す場合には、受信部 1 5 1から入力された多重化データの中から 3 D情報開始コードを検索し、 3 D情報が該多重化データに含まれているか否かを判定する。 3 D情報が存在する場合、前記 3 D情報開始コード以降の所定バイト数のデータを 3 D情報として抽出する。

例えば、前述のように映像送信装置 1 4 0において D V形式のデータがバケツト化されて送信された場合、受信部 1 5 1は 1 トラック分のデータを受信したのち、図 4に示したトラックデータを再構成し、データ分離部 1 5 7に出力する。また前述の C I Pヘッダ 6 3 1の時間情報から同期信号（図示しない）を復元する。この同期信号により受信した映像データを同期して表示することができる。データ分離部 1 5 2は、データ受信部 1 5 1により入力されたトラックデータから音声データ、映像データおよびサブコードに分離する。さらに、分離された映像データを、図 5に示すように映像符号化データ記録領域 4 0 3に格納されている映像符号化データと VAU X領域に格納されている付随情報に分離し、映像符号化データは映像復号部 1 5 4に対して出力する。また附随情報から 3 D情報を抽出して制御部 1 5 3に出力する。

映像復号部 1 5 4は、データ分離部 1 5 2から入力された映像データが符号化されている場合には、所定の方式で復号処理を行う。それ以外の場合には入力された映像データをそのまま映像変換部 1 5 5に対して出力する。

制御部 1 5 3は、 3 D情報の中のパージョン情報を参照し、解釈可能な 3 D情報のバージョン番号以前のバージョンを解釈可能と判定する。 3 D情報の各項目が解釈可能ならば、解釈した 3 D情報を基に映像変換部 1 5 5を制御するための制御情報を映像変換部 1 5 5に対して出力する。 3 D情報が抽出されない場合には 3 D情報が存在しない旨を示す情報を映像変換部 1 5 5に対して出力する。なお、バージョンの違いにより 3 D情報が解釈できない場合には処理を中止してもよいし、少なくとも 3次元映像であることはわかるため、デフォルトの制御情報を映像変換部 1 5 5に対して出力するようにしてもよい。

3 D情報から入力された映像データの形式を知ることができる。例えば、 3 D 情報の内容が図 1 2に示すものである場合、「水平方向の視点数」、「垂直方向の視点数」、「映像結合」、「映像配置」、「水平方向の縮小」、「垂直方向の縮小」および「縮小比」のパラメータにより、映像データは図 2 0 Bで示されるような水平方向に 1 2に縮小された左右の映像が水平方向に結合された形式であると判別でさる。

さらに、制御部 1 5 3は、 3 D情報の有無（ここでは「あり」、「なし」のいずれかの値をとる）および表示部 1 5 6における表示モードを決定する。 3 D情報が存在する場合、 3 D情報の有無を「あり」、表示モードを「3 D」とし、 3 D情報が存在しない場合、 3 D情報の有無を「なし」、表示モードを「2 D」とする。ただし、表示モードについては、ユーザにより表示モードが指定された場合には、 3 D情報の有無の値にかかわらず、ユーザ指定の表示モードを出力する。制御部 1 5 3は、 3 D情報の有無をスィッチ S W 1に、表示モードを表示部 1 5 6に対して出力する。

スィッチ S W 1は、 3 D情報の有無が「あり」を示す場合、画像変換部 1 5 5 の出力が表示部 1 5 6へ入力されるように切り替わり、 3 D情報の有無が「なし」を示す場合、映像復号部 1 5 4の出力が表示部 1 5 6に入力されるように切り替わる。

映像変換部 1 5 5では、制御部 1 5 3から入力された制御情報に応じて、映像復号部 1 5 4から入力された映像データを表示部 1 5 6で表示可能な形式に変換する。

ここで表示部 1 5 6における 3次元表示の例について説明する。表示部 1 5 6 の画面全体に 3次元映像を表示する場合、制御部 1 5 3は、入力された映像データの画素を水平方向に 1画素おきに並べ換えて表示部 1 5 6にあわせた形式に変換するように映像変換部 1 5 5に対して制御情報を出力する。表示部 1 5 6に表示された映像を視聴者が 3次元映像を見ることができる。

なお、入力された映像データの解像度と表示部 1 5 6の解像度が一致しない場合には、映像データに解像度変換を施して全画面表示してもよいし、解像度はそのままで表示部 1 5 6の画面の中央部分に表示するようにしてもよい。

一方、図 1 3 Aに示すように、画面 7 0 1の一部に表示用の窓 7 0 2を設けて、窓 7 0 2の中に 3次元映像を表示する場合、制御部 1 5 3は、窓 7 0 2の中に表示する 3次元映像については前述の全画面表示の場合と同様に変換し、窓 7 0 2 以外の 2次元表示の部分については左右の眼に同じ映像が見えるように、単視点の画像を二重に並べるように映像変換部 1 5 5に対して制御情報を出力する。また図 1 3 Bに示すように、 3次元表示の窓 7 0 2の上に 2次元表示の窓 7 0 3を表示する場合には、画面全体において 2次元表示を行うようにしてもよレ、。なお、図 1 2の項目「2 D映像」は、 3次元映像を 2次元表示する際に表示すべき視点の映像を示している。例えば、図 1 2の場合には、ユーザ指定による表示モードが「2 D」の場合、「2 D映像」で指定された左眼映像を表示する。図 2 0 Bの場合なら左眼映像を水平方向に 2倍に拡大する。ただし、 2次元表示にどの視点の映像を用いるかは、これに限定されるものではなく、映像受信装置 1 5 0において予め決められた視点の映像を表示するようにしてもよいし、ユーザ指定により選択できるようにしてもよい。これは「2 D映像」が不定値である場合にも同様である。

また、図 1 2の「飛び出し量調整」は、表示部 1 5 6の表示面から 3次元映像が飛び出して見える量を示している。

飛び出し量について、図 1 4を用いて説明する。図 1 4において、左眼映像の画素 1は表示位置 8 0 1に表示され、右眼映像の対応する画素 R 1は表示位置 8 0 2に表示される。これらの画素は位置 8 0 3に結像する。

ここで、右眼映像の画素 R 1の表示位置を左に移動して 8 0 2から 8 0 4に変更すると、位置 8 0 3に像を結んでいた映像が位置 8 0 5に見えるようになる。位置 8 0 5は位置 8 0 3と比べて手前にあるため、表示面から飛び出して見えるようになる。逆に画素 R 1を 8 0 2よりも右に移動させると、位置 8 0 3に像を結んでいた映像が表示面よりも奥に見えるようになる。ここで、画素 R 1を画素 L 1の対応点と呼ぶ。

このように「飛び出し量調整」により指定された飛び出し量を実現するために、制御部 1 5 3は左右いずれかの映像を、水平方向に所定の画素数だけシフトさせるように、映像変換部 1 5 5に対して制御情報を出力する。

図 1 5 Aおよび 1 5 Bは右眼映像を左にシフトした場合を示す図である。図 1 5 Aシフト前の状態を示しており、表示画面の全域が 3次元表示されている。図 1 5 Bはシフト後の状態を示しており、右眼映像をシフトさせた結果、右眼映像めうち点線で示した領域 9 0 1が表示画面の外にでるため映像全体は表示できなくなる。

図 1 6 ~図1 6 Cはこのときの表示例を示す図である。図 1 6 Aはシフトした右眼映像を表示せず、右眼映像をシフトすることにより、左眼映像のうち対応点のなくなった部分を 2次元表示する場合である。図 1 6 Bは反対に右眼映像を残して左眼映像を表示しない場合を示しており、図 1 6 Aと同様に右眼映像のうち対応点のなくなった部分を 2次元表示している。図 1 6 Cは対応点のある部分のみを 3次元表示した場合を示している。

また、図 1 2の項目「調整基準映像」は、飛び出し量を調整した結果、 2次元表示として残す映像を示すためのものであり、「調整基準映像」として左眼映像が指定された場合は図 1 6 Aに示されるようになり、「調整基準映像」として右眼映像が指定された場合は図 1 6 Bに示されるようになる。

なお、「飛び出し量調整」および「調整基準映像」は、映像受信装置 1 5 0において予め決められた設定を用いてもよいし、ユーザ指定により変更できるようにしてもよい。ユーザ指定により変更する場合、シフトする側の映像と調整基準映像は一致するように選択してもよいし、別々に選択するようにしてもよい。また、図 1 2の項目「上下ずらし調整量」は、左右映像における垂直方向の調整量を示すためのものである。図 1 7 Aに示したように撮影時に左右映像に上下のずれが生じた場合に、図 1 7 Bのようにずれを補正するために使用される。図 1 2の例ではシフトの方向は正負の符号で表現しており、一 3は下方向に 3画素シフトすることを示している。ここでは、シフトの方向は正負の符号で表現している力シフトする画素数と分離して「上下ずらし方向」として独立に指定できるようにしてもよい。シフトする映像は前述の「調整基準映像」に基づいて決定する。

また、図 1 2の項目「3 D表示強度」および「3 D表示制限閾値」は、 3次元映像を視聴しつづけると、健康に悪影響を及ぼす可能性があることから、 3次元映像の視聴制限を行うために使用される。 3次元映像の表示中に所定の周期で「 3 D表示強度」を加算した累積強度が、所定の視聴制限閾値を越えた場合に、制御部 1 5 3は表示モードを「3 D」力ら「2 D」に切り替え、画像変換部 1 5 5において 3次元映像が 2次元映像に変換するように制御情報を出力する。表示部 1

5 6では強制的に 2次元表示に切替えるられる。この場合、所定の時間が経過した後に、 2次元表示と 3次元表示の切替を可能とするが、それまではユーザの操作による 3次元表示への切替は禁止される。なお、視聴制限閾値としては「3 D 表示制限閾値」の値を使用してもよいし、この値を基に映像受信装置 1 5 0で補正した値を用いてもよい。

[第 3の実施の形態]

次に、図 1 1に示した映像受信装置 1 5 0において、映像送信装置 1 4 0に装着された記録媒体 2 0 0に記録されている映像コンテンツの一覧を作成し、ユーザに提示する方法について説明する。

ここでは前述のように記録方式として D V方式を使用する場合を例にあげる。また、映像データを記録媒体 2 0 0に記録する際に、図 1 8に示すように、 3 D 情報のうち高速サーチ時に必要となる要素を図 4のサブコード領域 3 0 4に予め記録しておき、映像送信装置 1 4 0は記録媒体を高速サーチする際に、記録媒体 2 0 0から読み出したデータのうちサブコードのみをパケット化して、伝送路 1

6 0に送信するものとする。

映像受信装置 1 5◦は、通信路 1 6 0からバケツトを受信し、最初に受信したタイムコードを最初の映像コンテンツの開始位置とする。パケットに 3 D情報が含まれていれば、属性を 3 Dとし、そうでなければ 2 Dとする。 7火に 3 D情報の有無に変化があった時点、つまり前記属性が 3 Dの場合には 3 D情報があり—なしに変化したとき、または前記属性が 2 Dの場合には 3 D情報がなし→ありに変化したときを、次の映像コンテンツの開始位置とし、以降 3 D情報の有無に変化があるたびに同一の手順が行われる。

映像コンテンツが 3 Dの場合には、制御部 1 5 3は「3 D映像タイプ」と「3 D表示強度」を読み取り、図 1 9に示すような映像コンテンツの分類情報をリストとしてユーザに提示する。このとき、リストに表示する「3 D映像タイプ」および「3 D表示強度」については、制御部 1 5 3において映像コンテンツの開始から終了までの統計をとり、最頻値を提示するものとするが、表示する値はこれに制限されるものではなく、最大値、最小値、中央値あるいは平均値であってもよい。

映像受信装置 1 5 0は、送信部 1 5 8により、ユーザにより選択された映像コンテンッの伝送を要求するコマンドを映像送信装置 1 4 0に対して送信する。映像送信装置 1 4 0は受信部 1 4 5により、そのコマンドを受けて、映像コンテンッの再生し、映像コンテンツの伝送を開始する。

なお、映像受信装置 1 5 0にハードディスクやメモリなどの記録媒体が設けられ、受信したデータをファイルとして記録する場合、前述のようにヘッダ部には受信した 3 D情報を記録するが、この 3 D情報のうち「立体画像タイプ」と「3 D表示強度」には、リストに表示した値を記録するようにしてもよい。

また、上記の実施の形態では記録媒体として磁気テープを用いる場合について述べたが、ファイルシステムが構築された I Cメモリや光磁気ディスク、ハードディスクなどの記録媒体を用いて、リスト情報を映像データとは別のファイルとして記録してもよい。

また、本発明は記録媒体から映像データを読み出す映像再生装置に対して適用することも可能である。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

以上説明したとおり、本発明によれば、通信路から所定の形式の映像データおよび映像データの付随情報を受信する受信部を備えた映像受信装置または、記録媒体に記録された映像データおよび映像データの付随情報を読み出す読出部を備えた映像再生装置において、映像データを 3次元表示するための付加情報を付随情報から検出する検出部を備え、検出部により付加情報が検出された場合に、映像データを 3次元表示することで、汎用性を持たせた 3次元映像を視聴することを容易に行うことができるという効果が得られる。

あるいは、好ましくは、本発明では、付加情報の有無に応じて、映像データを、付加情報の付加された 3次元映像とそれ以外の 2次元映像に分類した分類情報を作成することで、汎用性を持たせた 3次元映像を視聴することを容易に行うことができるという効果が得られる。

あるいは、好ましくは、本発明では、分類情報に基づいて選択した映像データを再生することで、汎用性を持たせた 3次元映像を視聴することを容易に行うことができるという効果が得られる。

あるいは、好ましくは、本発明では、分類情報に基づいて選択した映像データを記録媒体に記録する記録部を備えることで、汎用性を持たせた 3次元映像を視聴することを容易に行うことができるという効果が得られる。

あるいは、好ましくは、本発明では、分類情報を記録媒体に記録する記録部を備えることで、汎用性を持たせた 3次元映像を視聴することを容易に行うことができるという効果が得られる。

Claims

請求の範囲

1. 映像受信装置（150) であって、

通信路から所定の形式の映像データと前記映像データの付随情報を受信する受信部（15 1) と、

前記映像データを 3次元表示するため情報であって少なくとも前記所定の形式を示す付加情報を前記付随情報から検出する検出部（152， 153) と、前記検出部により前記付加情報が検出された場合に、前記映像データを前記所定の形式に従う 3次元表示するための信号を生成する信号生成部（1 55) とを備えることを特徴とする、映像受信装置。

2. 前記付加情報の有無に応じて、前記映像データを、前記付加情報の付加された 3次元映像とそれ以外の 2次元映像に分類した分類情報を作成することを特徴とする、請求項 1に記載の映像受信装置。

3. 前記分類情報に基づいて選択した映像データを再生することを特徴とする、請求項 2に記載の映像受信装置。

4. 前記分類情報に基づいて選択した映像データを記録媒体に記録する記録部を備えることを特徴とする、請求項 2に記載の映像受信装置。

5. 前記分類情報を記録媒体に記録する記録部を備えることを特徴とする、請求項 2に記載の映像受信装置。

6. 映像再生装置（100) であって、

記録媒体に記録された映像データおよび前記映像データの付随情報を読み出す読出部（106) と、

前記映像データを 3次元映像として表示するための情報であって少なくとも前記所定の形式を示す付加情報を前記付随情報から検出する検出部（105) と、前記検出部により前記付加情報が検出された場合に、前記映像データを前記所定の形式に従う 3次元表示するための信号を生成する信号生成部（107) とを備えることを特徴とする、映像再生装置。

7. 前記付加情報の有無に応じて、前記映像データを、前記付加情報の付カロされた 3次元映像とそれ以外の 2次元映像に分類した分類情報を作成することを特徴とする、請求項 6に記載の映像再生装置。

8 . 前記分類情報に基づいて選択した映像データを再生することを特徴とする、請求項 7に記載の映像再生装置。

9 . 前記分類情報に基づいて選択した映像データを前記記録媒体に記録する記録部を備えることを特徴とする、請求項 7に記載の映像再生装置。

1 0 . 前記 3次元映像と前記 2次元映像の分類情報を記録媒体に記録する記録部を備えることを特徴とする、請求項 7に記載の映像再生装置。