JP6433151B2 - 映像供給装置、映像取得装置およびそれらの制御方法ならびに映像供給システム - Google Patents

Description

本発明は、映像供給装置、映像取得装置およびそれらの制御方法ならびに映像供給システムに関し、特に映像のストリーミング技術に関する。

映像や音声のデータをダウンロードしながら同時に再生するストリーミング技術のうち、配信側が映像や音声をリアルタイムにエンコードして配信する、ライブストリーミング技術が知られている。従来のライブストリーミング技術では、リアルタイム性を重視してＵＤＰ（User Datagram Protocol）を用いたＲＴＰ（Realtime Transport Protocol）を利用するものが一般的であった。しかしこの技術では、データの到達が保証されないためデータの欠損などが発生することがあり、映像や音楽などのストリーミングデータを受信端末で記録したい場合などには不向きであった。このため、ネットワークを介して映像を送信するカメラにおいて、撮影した映像を連続的に送信する通常モードと、映像を一旦ファイルに格納して転送するファイル転送モードとをクライアントからの指示で切り替えるものが提案されている（特許文献１）。この技術は、ネットワークの負荷が軽い場合には通常モードでストリーミングデータをクライアントに送信し、ネットワークの負荷が重い場合には予め格納したファイルを転送することで欠損のないデータをクライアントが取得できるようにするものである。このため、記録する映像が長時間である場合、ファイルの格納および転送に時間がかかりリアルタイム性が失われてしまう。

一方、ＴＣＰ（Transmission Control Protocol）およびＨＴＴＰ（HyperText Transfer Protocol）を利用して低容量に分割したファイルを転送するライブストリーミング技術も提案されている。その方法の一つとして、ストリーミングデータを一定時間の低容量のファイルに分割したセグメントとその情報を記述したプレイリスト（インデックスファイルとも呼ばれる）を利用したストリーミング方法がある。このストリーミング方法では、ネットワークを介して接続されたサーバとクライアントが、プレイリストに記述されたデータのデータ転送を行う。まず、サーバはストリーミングデータをセグメントに分割し、そのセグメントの取得先を列挙したプレイリストを作成する。映像がライブで配信される場合には、定期的にセグメントデータが生成され、サーバは新しいセグメントが生成されると動的に新しい内容のプレイリストに更新（削除、追記）する（スライドウインドウ型プレイリストとも呼ばれる）。クライアントは、サーバから送信されたプレイリストを取得・解析し、プレイリストに列挙された順に取得先からセグメントを取得する。そして、クライアントは取得したセグメントのデータを再生、または保存を行うと再びプレイリストを取得する。

特開２００７−１５８５５２号公報

上述のプレイリストを利用したストリーミング方法では、低容量のファイルをデータの到達が保証される方法で転送するため、ネットワークの状況によって遅延した古いセグメントが蓄積するとセグメントの取得先を記述したプレイリストの情報量が増大する。クライアントが必ずしも全てのセグメントを受信しない利用形態の場合（例えば、遅延が少ないことが優先されるライブ視聴を行う場合）、不要な古いセグメントの取得先を含むプレイリストを送受信すれば帯域を無駄に消費することとなる。特に、プレイリストの更新および送信が極めて短い間隔で行われる場合は、プレイリストの情報量増大とこれによる帯域の消費が顕著となる。また、セグメントが蓄積するとサーバにおけるバッファの使用量が増加するが、バッファに蓄積したセグメントがクライアントによって取得されなければ、対応するバッファ容量が無駄に占有される。

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、受信側装置がストリーミングデータを取得するための情報を効率的に生成することが可能な映像供給装置、映像取得装置およびそれらの制御方法ならびに映像供給システムの提供を目的とする。

この課題を解決するため、例えば本発明の映像供給装置は以下の構成を備える。すなわち、ライブ映像データの所定の時間長の部分を表すセグメントを生成するセグメント生成手段と、セグメントを外部装置が取得するための取得情報を生成する取得情報生成手段と、セグメント生成手段によってセグメントが生成されるごとに取得情報を含んだリストを更新し、外部装置からの要求に応じてリストを外部装置に送信するリスト送信手段と、外部装置から取得情報を用いて要求されたセグメントを外部装置に送信するセグメント送信手段と、を有し、ライブ映像データを外部装置にストリーミングする映像供給装置であって、外部装置から、ライブ映像データの利用形態を示す情報を取得する取得手段をさらに有し、リスト送信手段は、ライブ映像データの利用形態を示す情報が第１の利用形態を示す場合、最新のセグメントのみについての取得情報が含まれるように、リストを更新して、リストを外部装置に送信し、ライブ映像データの利用形態を示す情報が第２の利用形態を示す場合、外部装置に送信されていない全てのセグメントについての取得情報が含まれるように、リストを更新して、リストを外部装置に送信する、ことを特徴とする。

本発明によれば、受信側装置がストリーミングデータを取得するための情報を効率的に生成することが可能になる。

本発明の実施形態に係るデジタルカメラおよび携帯電話機の機能構成例を示すブロック図 本実施形態に係るデジタルカメラおよび携帯電話機間の処理の概要を示す図 本実施形態に係る携帯電話機に表示される画面およびプレイリストの一例を示す図 本実施形態に係る輻輳時を含んだプレイリストの例 本実施形態に係るデジタルカメラの処理の一連の動作を示すフローチャート 本発明の第１の実施形態に係る携帯電話機の処理の一連の動作を示すフローチャート

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では映像供給装置と映像取得装置からなる映像供給システムについて説明する。映像供給装置の一例として、ライブストリーミングデータを供給可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、デジタルカメラに限らず、映像取得装置と接続してライブストリーミングデータを供給可能な任意の機器にも適用可能である。これらの機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。また、ライブストリーミングデータを取得する映像取得装置の一例として携帯電話機に本発明を適用した例を説明する。しかし、本発明は、携帯電話機に限らず、外部装置と接続してライブストリーミングデータを取得可能な任意の映像取得装置にも適用可能である。これらの機器には、ゲーム端末、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末が含まれてよい。

（１ デジタルカメラ１０００および携帯電話機の構成）
図１（ａ）は、本実施形態の映像供給装置の一例としてデジタルカメラ１０００の機能構成例を示すブロック図である。また図１（ｂ）は、本実施形態の映像取得装置の一例として携帯電話機２０００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

本実施形態を適用可能なデジタルカメラ１０００および携帯電話機２０００の構成の一例を、図１を参照して説明する。

図１（ａ）のデジタルカメラ１０００において、以下に説明する各機能ブロックは内部バス１０１０に接続されて互いにデータの送受信を行うことができる。

制御部１００１は、ＣＰＵあるいはＭＰＵなどのプログラマブルプロセッサでありユーザの操作に応じて各部に制御命令を送ることでデジタルカメラ１０００全体を制御する。制御部１００１はＲＯＭ（Read Only Memory）１００２に記憶されている各種の制御プログラム、例えば本実施形態に係る通信制御部１００８の制御等を行うためのプログラムを実行する。

ＲＯＭ１００２はフラッシュメモリなどの不揮発性の記録媒体である。ＲＡＭ（Random Access Memory）１００３は、ＤＲＡＭ等により構成され、制御部１００１が動作時に必要とするプログラムや変数、作業用の一時データなどを適宜記憶させるワークメモリとして用いられる。

光学系１０１３は、不図示のフォーカス、絞り、ズーム機構およびそれらを制御するプロセッサを含むモジュール化された撮影レンズであり、被写体の光学像を形成する。制御部１００１は、内部バス１０１０を介して光学系１０１３のフォーカス、絞り、ズームの状態を取得し制御することができる。

撮像素子１０１４は、ＣＣＤやＣＭＯＳ素子等で構成され、撮像素子で受光した光信号を光電変換して電気信号に変換させた後、内部に有するＡ／Ｄ変換器によってアナログ電気信号をデジタル信号に変換する。

カメラ信号処理部１０１５は、制御部１００１の制御に基づいて撮像素子１０１４で変換されたデジタル信号に対し、所定の画素補間、縮小などのリサイズ処理、色変換等の各種補正処理等を行う。

符号・復号処理部１０１６は、制御部１００１の制御に基づいてカメラ信号処理部１０１５で処理されたデジタル信号を所定のビットレートおよびフォーマット形式で圧縮符号化を行うほか、記録媒体１０１２に記録された映像圧縮符号化データの復号化を行う。なお、本発明と直接関係しないため説明を省略するが、実際には、映像に加えて音声についても取得、記録を行う。図示しないマイクおよびスピーカーを用いることで、映像に対する各機能ブロックの構成により音声信号を同等に扱うことが可能である。また映像記録時に映像と共に音声も同時に収録し、符号・復号処理部１０１６で映像と音声を多重化することで、音声付映像データを生成することが可能である。

入力処理部１００４は、操作部１００５におけるユーザ操作を受け付け、操作に応じた制御信号を生成して制御部１００１に供給する。例えば、操作部１００５はユーザ操作を受け付ける入力デバイスとして、キーボード等の文字情報入力デバイスや、マウスやタッチパネル等のポインティングデバイスなどを有する。タッチパネルは、例えば平面的に構成された入力部に対して接触された位置に応じた座標情報が出力されるようにした入力デバイスである。また、操作部１００５には赤外線リモコンなどの信号を受信する遠隔操作可能なものも含まれる。これらの入力デバイスを通じてユーザはデジタルカメラ１０００に対し、ユーザ操作に応じた動作を行わせることができる。なお、本実施形態では入力デバイスはタッチパネルであるとして以降の説明を行う。

出力処理部１００６は、制御部１００１がプログラムに従い生成したＧＵＩ（Graphical User Interface）などの表示データに基づいて表示部１００７に対して表示させるための表示信号を出力する。なお、操作部１００５としてタッチパネルを用いる場合、操作部１００５と表示部１００７とを一体的に構成することができる。例えば、タッチパネルは光の透過率が表示部１００７の表示を妨げないように構成され、表示部１００７の表示面の上層に取り付けられる。タッチパネルにおける入力座標と、表示部１００７上の表示座標とを対応付けることで、あたかもユーザが表示部１００７上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することがでる。例えば操作部１００５が表示部１００７に表示させたボタン状のＧＵＩに対応する座標上で接触を検知した場合、制御部１００１はボタンが押下されたとみなしてボタンに対応する処理を実行すれば、物理キーが押下された場合と同等の機能を実現可能である。

記録媒体制御部１０１１は、ＨＤＤや不揮発性の半導体メモリなどの記録媒体１０１２が接続され、制御部１００１の制御に基づき、接続された記録媒体１０１２からのデータの読み出しや、当該記録媒体１０１２に対するデータの書き込みを行う。なお、記録媒体制御部１０１１が不図示のソケットなどを介して接続可能な記録媒体１０１２は、例えばメモリカードなどの着脱可能な不揮発性の半導体メモリであってもよい。記録媒体１０１２は、撮影した映像データのほか、制御部１００１の制御に必要な情報も記憶することが可能である。

通信制御部１００８は、制御部１００１の制御に基づき、コネクタ(有線)/アンテナ(無線)１００９を介して、携帯電話機２０００との通信を行う。例えば、無線のＩＥＥＥ８０２．１１やＢｌｕｅｔｏｏｔｈ（登録商標）、有線のＩＥＥＥ８０２．３などの通信規格に準拠した通信を行うことが可能である。

図１（ｂ）の携帯電話機２０００において、多くの部分はデジタルカメラ１０００と同様となるため、デジタルカメラ１０００と説明が重複する制御部２００１〜符号・復号処理部２０１３までの説明を省略する。携帯電話機２０００は、スマートフォンやタブレットＰＣなどを含む装置である。

（プレイリストを利用したライブストリーミングに係る処理の概要）
次に、図２および図３を参照して、本実施形態に係るプレイリストを利用したライブストリーミングの処理の概要を説明し、さらに輻輳などにより通信が定期的に行えない場合の処理を図４を参照して説明する。

ユーザがデジタルカメラ１０００において、操作部１００５からライブストリーミングを行うモードへの移行を指示すると、制御部１００１は通信制御部１００８を通信可能な状態とする。

携帯電話機２０００の制御部２００１は、ユーザによる操作部２００５に対する操作指示に応じて通信接続処理およびライブストリーミングに必要なアプリケーションを起動する。制御部２００１は、ＲＯＭ２００２または記録媒体２０１２に格納されたプログラムを読み出して、通信制御部２００８を制御し、デジタルカメラ１０００との接続処理を開始する。

ここで、デジタルカメラ１０００と携帯電話機２０００は、例えばＨＴＴＰ（HyperText Transfer Protocol）および機器接続に用いられるＵＰｎＰ（Universal Plug and Play）に準拠した通信を行う。ＵＰｎＰ対応の携帯電話機２０００は、機器をネットワークに接続すると、ＤＨＣＰ(Dynamic Host Configuration Protocol)または、ＡｕｔｏＩＰによるＩＰアドレスの設定を行う。

ＩＰアドレスを取得した携帯電話機２０００は、ネットワーク上の他の機器を相互に認識するために、「デバイスディスカバリーとコントロール」の手続きに従って、機器検索と応答機器の種別、サービス機能などの情報取得要求３００３を送信する。

これに対してデジタルカメラ１０００は、携帯電話機２０００から送信された情報取得要求３００３に対して、機器情報と機器固有情報のプレイリスト取得先情報などを含む応答３００４を送信する。携帯電話機２０００はサービス機能の情報取得によってライブストリーミングを提供するデジタルカメラ１０００を特定して接続処理を行うとともに、プレイリストの取得先の情報を取得することができる。

デジタルカメラ１０００と携帯電話機２０００の接続処理が完了すると、デジタルカメラ１０００はライブストリーミングを開始する。図３（ａ）は、携帯電話機２０００を用いてライブストリーミングを行う際のアプリケーション画面例であり、操作部２００５、表示部２００７が一体化された例を示している。デジタルカメラ１０００から送信されたライブストリーミングデータは、表示部２００７の表示領域４００１に表示され、定期的に更新される。図３（ａ）の例では、ズーム位置情報４００２、記録状態４００３、バッテリー情報４００４等のデジタルカメラ１０００のステータスが表示されるほか、デジタルカメラ１０００や携帯電話機２０００の各種操作を行うことができる。具体的には、ズーム操作、デジタルカメラ１０００における記録開始・停止指示、携帯電話機２０００における記録開始・停止指示の各操作を行うための各ボタン（それぞれ４００５、４００６、４００７）が配置されている。ユーザが携帯電話機２０００における記録を開始するためボタン４００７を押下した場合、受信したライブストリーミングデータは表示領域４００１に表示されるとともに、携帯電話機２０００の記録媒体２０１２に記録される。携帯電話機２０００がライブストリーミングデータを記録している場合、その利用形態は記録中となる。一方、携帯電話機２０００が受信したライブストリーミングデータを記録していない場合（即ち、視聴のみ）、その利用形態は視聴中となる。なお、後述するように、利用形態を示す情報は、ライブストリーミングの開始時や携帯電話機２０００における記録開始・終了時に携帯電話機２０００からデジタルカメラ１０００に送信されるほか、定期的に送信（形態送信）される。このため、デジタルカメラ１０００は携帯電話機２０００における利用形態を把握することができる。

デジタルカメラ１０００の制御部１００１は、撮像素子１０１４からの信号出力を開始させ、その信号出力をカメラ信号処理部１０１５により各種補間処理を行って適切な映像データに処理し、符号・復号処理部１０１６にデータを送信する。符号・復号処理部１０１６では、受け取った映像データを所定のビットレート、フォーマット形式で圧縮符号化し、さらに所定の時間長Ｔｓで分割したセグメント３００２としてＲＡＭ１００３または記録媒体１０１２に保存する。なお、本実施形態ではＴｓを０．５秒として説明する。

制御部１００１は、携帯電話機２０００がセグメントを取得するための取得先を表す情報（取得情報。例えばセグメントの保存先を示すパスを示す）を生成（取得情報生成）する。制御部１００１は、後に図３（ｂ）で示すように、生成した取得情報を含んだプレイリスト３００１を生成する。

ここで、本実施形態に係るプレイリスト３００１について図３（ｂ）を参照して、より詳細に説明する。プレイリスト３００１は、例えばＥｘｔｅｎｄｅｄ Ｍ３Ｕ形式で規定されたプレイリストであり、識別子タグ４０１１はプレイリストの記述形式を識別するためのタグであり、ここでは「ＥＸＴＭ３Ｕ」が記述されている。バージョンタグ４０１２プレイリストを記述したプロトコルのバージョンを示し、本実施形態では例えばバージョンとして数値“３”が記述されている。

次に時間長タグ４０１３および取得情報タグ４０１４はセグメントの情報に関するタグを示している。時間長タグ４０１３は、セグメント３００２の時間長を示すタグとその時間（秒）を整数または小数で記述されている。本実施形態では、セグメントの時間長をＴｓ＝０．５（秒）として設定していることから、時間長タグ４０１３に設定された値は“０．５”を示している。取得情報タグ４０１４は、セグメント３００２の取得情報であり、取得先のパスと必要に応じて取得先に送信されるパラメータ（クエリパラメータ）が記述されている。本実施形態では、セグメントを規定する時間長タグ４０１３および取得情報タグ４０１４に記述された情報を合わせてセグメント情報といい、これらは続けて記述されることが望ましい。

セグメント３００２の時間長Ｔｓは、携帯電話機２０００に事前に設定された値、プレイリストのセグメント情報に含まれる時間長タグ４０１３、デジタルカメラ１０００の機器情報に含まれる値、等のいずれから携帯電話機２０００に設定されてもよい。

再び図２を参照すると、携帯電話機２０００は、ライブストリーミング開始後、Ｔｓ（秒）後に３００４で取得したプレイリスト取得先へプレイリスト取得要求３００５を行う。このプレイリスト取得要求３００５は、例えばＨＴＴＰ ＧＥＴメソッドを用いて行う。

デジタルカメラ１０００は、プレイリスト取得要求３００５に対して、プレイリスト応答３００６を送信（メッセージ送信）して、セグメント情報（即ち時間長および取得情報が含まれている）が１つ記述されたプレイリスト３００１を提供する。

携帯電話機２０００は、デジタルカメラ１０００が送信したプレイリスト応答３００６を受信（メッセージ受信）して、受信したプレイリスト応答３００６に含まれるプレイリスト３００１を解析する。プレイリスト３００１のうちセグメントの取得情報タグ４０１４に記述された取得情報に対して、セグメントを取得するためにセグメント取得要求３００７を送信する。

デジタルカメラ１０００は、応答３００８を送信して、要求されたセグメント３００２を携帯電話機２０００に送信（データ送信）する。

携帯電話機２０００は、セグメント３００２を受信（データ受信）すると順次時間順に結合して符号・復号処理部２０１３で復号し、出力処理部２００６を介して表示部２００７で再生表示を行う。ライブストリーミングアプリケーションにおいて、ボタン４００７を押下して携帯電話機２０００における記録が実行されている場合、復号化したデータ（またはセグメント３００２からヘッダなど除いたデータ部）を記録媒体２０１２に記録していく。

デジタルカメラ１０００は、ライブストリーミングの処理の実行中はＴｓ（秒）ごとに新たなセグメントの生成およびプレイリストの生成または更新を行い、携帯電話機２０００に対して送信したセグメントのセグメント情報をプレイリストから削除する。また、携帯電話機２０００に対して送信したセグメントをＲＡＭ１００３または記録媒体１０１２から削除する。携帯電話機２０００は、Ｔｓ（秒）毎にプレイリスト取得要求３００５を行い、プレイリスト３００１に記載されたセグメント情報に基づき、当該セグメントの取得要求を送信する。

なお、携帯電話機２０００から送信する要求（３００５、３００７）には携帯電話機２０００またはライブストリーミングアプリケーションの固有ＩＤを付加する。デジタルカメラ１０００は最初に受信した取得要求に付加されたＩＤと同じＩＤが付加された要求に対してのみ、要求されたセグメントを送信する。つまり、デジタルカメラ１０００と携帯電話機２０００は１対１接続でのみストリーミングを行う。

通信状況が良好である場合、プレイリスト取得要求３００５からセグメント取得要求３００７に対する応答３００８までの一連の処理が遅延なく定期的に行われる。しかし、通信回線において利用者のアクセスが特定の宛先に集中する等により通信ができない状態（輻輳）では通信が上述の通りに行えなくなる場合がある。図４は、輻輳の状態を考慮した本実施形態に係るプレイリストの記述例を示している。

本実施形態では、デジタルカメラ１０００は、携帯電話機２０００におけるセグメントの利用形態に応じてプレイリストの記述内容を制御する。

まず、携帯電話機２０００におけるセグメントの利用形態が記録中でない（即ち視聴のみ）の場合について説明する。デジタルカメラ１０００は、プレイリストに１番目（ｓｅｑ＝１）となるセグメントの取得情報を記述して、記述したプレイリスト５０１０を携帯電話機２０００に送信する。携帯電話機２０００は指定されたセグメントの取得情報に基づいてセグメント（ｓｅｑ＝１）に対する取得要求を送信し、当該セグメント（ｓｅｑ＝１）を取得する。デジタルカメラ１０００はセグメント（ｓｅｑ＝１）を送信することができたため、プレイリストをセグメント（ｓｅｑ＝１）に係るセグメント情報を削除したプレイリスト５０１１に更新する。その後デジタルカメラ１０００は、所定の時間長Ｔｓごとにセグメントを生成もしくは更新する。このとき、デジタルカメラ１０００はプレイリストを更新する時点で最も新しく生成されたセグメントのセグメント情報のみを記述したプレイリストを生成するか、最も新しく生成されたセグメントのみを含むように更新する（５０２０〜５０４１）。また、上述のように最も新しく生成されたセグメント以外のセグメントはＲＡＭ１００３または記録媒体１０１２から削除される。デジタルカメラ１０００は、輻輳が無くなって再び携帯電話機２０００からプレイリスト取得要求３００５を受信すると、更新されたプレイリスト５０４０（ｓｅｑ＝５）を提供し、携帯電話機２０００に最も新しく生成されたセグメントを取得させる。これにより、デジタルカメラ１０００は、輻輳の影響を受けて蓄積したセグメント情報がプレイリストに多数記述され、プレイリストの情報量が増大することを防ぐことができる。また、同時にセグメントを記録するメモリの使用量増大を防ぐことができる。換言すれば、携帯電話機２０００におけるセグメントの利用形態が、セグメントの欠落よりも遅延が少ないことが優先される利用形態である場合、プレイリストの情報量増大による帯域使用の無駄やメモリの使用量の無駄を防止できる。携帯電話機２０００は輻輳の影響を受けても最新のセグメントを取得して再生することができるため、ストリーミングデータの再生において未取得となったセグメントの蓄積による遅延が発生しないこととなる。即ち、所定の時間長のうちに取得要求の無かったセグメントが発生しても最新のセグメントに置き換えられるため、携帯電話機２０００は最新のセグメントを取得して再生を行うことができる。

一方、携帯電話機２０００において利用形態が記録中である場合に輻輳が生じると、最も新しく生成されたセグメント（ｓｅｑ＝８）と未送信のセグメント（ｓｅｑ＝６、７）の両方のセグメント情報がプレイリストに記述される（５０５０〜５０７０）。携帯電話機２０００は、プレイリスト取得要求３００５を送信してプレイリスト５０７０を取得して、最も新しく生成されたセグメント（ｓｅｑ＝８）を優先的に取得する。また、携帯電話機２０００は、セグメント（ｓｅｑ＝８）の取得後に更新されたプレイリスト５０８０をさらに取得して、未取得のセグメント（ｓｅｑ＝６または７）を取得する。なお、未取得のセグメントの取得はＴｓ（秒）の時間内に連続して取得処理を行ってもよいし、そのような処理を行っても未取得となったセグメントを視聴終了後にも取得するようにしてもよい。これにより、最新セグメントを取得して遅延の少ないストリーミングの再生が可能となるとともに、輻輳により取得の遅れたセグメントを取得して欠損のない記録が可能となる。即ち、セグメントの利用形態が、セグメントの遅延よりも欠落が少ないことが優先される利用形態である場合、未取得のセグメントを含むプレイリストを生成することによってセグメントの欠損を防ぐストリーミングが可能になる。

（デジタルカメラ１０００に係る一連の動作）
次に、図５を参照して、デジタルカメラ１０００におけるライブストリーミングに係る一連の動作を説明する。

なお、デジタルカメラ１０００が通信網に接続され、ライブストリーミングが可能になっている状態で、ストリーミング先である携帯電話機２０００からの接続要求により両者の接続が確立した場合に本処理が開始される。本処理は、制御部１００１がＲＯＭ１００２に記憶されたプログラムをＲＡＭ１００３の作業用領域に展開し、実行することにより実現される。

Ｓ６００１において制御部１００１は、ライブストリーミング開始に伴うセグメントのデータ生成を開始する。制御部１００１は、撮像素子１０１４による信号出力を開始させ、その出力に対してカメラ信号処理部１０１５により各種補間処理を行わせて適切な映像データに処理し、符号・復号処理部１０１６へデータを渡す。符号・復号処理部１０１６では、受け取った映像データを所定のビットレート、フォーマット形式で圧縮符号化し、さらに所定の時間長Ｔｓ（本実施形態では０．５秒とする）で分割する処理を開始する。

Ｓ６００２において制御部１００１は、一つのセグメントのデータ生成が完了したか否かを判定する。制御部１００１は、１つ１つのセグメント（ここでは０．５秒分の長さ）に分割されたデータがＲＡＭ１００３または記録媒体１０１２に記憶されたかを確認し、完了していると判定した場合にはＳ６００３に処理を進める。一方、完了していないと判定した場合にはＳ６００８に処理を進める。なお、制御部１００１はＲＡＭ１００３等に対して定期的に問い合わせる（ポーリング）方法によってセグメントの生成完了を確認するが、セグメントのデータの書き込み完了を通知する割り込み等によってセグメントデータの生成完了を確認してもよい。

Ｓ６００３において制御部１００１は、生成されたセグメントの時間長と、取得情報とを記述したセグメント情報を生成する。取得情報は、例えばセグメントの保存先アドレスやファイル名を表す情報であってよく、上述のようにクエリパラメータも含まれてよい。ここで、セグメントの時間長は上述の０．５秒である。制御部１００１は、生成したセグメント情報をＲＡＭ１００３に記憶させる。またプレイリストが生成されていない場合、制御部１００１は新たにプレイリストを生成する。

Ｓ６００４において制御部１００１は、未取得のセグメントが１つ以上存在するか否かの判定を行う。制御部１００１は、未取得のセグメントが存在するか否かの判断を、プレイリストに記述された未取得のセグメント情報が１つ以上存在するか否かにより判定する。セグメント情報が１つ以上存在する（図４の例では５０２０）と判定した場合には、Ｓ６００５に処理を進め、存在しない（プレイリスト５０１１）と判定した場合にはＳ６００７に進む。

Ｓ６００５において制御部１００１は、携帯電話機２０００から送信されたセグメントの利用形態に基づき、携帯電話機２０００がセグメントを記録中か否かを判定する。セグメントの利用形態を示す情報は、本処理と並行して携帯電話機２０００の制御部２００１（形態送信手段）からコネクタ／アンテナ２００９を通じて定期的に送信され、制御部１００１は受信した当該情報をＲＡＭ１００３に記録している。制御部１００１は、ＲＡＭ１００３に記録されているセグメントの利用形態を示す情報を読み出して、セグメントの利用形態の判定を行う。制御部１００１は、携帯電話機２０００の利用形態がセグメントの記録を伴う利用形態であると判定した場合には、Ｓ６００７に処理を進め、記録を伴わない利用形態（例えば視聴のみの場合）と判定した場合にはＳ６００６に処理を進める。

Ｓ６００６において制御部１００１は、プレイリスト内に記述されていた未取得のセグメント情報をプレイリストの記述から削除および、ＲＡＭ１００３または記録媒体１０１２に記憶されている未取得のセグメントを削除して、Ｓ６００７に処理を進める。

Ｓ６００７において制御部１００１は、Ｓ６００３で生成したセグメント情報をＲＡＭ１００３から読み出してプレイリストに書き込む。図４において上述したように、未取得のセグメントを含み、かつ、携帯電話機２０００がセグメントを記録中である場合、プレイリストにはセグメント情報がさらに追加されて記述される。一方、携帯電話機２０００がセグメントを記録中でない場合には、最新のセグメント情報のみ（即ち１つのみ）がプレイリストに記述される。

Ｓ６００８において制御部１００１は、携帯電話機２０００からのプレイリスト取得要求３００５の有無を判定する。制御部１００１は、通信制御部１００８からの通知により携帯電話機２０００からのプレイリスト取得要求があったと判定した場合にはＳ６００９に処理を進め、無かったと判定した場合にはＳ６０１０に処理を進める。

Ｓ６００９において制御部１００１は、プレイリスト取得要求３００５に対するプレイリスト応答３００６を送信してＳ６００７において記述したプレイリストを携帯電話機２０００に提供する。

Ｓ６０１０において制御部１００１は、携帯電話機２０００からのセグメント取得要求３００７の有無を判定する。制御部１００１は、通信制御部１００８の通知によりセグメントの取得要求があったと判定した場合には、Ｓ６０１１に処理を進める。一方、セグメントの取得要求が所定時間に渡って無かったと判定した場合には、処理をＳ６０１４に進める。

Ｓ６０１１において制御部１００１は、Ｓ６０１０で要求されたセグメントが有効か否かの判定を行う。制御部１００１は、要求されたセグメントのＩＤがＳ６００２において書き込んだセグメントと対応するか否かにより有効性を判定する。要求されたセグメントが存在する場合には、要求されたセグメントは有効と判定してＳ６０１２に処理を進める。一方、要求されたセグメントが削除等により存在しない場合には要求されたセグメントは無効と判定してＳ６０１３に処理を進める。

Ｓ６０１２において制御部１００１は、セグメント取得要求３００７に対する応答３００８として対応するセグメントのデータ送信を行う。また、送信したセグメントを記憶していたＲＡＭ１００３または記録媒体１０１２から削除するとともに、対応するセグメント情報をプレイリストの記述およびＲＡＭ１００３から削除する。制御部１００１は、これらの削除処理が完了すると、処理をＳ６０１４に進める。なお、本実施形態では、セグメントはＴＣＰを用いて送信されるため、送信されたセグメントの到達が保証されているものとする。このため、制御部１００１は送信したセグメントをプレイリストから削除することで残っているセグメントを未送信のセグメントとして管理している。

Ｓ６０１３において制御部１００１は、セグメント取得要求３００７に対する応答３００８としてエラーステータスの送信を行い、処理をＳ６０１４に進める。

Ｓ６０１４において制御部１００１は、ライブストリーミングを終了するかを判定する。本処理と異なる通信により携帯電話機２０００から停止指示を受けた場合や操作部１００５を介してユーザによるセグメントの送信の停止指示を受けた場合は、本処理の一連の動作を終了する。一方、上述の停止指示を受けていないと判定した場合は、新たなセグメントを処理するために処理を再びＳ６００２へ戻す。

なお、本実施形態では、未取得のセグメントの有無をプレイリストに記述されたセグメント情報から判定したが、ＲＡＭ１００３または記録媒体１０１２に記憶された未取得のセグメント情報あるいはセグメントが１つ以上存在するかを判定してもよい。

（携帯電話機２０００に係る一連の動作）
さらに、図６を参照して、ライブストリーミングに係る携帯電話機２０００における一連の動作を説明する。

なお、本処理は、携帯電話機２０００のアプリケーションが起動され、携帯電話機２０００とデジタルカメラ１０００の接続が確立した後、情報取得要求３００３に対するデジタルカメラ１０００の応答３００４を受信したところから開始される。本処理は、制御部２００１がＲＯＭ２００２に記憶されたプログラムをＲＡＭ２００３の作業用領域に展開し、実行することにより実現される。

このとき制御部２００１は、応答３００４を受信したタイミングでＲＡＭ２００３の設定値に視聴中の状態を記録するとともに、コネクタ／アンテナ２００９を介して、セグメントの利用形態を示す情報を視聴中としてデジタルカメラ１０００に送信する。制御部２００１は、以降、所定の時間間隔（実験的に定めた通信負荷とならない間隔）でＲＡＭ２００３の設定値を確認してデジタルカメラ１０００に利用形態を示す情報を送信する。

Ｓ７００１において制御部２００１は、デジタルカメラ１０００からの応答３００４に含まれるプレイリスト取得先情報を取得してＲＡＭ２００３に記憶する。

Ｓ７００２において制御部２００１は、所定時間を経過したか否かの判定を行う。ここで所定時間とは、デジタルカメラ１０００が生成する所定の時間長Ｔｓと同等の値にすることが望ましい。制御部２００１は、所定時間が経過したと判定した場合はＳ７００３に処理を進め、経過していないと判定した場合には再度Ｓ７００２に戻して所定時間の経過を待つ。

Ｓ７００３において制御部２００１は、プレイリスト（Ｐ１）の取得し、取得したプレイリスト（Ｐ１）の解析を行う。制御部２００１は、まずＳ７００１において取得したプレイリスト取得先情報をＲＡＭ２００３から読み出してプレイリスト取得要求３００５を行い、デジタルカメラ１０００からプレイリストを取得する。次に取得したプレイリストの解析を行い、セグメント情報を参照する。具体的には、図３（ｂ）に示した識別子タグ４０１１によるプレイリスト形式とバージョンタグ４０１２によるバージョンの確認を行い、セグメント情報である時間長タグ４０１３に設定された時間長および取得情報タグ４０１４に記述された取得情報を参照する。

Ｓ７００４において制御部２００１は、Ｓ７００３において取得したプレイリストにセグメント情報が存在するか否かを判定する。プレイリストの記述にセグメント情報が記述されている場合はセグメント情報が存在すると判定してＳ７００５に処理を進め、存在しないと判定した場合には再びプレイリストを取得するためにＳ７００３に処理を戻す。

Ｓ７００５において制御部２００１は、デジタルカメラから最新のセグメントを取得する。Ｓ７００３において取得したプレイリストに記述されていたセグメント情報が１つである場合は、当該セグメント情報を取得対象とする。上述のように、セグメント情報が１つである場合、そのセグメントは最新のセグメントである。一方、複数のセグメント情報が記述されている場合、本実施形態では、遅延の少ない好適なライブ再生を行うために、プレイリストに記述されていたセグメントのうち、最新のセグメントを最も優先する取得対象として決定する。このため、制御部２００１は、最新のセグメント情報に記載された取得情報に対してセグメント取得要求３００７を送信し、デジタルカメラ１０００から最新のセグメントを取得する。制御部２００１は、取得したセグメントをＲＡＭ２００３あるいは記録媒体２０１２に記憶させた後、当該セグメントを符号・復号処理部２０１３に渡して復号化を行う。さらに出力処理部２００６を介して表示部２００７に表示させることにより再生表示を行う。また、図３（ａ）に示したアプリケーションにおいてボタン４００７の押下により携帯電話機２０００における記録が実行されている場合、受信したセグメント３００２を順次結合して符号・復号処理部２０１３で復号化し、記録媒体２０１２に記録する。アプリケーションにおいてボタン４００７が押下されると、制御部２００１はＲＡＭ２００３の設定値に記録中の状態を設定して、直ちにセグメントの利用形態を示す情報を記録中としてデジタルカメラ１０００に送信する。さらに、アプリケーションおけてボタン４００７が押下されて記録が停止された場合には、制御部２００１は再びＲＡＭ２００３の設定値を視聴中の状態に変更して、セグメントの利用形態を示す情報を視聴中としてデジタルカメラ１０００へ送信する。

Ｓ７００６において制御部２００１は、Ｓ７００３で取得したセグメント情報が２つ以上あるか否かの判定を行う。Ｓ７００５における処理において複数のセグメント情報が記述されていた場合、Ｓ７００７に処理を進め、セグメント情報が１つであった場合にはＳ７００２に処理を戻す。ここで便宜上、処理対象のプレイリストに記述されていたセグメント情報の数をＳｎとする。

Ｓ７００７において制御部２００１は、取得できていないセグメントを取得するため、Ｓ７００３と同様に再度プレイリスト取得要求３００５を送信して、デジタルカメラ１０００からプレイリスト（Ｐ２）を取得し、セグメント情報を取得する。

Ｓ７００８において制御部２００１は、Ｓ７００７で取得したセグメント情報の数が新規に追加されたか否かの判定を行う。情報数がＳｎ−１より多い場合には、Ｓ７００３でプレイリストを取得してから新規のセグメントが生成されているため、Ｓ７００５に処理を戻して最新セグメントを取得する。セグメント情報の数がＳｎ−１である場合には古い未取得のセグメントが存在するため、当該セグメントを取得するためにＳ７００９に処理を進める。

Ｓ７００９において制御部２００１は、未取得のセグメントに対応するセグメント情報に記述された取得情報を参照してセグメント取得要求３００７を行い、デジタルカメラ１０００から未取得のセグメントを取得する。制御部２００１は取得したセグメントをＲＡＭ２００３あるいは記録媒体２０１２に記憶させる。未取得のセグメントが２以上ある場合、上述のように、Ｓ７００２における所定時間内に複数のセグメント取得要求３００７を行って未取得のセグメントを取得する。但し、制御部２００１はＳ７００２の所定時間ごとに割り込み通知を受けるようにして、割り込み通知を受けると未取得のセグメントの取得を一旦停止してＳ７０１０に処理を進めるようにしてもよい。未取得となったセグメントがライブストリーミングの終了後にも存在する場合、未取得のセグメントを取得する処理を継続することで全てのセグメントを取得するようにしてもよい。本ステップで取得したセグメントは、Ｓ７００５で取得したセグメントよりも生成されたタイミングが古いものであるため、再生には使われずに記録媒体２０１２に記録される。この時、受信したセグメントを元の時系列順に結合することにより、途切れの少ないデータ復元（即ち欠損の少ないストリーミングデータの記録）が可能となる。なお、上述の所定時間内に取得できない未取得のセグメントがある場合、制御部２００１は順次取得が完了して欠損の無くなった区間のセグメントを結合して記録媒体２０１２に記録する。制御部２００１は、未取得のセグメントの取得を終えるとＳ７０１０に処理を進める。

Ｓ７０１０において制御部２００１は、ライブストリーミングを終了するか判定する。操作部２００５からのユーザの指示によりライブストリーミングを停止する指示があった場合やデジタルカメラ１０００との接続が切断された場合等セグメントの取得を停止する操作があると判断した場合、制御部２００１は本処理の一連の動作を終了する。一方、セグメントの取得を停止する操作がない場合は、処理を再びＳ６００２に戻してセグメントの取得を継続する。

以上説明したように本実施形態では、携帯電話機２０００のセグメントの利用形態に応じて、プレイリストに記述するセグメント情報を最新のセグメントの情報に限定して記述するようにした。これにより、携帯電話機２０００が全てのセグメントを記録する必要がない場合には、ストリーミングの際に携帯電話機２０００の利用形態に応じてデジタルカメラ１０００の送信する情報の情報量を効率化することができる。即ち、ネットワークに輻輳が生じても蓄積したセグメント情報によるプレイリストの情報量増大を防ぐことができるため、デジタルカメラ１０００の送信するプレイリストの情報量を効率化することができる。プレイリストの更新および送信が極めて短い間隔で行われる場合、本効果は顕著となる。また、同時にセグメントを送信するデジタルカメラ１０００において、セグメントを記憶するメモリの使用量増大を防ぐことができる。さらに、携帯電話機２０００は最新のセグメントを優先的に取得することができるため、ストリーミングにおいてライブ視聴に好適な再生が可能になる。そして、セグメントの情報が簡易化されることで、携帯電話機２０００におけるセグメントの選択の負荷が不要となり、引いてはより円滑なライブ視聴が可能となる。

さらに、携帯電話機２０００におけるセグメントの利用形態に応じてプレイリストの記述を変更し、セグメントを記録する場合には未取得のセグメント情報をプレイリストに記述して携帯電話機２０００に提供するようにした。これにより、携帯電話機２０００は最新のセグメントの取得した後に未取得のセグメントを取得することが可能となり、データの欠損を防止したセグメントの記録が可能になる。

また、本実施形態では、携帯電話機２０００は、セグメントを記録する場合には、受信したプレイリストのうち、最新のセグメントを優先して取得したうえで未取得のセグメントを取得するようにした。これにより、携帯電話機２０００はセグメントを記録しながらライブ視聴に好適な再生を実現することが可能になる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００１…映像供給装置の制御部、１００２…映像供給装置のＲＡＭ、１０１２…映像供給装置の記録媒体、１００８…通信制御部、２００８…映像取得装置の通信制御部、２００７…映像取得装置の表示部、２０１２…映像取得装置の記録媒体

Claims (15)

1. ライブ映像データの所定の時間長の部分を表すセグメントを生成するセグメント生成手段と、
   前記セグメントを外部装置が取得するための取得情報を生成する取得情報生成手段と、
   前記セグメント生成手段によって前記セグメントが生成されるごとに前記取得情報を含んだリストを更新し、前記外部装置からの要求に応じて前記リストを前記外部装置に送信するリスト送信手段と、
   前記外部装置から前記取得情報を用いて要求された前記セグメントを前記外部装置に送信するセグメント送信手段と、
   を有し、前記ライブ映像データを前記外部装置にストリーミングする映像供給装置であって、
   前記外部装置から、前記ライブ映像データの利用形態を示す情報を取得する取得手段をさらに有し、
   前記リスト送信手段は、
   前記ライブ映像データの利用形態を示す情報が第１の利用形態を示す場合、最新の前記セグメントのみについての前記取得情報が含まれるように、前記リストを更新して、前記リストを前記外部装置に送信し、
   前記ライブ映像データの利用形態を示す情報が第２の利用形態を示す場合、前記外部装置に送信されていない全てのセグメントについての前記取得情報が含まれるように、前記リストを更新して、前記リストを前記外部装置に送信する、
   ことを特徴とする映像供給装置。
2. 前記第１の利用形態は、前記ライブ映像データの欠落を低減することよりも遅延を低減することが優先される利用形態であって、前記第２の利用形態は、前記ライブ映像データの遅延を低減することよりも欠落を低減することが優先される利用形態であることを特徴とする請求項１に記載の映像供給装置。
3. 前記第１の利用形態は、前記外部装置が受信したセグメントに基づき前記ライブ映像データを所定の記録媒体に記録しない利用形態であって、前記第２の利用形態は、前記外部装置が受信したセグメントに基づき前記ライブ映像データを記録する利用形態であることを特徴とする請求項１または２に記載の映像供給装置。
4. 前記リスト送信手段は、前記ライブ映像データの利用形態を示す情報が前記第１の利用形態を示す場合、前記セグメントが生成されるごとに、最新の前記セグメントについての前記取得情報を含み、前記外部装置に送信されていない少なくとも１つの他のセグメントについての前記取得情報を含まないように前記リストを更新することを特徴とする請求項１乃至３のいずれか１項に記載の映像供給装置。
5. 前記リスト送信手段は、前記ライブ映像データの利用形態を示す情報が前記第２の利用形態を示す場合、前記セグメントが生成されるごとに、前記リストに最新の前記セグメントについての前記取得情報を追加することにより前記リストを更新することを特徴とする請求項１乃至４のいずれか１項に記載の映像供給装置。
6. 前記リスト送信手段は、前記外部装置に送信したセグメントについての前記取得情報を前記リストから削除することにより前記リストを更新することを特徴とする請求項１乃至５のいずれか１項に記載の映像供給装置。
7. 撮像手段をさらに有し、
   前記セグメント生成手段は、前記撮像手段が撮像した前記ライブ映像データから前記所定の時間長の部分を表す前記セグメントを生成することを特徴とする請求項１乃至６のいずれか１項に記載の映像供給装置。
8. 前記リスト送信手段は、前記撮像手段により撮像された前記ライブ映像データに基づき、前記リストを繰り返し更新することを特徴とする請求項７に記載の映像供給装置。
9. 前記映像供給装置は、ＩＥＥＥ８０２．１１に基づく無線通信を用いて前記外部装置と通信することを特徴とする請求項１乃至８のいずれか１項に記載の映像供給装置。
10. 前記映像供給装置は、ＨＴＴＰに基づく通信を用いて前記外部装置と通信することを特徴とする請求項１乃至８のいずれか１項に記載の映像供給装置。
11. 前記外部装置は、携帯電話機であることを特徴とする請求項１乃至１０のいずれか１項に記載の映像供給装置。
12. 前記外部装置は、タブレット端末であることを特徴とする請求項１乃至１０のいずれか１項に記載の映像供給装置。
13. 映像供給装置と映像取得装置とが通信可能に接続されてなる映像供給システムであって、
    前記映像供給装置は、
    ライブ映像データの所定の時間長の部分を表すセグメントを生成するセグメント生成手段と、
    前記セグメントを外部装置が取得するための取得情報を生成する取得情報生成手段と、
    前記セグメント生成手段によって前記セグメントが生成されるごとに前記取得情報を含んだリストを更新し、前記映像取得装置からの要求に応じて前記リストを前記映像取得装置に送信するリスト送信手段と、
    前記映像取得装置から前記取得情報を用いて要求された前記セグメントを前記映像取得装置に送信するセグメント送信手段と、
    を有し、前記ライブ映像データを前記映像取得装置にストリーミングする映像供給装置であって、
    前記映像取得装置から、前記ライブ映像データの利用形態を示す情報を取得する取得手段をさらに有し、
    前記リスト送信手段は、
    前記ライブ映像データの利用形態を示す情報が第１の利用形態を示す場合、最新の前記セグメントのみについての前記取得情報が含まれるように、前記リストを更新して、前記リストを前記映像取得装置に送信し、
    前記ライブ映像データの利用形態を示す情報が第２の利用形態を示す場合、前記映像取得装置に送信されていない全てのセグメントについての前記取得情報が含まれるように、前記リストを更新して、前記リストを前記映像取得装置に送信し、
    前記映像取得装置は、
    ライブ映像データをストリーミングする前記映像供給装置から、前記ライブ映像データの所定の時間長の部分を表すセグメントを取得するために用いられる取得情報を含んだリストを受信するリスト受信手段と、
    前記取得情報を用いて前記映像供給装置からの前記セグメントを要求する要求手段と、
    前記要求したセグメントを受信するセグメント受信手段と、
    を有する映像取得装置であって、
    前記ライブ映像データの利用形態を示す情報を前記映像供給装置に送信する形態送信手段をさらに有し、
    前記ライブ映像データの利用形態を示す情報が、ライブ映像データの欠落を低減することよりも遅延を低減することが優先される第１の利用形態と、ライブ映像データの遅延を低減することよりも欠落を低減することが優先される第２の利用形態のいずれかを含む、ことを特徴とする映像供給システム。
14. セグメント生成手段が、ライブ映像データの所定の時間長の部分を表すセグメントを生成するセグメント生成工程と、
    取得情報生成手段が、前記セグメントを外部装置が取得するための取得情報を生成する取得情報生成工程と、
    リスト送信手段が、前記セグメント生成手段によって前記セグメントが生成されるごとに前記取得情報を含んだリストを更新し、外部装置からの要求に応じて前記リストを前記外部装置に送信するリスト送信工程と
    セグメント送信手段が、前記外部装置から前記取得情報を用いて要求された前記セグメントを前記外部装置に送信するセグメント送信工程と、
    を有し、前記ライブ映像データを前記外部装置にストリーミングする映像供給装置の制御方法であって、
    取得手段が、ストリーミング先の前記外部装置から、前記ライブ映像データの利用形態を示す情報を取得する取得工程をさらに有し、
    前記リスト送信工程では、
    前記ライブ映像データの利用形態を示す情報が第１の利用形態を示す場合、最新の前記セグメントのみについての前記取得情報が含まれるように、前記リストを更新して、前記リストを前記外部装置に送信し、
    前記ライブ映像データの利用形態を示す情報が第２の利用形態を示す場合、前記外部装置に送信されていない全てのセグメントについての前記取得情報が含まれるように、前記リストを更新して、前記リストを前記外部装置に送信する、
    ことを特徴とする映像供給装置の制御方法。
15. コンピュータを、請求項１乃至１２のいずれか１項に記載の映像供給装置の各手段として機能させるためのプログラム。

Images