JP5347441B2

JP5347441B2 - 動画像処理装置

Info

Publication number: JP5347441B2
Application number: JP2008287633A
Authority: JP
Inventors: 泰明住吉
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2008-11-10
Filing date: 2008-11-10
Publication date: 2013-11-20
Anticipated expiration: 2028-11-10
Also published as: KR101125099B1; EP2184923A3; KR20100052412A; US20100121901A1; JP2010114815A; EP2184923A2

Description

本発明は、動画像処理装置にかかり、特に、動画像データを処理して、ネットワークを介して接続された情報処理端末に配信する動画像処理装置に関する。

近年、携帯電話機では、無線通信を介して動画像データの配信を受け、かかる動画像データを再生する機能を有する。これに対応して動画像データを配信する配信サーバは、特許文献１に開示されているように、動画像データを配信先となる携帯電話機で再生可能なフォーマットに変換して配信している。また、配信サーバは、機種の異なる携帯電話機では再生可能な動画像データのサイズなどが異なるため、機種ごとに動画像データの形式を変換している。

特開２００４−２２２１２４号公報

しかしながら、上述した特許文献１に開示の技術では、携帯電話機から当該携帯電話機の情報を取得した後に、かかる携帯電話機にて適切に再生できるよう動画像データを処理している。このため、携帯電話機の情報を取得してから動画像データを配信するまでに、変換処理の時間がかかる。従って、携帯電話機が配信要求してから動画像データが再生されるまでに遅延が生じうる。

また、携帯電話機の無線通信状態は、携帯電話機の利用者の場所や移動状態に応じて変動しうる。すると、動画像データを安定して受信することができず、動画像データの視聴が困難になる、という問題が生じる。

そして、上記問題は、携帯電話機のみならず、動画配信を受けるあらゆる情報処理端末においても生じうる。その結果、情報処理端末の利用者にとって、配信を受けて再生する動画像データの視聴に不満が生じうる。

このため、本発明の目的は、上述した課題である、情報処理端末の利用者による配信された動画像データの視聴の満足度の向上を図る、ことにある。

かかる目的を達成するため本発明の一形態である動画像処理装置は、
所定の再生時間のデータ量を有する動画像データに対して配信用処理を実行する動画像処理手段と、
配信用処理を施した任意の再生時間分の上記動画像データを、ネットワークを介して接続された情報処理端末に順次配信する配信処理手段と、
上記情報処理端末から当該情報処理端末に装備された記憶部に蓄積されている再生前の上記動画像データの蓄積量を表す蓄積量データを取得する蓄積量データ取得手段と、を備え、
上記動画像処理手段は、上記蓄積量データに基づいて、上記動画像データの再生品質が変化するよう当該動画像データに対して配信用処理を行う、
という構成を有する。

また、本発明の他の形態であるプログラムは、
情報処理装置に、
所定の再生時間のデータ量を有する動画像データに対して配信用処理を実行する動画像処理手段と、
配信用処理を施した任意の再生時間分の上記動画像データを、ネットワークを介して接続された情報処理端末に順次配信する配信処理手段と、
上記情報処理端末から当該情報処理端末に装備された記憶部に蓄積されている再生前の上記動画像データの蓄積量を表す蓄積量データを取得する蓄積量データ取得手段と、
を実現させると共に、
上記動画像処理手段は、上記蓄積量データに基づいて、上記動画像データの再生品質が変化するよう当該動画像データに対して配信用処理を行う機能を有する、
という構成を有する。

また、本発明の他の形態である動画像処理方法は、
所定の再生時間のデータ量を有する動画像データに対して配信用処理を実行する動画像処理工程と、
配信用処理を施した任意の再生時間分の上記動画像データを、ネットワークを介して接続された情報処理端末に順次配信する配信処理工程と、を有すると共に、
上記動画像処理工程の前に、上記情報処理端末から当該情報処理端末に装備された記憶部に蓄積されている再生前の上記動画像データの蓄積量を表す蓄積量データを取得する蓄積量データ取得工程と、を有し、
上記動画像処理工程は、上記蓄積量データに基づいて、上記動画像データの再生品質が変化するよう当該動画像データに対して配信用処理を行う、
という構成を有する。

本発明は、以上のように構成されることにより、情報処理端末にて動画像データの迅速な配信及び連続再生を確保しつつ、動画像データの品質を適切に保つことができ、利用者による動画像データの視聴に対する満足度の向上を図ることができる。

＜実施形態１＞
本発明の第１の実施形態を、図１を参照して説明する。本実施形態では、動画像処理装置の構成の概略を示している。

図１に示すように、本実施形態における動画像処理装置１は、所定の再生時間のデータ量を有する動画像データ５に対して配信用処理を実行する動画像処理手段３と、配信用処理を施した任意の再生時間分の上記動画像データを、ネットワークＮを介して接続された情報処理端末６に順次配信する配信処理手段４と、を備えている。また、動画像処理装置１は、上記情報処理端末６から当該情報処理端末６に装備された記憶部に蓄積されている再生前の上記動画像データの蓄積量を表す蓄積量データを取得する蓄積量データ取得手段２を備えている。そして、上記動画像処理手段３は、上記蓄積量データに基づいて、上記動画像データの再生品質が変化するよう当該動画像データに対して配信用処理を行う、という構成を有する。

上記発明によると、動画像処理装置は、情報処理端末から再生前の動画像データの蓄積量を取得し、この蓄積量に基づいて、動画像データの再生品質が変化するよう当該動画像データに対して配信用処理を実行する。そして、動画像処理装置は、配信用処理を施した任意の再生時間分の動画像データを、ネットワークを介して情報処理端末に順次配信する。このように、動画像処理装置は、蓄積量に応じて動画像データの再生品質を変化させているため、情報処理端末に状況に応じて、迅速な再生及び連続再生を確保しつつ、動画像データの品質を適切に保つことができる。その結果、利用者による動画データの視聴に対する満足度の向上を図ることができる。

そして、上記動画像処理装置では、上記動画像処理手段は、上記蓄積量データが多くなるにつれて上記動画像データの再生品質が高くなり、上記蓄積量データが少なくなるにつれて上記動画像データの再生品質が低くなるよう、当該動画像データに対して配信用処理を行う、という構成を有する。具体的には、上記動画像処理手段は、例えば、上記動画像データの再生時における単位時間当たりの情報量を変化させて、当該動画像データの再生品質を変化させる、という構成を有する。

また、上記動画像処理装置では、上記動画像処理手段は、上記蓄積量データが予め設定された最低値を超えている場合に、当該蓄積量データが多くなるにつれて上記動画像データの再生品質が高くなり、上記蓄積量データが少なくなるにつれて上記動画像データの再生品質が低くなるよう、当該動画像データに対して配信用処理を行う、という構成を有する。

これにより、情報処理端末における動画像データの蓄積量が多くなるにつれて、動画像処理装置は、高品質の動画像データを生成して配信する。一方で、動画像データの蓄積量が少なくなるにつれて、低品質の動画像データを生成して配信する。すると、情報処理端末では、動画像データの蓄積量が少ないときには、低品質でありデータ量の少ない動画像データが迅速に配信され、迅速かつ安定した連続再生が実現される。また、動画像データの蓄積量が多いときには、安定して連続再生されつつ、高品質の動画像データを得ることができる。特に、蓄積量が最低値を超えている場合に、高品質化していくことで、より確実に連続再生を確保することができる。従って、連続再生を確保しつつ、動画像データの高品質化を図ることができ、利用者による動画データの視聴に対する満足度の向上を図ることができる。

また、上記動画像処理装置では、上記動画像処理手段は、上記配信処理手段による上記情報処理端末に対する配信開始時には、上記情報処理装置にて上記動画像データを再生したときに視聴可能な予め設定された最低限の再生品質になるよう上記動画像データに対して配信用処理を行う。そして、上記配信処理手段は、再生に必要な最低限の再生時間以上の上記動画像データを配信する、という構成を有する。

これにより、配信開始時には、最低限の再生品質の動画像データを生成するよう配信用処理を実行するため、配信動作の迅速化を図ることができる。また、最低限の再生時間以上の配信を行うため、受信が高速となり、遅延を抑制して迅速に再生することができる。従って、利用者の視聴満足度の向上を図ることができる。

また、上記動画像処理装置では、配信先となる情報処理端末から当該情報処理端末に装備されたリソースの使用状態を表すリソース情報を取得するリソース情報取得手段を備えている。そして、上記動画像処理手段は、上記リソース情報に基づいて、配信する上記動画像データの再生品質を設定し、当該設定した再生品質となるよう上記動画像データに対して配信用処理を行う、という構成を有する。

さらに、上記動画像処理装置では、上記動画像処理手段は、上記リソース情報に基づいて、上記情報処理端末に配信する上記動画像データによって当該情報処理端末に装備されたリソースの使用状態が上限に達しないよう、配信する上記動画像データの再生品質を設定する、という構成を有する。

また、上記動画像処理装置では、配信先となる情報処理端末から当該情報処理端末に装備されたリソースの使用状態を表すリソース情報を取得するリソース情報取得手段を備えている。そして、上記配信処理手段は、上記リソース情報に基づいて、配信する動画像データの再生時間を設定し、当該設定した再生時間分の上記動画像データを配信する、という構成を有する。

さらに、上記動画像処理装置では、上記配信処理手段は、上記リソース情報に基づいて、上記情報処理端末に配信する上記動画像データによって当該情報処理端末に装備されたリソースの使用状態が上限に達しないよう、配信する上記動画像データの再生時間を設定する、という構成を有する。

これにより、動画像処理装置は、情報処理端末に装備されたＣＰＵやメモリといったリソースの使用状態を表すリソース情報を取得する。そして、このリソース情報に応じて、配信する動画像データの再生品質を設定して処理したり、あるいは、配信する再生時間に対応するデータ量を設定する。例えば、ＣＰＵの使用状態が上限に近い場合には、動画像データの品質をさらに高品質にすることなく、一定に保ったり、あるいは、品質を下げて、配信用処理を行う。また、メモリの使用状態が上限に近い場合にも、動画像データの品質をさらに高品質にすることなく、一定に保ったり、あるいは、品質を下げるなどの配信用処理を施し、また、再生時間の短い動画像データを配信するなど、配信するデータ量を抑制する。さらには、配信間隔を空けてもよい。これにより、情報処理端末における負荷を抑制でき、再生処理の最適化を図ることができる。その結果、利用者の視聴満足度の向上を図ることができる。

また、上述した動画像処理装置は、情報処理装置に、動画像処理用プログラムが組み込まれることで実現できる。具体的に、本発明の他の形態である動画像処理用プログラムは、情報処理装置に、所定の再生時間のデータ量を有する動画像データに対して配信用処理を実行する動画像処理手段と、配信用処理を施した任意の再生時間分の上記動画像データを、ネットワークを介して接続された情報処理端末に順次配信する配信処理手段と、上記情報処理端末から当該情報処理端末に装備された記憶部に蓄積されている再生前の上記動画像データの蓄積量を表す蓄積量データを取得する蓄積量データ取得手段と、を実現させるためのプログラムである。そして、さらに、上記動画像処理手段は、上記蓄積量データに基づいて、上記動画像データの再生品質が変化するよう当該動画像データに対して配信用処理を行う機能を有する。

また、上記プログラムでは、上記動画像処理手段は、上記蓄積量データが多くなるにつれて上記動画像データの再生品質が高くなり、上記蓄積量データが少なくなるにつれて上記動画像データの再生品質が低くなるよう、当該動画像データに対して配信用処理を行う、という構成を有する。

また、上述した動画像処理装置の作動により実行される動画像処理方法は、所定の再生時間のデータ量を有する動画像データに対して配信用処理を実行する動画像処理工程と、配信用処理を施した任意の再生時間分の上記動画像データを、ネットワークを介して接続された情報処理端末に順次配信する配信処理工程と、を有する。そして、上記動画像処理工程の前に、上記情報処理端末から当該情報処理端末に装備された記憶部に蓄積されている再生前の上記動画像データの蓄積量を表す蓄積量データを取得する蓄積量データ取得工程と、を有する。さらに、上記動画像処理工程は、上記蓄積量データに基づいて、上記動画像データの再生品質が変化するよう当該動画像データに対して配信用処理を行う、という構成を有する。

また、上記動画像処理方法では、上記動画像処理工程は、上記蓄積量データが多くなるにつれて上記動画像データの再生品質が高くなり、上記蓄積量データが少なくなるにつれて上記動画像データの再生品質が低くなるよう、当該動画像データに対して配信用処理を行う、という構成を有する。

上述した構成を有する、プログラム、又は、動画像処理方法、の発明であっても、上記動画像処理装置と同様の作用を有するために、上述した本発明の目的を達成することができる。

＜実施形態２＞
本発明の第２の実施形態を、図２乃至図９を参照して説明する。図２は、動画像配信システム全体の構成を示すブロック図である。図３は、携帯電話機の構成を示す機能ブロック図である。図４は、動画像配信サーバの構成を示す機能ブロック図である。図５乃至図８は、動画像データの配信の様子を示す概念図である。図９は、動画像配信システムの動作を示すシーケンス図である。

ここで、本実施形態は、上述した実施形態１にて開示した動画像処理装置の具体的な一例を示すものである。そして、以下では、動画像データの配信先となる情報処理端末の一例として、携帯電話機を挙げて説明する。但し、動画像データの配信先となる情報処理端末は、携帯電話機に限定されず、また、無線通信ネットワークを介して動画像データの配信を受ける情報処理端末にも限定されない。つまり、配信先となる情報処理端末は、いかなる情報処理端末であってもよく、有線ネットワークを介して接続されたパソコンなどの情報処理端末であってもよい。

また、以下に説明する動画像配信サーバ２０は、必ずしも１台の情報処理装置にて構成されていることに限定されず、後述する動画像配信サーバ２０が備える各機能が、複数台の情報処理装置に分散して装備されていてもよい。

［全体構成］
図２に示すように、本実施形態における動画像配信システムは、動画像データを視聴する携帯電話機１０と、動画像データの配信用処理及び配信を行う動画像配信サーバ２０と、動画像データを蓄積しているコンテンツサーバ３０と、を備えている。

そして、コンテンツサーバ３０と動画像配信サーバ２０とは、それぞれインターネット網などのネットワークＮ１を介して接続している。また、携帯電話機１０は、動画像配信サーバ２０と、インターネット網や携帯電話網などのネットワークＮ１及び無線通信ネットワークＮ２を介して接続している。以下、各装置について詳述する。

［携帯電話機の構成］
まず、携帯電話機１０の構成について、図３を参照して説明する。本実施形態における携帯電話機１０は、演算装置、記憶装置（メモリ１４）、通信装置、操作装置、表示装置、などを備えた一般的な携帯電話機であり、通話機能はもちろんのこと、データ通信機能を備えている。そして、携帯電話機１０は、ネットワーク上のサーバコンピュータから動画像データの配信を受け、かかる動画像データを携帯電話機１０上で再生する機能を備えている。なお、本実施形態では、携帯電話機１０が有する基本的な機能の説明は省略する。

そして、携帯電話機１０は、図３に示すように、演算装置であるＣＰＵ（図示せず）にプログラムが組み込まれることによって構築された、配信要求部１１と、動画受信部１２と、動画再生部１３と、を備えている。

上記配信要求部１１は、ネットワークＮ１上の動画像配信サーバ２０に対して、利用者が視聴を希望する動画像データの配信要求情報を送信する。このとき、配信要求情報は、動画像データであるコンテンツを特定するコンテンツ特定情報を含む。例えば、携帯電話機１０が、動画像配信サーバ２０が開設するウェブサイトにアクセスして、当該ウェブサイト上に表示されたコンテンツ一覧から視聴を希望するコンテンツを選択することで、コンテンツ特定情報を送信することができる。

また、上記携帯電話機１０から送信する配信要求情報は、携帯電話機１０の機種情報や再生可能な動画像フォーマットを指定するフォーマット情報などの電話機１０自体の仕様を表す情報（端末情報）を含む。そして、これら仕様を表す情報は、例えば、予めメモリ１４に記憶されており、携帯電話器１０がこれを読み出すことで、上記コンテンツ特定情報と共に動画像配信サーバ２０に送信することができる。

また、上記動画受信部１２は、動画像配信サーバ２０から配信された動画像データを受信し、メモリ１４に蓄積する。このとき、動画像受信部１２は、動画像配信サーバ２０から任意の再生時間分の動画像データが順次配信されてくるため、これらを順次受信する。そして、動画再生部１３が、メモリ１４に蓄積された動画像データを再生する。これにより、利用者は、動画像データを視聴することができる。なお、動画再生部１３は、再生が完了した動画像データをメモリ１４内から破棄する。

さらに、本実施形態における携帯電話機１０では、上記配信要求部１１は、携帯電話機１０のメモリ１４に蓄積されており、まだ再生されていない再生前の動画像データの蓄積量を表す蓄積量データを、動画像配信サーバ２０に通知する機能を有する。この蓄積量データの通知は、例えば、上述した配信要求時、あるいは、後述するように、動画像データの配信を受けて再生しているときに、一定の時間間隔や予め設定されたタイミングで行う。

また、配信要求部１１は、上記蓄積量データと共に、メモリやＣＰＵといった携帯電話機１０に装備されたリソースの使用状態を表す使用量や、メモリやＣＰＵといったリソースの性能の上限値、などを含むリソース情報も、動画像配信サーバ２０に送信する。なお、リソースの性能の上限値は、予めメモリ１４内に記憶されているものとする。

［動画像配信サーバの構成］
次に、動画像配信サーバ２０の構成を、図４を参照して説明する。動画像配信サーバ２０は、演算装置、記憶装置、通信装置などを備えた一般的なサーバコンピュータである。そして、図４に示すように、演算装置であるＣＰＵにプログラムが組み込まれることによって構築された、配信要求受付部２１と、コンテンツ取得部２２と、動画像処理部２３と、配信処理部２４と、を備えている。

上記配信要求受付部２１は、携帯電話機１０から動画像データの配信要求を受けると、当該配信要求に含まれるコンテンツ特定情報にて特定されるコンテンツを、コンテンツサーバ３０に要求する。このとき、配信要求受付部２１は、携帯電話機１０から配信要求と共に、上述した蓄積量データやリソース情報を受信し、動画像処理部２３に通知する。なお、配信要求受付部２１は、配信要求時以外にも、携帯電話機１０から蓄積量データやリソース情報が送信される毎に、かかる情報を受信して、動画像処理部２３に通知する。このように、配信要求受付部２１は、蓄積量データ取得手段及びリソース情報取得手段として機能する。これにより、動画像配信サーバ２０は、携帯電話機１０の現在の状況を常に認識することができる。

また、上記コンテンツ取得部２２は、上述したようにコンテンツを要求したコンテンツサーバ３０から送信されるコンテンツである動画像データを取得する。なお、コンテンツサーバ３０は、例えば、所定の再生時間のデータ量を有する動画像データを蓄積している。このとき、動画像データは、任意のフォーマット形式で蓄積されている。そして、コンテンツサーバ３０は、蓄積している動画像データの中から、要求されたコンテンツに対応する動画像データを、その先頭から時系列に沿って、動画像配信サーバ２０に出力する。このようにして出力された動画像データをコンテンツ取得部２２が取得し、取得した動画像データを、順次、動画像処理部２３に出力する。

また、上記動画像処理部２３（動画像処理手段）は、コンテンツ取得部２３から渡された動画像データに対して、配信用処理を実行する。このとき、動画像処理部２３は、配信用処理の一例として、携帯電話機１０から送信された機種情報や再生可能な動画のフォーマット情報などに基づいて、配信要求してきた携帯電話機１０に対応したフォーマットに動画像データを変換する処理を行う。また、動画像処理部２３は、上述したように携帯電話機１０から通知された蓄積量データやリソース情報に応じて、動画像データの再生品質が変化させて、当該動画像データに対する配信用処理を実行する。

そして、配信処理部２４（配信処理手段）は、上記動画像処理部２３にて配信用処理が施された動画像データを、携帯電話機１０に対して配信する。このとき、配信処理部２４は、任意の再生時間分の動画像データを順次配信するが、一度に配するデータ容量は、予め一定値に設定されていてもよく、携帯電話機１０から受信した蓄積量データやリソース情報に応じて変化させてもよい。

ここで、上記動画像処理部２３及び配信処理部２４による具体的な処理内容について、さらに詳述する。まず、動画像処理部２３は、蓄積量データの値の大小に応じて、動画像データの再生時における単位時間当たりの情報量を変化させて、当該動画像データの再生品質を変化させる。例えば、蓄積量データの値が小さい（蓄積量が少ない）ほど、携帯電話機１０による継続した再生時間の確保を目的として、動画像処理部２３は、動画像データの再生品質を低く設定し、データ量の少ない配信用の動画像データを生成する処理を行う。そして、配信処理部２４は、蓄積量が最低値以下である場合には、短い再生時間分の動画像データを一度に配信する。つまり、全体的にデータ量の少ない動画像データを配信することとなる。但し、配信処理部は、蓄積量が少ないながらも最低値を超えると、長い再生時間分の動画像データを一度に配信する。

一方で、蓄積量データの値が大きい（蓄積量が多い）ほど、動画像処理部２３は、動画像データの再生品質を高く設定して配信用の動画像データを生成する処理を行う。そして、これに応じて、配信処理部２４は、携帯電話器１０によるデータの受信時間が長くなりすぎないよう、短い再生時間分の動画像データを一度に配信する。

ここで、図５乃至図８を参照して、携帯電話機１０のメモリ１４と、動画像処理部２３及び配信処理部２４による配信する動画像データと、の関係について詳述する。

まず、図５（Ａ）は、携帯電話機１０の初期、つまり、配信要求を行った直後であり動画像配信サーバ２０による動画像データの配信開始時のメモリ１４の様子を示している。この図に示すように、携帯電話機１０への配信開始時では、メモリ１４内には動画像データが蓄積されておらず、携帯電話機１０は配信要求と共に、蓄積データが「０」であることを動画像配信サーバ２０に通知している。

すると、動画像配信サーバ２０の動画像処理部２３は、図５（Ｂ）に示すように、携帯電話機１０にて再生したときに視聴可能であると設定されている最低限の低画質（低ビットレート）の動画像データ５０を生成する。そして、配信処理部２４は、低画質の動画像データ５０を、少なくとも携帯電話機１０にて再生に必要な最低限の再生時間の動画像データを配信する（符号５１参照）。例えば、図５及び図９の「初期状態」で示す区間では、最低画質であり、２秒の再生時間分の動画像データを、順次、携帯電話機１０に送信している。すると、携帯電話機１０には、低画質かつ短時間である少ないデータ量の動画像データがすぐに配信されて蓄積されることとなり、迅速に再生を開始することができる。

なお、図５（Ｂ）は、メモリ１４に徐々に動画像データが蓄積され（符号４１）、再生が継続される（符号４２）様子を示している。なお、この間も、動画像配信サーバ２０は、定期的に、携帯電話機１０からメモリ１４の蓄積量データの通知を受けている。

その後、動画像処理部２３及び配信処理部２４は、携帯電話器１０から通知された蓄積量データが、予め定めた最低値を超えた際には、図９の「バッファ優先状態」となり、画質は低画質ではあるが、メモリ１４への動画像データの蓄積を優先した配信を行う。

具体的には、まず、図６（Ａ）は、携帯電話機１０のメモリ１４に、最低値の動画像データが蓄積されたときの様子を示している（符号４０参照）。このように多少の蓄積量があるため、動画像処理部２３は、低画質ながらも、若干、再生品質を高めた動画像データを生成する処理を行う（符号５０参照）。そして、配信処理部２４は、初期状態のときよりもさらに長い再生時間分の動画像データを一度に配信する（符号５１参照）。これにより、図６（Ｂ）に示すように、メモリ１４内からは再生によって出力される動画像データもあるが（符号４２参照）、それ以上のデータ量の動画像データが配信されるため、メモリ１４内の動画像データの蓄積量が増えることとなる。これに加え、動画像データの画質もわずかではあるが、高めることができる。

その後、動画像処理部２３及び配信処理部２４は、携帯電話器１０から通知された蓄積量データが、予め定めた中間値を超えた際には、図９の「中間状態」となり、画質を高めつつ、メモリ１４への動画像データの蓄積量の増加も考慮した配信を行う。

具体的には、まず、図７（Ａ）は、携帯電話機１０のメモリ１４に、中間値の動画像データが蓄積されたときの様子を示している（符号４０参照）。このように蓄積量があるため、動画像処理部２３は、これまでよりもさらに再生品質を高めた中画質の動画像データを生成する処理を行う（符号５０参照）。そして、配信処理部２４は、バッファ優先状態時よりも短いが、実際の再生時間以上の再生時間分の動画像データを一度に配信する（符号５１参照）。これにより、図７（Ｂ）に示すように、メモリ１４内からは再生によって出力される動画像データもあるが（符号４２参照）、それ以上のデータ量の動画像データが配信されるため、少しずつではあるがメモリ１４内の動画像データの蓄積量がさらに増えることとなる。これに加え、動画像データの画質も高めることができる。

その後、動画像処理部２３及び配信処理部２４は、携帯電話器１０から通知された蓄積量データが、予め定めた高蓄積値を超えた際には、図９の「準定常状態」あるいは「定常状態」となり、さらに画質を高めつつ、メモリ１４への動画像データの蓄積量が減少しないよう配信を行う。

具体的には、まず、図８（Ａ）は、携帯電話機１０のメモリ１４に、高蓄積値の動画像データが蓄積されたときの様子を示している（符号４０参照）。このように多くの蓄積量があるため、動画像処理部２３は、これまでよりもさらに再生品質を高めた高画質の動画像データを生成する処理を行う（符号５０参照）。そして、配信処理部２４は、中間状態時よりも短いが、実際の再生時間と同等あるいはそれ以上の再生時間分の動画像データを、一度に配信する（符号５１参照）。これにより、図８（Ｂ）に示すように、メモリ１４内からは再生によって出力される動画像データもあるが（符号４２参照）、それと同等、あるいは、それ以上のデータ量の動画像データが配信されるため、メモリ１４内の動画像データの蓄積量が減少することなく一定に保たれる。これに加え、動画像データの画質もさらに高めることができる。

また、動画像処理部２３及び配信処理部２４は、上述した携帯電話機１０のメモリ１４への蓄積量データ以外にも、当該メモリ１４やＣＰＵなどリソースの状態、つまり、携帯電話機１０から通知されるリソース情報に応じても、動画像データの処理や配信量を変更する。例えば、ＣＰＵの使用状態が上限に近い場合には、配信する動画像データによってＣＰＵの使用状態が上限に達しないよう、動画像処理部２３は、動画像データの品質をさらに高品質にすることなく、一定に保ったり、あるいは、品質を下げて、配信用処理を行う。また、メモリの使用状態が上限に近い場合にも、当該メモリの使用状態が上限に達しないよう、動画像データの品質をさらに高品質にすることなく、一定に保ったり、あるいは、品質を下げるなどの配信用処理を施し、また、再生時間の短い動画像データを配信するなど、配信するデータ量を抑制する。さらには、配信間隔を空けてもよい。これにより、情報処理端末における負荷を抑制でき、再生処理の最適化を図ることができる。その結果、利用者の視聴満足度の向上を図ることができる。

［動作］
次に、上記動画像配信システムの動作を、図１０を参照して説明する。まず、携帯電話機１０の利用者は、動画像配信サーバ２０が開設しているウェブサイトにアクセスし、動画コンテンツの配信を要求する（ステップＳ１）。このとき、利用者は、ウェブサイト上で視聴を希望するコンテンツを選択することで、携帯電話機１０から動画像データを特定する情報を動画像配信サーバ２０に送信する。さらに、携帯電話機１０は、上記動画像データを特定する情報と共に、携帯電話機１０の機種情報や再生可能な動画像のフォーマット情報を送信する。

このとき、携帯電話機１０は、上記配信要求と共に、携帯電話機１０のメモリ１４に蓄積されており、まだ再生されていない再生前の動画像データの蓄積量を表す蓄積量データを、動画像配信サーバ２０に通知する（ステップＳ１）。さらに、携帯電話機１０は、上記蓄積量データと共に、メモリやＣＰＵといった携帯電話機１０に装備されたリソースの使用状態を表す使用量や、メモリやＣＰＵといったリソースの性能の上限値、などを含むリソース情報も、動画像配信サーバ２０に送信する（ステップＳ１）。

続いて、動画像配信サーバ２０は、携帯電話機１０から動画像データの配信要求を受けると、当該配信要求に含まれるコンテンツを特定する情報にて特定されるコンテンツを、コンテンツサーバ３０に要求する（ステップＳ２）。このとき、動画像配信サーバ２０は、携帯電話機１０から配信要求と共に、上述した蓄積量データやリソース情報を受信する（蓄積量データ取得工程）。

続いて、コンテンツサーバ３０は、動画像配信サーバ２０からの要求に応じて、種々のコンテンツを蓄積しているデータベースから、要求されたコンテンツである動画像データを読み出して、動画像配信サーバ２０に送信する（ステップＳ３）。このとき、コンテンツサーバ３０は、蓄積している動画像データを、まとめて１ファイルとして送信せずに、当該動画像データの先頭から時系列に沿って、所定のデータ量ずつ、順次、動画像配信サーバ２０に出力する。

続いて、動画像配信サーバ２０は、コンテンツサーバ３０から順次送信される動画像データを取得する（ステップＳ４）。そして、動画像配信サーバ２０は、取得した動画像データに対する配信用処理を実行する（ステップＳ５、動画像処理工程）。特に、動画像配信サーバ２０は、携帯電話機１０から送信された機種情報や再生可能な動画のフォーマット情報などに基づいて、配信要求してきた携帯電話機１０に対応したフォーマットに動画像データを変換する処理を行う。このとき、さらに、動画像配信サーバ２０は、携帯電話機１０から通知された蓄積量データやリソース情報に応じて、動画像データの再生品質が変化させて、当該動画像データに対する配信用処理を実行する。

具体的に、ステップＳ５の動画像データの配信開始時では、動画像配信サーバ２０は、携帯電話機１０のメモリ１４内には動画像データの蓄積量が「０」であるため、携帯電話機１０にて再生したときに視聴可能であると設定されている最低限の低画質（低ビットレート）の動画像データ５０を生成する。

続いて、動画像配信サーバ２０は、上記生成した低画質の動画像データ５０を、少なくとも携帯電話機１０にて再生に必要な最低限の再生時間以上の動画像データを配信する（ステップＳ６、配信処理工程）。例えば、最低画質であり、１秒あるいは２秒程度の再生時間分の動画像データを、順次、携帯電話機１０に送信する。

そして、携帯電話器１０は、配信された動画像データを受信して再生することで（ステップＳ７）、利用者は要求したコンテンツの動画像データを視聴することができる。

このように、図９に示す初期状態では、全体的にデータ量の少ない、最低画質であり、短時間の再生時間分の動画像データを携帯電話機１０に配信するため、携帯電話機１０には低画質の動画像データが迅速に蓄積されることとなる。その結果、遅延なく動画像を閲覧することができる。

その後、携帯電話機１０は、上述した動画像データの受信および再生を継続しつつ、自身に装備されているメモリ１４への動画像データの蓄積量を表す蓄積量データの通知を、一定の時間間隔や予め設定されたタイミングで、動画像配信サーバ２０に対して行う（ステップＳ８）。このとき、携帯電話機１０は、上記蓄積量データと共に、メモリやＣＰＵといった携帯電話機１０に装備されたリソースの使用状態を表す使用量や、メモリやＣＰＵといったリソースの性能の上限値、などを含むリソース情報も、動画像配信サーバ２０に通知する。

続いて、動画像配信サーバ２０は、携帯電話機１０から通知された蓄積量データ等を受信すると（蓄積量データ取得工程）、現在配信している動画像データの画質やデータ量を変化させて、動画像データの配信用処理及び配信処理を実行する（ステップＳ９、動画像処理工程、ステップＳ１０、配信処理工程）。そして、かかる処理を繰り返す。

具体的に、動画像配信サーバ２０は、携帯電話器１０から通知された蓄積量データが予め定めた最低値を超えた際には、図９の「バッファ優先状態」となる。つまり、画質は低画質ではあるが、メモリ１４への動画像データの蓄積を優先した配信を行う。例えば、上述した初期状態よりも、低画質ながらも、若干、再生品質を高めた動画像データを生成する処理を行う。また、初期状態のときよりもさらに長い再生時間分の動画像データを、一度に配信する。これにより、動画像データの画質を高めると共に、メモリ１４内の動画像データの蓄積量を増加させることができる。

また、携帯電話器１０から通知された蓄積量データが、予め定めた中間値を超えた際には、図９の「中間状態」となる。つまり、画質を高めつつ、メモリ１４への動画像データの蓄積量の増加も考慮した配信を行う。例えば、ある程度の蓄積量がある場合には、さらに再生品質を高めた中画質の動画像データを生成する処理を行いつつ、バッファ優先状態時よりも短いが、実際の再生時間以上の再生時間分の動画像データを一度に配信する。これにより、動画像データの画質を高めつつ、少しずつではあるがメモリ１４内の動画像データの蓄積量を増加させることができる。

さらに、その後、携帯電話器１０から通知された蓄積量データが、予め定めた高蓄積値を超えた際には、図９の「準定常状態」あるいは「定常状態」となる。つまり、さらに画質を高めつつ、メモリ１４への動画像データの蓄積量が減少しないよう配信を行う。例えば、多くの蓄積量がある場合には、これまでよりもさらに再生品質を高めた高画質の動画像データを生成する処理を行いつつ、中間状態時よりも短いが、実際の再生時間と同等あるいはそれ以上の再生時間分の動画像データを、一度に配信する。これにより、動画像データの画質をさらに高めつつ、メモリ１４内の動画像データの蓄積量の減少を抑制して一定に保つことができる。

以上のように、本実施形態によると、動画像配信サーバ２０は、携帯電話機１０内における未再生の動画像データの蓄積量データの値の大小に応じて、動画像データの再生品質を変化させて配信用処理を実行している。例えば、蓄積量データの値が「０」の時には、低画質でありデータ量の少ない動画像データを、短時間の再生時間分だけ配信することで、迅速な再生開始を実現できる。また、蓄積されてくると、画質が低くデータ量の少ない配信用の動画像データを生成して、長い再生時間分の動画像データを一度に配信する。つまり、蓄積量データの値が小さい（蓄積量が少ない）ほど、動画像データの再生品質を低く設定して配信用の動画像データを生成して配信する。これにより、連続再生を確保しつつ、データ量の蓄積を増加させることができる。

一方で、蓄積量が多くなると、さらに画質が高い動画像データを生成して、短い再生時間分の動画像データを一度に配信する。つまり、蓄積量データの値が大きくなる（蓄積量が多くなる）ほど、動画像データの再生品質を高く設定して配信用の動画像データを生成する処理を行う。これにより、データ量の蓄積の減少を抑制して連続再生を確保しつつ、高画質化を図ることができる。

従って、携帯電話機１０の状況に応じて、連続再生を確保しつつ、動画像データの高品質化を図ることができる。その結果、利用者による動画データの視聴に対する満足度の向上を図ることができる。

なお、動画像配信サーバ２は、上述したステップＳ５，Ｓ６，Ｓ９，Ｓ１０における動画像データの配信用処理や配信処理は、携帯電話機１０から通知を受けたメモリ１４やＣＰＵなどリソースの状態を表すリソース情報に応じて実行する。例えば、ＣＰＵの使用状態が上限に近い場合には、配信する動画像データによってＣＰＵの使用状態が上限に達しないよう、動画像処理部２３は、動画像データの品質をさらに高品質にすることなく、一定に保ったり、あるいは、品質を下げて、配信用処理を行う。また、メモリの使用状態が上限に近い場合にも、当該メモリの使用状態が上限に達しないよう、動画像データの品質をさらに高品質にすることなく、一定に保ったり、あるいは、品質を下げるなどの配信用処理を施し、また、再生時間の短い動画像データを配信するなど、配信するデータ量を抑制する。さらには、配信間隔を空けてもよい。これにより、情報処理端末における負荷を抑制でき、再生処理の最適化を図ることができる。その結果、利用者の視聴満足度の向上を図ることができる。

本発明は、ネットワークを介して動画像の配信を行うサーバコンピュータに適用でき、産業上の利用可能性を有する。

本発明の実施形態１における動画像処理装置の構成を示す機能ブロック図である。本発明の実施形態２における動画像配信システム全体の構成を示すブロック図である。図２に開示した携帯電話機の構成を示す機能ブロック図である。図２に開示した動画像配信サーバの構成を示す機能ブロック図である。動画像データの配信の様子の一例を示す概念図である。動画像データの配信の様子の一例を示す概念図である。動画像データの配信の様子の一例を示す概念図である。動画像データの配信の様子の一例を示す概念図である。動画像データの配信の様子の一例を示す概念図である。動画像配信システムの動作を示すシーケンス図である。

符号の説明

１動画像処理装置
２蓄積量データ取得手段
３動画像処理手段
４配信処理手段
５動画像データ
６情報処理端末
１０携帯電話機
１１配信要求部
１２動画受信部
１３動画再生部
１４メモリ
２０動画像配信サーバ
２１配信要求受付部
２２コンテンツ取得部
２３動画像処理部
２４配信処理部
３０コンテンツサーバ
Ｎ，Ｎ１ネットワーク
Ｎ２無線通信ネットワーク

Claims

所定の再生時間のデータ量を有する動画像データに対して配信用処理を実行する動画像処理手段と、
配信用処理を施した任意の再生時間分の前記動画像データを、ネットワークを介して接続された情報処理端末に順次配信する配信処理手段と、
前記情報処理端末から当該情報処理端末に装備された記憶部に蓄積されている再生前の前記動画像データの蓄積量を表す蓄積量データを取得する蓄積量データ取得手段と、を備え、
前記動画像処理手段は、前記蓄積量データに基づいて、前記動画像データの再生品質が変化するよう当該動画像データに対して配信用処理を行うと共に、
前記配信処理手段による前記情報処理端末に対する前記動画像データの配信開始時である初期状態では、前記情報処理端末にて前記動画像データを再生したときに視聴可能な予め設定された最低限の再生品質になるよう前記動画像データに対して配信用処理を行い、
前記蓄積量データが予め設定された最低値を超えたバッファ優先状態では、前記初期状態のときよりも長い再生時間分の前記動画像データを前記情報処理端末に対して一度に配信するよう、当該動画像データに対して配信用処理を行い、
前記蓄積量データが前記最低値よりも大きい予め設定された中間値を超えた中間状態では、前記情報処理端末における実際の再生時間以上の再生時間分の前記動画像データを、前記情報処理端末に対して一度に配信するよう、当該動画像データに対して配信用処理を行い、
前記蓄積量データが前記中間値よりも大きい予め設定された高蓄積値を超えた状態では、前記情報処理端末における実際の再生時間と同等あるいはそれ以上の再生時間分の前記動画像データを、前記情報処理端末に対して一度に配信するよう、当該動画像データに対して配信用処理を行う、
動画像処理装置。
請求項１記載の動画像処理装置であって、
前記動画像処理手段は、前記蓄積量データが多くなるにつれて前記動画像データの再生品質が高くなり、前記蓄積量データが少なくなるにつれて前記動画像データの再生品質が低くなるよう、当該動画像データに対して配信用処理を行う、
動画像処理装置。
請求項１又は２に記載の動画像処理装置であって、
前記動画像処理手段は、前記蓄積量データが予め設定された最低値を超えている場合に、当該蓄積量データが多くなるにつれて前記動画像データの再生品質が高くなり、前記蓄積量データが少なくなるにつれて前記動画像データの再生品質が低くなるよう、当該動画像データに対して配信用処理を行う、
動画像処理装置。
請求項１乃至３のいずれかに記載の動画像処理装置であって、
前記動画像処理手段は、前記配信処理手段による前記情報処理端末に対する配信開始時には、前記情報処理装置にて前記動画像データを再生したときに視聴可能な予め設定された最低限の再生品質になるよう前記動画像データに対して配信用処理を行い、
前記配信処理手段は、再生に必要な最低限の再生時間以上の前記動画像データを配信する、
動画像処理装置。
請求項１乃至４のいずれかに記載の動画像処理装置であって、
前記動画像処理手段は、前記動画像データの再生時における単位時間当たりの情報量を変化させて、当該動画像データの再生品質を変化させる、
動画像処理装置。
請求項１乃至５のいずれかに記載の動画像処理装置であって、
配信先となる情報処理端末から当該情報処理端末に装備されたリソースの使用状態を表すリソース情報を取得するリソース情報取得手段を備え、
前記動画像処理手段は、前記リソース情報に基づいて、配信する前記動画像データの再生品質を設定し、当該設定した再生品質となるよう前記動画像データに対して配信用処理を行う、
動画像処理装置。
請求項６記載の動画像処理装置であって、
前記動画像処理手段は、前記リソース情報に基づいて、前記情報処理端末に配信する前記動画像データによって当該情報処理端末に装備されたリソースの使用状態が上限に達しないよう、配信する前記動画像データの再生品質を設定する、
動画像処理装置。
請求項１乃至７のいずれかに記載の動画像処理装置であって、
配信先となる情報処理端末から当該情報処理端末に装備されたリソースの使用状態を表すリソース情報を取得するリソース情報取得手段を備え、
前記配信処理手段は、前記リソース情報に基づいて、配信する動画像データの再生時間を設定し、当該設定した再生時間分の前記動画像データを配信する、
動画像処理装置。
請求項８記載の動画像処理装置であって、
前記配信処理手段は、前記リソース情報に基づいて、前記情報処理端末に配信する前記動画像データによって当該情報処理端末に装備されたリソースの使用状態が上限に達しないよう、配信する前記動画像データの再生時間を設定する、
動画像処理装置。
情報処理装置に、
所定の再生時間のデータ量を有する動画像データに対して配信用処理を実行する動画像処理手段と、
配信用処理を施した任意の再生時間分の前記動画像データを、ネットワークを介して接続された情報処理端末に順次配信する配信処理手段と、
前記情報処理端末から当該情報処理端末に装備された記憶部に蓄積されている再生前の前記動画像データの蓄積量を表す蓄積量データを取得する蓄積量データ取得手段と、
を実現させると共に、
前記動画像処理手段は、前記蓄積量データに基づいて、前記動画像データの再生品質が変化するよう当該動画像データに対して配信用処理を行う機能を有し、
前記配信処理手段による前記情報処理端末に対する前記動画像データの配信開始時である初期状態では、前記情報処理端末にて前記動画像データを再生したときに視聴可能な予め設定された最低限の再生品質になるよう前記動画像データに対して配信用処理を行い、
前記蓄積量データが予め設定された最低値を超えたバッファ優先状態では、前記初期状態のときよりも長い再生時間分の前記動画像データを前記情報処理端末に対して一度に配信するよう、当該動画像データに対して配信用処理を行い、
前記蓄積量データが前記最低値よりも大きい予め設定された中間値を超えた中間状態では、前記情報処理端末における実際の再生時間以上の再生時間分の前記動画像データを、前記情報処理端末に対して一度に配信するよう、当該動画像データに対して配信用処理を行い、
前記蓄積量データが前記中間値よりも大きい予め設定された高蓄積値を超えた状態では、前記情報処理端末における実際の再生時間と同等あるいはそれ以上の再生時間分の前記動画像データを、前記情報処理端末に対して一度に配信するよう、当該動画像データに対して配信用処理を行う、
プログラム。
請求項１０記載のプログラムであって、
前記動画像処理手段は、前記蓄積量データが多くなるにつれて前記動画像データの再生品質が高くなり、前記蓄積量データが少なくなるにつれて前記動画像データの再生品質が低くなるよう、当該動画像データに対して配信用処理を行う、
プログラム。
請求項１０又は１１に記載のプログラムであって、
前記動画像処理手段は、前記蓄積量データが予め設定された最低値を超えている場合に、当該蓄積量データが多くなるにつれて前記動画像データの再生品質が高くなり、前記蓄積量データが少なくなるにつれて前記動画像データの再生品質が低くなるよう、当該動画像データに対して配信用処理を行う、
プログラム。
所定の再生時間のデータ量を有する動画像データに対して配信用処理を実行する動画像処理工程と、
配信用処理を施した任意の再生時間分の前記動画像データを、ネットワークを介して接続された情報処理端末に順次配信する配信処理工程と、を有すると共に、
前記動画像処理工程の前に、前記情報処理端末から当該情報処理端末に装備された記憶部に蓄積されている再生前の前記動画像データの蓄積量を表す蓄積量データを取得する蓄積量データ取得工程と、を有し、
前記動画像処理工程は、前記蓄積量データに基づいて、前記動画像データの再生品質が変化するよう当該動画像データに対して配信用処理を行い、
前記配信処理工程による前記情報処理端末に対する前記動画像データの配信開始時である初期状態では、前記情報処理端末にて前記動画像データを再生したときに視聴可能な予め設定された最低限の再生品質になるよう前記動画像データに対して配信用処理を行い、
前記蓄積量データが予め設定された最低値を超えたバッファ優先状態では、前記初期状態のときよりも長い再生時間分の前記動画像データを前記情報処理端末に対して一度に配信するよう、当該動画像データに対して配信用処理を行い、
前記蓄積量データが前記最低値よりも大きい予め設定された中間値を超えた中間状態では、前記情報処理端末における実際の再生時間以上の再生時間分の前記動画像データを、前記情報処理端末に対して一度に配信するよう、当該動画像データに対して配信用処理を行い、
前記蓄積量データが前記中間値よりも大きい予め設定された高蓄積値を超えた状態では、前記情報処理端末における実際の再生時間と同等あるいはそれ以上の再生時間分の前記動画像データを、前記情報処理端末に対して一度に配信するよう、当該動画像データに対して配信用処理を行う、
動画像処理方法。
請求項１３記載の動画像処理方法であって、
前記動画像処理工程は、前記蓄積量データが多くなるにつれて前記動画像データの再生品質が高くなり、前記蓄積量データが少なくなるにつれて前記動画像データの再生品質が低くなるよう、当該動画像データに対して配信用処理を行う、
動画像処理方法。
請求項１３又は１４に記載の動画像処理方法であって、
前記動画像処理工程は、前記蓄積量データが予め設定された最低値を超えている場合に、当該蓄積量データが多くなるにつれて前記動画像データの再生品質が高くなり、前記蓄積量データが少なくなるにつれて前記動画像データの再生品質が低くなるよう、当該動画像データに対して配信用処理を行う、
動画像処理方法。