JP7337366B2

JP7337366B2 - 動画配信システム、プログラム、およびコンピュータ読み取り可能な記憶媒体

Info

Publication number: JP7337366B2
Application number: JP2019097183A
Authority: JP
Inventors: 隼一赤川
Original assignee: 株式会社ミラティブ
Priority date: 2019-05-23
Filing date: 2019-05-23
Publication date: 2023-09-04
Anticipated expiration: 2039-05-23
Also published as: JP2020191601A

Description

特許法第３０条第２項適用１．ウェブサイトの掲載日：平成３１年３月１５日２．ウェブサイトのアドレス：＜ｈｔｔｐｓ：／／ｍｉｒｒａｔｉｖｔｍｂｒ．ｔｕｍｂｌｒ．ｃｏｍ／ｐｏｓｔ／１８３４６８４７０９３８／エモモの新機能エモカラの限定テストを開始しました＞３．公開者：株式会社ミラティブ４．公開された発明の内容：株式会社ミラティブが、上記アドレスのウェブサイトで公開されている株式会社ミラティブのウェブサイトにて、本出願の動画配信システムに関わる技術について公開した。

本発明は、動画配信システム、プログラム、およびコンピュータ読み取り可能な記憶媒体に関し、特に、ユーザーの有する端末装置と、通信可能に構成されたサーバコンピュータと、を有し、端末装置に動画を配信する動画配信システム、プログラム、およびコンピュータ読み取り可能な記憶媒体に関する。

近年、年齢層や性別を問わずカラオケが広く一般に利用されており、ユーザーは所定の画面に表示される画像を見ながらカラオケを行う。このようなカラオケに関する技術は、例えば特許文献１および特許文献２に開示される技術を参照することができる。

特開２０１８－１４６７６８号公報特開２０１５－１６１８４８号公報

ところで、通常カラオケは、カラオケボックスや所定の店舗等同一の場所で複数のユーザーによって利用されることが多い。

しかしながら、昨今は、複数のユーザーが例えばそれぞれ自宅に居ながらにしてカラオケを楽しむ等、それぞれが異なる場所でリアルタイムに配信される曲に対応した動画を共有しながらカラオケを楽しむことが要望されている。

本願発明は上記事情に鑑みてなされたものであり、曲に対応した動画を提供することができる動画配信システム、プログラム、およびコンピュータ読み取り可能な記憶媒体を提供することを目的とする。

上記目的を達成するために、本発明に係る動画配信システムは、ユーザーの有する端末装置と、前記端末装置と通信可能に構成されたサーバコンピュータと、を有し、前記端末装置に曲とともに動画を配信する動画配信システムであって、前記サーバコンピュータは、曲を読み込む読み込み部と、前記読み込み部により読み込まれた曲に対応させてアバターオブジェクトのアクションの動画を制御するアバター動画制御部と、前記アバターオブジェクトの表情と歌詞との関係を予め関連付けて記憶する歌詞記憶部と、前記アバター動画制御部によりアクションを制御されたアバターオブジェクトの動画を配信する配信部と、を有し、前記読み込み部は、前記歌詞を読み込むとともに、前記アバター動画制御部は、前記歌詞記憶部により予め関連付けて記憶された前記アバターオブジェクトの表情と前記歌詞との関係により、前記読み込まれた歌詞に対応して前記アバターオブジェクトの表情の動画を制御し、前記読み込み部による一の前記歌詞の読み込み回数が複数回であるときに、前記複数回読み込まれた一の歌詞に対応してアバターオブジェクトの表情の動画を制御することを特徴とする。
また、上記目的を達成するために、本発明に係る別の動画配信システムは、ユーザーの有する端末装置と、前記端末装置と通信可能に構成されたサーバコンピュータと、を有し、前記端末装置に曲とともに動画を配信する動画配信システムであって、前記サーバコンピュータは、曲を読み込む読み込み部と、前記読み込み部により読み込まれた曲に対応させてアバターオブジェクトのアクションの動画を制御するアバター動画制御部と、前記アバター動画制御部によりアクションを制御された前記アバターオブジェクトの動画を配信する配信部と、前記アバターオブジェクトに提供するギフトを記憶するギフト記憶部と、前記ギフト記憶部に記憶されたギフトを前記アバターオブジェクトに提供するギフト提供部と、を有し、前記アバター動画制御部は、前記ギフト提供部によるギフトの提供が前記アバターオブジェクトのアクションおよび／または表情が変更されているときに、前記アバターオブジェクトのアクションおよび／または表情の動画を更に変更することを特徴とする。

本発明によれば、上記の構成により、読み込まれた曲に対応してアバタ―オブジェクトのアクションの動画を制御しつつ端末装置に配信することができる等、曲に対応した動画を提供することができる。

上記目的を達成するために、本発明に係るプログラムは、複数のユーザーの有する端末装置と、前記端末装置とネットワーク通信回線を通じて通信可能に構成されるサーバコンピュータと、を有し、前記端末装置に曲とともに動画を配信する動画配信システムのコンピュータを、曲を読み込む読み込み部と、前記読み込み部により読み込まれた曲に対応させてアバターオブジェクトのアクションの動画を制御するアバター動画制御部と、前記アバターオブジェクトの表情と歌詞との関係を予め関連付けて記憶する歌詞記憶部と、前記アバター動画制御部によりアクションを制御されたアバターオブジェクトの動画を配信する配信部として機能させ、前記読み込み部が、前記歌詞を読み込むとともに、前記アバター動画制御部が、前記歌詞記憶部により予め関連付けて記憶された前記アバターオブジェクトの表情と前記歌詞との関係により、前記読み込まれた歌詞に対応して前記アバターオブジェクトの表情の動画を制御し、前記読み込み部による一の前記歌詞の読み込み回数が複数回であるときに、前記複数回読み込まれた一の歌詞に対応してアバターオブジェクトの表情の動画を制御するように機能させることを特徴とする。
また、上記目的を達成するために、本発明に係る別のプログラムは、複数のユーザーの有する端末装置と、前記端末装置とネットワーク通信回線を通じて通信可能に構成されるサーバコンピュータと、を有し、前記端末装置に曲とともに動画を配信する動画配信システムのコンピュータを、曲とともに動画を配信する動画配信システムのコンピュータを、曲を読み込む読み込み部と、前記読み込み部により読み込まれた曲に対応させてアバターオブジェクトのアクションの動画を制御するアバター動画制御部と、前記アバター動画制御部によりアクションを制御された前記アバターオブジェクトの動画を配信する配信部と、前記アバターオブジェクトに提供するギフトを記憶するギフト記憶部と、前記ギフト記憶部に記憶されたギフトを前記アバターオブジェクトに提供するギフト提供部と、として機能させ、前記アバター動画制御部が、前記ギフト提供部によるギフトの提供が前記アバターオブジェクトのアクションおよび／または表情が変更されているときに、前記アバターオブジェクトのアクションおよび／または表情の動画を更に変更するように機能させることを特徴とする。

上記目的を達成するために、本発明に係るコンピュータ読み取り可能な記憶媒体は、上述の特徴に係るプログラムを記憶することを特徴とする。

本発明によれば、曲に対応した動画を提供することができる。

本発明の実施形態に係る動画配信システムの全体構成の概要を示すブロック図である。同動画配信システムの端末装置の構成を示すブロック図である。同動画配信システムの端末装置の表示を説明するための図である。同動画配信システムのサーバコンピュータの構成を示すブロック図である。同動画配信システムのサーバコンピュータの構成を示す別のブロック図である。同動画配信システムのサーバコンピュータの記憶部の構成を示すブロック図である。同動画配信システムによる動画の配信方法を説明するためのフローチャートである。同動画配信システムによる動画の配信方法を説明するための図７に続くフローチャートである。同動画配信システムによる動画の配信方法を説明するための図７に続く別のフローチャートである。同動画配信システムによる動画の配信方法を説明するための図７に続く更に別のフローチャートである。

以下、本発明の実施形態について図面を参照して詳細に説明する。図１は、本発明の実施形態に係る動画配信システムの全体構成の概要を示すブロック図、図２は、同動画配信システムの端末装置の構成を示すブロック図、図３は、同動画配信システムの端末装置の表示を説明するための図、図４は、同動画配信システムのサーバコンピュータの構成を示すブロック図、図５は、同動画配信システムのサーバコンピュータの構成を示す別のブロック図、図６は、同動画配信システムのサーバコンピュータの記憶部の構成を示すブロック図である。

これらの図を参照して本発明の動画配信システム１の概要を説明すると、同動画配信システム１は、複数のユーザーの有する端末装置１０と、サーバコンピュータ３０と、を有しており、端末装置１０に曲とともに動画や歌詞を配信するシステムとなっている。歌詞は、字幕スーパー１２ｂの形式で配信され、ユーザーは、動画配信システム１を利用してカラオケを行うことができる。

端末装置１０は、操作部１１、表示部１２、出力部１３、および集音部１４を有しており、操作部１１を介してユーザーが操作を行いサーバコンピュータ３０に所定の情報を送信することができる。表示部１２は、サーバコンピュータ３０から配信されるアバタ―オブジェクト１２ａの動画と歌詞（字幕スーパー１２ｂ）を背景１２ｃとともに表示可能となっている（図３においては、画面の背景１２ｃは山となっている）。操作部１１および表示部１２は、タッチパネルで構成されている。

出力部１３は、同じくサーバコンピュータ３０から配信される曲をアバタ―オブジェクト１２ａの動画や歌詞と対応させて出力可能となっている。出力部１３は、端末装置１０に所定のスピーカーを内蔵して構成することができる。

集音部１４は、音を収音する機能を有しており、端末装置１０に所定のマイクを内蔵して構成することができる。

すなわち、ユーザーは、表示部１２に表示されたアバタ―オブジェクト１２ａの動画と歌詞（字幕スーパー１２ｂ）を見ながら、出力部１３により出力された曲を聴いて選曲した歌を歌うことができる。ユーザーの歌声は、集音部１４により集音することができる。

また、端末装置１０は、他の端末装置１０の集音部１４により集音されたユーザーの歌声を、サーバコンピュータ３０を介して入力し、出力部１４から出力することができる。これにより、ユーザーは、別の場所に居ながら、他のユーザーの歌声を聴いてカラオケを楽しむことができる。

なお、端末装置１０は、携帯端末装置とすることができ、携帯端末装置は、携帯電話機、タブレット端末、およびスマートフォン等を含む。端末装置１０は、基地局および制御局を介してネットワーク通信回線ＮＴに接続することができる。

サーバコンピュータ３０は、端末装置１０とネットワーク通信回線ＮＴを通じて通信可能に構成されている。サーバコンピュータ３０は、コンピュータとしての一般的な構成を備えており、相互にバス３０ａを介して接続された中央処理装置（ＣＰＵ）３０ｂ、記憶装置（メモリ、ハードディスク）３０ｃ、入力装置（キーボード、マウス、タッチパネル）３０ｄ、表示装置（ＣＲＴ、液晶ディスプレー）３０ｅ等を有している。記憶装置３０ｃは、コンピュータ読み取り可能な記憶媒体として機能する。

サーバコンピュータ３０は、入力部３１、記憶部３２、読み込み部３３、ギフト提供部３４、判断部３５、アバタ―動画制御部３６、演出制御部３７、および配信部３８の各機能部を有している。

入力部３１は、端末装置１０の操作部１１を介して送信される所定の情報を入力することができる。また、入力部３１は、端末装置１０の集音部１４を介して集音されたユーザーの歌声を入力することができる。

記憶部３２は、音楽記憶部３２ａ、アバター基本動作記憶部３２ａ´、曲テンポ記憶部３２ｂ、歌詞記憶部３２ｃ、ギフト記憶部３２ｄ、音調記憶部３２ｅ、音量記憶部３２ｆ、および演出記憶部３２ｇを有している。

音楽記憶部３２ａは、音楽における曲と歌詞の字幕スーパー１２ｂを予め関連付けて記憶することができる。

アバター基本動作記憶部３２ａ´は、アバターオブジェクト１２ａの基本アクションおよび基本表情を記憶することができる。

ここで、アクションとは、アバターオブジェクト１２ａの身体の動きをいい、手足の動きや腰の動き等を含む。また表情とは、アバターオブジェクト１２ａの顔の表情をいい、嬉しい表情、驚いた表情、悲しい表情等を含む。

更に、基本アクションとは、アバターオブジェクト１２ａの基本になるアクションをいい、例えば、曲のテンポ、音調、音量、歌詞、ギフト等によらず、全ての曲または一定のジャンルの曲あるいは日時により予めプログラミングされた所定のアクションをいう。基本アクションは、曲の初期の初期基本アクション、曲の中間の中間基本アクション、曲の終期の終期基本アクションを含むことができる。

また、基本表情とは、アバターオブジェクト１２ａの基本になる表情をいい、例えば、曲のテンポ、音調、音量、歌詞、ギフト等によらず、全ての曲または一定のジャンルの曲あるいは日時において予めプログラミングされた所定の表情をいう。基本表情は、曲の初期の初期基本表情、曲の中間の中間基本表情、曲の終期の終期基本表情を含むことができる。

曲テンポ記憶部３２ｂは、アバタ―オブジェクト１２ａのアクションと曲のテンポとの関係を予め関連付けて記憶することができる。ここで、曲のテンポとは、「ド」、「レ」、「ミ」、・・・等の各音階における音の長さの長短に基づくものであり、例えば、速いテンポより詳しくは音の長さが短い場合と遅いテンポより詳しくは音の長さが長い場合を含む。曲のテンポが速い場合には、アバタ―オブジェクト１２ａのアクションが速くなるように、アクションと曲のテンポとの関係を記憶することができる。また、曲のテンポが遅い場合には、アバタ―オブジェクト１２ａのアクションが遅くなるように、アクションと曲のテンポとの関係を記憶することができる。

歌詞記憶部３２ｃは、アバタ―オブジェクト１２ａの表情と歌詞との関係を予め関連付けて記憶することができる。例えば、嬉しい気持ちや楽しい気持ちを表す歌詞の場合にあっては、アバタ―オブジェクト１２ａの表情が歌詞記憶部３２ｃに記憶された嬉しい表情や楽しい表情に変更されるように、アバタ―オブジェクト１２ａの表情と歌詞との関係を記憶することができる。

ギフト記憶部３２ｄは、アバタ―オブジェクト１２ａに提供する各種のギフトを記憶することができる。
より詳しくは、ギフト記憶部３２ｄは、アバタ―オブジェクト１２ａのアクションおよび表情と各種のギフトとの関係を予め関連付けて記憶することができる。ここで、ギフトとは、贈り物の意であり、例えば、ユーザーは、歌を上手く歌っている他のユーザーに対しギフトを提供して激励することができる。このギフトの種類には、花やおひねり（お金）等がある。

すなわち、例えば、花やおひねりの画像が表示部１２に表示される、または、歌を歌っているユーザーにシステム上で使える電子マネーや仮想通貨等が付与されるといったことが行われる。花やおひねり等をギフトとして提供した場合にあっては、アバタ―オブジェクト１２ａのアクションおよび表情がアバター基本動作記憶部３２ａ´に記憶された基本アクションおよび基本表情からギフト記憶部３２ｄに記憶された嬉しさや楽しさを表すアクションおよび表情に変更されるように、アバタ―オブジェクト１２ａのアクションおよび表情と各種のギフトとの関係を記憶することができる。また、ギフト記憶部３２ｄは、アバタ―オブジェクト１２ａのアクションおよび表情とギフトの量との関係も予め関連付けて記憶することができる。

音調記憶部３２ｅは、曲の音調とアバタ―オブジェクト１２ａのアクションとの関係を予め関連付けて記憶することができる。ここで、曲の音調とは、音の高低に基づくものであり、例えば、高い音調より詳しくは高い音と低い音調より詳しくは低い音を含む。曲の音調が高い場合には、アバタ―オブジェクト１２ａのアクションが大きくなるように、アクションと曲の音調との関係を記憶することができる。また、曲の音調が低い場合には、アバタ―オブジェクト１２ａのアクションが小さくなるように、アクションと曲の音調との関係を記憶することができる。

音量記憶部３２ｆは、曲の音量とアバタ―オブジェクト１２ａのアクションとの関係を予め関連付けて記憶することができる。ここで、曲の音量は、音の大きさに基づくものであり、例えば、大きい音量と小さい音量を含む。曲の音量が大きい場合には、アバタ―オブジェクト１２ａのアクションが大きくなるように、アクションと曲の音量との関係を記憶することができる。また、曲の音量が小さい場合には、アバタ―オブジェクト１２ａのアクションが小さくなるように、アクションと曲の音量との関係を記憶することができる。

演出記憶部３２ｇは、動画における演出を予め記憶することができる。より詳しくは、演出記憶部３２ｇは、動画における演出と各種のギフトとの関係を予め関連付けて記憶することができる。例えば、動画における演出は「花火」とし、「花火」と関連付けられるギフトの種類は「当たった宝くじ」とすることができる。

読み込み部３３は、音楽記憶部３２ａからユーザーにより選曲された音楽における曲のテンポ、音調、および音量を読み込む機能を有している。また、読み込み部３３は、音楽記憶部３２ａからユーザーにより選曲された音楽における歌詞を読み込むことができる。なお、これらの曲のテンポ、音調、音量、および歌詞は、所定の音認識ソフト等を用いて読み込み部３３がユーザーの実際の歌声や演奏から読み込むこととしてもよい。

ギフト提供部３４は、ギフト記憶部３２ｄに記憶されたギフトを、端末装置１０の操作部１１のユーザーによる所定の操作を介して画面上でアバタ―オブジェクト１２ａに提供することができる。なお、ギフト提供部３４は、複数のユーザーのそれぞれの操作に対応して端末装置１０ごとに異なる種類のギフトを提供することができる。

判断部３５は、ギフト提供部３４によりギフトの提供が行われた否かを判断することができる。より詳しくは、判断部３５は、ギフト提供部３４によるギフトの提供がアバターオブジェクト１２ａのアクションおよび表情が変更されている所定の制御時間ｔ内に行われたか否かを判断することができる。また、判断部３５は、アバタ―動画制御部３６により制御されたアバタ―オブジェクト１２ａのアクションおよび表情とそのアクションおよび表情に対してギフト提供部３４により提供されたギフトとの関係が、ギフト記憶部３２ｅにより予め関連付けられて記憶されているか否かを判断することができる（例えば、アバタ―動画制御部３６により制御されたアバタ―オブジェクト１２ａのアクションおよび表情が嬉しさを表すアクションおよび表情でそのアクションおよび表情に対してギフト提供部３４によりギフトとしておひねりが提供されたとき、判断部３５は、ギフト記憶部３２ｅにアバタ―オブジェクト１２ａの嬉しさを表すアクションおよび表情とおひねりとが予め関連付けられて記憶されているか否かを判断する）。

アバタ―動画制御部３６は、読み込み部３３により読み込まれた曲に対応させてアバタ―オブジェクト１２ａのアクションの動画をアバター基本動作記憶部３２ａ´に記憶された基本アクションから変更されるように制御することができる。

すなわち、アバタ―動画制御部３６は、曲テンポ記憶部３２ｂにより予め関連付けて記憶されたアバタ―オブジェクト１２ａのアクションと曲のテンポとの関係により、読み込み部３３により読み込まれた曲のテンポに対応してアバタ―オブジェクト１２ａのアクションの動画をアバター基本動作記憶部３２ａ´に記憶された基本アクションから曲テンポ記憶部３２ｂに記憶されたアクションに変更するように制御することができる。

また、アバタ―動画制御部３６は、音調記憶部３２ｅにより予め関連付けて記憶された曲の音調とアバタ―オブジェクト１２ａのアクションとの関係により、読み込み部３３により読み込まれた曲の音調に対応してアバタ―オブジェクト１２ａのアクションの動画をアバター基本動作記憶部３２ａ´に記憶された基本アクションから音調記憶部３２ｅに記憶されたアクションに変更するように制御することができる。

更に、アバタ―動画制御部３６は、音量記憶部３２ｆにより予め関連付けて記憶された曲の音量とアバタ―オブジェクト１２ａのアクションとの関係により、読み込み部３３により読み込まれた曲の音量に対応してアバタ―オブジェクト１２ａのアクションの動画をアバター基本動作記憶部３２ａ´に記憶された基本アクションから音量記憶部３２ｆに記憶されたアクションに変更するように制御することができる。

また、アバタ―動画制御部３６は、読み込み部３３により読み込まれた歌詞に対応させてアバタ―オブジェクト１２ａの表情の動画をアバター基本動作記憶部３２ａ´に記憶された基本表情から変更されるように制御することもできる。

すなわち、アバタ―動画制御部３６は、歌詞記憶部３２ｃにより予め関連付けて記憶されたアバタ―オブジェクト１２ａの表情と歌詞との関係により、読み込み部３３により読み込まれた歌詞に対応してアバタ―オブジェクト１２ａの表情の動画をアバター基本動作記憶部３２ａ´に記憶された基本表情から歌詞記憶部３２ｃに記憶された表情に変更するように制御することができる。なお、アバタ―動画制御部３６は、読み込み部３３による一の歌詞の読み込み回数が複数回であるとき、複数回読み込まれた一の歌詞に対応してアバタ―オブジェクト１２ａの表情の動画をアバター基本動作記憶部３２ａ´に記憶された基本表情から歌詞記憶部３２ｃに記憶された表情に変更するように制御することもできる。

また、アバタ―動画制御部３６は、判断部３５が、ギフトの提供がアバターオブジェクト１２ａのアクションおよび表情が変更されている所定の制御時間ｔ内に行われたと判断したときに、アバタ―オブジェクト１２ａのアクションおよび表情の動画をギフト記憶部３２ｄに記憶されたアクションおよび表情に更に変更するように制御することができる。

更に、アバタ―動画制御部３６は、判断部３５が、アバタ―オブジェクト１２ａのアクションおよび表情と各種のギフトとの関係が予め関連付けて記憶されていると判断したときに、アバタ―オブジェクトのアクションおよび表情の動画をアバター基本動作記憶部３２ａ´に記憶された基本アクションおよび基本表情からギフト記憶部３２ｄに記憶されたアクションおよび表情に変更するように制御することができる。

更にまた、アバタ―動画制御部３６は、ギフト記憶部３２ｄにより予め関連付けて記憶されたアバタ―オブジェクト１２ａのアクションおよび表情とギフトの量との関係により、ギフト提供部３４により提供されたギフトの量に対応してアバタ―オブジェクトのアクションおよび表情の動画をアバター基本動作記憶部３２ａ´に記憶された基本アクションおよび基本表情から変更するように制御することができる（例えば、提供されたおひねりの数が多いと、更に嬉しさを表すアクションおよび表情になる）。

なお、上記したアバタ―動画制御部３６による基本アクションおよび基本表情からのアクションや表情の変更は、上記したように、予め設定された所定の制御時間ｔ内に行われ、制御時間ｔの経過後は、変更されたアクションや表情を元のアクションや表情に戻す制御が行われる。すなわち、「ギフト提供部３４によるギフトの提供がアバターオブジェクト１２ａのアクションおよび表情が変更されている所定の制御時間ｔ内に行われているとき」とは、「ギフト提供部３４によるギフトの提供がアバター動画制御部３６によりアバターオブジェクト１２ａのアクションおよび表情が変更されるように制御されているとき」の意であり、かかる場合にあっては、アバター動画制御部３６によるアバターオブジェクト１２ａのアクションおよび表情の変更制御が重畳して行われることとなる。

演出制御部３７は、動画における演出を制御することができる。より詳しくは、演出制御部３７は、演出記憶部３２ｇにより予め関連付けて記憶された動画における演出と各種のギフトとの関係により、ギフト提供部３４により提供されたギフトに対応して動画の演出を制御することができる。また、演出制御部３７は、ギフト記憶部３２ｄにより予め関連付けて記憶された動画における演出とギフトの量との関係により、ギフト提供部３４により提供されたギフトの量に対応して動画の演出を制御することができる（例えば、提供されたおひねりの数が多いと、花火の演出が派手になる）。

配信部３８は、アバタ―動画制御部３６によりアクションや表情を制御されたアバタ―オブジェクト１２ａの動画を、対応する曲や歌詞とともに複数の端末装置１０に同時にリアルタイムに配信することができる。

また、配信部３８は、複数のユーザーの端末装置１０ごとに異なる制御信号を出力して複数のユーザーの端末装置１０ごとに異なる画面の配信を行うことができる。例えば、配信部３８は、端末装置１０の異なるギフトに対応して、複数のユーザーの端末装置１０ごとに異なる制御信号を出力し、複数のユーザーの端末装置１０ごとに異なる画面の配信を行うことができる。

更に、配信部３８は、一の端末装置１０の集音部１４を介して集音されたユーザーの歌声を他の端末装置１０に同時にリアルタイムに送信することができる（生配信することができる）。このとき、例えば、アバターオブジェクト１２ａの動画が、アバターオブジェクト１２ａがマイクを持って歌っている様子を表している場合は、配信された動画を他の端末装置１０で見るユーザーは、あたかもアバターオブジェクト１２ａがリアルタイムで歌を歌っているように感じることができる。また、アバターオブジェクト１２ａのアクションおよび表情の動画がリアルタイムに変更された場合は、アバターオブジェクト１２ａのアクションおよび表情をよりリアル（現実的）に感じることができる。

なお、配信部３８による動画の配信の開始および終了は、端末装置１０の操作部１１をユーザーが所要に操作することにより行うことができる。

ここで、上記したサーバコンピュータ３０の各機能部は、所定のプログラム１００を実行させることにより機能をさせることができる。

すなわち、プログラム１００は、動画配信システム１のコンピュータより詳しくはサーバコンピュータ３０を、入力部３１、記憶部３２、読み込み部３３、ギフト提供部３４、判断部３５、アバタ―動画制御部３６、演出制御部３７、および配信部３８として機能させることができる。プログラム１００は、サーバコンピュータ３０の記憶装置３０ｃに記憶されており、各ユーザーは、ネットワーク通信回線ＮＴを通じてサーバコンピュータ３０にアクセスしプログラム１００を端末装置１０にダウンロードして実行することができる。

次に、本発明の動画配信システム１による動画の配信方法を図７乃至図１０のフローチャートに基づいて詳細に説明する。

すなわち、まずステップＳ１０において、ユーザーが端末装置１０の操作部１１を所要に操作してサーバコンピュータ３０の音楽記憶部３２ａから所定の音楽を選曲する。

次いで、ステップＳ２０において、配信部３８が、複数の端末装置１０に動画、曲、および歌詞の配信を開始するとともに、集音部１４が、ユーザーの歌声を集音し、同じく配信部３８が、集音されたユーザーの歌声の他の端末装置１０に配信を開始する。この配信部３８による配信は、複数の端末装置１０に同時にリアルタイムに行う。

次いで、ステップＳ３０において、読み込み部３３が、選曲された音楽における曲のテンポ、音調、音量、および歌詞を読み込むとともに、ステップＳ４０において、アバタ―動画制御部３６が、曲のテンポ、音調、音量、および歌詞に対応させてアバタ―オブジェクト１２ａのアクションや表情の動画をアバター基本動作記憶部３２ａ´に記憶された基本アクションや基本表情から変更されるように制御する。

続いて、ステップＳ５０において、判断部３５が、ギフト提供部３５によりギフトが提供されたか否かを判断する。判断部３５が、ギフトが提供されたと判断した場合は、ステップＳ６０に進み、アバタ―動画制御部３６が、ギフトの種類や量に対応してアバタ―オブジェクトのアクションおよび表情をアバター基本動作記憶部３２ａ´に記憶された基本アクションおよび表情からギフト記憶部３２ｄに記憶されたアクションおよび表情に変更するように制御し、演出制御部３７が、ギフトの種類や量に対応して動画に演出を加えるように制御する。

ここで、ステップＳ６０におけるアバタ―動画制御部３６の判断部３５が関与した動画の制御方法を更に詳しく説明するとつぎのようになる。

すなわち、ステップＳ６１において、判断部３５が、更にギフト提供部３４によるギフトの提供が、アバターオブジェクト１２ａのアクションおよび／または表情が変更されている所定の制御時間ｔ内に行われたか否かを判断し、判断部３５が、ギフトの提供が、アバターオブジェクト１２ａのアクションおよび／または表情が変更されている所定の制御時間ｔ内に行われたと判断したときは、ステップＳ６３に進み、アバタ―動画制御部３６が、アバタ―オブジェクトのアクションおよび表情の動画をギフト記憶部３２ｄに記憶されたアクションおよび表情に更に変更するように制御する（図８）。

または、ステップＳ６２において、判断部３５が、更にギフト提供部３４により提供されたギフトが、ギフト記憶部３２ｄに予め関連付けて記憶されているか否かを判断し、判断部３５が、提供されたギフトが、ギフト記憶部３２ｄに予め関連付けて記憶されていると判断したときは、ステップＳ６３に進み、アバタ―動画制御部３６が、アバタ―オブジェクトのアクションおよび表情の動画をアバター基本動作記憶部３２ａ´に記憶された基本アクションおよび表情からギフト記憶部３２ｄに記憶されたアクションおよび表情に変更するように制御する（図９）。なお、図１０に示すように、ステップＳ６１およびステップＳ６２の処理を重畳させて行うこととしてもよい。

続いて、ステップＳ７０において、ユーザーが操作部１１を介して所要に操作して配信部３８による動画等の配信を終了する。

以上説明したように、本発明の動画配信システム１によれば、サーバコンピュータ３０は、曲を読み込む読み込み部３３と、読み込み部３３により読み込まれた曲に対応させてアバタ―オブジェクト１２ａのアクションの動画を制御するアバタ―動画制御部３６と、アバタ―動画制御部３６によりアクションを制御されたアバタ―オブジェクト１２ａの動画を、対応する曲とともに端末装置１０に配信する配信部３８と、を有することとしたので、読み込まれた曲に対応してアバタ―オブジェクト１２ａのアクションの動画を制御しつつ端末装置１０に配信することができる等、曲に対応した動画を提供することができる。

なお、本発明は上述した実施形態に限定されることなく種々の変形実施、応用実施が可能であることは勿論である。

例えば、歌詞記憶部３２ｃに、アバタ―オブジェクト１２ａの表情と歌詞を複数含む歌詞群との関係を予め関連させて記憶させる。そして、アバタ―動画制御部３６は、読み込み部３３により歌詞群に含まれるいずれかの歌詞が読み込まれたときに、歌詞記憶部３２ｃにより予め関連付けて記憶されたアバタ―オブジェクトの表情の動画と歌詞群との関係により、読み込まれた歌詞を含む歌詞群に対応してアバタ―オブジェクト１２ａの表情の動画を制御することとしてもよい。例えば、「楽しい、心地よい、うきうきする」といった喜びを連想させるような歌詞を含む歌詞群が読み込まれたときには、喜びを表す表情の動画になるように制御することが行われる。

かかる場合にあっては、アバタ―動画制御部３６は、読み込み部３３による一の歌詞群における歌詞の読み込み回数が複数回であるときに、複数回読み込まれた一の歌詞群に対応してアバタ―オブジェクト１２ａの表情の動画を制御することとしてもよい。なお、歌詞群に含まれる複数の歌詞は、同一又は類似の意味を持つ歌詞とすることが好ましい。

また、上述した実施形態においては、端末装置１０の表示部１２における画面の背景１２ｃは山となっているが、この画面の背景１２ｃは適宜変更可能である。

すなわち、例えば、ユーザーごとに画面の背景１２ｃを設定可能とすることとしたり、アバタ―オブジェクト１２ａのアクションや表情、ギフトの種類により画面の背景１２ｃを変更可能とすることとしてもよい。

更に、上述した実施形態にあっては、アバタ―動画制御部３６は、判断部３５が、ギフトの提供がアバターオブジェクト１２ａのアクションおよび表情が変更されている所定の制御時間ｔ内に行われたと判断したときに、アバタ―オブジェクト１２ａのアクションおよび表情の動画を変更することとしているが、アバターオブジェクト１２ａのアクションおよび表情のうちいずれか一方としても所要の効果を奏する。

すなわち、アバタ―動画制御部３６は、判断部３５が、ギフトの提供がアバターオブジェクト１２ａのアクションおよび／または表情が変更されている所定の制御時間ｔ内に行われたと判断したときに、アバタ―オブジェクト１２ａのアクションおよび／または表情の動画を変更することとすれば、所要の技術的効果を奏する。

更にまた、上述した実施形態にあっては、アバタ―動画制御部３６は、判断部３５が、アバタ―オブジェクト１２ａのアクションおよび表情とギフトとの関係が予め関連付けて記憶されていると判断したときに、アバタ―オブジェクト１２ａのアクションおよび表情の動画を変更することとしているが、アバターオブジェクト１２ａのアクションおよび表情のうちいずれか一方としても所要の効果を奏する。

すなわち、アバタ―動画制御部３６は、判断部３５が、アバタ―オブジェクト１２ａのアクションおよび／または表情とギフトとの関係が予め関連付けて記憶されていると判断したときに、アバタ―オブジェクト１２ａのアクションおよび／または表情の動画を変更することとすれば、所要の技術的効果を奏する。

また更に、アバタ―動画制御部３６は、ギフト提供部３４により提供されたギフトの量に対応してアバタ―オブジェクト１２ａのアクションおよび表情の動画を変更するように制御することとしているが、アバタ―オブジェクト１２ａのアクションおよび表情のうちいずれか一方としても所要の効果を奏する。

すなわち、アバタ―動画制御部３６は、ギフト提供部３４により提供されたギフトの量に対応してアバタ―オブジェクト１２ａのアクションおよび／または表情の動画を変更するように制御することとすれば、所要の技術的効果を奏する。

また、上述した実施形態においては、アバター動画制御部３６は、アクションや表情の動画を基本アクションや基本表情等から変更するように制御することとしているが、アバター動画制御部３６が制御を重畳して行う等して、アクションや表情の動画を基本アクションや基本表情から変更した後に、変更後のアクションや表情を更に変更する制御を行うこととしてもよい。

ＮＴ：ネットワーク通信回線
１：動画配信システム
１０：端末装置
１１：操作部
１２：表示部
１２ａ：アバターオブジェクト
１２ｂ：字幕スーパー
１２ｃ：画面の背景
１３：出力部
１４：集音部
３０：サーバコンピュータ
３１：入力部
３２：記憶部
３２ａ：音楽記憶部
３２ａ´：アバター基本動作記憶部
３２ｂ：曲テンポ記憶部
３２ｃ：歌詞記憶部
３２ｄ：ギフト記憶部
３２ｅ：音調記憶部
３２ｆ：音量記憶部
３２ｇ：演出記憶部
３３：読み込み部
３４：ギフト提供部
３５：判断部
３６：アバタ―動画制御部
３７：演出制御部
３８：配信部
１００：プログラム

Claims

曲とともに動画を配信する動画配信システムであって、
曲を読み込む読み込み部と、
前記読み込み部により読み込まれた曲に対応させてアバターオブジェクトのアクションの動画を制御するアバター動画制御部と、
前記アバターオブジェクトの表情と歌詞との関係を予め関連付けて記憶する歌詞記憶部と、
前記アバター動画制御部によりアクションを制御されたアバターオブジェクトの動画を配信する配信部と、
を有し、
前記読み込み部は、前記歌詞を読み込むとともに、
前記アバター動画制御部は、前記歌詞記憶部により予め関連付けて記憶された前記アバターオブジェクトの表情と前記歌詞との関係により、前記読み込まれた歌詞に対応して前記アバターオブジェクトの表情の動画を制御し、前記読み込み部による一の前記歌詞の読み込み回数が複数回であるときに、前記複数回読み込まれた一の歌詞に対応してアバターオブジェクトの表情の動画を制御することを特徴とする動画配信システム。
前記アバターオブジェクトのアクションと前記曲のテンポとの関係を予め関連付けて記憶する曲テンポ記憶部を有し、
前記読み込み部は、前記曲のテンポを読み込むとともに、
前記アバター動画制御部は、前記曲テンポ記憶部により予め関連付けて記憶された前記アバターオブジェクトのアクションと前記曲のテンポとの関係により、前記読み込まれた曲のテンポに対応して前記アバターオブジェクトのアクションの動画を制御することを特徴とする請求項１に記載の動画配信システム。
前記歌詞記憶部は、前記アバターオブジェクトの表情と前記歌詞を複数含む歌詞群との関係を予め関連させて記憶するとともに、
前記アバター動画制御部は、前記歌詞群に含まれるいずれかの歌詞が読み込まれたときに、前記歌詞記憶部により予め関連付けて記憶された前記アバターオブジェクトの表情の動画と前記歌詞を複数含む歌詞群との関係により、前記読み込まれた歌詞を含む歌詞群に対応して前記アバターオブジェクトの表情の動画を制御することを特徴とする請求項１または請求項２に記載の動画配信システム。
前記アバター動画制御部は、前記読み込み部による一の歌詞群における歌詞の読み込み回数が複数回であるときに、前記複数回読み込まれた一の歌詞群に対応して前記アバターオブジェクトの表情の動画を制御することを特徴とする請求項３に記載の動画配信システム。
曲とともに動画を配信する動画配信システムであって、
曲を読み込む読み込み部と、
前記読み込み部により読み込まれた曲に対応させてアバターオブジェクトのアクションの動画を制御するアバター動画制御部と、
前記アバター動画制御部によりアクションを制御された前記アバターオブジェクトの動画を配信する配信部と、
前記アバターオブジェクトに提供するギフトを記憶するギフト記憶部と、
前記ギフト記憶部に記憶されたギフトを前記アバターオブジェクトに提供するギフト提供部と、
を有し、
前記アバター動画制御部は、前記ギフト提供部によるギフトの提供が前記アバターオブジェクトのアクションおよび／または表情が変更されているときに、前記アバターオブジェクトのアクションおよび／または表情の動画を更に変更することを特徴とする動画配信システム。
前記ギフト記憶部は、前記アバターオブジェクトのアクションおよび／または表情と前記ギフトとの関係を予め関連付けて記憶し、前記アバター動画制御部により制御されたアバターオブジェクトのアクションおよび／または表情と前記アクションおよび／または表情に対して前記ギフト提供部により提供されたギフトとの関係が、前記ギフト記憶部により予め関連付けて記憶されて記憶されているか否かを判断する判断部を有し、
前記アバター動画制御部は、前記判断部が、前記アバターオブジェクトのアクションおよび／または表情と前記ギフトとの関係が予め関連付けて記憶されていると判断したときに、前記アバターオブジェクトのアクションおよび／または表情の動画を変更することを特徴とする請求項５に記載の動画配信システム。
前記曲の音調と前記アバターオブジェクトのアクションとの関係を予め関連付けて記憶する音調記憶部を有し、
前記読み込み部は、前記曲の音調を読み込むとともに、
前記アバター動画制御部は、前記音調記憶部により予め関連付けて記憶された前記曲の音調と前記アバターオブジェクトのアクションとの関係により、前記読み込まれた前記曲の音調に対応して前記アバターオブジェクトのアクションの動画を制御することを特徴とする請求項１乃至請求項６のいずれか一項に記載の動画配信システム。
前記曲の音量と前記アバターオブジェクトのアクションとの関係を予め関連付けて記憶する音量記憶部を有し、
前記読み込み部は、音楽から前記曲の音量を読み込むとともに、
前記アバター動画制御部は、前記音量記憶部により予め関連付けて記憶された前記曲の音量と前記アバターオブジェクトのアクションとの関係により、前記読み込まれた前記曲の音量に対応して前記アバターオブジェクトのアクションの動画を制御することを特徴とする請求項１乃至請求項７のいずれか一項に記載の動画配信システム。
前記動画の演出を制御する演出制御部を有することを特徴とする請求項１乃至請求項８のいずれか一項に記載の動画配信システム。
音を集音する集音部を更に有し、
前記配信部は、前記集音部に集音された声をリアルタイムに配信することを特徴とする請求項１乃至９のいずれか１項に記載の動画配信システム。
曲とともに動画を配信する動画配信システムのコンピュータを、
曲を読み込む読み込み部と、
前記読み込み部により読み込まれた曲に対応させてアバターオブジェクトのアクションの動画を制御するアバター動画制御部と、
前記アバターオブジェクトの表情と歌詞との関係を予め関連付けて記憶する歌詞記憶部と、
前記アバター動画制御部によりアクションを制御されたアバターオブジェクトの動画を配信する配信部として機能させ、
前記読み込み部が、前記歌詞を読み込むとともに、
前記アバター動画制御部が、前記歌詞記憶部により予め関連付けて記憶された前記アバターオブジェクトの表情と前記歌詞との関係により、前記読み込まれた歌詞に対応して前記アバターオブジェクトの表情の動画を制御し、前記読み込み部による一の前記歌詞の読み込み回数が複数回であるときに、前記複数回読み込まれた一の歌詞に対応してアバターオブジェクトの表情の動画を制御するように機能させることを特徴とするプログラム。
曲とともに動画を配信する動画配信システムのコンピュータを、
曲を読み込む読み込み部と、
前記読み込み部により読み込まれた曲に対応させてアバターオブジェクトのアクションの動画を制御するアバター動画制御部と、
前記アバター動画制御部によりアクションを制御された前記アバターオブジェクトの動画を配信する配信部と、
前記アバターオブジェクトに提供するギフトを記憶するギフト記憶部と、
前記ギフト記憶部に記憶されたギフトを前記アバターオブジェクトに提供するギフト提供部と、
として機能させ、
前記アバター動画制御部が、前記ギフト提供部によるギフトの提供が前記アバターオブジェクトのアクションおよび／または表情が変更されているときに、前記アバターオブジェクトのアクションおよび／または表情の動画を更に変更するように機能させることを特徴とするプログラム。
請求項１１または１２に記載されたプログラムを記憶することを特徴とするコンピュータ読み取り可能な記憶媒体。