JP7732453B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム

Info

Publication number
JP7732453B2
JP7732453B2 JP2022528533A JP2022528533A JP7732453B2 JP 7732453 B2 JP7732453 B2 JP 7732453B2 JP 2022528533 A JP2022528533 A JP 2022528533A JP 2022528533 A JP2022528533 A JP 2022528533A JP 7732453 B2 JP7732453 B2 JP 7732453B2
Authority
JP
Japan
Prior art keywords
viewer
viewing
experiencer
viewing position
viewers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022528533A
Other languages
English (en)
Other versions
JPWO2021246183A1 (ja
Inventor
孝悌 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2021246183A1 publication Critical patent/JPWO2021246183A1/ja
Application granted granted Critical
Publication of JP7732453B2 publication Critical patent/JP7732453B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three-dimensional [3D] modelling for computer graphics
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、現実感を損なうことなく仮想世界であることの利点が得られるようにした情報処理装置、情報処理方法、及び、プログラムに関する。
特許文献1には、現在行われている様々なイベントの映像を、複数のユーザが装着するヘッドマウントディスプレイに配信する技術が開示されている。
特開2019-139673号公報
現実世界でのコンサートや発表会等のイベントを仮想世界を用いて実施する場合、現実世界を忠実に再現しようとすると、仮想世界であることの利点が十分に得られない場合がある。
本技術はこのような状況に鑑みてなされたものであり、現実感を損なうことなく仮想世界であることの利点が得られるようにする。
本技術の情報処理装置、又は、プログラムは、仮想空間又は実空間において、所定の配信位置に仮想的に配置された配信者から配信されるコンテンツを視聴する複数の視聴者のうちの少なくとも1の視聴者について、体験者として前記コンテンツを視聴する視聴位置と前記配信位置との相対的な位置関係が前記体験者に対して決められた位置関係となるように、前記体験者の視聴位置と前記配信位置とを設定する処理部を有する情報処理装置、又は、そのような情報処理装置として、コンピュータを機能させるためのプログラムである。
本技術の情報処理方法は、処理部を有する情報処理装置の前記処理部は、仮想空間又は実空間において、所定の配信位置に仮想的に配置された配信者から配信されるコンテンツを視聴する複数の視聴者のうちの少なくとも1の視聴者について、体験者として前記コンテンツを視聴する視聴位置と前記配信位置との相対的な位置関係が前記体験者に対して決められた位置関係となるように、前記体験者の視聴位置と前記配信位置とを設定する情報処理方法である。
本技術においては、仮想空間又は実空間において、所定の配信位置に仮想的に配置された配信者から配信されるコンテンツを視聴する複数の視聴者のうちの少なくとも1の視聴者について、体験者として前記コンテンツを視聴する視聴位置と前記配信位置との相対的な位置関係が前記体験者に対して決められた位置関係となるように、前記体験者の視聴位置と前記配信位置とが設定される。
本技術が適用されたエンタテインメントシステムの全体構成の概略を例示したブロック図である。 図1のサーバシステム及びクライアントシステムにおける会場配置の設定に関する機能構成を例示したブロック図である。 イベント会場を構築する仮想空間での配信者(実写アバター)と視聴者(アバター)の配置の様子を例示した図である。 会場配置の第1設定形態の例1を説明する図である。 会場配置の第1設定形態の例2を説明する図である。 会場配置の第2設定形態の例1を説明する図である。 会場配置の第2設定形態の例2を説明する図である。 会場配置の第2設定形態の例3を説明する図である。 会場配置の第2設定形態の例4を説明する図である。 会場配置の第2設定形態の例5を説明する図である。 会場配置の第3設定形態の例1を説明する図である。 会場配置の第3設定形態の例2を説明する図である。 会場配置の第4設定形態の例1を説明する図である。 図15乃至図25において説明する第5乃至第9設定形態において用いる会場配置の構成を説明する図である。 会場配置の第5設定形態の例1を説明する図である。 会場配置の第5設定形態の例2を説明する図である。 会場配置の第6設定形態の例1を説明する図である。 会場配置の第6設定形態の例2を説明する図である。 会場配置の第6設定形態の例3を説明する図である。 会場配置の第6設定形態の例4を説明する図である。 会場配置の第7設定形態の例1を説明する図である。 会場配置の第8設定形態の例1を説明する図である。 会場配置の第8設定形態の例2を説明する図である。 会場配置の第9設定形態の例1を説明する図である。 会場配置の第9設定形態の例2を説明する図である。 図1のサーバシステムのコンテンツ配信に関する機能構成を例示したブロック図である。 多視点カメラ及びセンサを説明する図である。 スタジオでの配信者の撮影の様子を示した図である。 図1のクライアントシステムのコンテンツ受信等に関する機能構成を例示したブロック図である。 3Dオブジェクト制御部によるオブジェクト制御の第1形態を説明する図である。 3Dオブジェクト制御部によるオブジェクト制御の第1形態を説明する図である。 3Dオブジェクト制御部によるオブジェクト制御の第1形態の処理手順を示したフローチャートである。 3Dオブジェクト制御部によるオブジェクト制御の第2形態を説明する図である。 3Dオブジェクト制御部によるオブジェクト制御の第2形態を説明する図である。 3Dオブジェクト制御部によるオブジェクト制御の第2形態を説明する図である。 図33乃至図35のアバター配置の変形例を示した図である。 3Dオブジェクト制御部によるオブジェクト制御の第2形態の処理手順を示したフローチャートである。 一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
以下、図面を参照しながら本技術の実施の形態について説明する。
<<本技術が適用されたエンタテインメントシステム11>>
<概略全体構成>
図1は、本技術が適用されたエンタテインメントシステム11の全体構成の概略を例示したブロック図である。
図1のエンタテインメントシステム11は、コンサートや発表会等のイベント(ライブイベント等)をバーチャルリアリティ(VR)の技術を用いて開催するシステムである。エンタテインメントシステム11は、サーバシステム21、複数のクライアントシステム22、及び、ネットワーク23を有する。
サーバシステム21は、所定のイベントに参加した多数の視聴者に対して配信者が配信するコンテンツ(自己の映像や音声)を含む配信データを生成し、ネットワーク23を介して通信可能に接続されたクライアントシステム22に供給する。なお、本明細書では、見ることと聞くこととのいずれか一方のみの場合も視聴という用語を用いる。
クライアントシステム22は、サーバシステム21が開催するイベントに参加する各視聴者が使用するシステムである。1つのクライアントシステム22を複数の視聴者が使用することも可能であるが、本実施の形態では1つのクライアントシステム22を1人の視聴者が使用するものとする。したがって、クライアントシステム22の数は視聴者の数に相当する。なお、クライアントシステム22は特定の数に限定されない。
クライアントシステム22は、クライアントシステム22から供給された配信データに基づいて、イベント会場を構築する仮想空間に、ステージ、配信者の実写映像(例えば、実写映像を用いた実写アバター)、視聴者の分身であるアバター等の各種オブジェクト(3Dオブジェクト)を配置した映像や音声を生成して視聴者に提示する。
また、クライアントシステム22は、自己のクライアントシステム22を使用する視聴者の位置・姿勢・動作やアバターに関するデータを他のクライアントシステム22に供給する。また、クライアントシステム22は、他のクライアントシステム22を使用する他の視聴者の位置・姿勢・動作やアバターに関するデータをネットワーク23を介して取得する。なお、クライアントシステム22の間での各種データのやり取りは、サーバシステム21を介してもよいし、他のサーバを介しても良い。
クライアントシステム22は、他のクライアントシステム22から取得した他の視聴者の位置・姿勢・動作及びアバターに関するデータに基づいて、仮想空間に配置する他の視聴者のアバター等の位置・姿勢・動作を制御する。
さらに、クライアントシステム22は、視聴者同士でボイスチャットやテキストチャットを行う場合には、自己のクライアントシステム22を使用する視聴者の音声又は視聴者が入力したテキストをボイスチャット又はテキストチャットを行う相手先のクライアントシステム22にネットワーク23を介して供給する。また、クライアントシステム22は、相手先のクライアントシステム22からその視聴者の音声又はその視聴者が入力したテキストをネットワーク23を介して取得し、自己のクライアントシステム22を使用する視聴者に提示する。
ネットワーク23は、サーバシステム21及び情報処理装置61を互いに通信可能に接続する通信網である。ネットワーク23は、例えば、WAN(Wide Area Network)(インターネットを含む)、LAN(Local Area Network)、公衆回線網、又は、移動体通信網などの任意の通信網を含んでいてよい。
(サーバシステム21)
図1においてサーバシステム21は、例えば、配信サーバ41及び多視点カメラ42を有する。
配信サーバ41は、ネットワーク23を介したクライアントシステム22との通信を制御する。配信サーバ41は、例えばイベントへの参加を適正に申請したクライアントシステム22に対して通信接続を確立し、そのクライアントシステム22に対して配信データを供給する。
また、配信サーバ41は、クライアントシステム22に配信する配信者の実写映像や音声を伝送用のデータ(映像ストリームデータ及び音声ストリームデータ)として生成してクライアントシステム22に供給する。
例えば、配信サーバ41は、グリーンバックを背景にした配信者を多視点から撮影した映像を多視点カメラ42により取得する。多視点カメラ42は、配信者の周囲に複数台のカメラを配置し、それらのカメラで異なる位置から配信者を撮影する。
配信サーバ41は、多視点カメラ42から取得した多視点の映像から配信者以外の不要な物体の映像を除去した多視点映像を生成する。そして、配信サーバ41は、多視点映像を符号化したデータを、配信データに含まれる映像ストリームデータとしてクライアントシステム22に供給する。
また、配信サーバ41は、配信者の周囲に配置された複数のマイク又はアンビソニックスマイク(不図示)等により立体的に収音された配信者の音声を取得する。配信サーバ41は、取得した音声を符号化したデータを、配信データに含まれる音声ストリームデータとしてクライアントシステム22に供給する。
また、配信サーバ41は、イベント会場を構築する仮想空間に配置される各種オブジェクトの形状、テクスチャ、位置等を表すオブジェクトデータを配信データに含まれるメタデータとしてクライアントシステム22に供給する。メタデータには、仮想空間に配信者の分身となる実写映像を用いた実写アバターを配置する位置や、イベントに参加する視聴者の分身であるアバター(任意に作成されたキャラクターのアバター)を配置する位置を示す会場配置のデータが含まれる。仮想空間に配信者の実写アバターを配置する位置は、配信者がコンテンツを配信する配信位置であり、視聴者のアバターを配置する位置は、視聴者が配信者の配信するコンテンツを視聴する視聴位置である。
(クライアントシステム22)
クライアントシステム22は、例えば、情報処理装置61、ヘッドマウントディスプレイ62(以下、HMD(Head Mounted Display)62という)、及び、ハンドコントローラ63を有する。
情報処理装置61には、周辺機器を接続する通信インタフェースを介してHMD62及びハンドコントローラ63が接続される。
情報処理装置61は、例えば、HMD62の表示や音声を制御する据置型ゲーム機である。ただし、情報処理装置61は、パーソナルコンピュータ、タブレット端末、スマートフォン、携帯型ゲーム機等であってもよい。また、情報処理装置61は、HMD62に組み込まれていてもよい。
情報処理装置61は、ネットワーク23を介したサーバシステム21の配信サーバ41及び他のクライアントシステム22の情報処理装置61との通信を制御する。
情報処理装置61は、例えばハンドコントローラ63により検出されるユーザ操作に基づいて、サーバシステム21の配信サーバ41にログインし、サーバシステム21により開催されるイベントへの参加を申請する。イベントへの参加が認められると、情報処理装置61には、イベントに関する配信データが配信サーバ41から供給される。
ハンドコントローラ63は、例えば、操作ボタンやモーションセンサを有する。モーションセンサは、ハンドコントローラ63の直交3軸方向の平行移動や直交3軸周りの回転移動を検出し、ハンドコントローラ63の6DoF(six degrees of freedom)の位置・姿勢・動作を検出する。ハンドコントローラ63は、操作ボタンの操作、又は、ハンドコントローラ63の位置・姿勢・動作をユーザ操作として検出し、情報処理装置61に供給する。
また、情報処理装置61は、HMD62に表示させる映像やHMD62に着脱可能なヘッドフォンから出力させる音声を生成し、それらの映像や音声をHMD62に供給する。
情報処理装置61は、配信サーバ41からの配信データ等に基づいて、イベント会場を構築する仮想空間に、各種オブジェクトの3Dモデルを作成し、所定位置の視点から所定の視線方向で仮想空間(の各種オブジェクト)を撮影(レンダリング)した映像を生成する。各種オブジェクトの作成及びレンダリングは所定周期で繰り返し実行される。
レンダリングの際の視点は、情報処理装置61に接続されたHMD62を使用する視聴者が、配信者のコンテンツを視聴する視聴位置である。レンダリングの際の視線方向は、HMD62の視線方向である。情報処理装置61は、レンダリングにより生成した映像をHMD62に供給して表示させる。なお、レンダリングにより生成される映像は、例えば視差を有する右眼用の映像と左眼用の映像であり、3D映像である。ただし、映像は2D映像であってもよく、映像を表示する表示装置もHMD62でなくてもよい。
また、情報処理装置61は、配信サーバ41からの配信データに含まれる配信者の音声である音声ストリームデータに基づいて、仮想空間での配信者のコンテンツの配信位置から配信された音声をHMD62を使用する視聴者の視聴位置で視聴した場合のステレオ音声を生成し、HMD62に供給する。
HMD62は、ユーザ(視聴者)の頭部に装着され、映像を表示する表示部、音声を出力する着脱可能なヘッドフォン等を有する。HMD62は特定の形状に限定されない。
また、HMD62は、モーションセンサを有する。モーションセンサは、HMD62の直交3軸方向の平行移動や直交3軸周りの回転移動を検出し、HMD62の6DoFの位置・姿勢・動作を検出する。
情報処理装置61は、HMD62のモーションセンサにより検出されるHMD62の位置・姿勢・動作に基づいて、実空間でのHMD62の正面方向に対応する仮想空間での方向をレンダリングの際の視線方向として仮想空間のレンダリングを行う。また、情報処理装置61は、HMD62の表示部に表示可能な視野範囲(以下、HMD62の視野範囲)の映像を仮想空間のレンダリングにより生成する。
<オブジェクトの配置>
ここで、仮想空間に配置される各種オブジェクトとして、イベント会場のステージ、座席等の状態が変化しない固定のオブジェクトや、配信者の実写アバター(例えば、ボリュメトリック映像)や視聴者のアバター等の状態(位置・姿勢・動作)が変化する動作可能なオブジェクトがある。
固定のオブジェクトについては、情報処理装置61は、それらの形状、テクスチャ、及び、位置等を示すオブジェクトデータを配信サーバ41からの配信データに含まれるメタデータにより取得して、固定のオブジェクトの3Dモデルを仮想空間に作成し、レンダリングの際にテクスチャを3Dモデルにマッピングする。
動作可能なオブジェクトである各視聴者のアバターについては、情報処理装置61は、各視聴者の視聴位置を配信サーバ41からの配信データに含まれるメタデータ(会場配置のデータ)により取得し、形状、テクスチャ、位置・姿勢・動作を他のクライアントシステム22の情報処理装置61から取得する。各クライアントシステム22の情報処理装置61は、自己を使用する視聴者のアバターの基本的な形状、及び、テクスチャを示すアバターデータと、視聴者の位置・姿勢・動作(頭部及び手の位置・姿勢・動作)を示す6DoFデータとを他のクライアントシステム22の情報処理装置61にメタデータとして供給する。視聴者の頭部及び手の位置・姿勢・動作を示す6DoFデータは、HMD62及びハンドコントローラ63のそれぞれのモーションセンサにより検出される。
情報処理装置61は、各視聴者のアバターの形状、テクスチャ、及び、位置・姿勢・動作を、それぞれの視聴者が使用するクライアントシステム22の情報処理装置61からのメタデータ(アバターデータ及び6DoFデータ)により取得する。
情報処理装置61は、配信サーバ41からのメタデータにより取得した各視聴者のアバターの位置(視聴位置)と、各クライアントシステム22の情報処理装置61からのメタデータ(アバターデータ及び6DoFデータ)とにより取得した各視聴者のアバターの形状、テクスチャ、及び、位置・姿勢・動作とに基づいて、各視聴者のアバターの3Dモデルを仮想空間に作成し、レンダリングの際にテクスチャを3Dモデルにマッピングする。これにより、各視聴者の実写動作に対応して各視聴者のアバターが動作する映像が生成される。
動作可能なオブジェクトである配信者の実写アバターについては、情報処理装置61は、位置(配信位置)を配信サーバ41からの配信データに含まれるメタデータ(会場配置のデータ)により取得する。また、情報処理装置61は、配信サーバ41からの配信データに含まれる映像ストリームデータにより配信者の多視点映像を取得し、その多視点映像から配信者の3D形状データとテクスチャを生成する。そして、情報処理装置61は、実写アバターの位置と3D形状データとにより仮想空間に配信者の3Dモデルを作成し、レンダリングの際に実写映像から生成されたテクスチャを配信者の3Dモデルにマッピングする。これにより、配信者の分身として配信者の配信位置に配信者の実写映像を含む映像が生成される。
なお、情報処理装置61は、配信者の実写アバターを生成する方法に限らず、例えば、レンダリングの際の視点位置から配信位置を見たときの配信者の実写映像を、配信サーバ41から取得した多視点映像から生成して、配信位置に配置するようにしてもよい。配信者の分身として配信位置に配信者の実写映像を配置する方法は特定の方法に限定されない。また、配信者の分身は実写映像を使用しないアバターであってもよい。
また、実写アバターが配置される配信者の配信位置、及び、各視聴者のアバターが配置される各視聴者の視聴位置については、本実施の形態では所定の位置に固定されるものとする。ただし、例えば、視聴者の頭部の平行移動が一定量以上の場合には視聴者が全体的に移動したと判定して、その視聴者のアバターの視聴位置を移動させるようにしてもよい。
また、情報処理装置61は、自己のクライアントシステム22を使用する視聴者が、イベントへの参加中に、他のクライアントシステム22を使用する視聴者とボイスチャット又はテキストチャットを行う場合には、イベントに参加する際等に、ハンドコントローラ63等のユーザ操作に基づいてチャット(会話)を行う相手先の視聴者又はグループを配信サーバ41に対して指定する。
配信サーバ41は、情報処理装置61からのチャットの相手先の指定に基づいて、互いにチャットを行う視聴者が使用するクライアントシステム22の情報処理装置61をチャットモードに設定させ、それらの情報処理装置61の間での通信接続を確立させる。
チャットモードの情報処理装置61は、自己の情報処理装置61に接続されたHMD62等に設置されたマイクロフォンにより視聴者の音声を取得し、又は、自己の情報処理装置61に接続されたハンドコントローラ63等のユーザ操作により入力されたテキストを取得する。そして、チャットモードの情報処理装置61は、取得した音声又はテキストを符号化して音声ストリームデータ又はテキストデータとしてチャット相手の情報処理装置61に供給する。
チャットモードの情報処理装置61は、チャット相手の情報処理装置61から供給された音声ストリームデータ又はテキストデータを復号し、復号した音声をHMD62のヘッドフォンから出力させ、復号したテキストをHMD62の表示部に表示させる。このとき、仮想空間の視聴者のうちのどの視聴者から送られた音声又はテキストであるかを明示するため、情報処理装置61は、チャットの送信元の視聴者のアバターの位置に吹き出し画像を表示させ、テキストチャットの場合には、その吹き出し画像にチャットで送られたテキストを表示させるようにしてもよい。
<会場配置の設定>
次に、イベント会場を構築する仮想空間での各視聴者の視聴位置(コンテンツを視聴する視聴位置)と配信者の配信位置(コンテンツの配信位置)とを表す会場配置の設定について説明する。
図2は、図1のサーバシステム21及びクライアントシステム22における会場配置の設定に関する機能構成を例示したブロック図である。なお、図中、図1のエンタテインメントシステム11と対応する部分については、同一の符号を付してあり、その説明は省略する。また、図2では、図1の複数のクライアントシステム22のうちの任意の1つのクライアントシステム22の情報処理装置61が示されている。
また、会場配置は視聴者ごとに設定され、視聴者ごとに会場配置が相違する場合がある。以下において、設定した会場配置が適用される視聴者を体験者という。したがって、体験者が自己に対する会場配置により設定された自己の視聴位置は、体験者がHMD62により実際に体験する視聴位置である。一方、所定の視聴者以外の視聴者(体験者)に対する会場配置により設定されたその所定の視聴者の視聴位置は、その視聴者が実際に体験する視聴位置とは相違する場合がある。また、図2の説明では、図2に示されている情報処理装置61を使用する視聴者に対する会場配置を設定する場合を前提とするため、図2の情報処理装置61を使用する視聴者が体験者である。
図2において、サーバシステム21の配信サーバ41は、通信部81、会場情報送信部82、ユーザ情報取得部83、会場配置設定部84、配置情報送信部85、及び、ユーザ状態記憶部86を有する。
通信部81は、ネットワーク23を介した情報処理装置61との通信を制御する。
会場情報送信部82は、開催するイベントのイベント会場に関する情報(イベント会場情報)を通信部81を介して情報処理装置61に送信する。
図3は、イベント会場を構築する仮想空間での配信者(実写アバター)と視聴者(アバター)の配置の様子を例示した図である。
図3の仮想空間には、配信者T1の実写アバターが紙面手前方向に正面を向けて配置され、多数の視聴者Uのアバターが配信者T1の方向に正面を向けて配置される。
会場情報送信部82が情報処理装置61に送信するイベント会場情報は、図3のようにイベント会場を構築する仮想空間において、配信者T1の配信位置や視聴者Uの視聴位置として設定可能(選択可能)な位置を表した情報である。
図2において、ユーザ情報取得部83は、情報処理装置61からユーザ(視聴者)に関するユーザ情報を取得する。ユーザ情報には、ベスト視聴ポジション情報、仲間グループ情報、及び、ユーザ状態情報が含まれる。
ベスト視聴ポジション情報は、体験者の視聴位置と配信者T1の配信位置との相対的な位置関係であって、体験者がコンテンツを視聴する際に最適な視聴位置(ベスト視聴ポジション)であるとして指定(決定)した位置関係を表す。例えば、設定可能な視聴位置のうち、配信者の配信位置に対して最短距離となる視聴位置が一般的に配信者の正面であり、最適な視聴位置であると考えられる。体験者がこのような視聴位置を指定する場合に、体験者の視聴位置と配信者T1の配信位置との相対的な位置関係が最短距離となる位置関係(の視聴位置)を指定する。
また、体験者の視聴位置と配信者T1の配信位置との相対的な位置関係について、配信者T1の配信位置に対して所定角度斜めの所定距離離れた視聴位置となる位置関係(の視聴位置)というように任意の位置関係を体験者が指定できるようにしてもよい。また、体験者が指定可能な複数種類の位置関係が事前に用意され、その中から体験者が最適な位置関係を体験者が選択できるようにしてもよい。また、設定可能(選択可能)な視聴位置のうちのいずれかの視聴位置を体験者が直接指定する場合であってもよい。この場合も体験者の視聴位置と配信者T1の配信位置との相対的な位置関係を体験者が指定する場合に相当する。
また、体験者の視聴位置と配信者T1の配信位置との相対的な位置関係が、例えば、それらが最短距離となる位置関係、又は、配信位置に対して最適な視聴環境となる最適視聴位置として事前に決められた位置関係に自動的に設定されるようにしてもよい。
なお、以下において、体験者の視聴位置が最適な視聴位置となるように体験者の視聴位置と配信者T1の配信位置との相対的な位置関係を指定することを、単に、体験者(視聴者)の最適視聴位置の指定ともいう。
仲間グループ情報は、体験者が属する仲間グループ(のメンバ)の情報である。例えば、イベントへの参加中にチャットを行う視聴者又はグループが自動的に仲間グループに設定される。但し、チャットのグループとは別に仲間グループを指定できるようにしてもよい。また、仲間グループの指定された視聴者の情報処理装置61は自動的にチャットが可能なチャットモードに設定されるようにしてよい。
ユーザ状態情報は、体験者の位置・姿勢・動作(頭部及び手の位置・姿勢・動作)等の情報である。本実施の形態では視聴者の視聴位置は固定されるものとするが、視聴者の移動に伴い視聴位置が変更される場合には体験者の位置の情報がユーザ状態情報に含まれる。
ユーザ情報取得部83は、情報処理装置61から取得したこれらのユーザ情報を会場配置設定部84に供給し、また、ユーザ状態情報をユーザ状態記憶部86に供給する。
会場配置設定部84は、情報処理装置61からのユーザ情報に基づいて体験者に対する会場配置を設定する。会場配置の設定については、いくつかの形態があり、詳細を後述する。会場配置設定部84は、設定した会場配置の情報(配置情報)を配置情報送信部85に供給する。
配置情報送信部85は、会場配置設定部84からの会場配置の情報を通信部81に供給し、通信部81を介して上述の会場配置のデータとして情報処理装置61に送信する。
ユーザ状態記憶部86は、ユーザ情報取得部83からのユーザ状態情報のうち最新の情報を記憶する。ユーザ状態記憶部86に記憶されたユーザ状態情報は、例えば、配信者T1がコンテンツの配信を開始する前(ライブ前)の待機場面、コンテンツを配信している際(ライブ中)のコンテンツ配信場面、コンテンツの配信が終了した後(ライブ後)の余韻場面のそれぞれの場面の切り替わり時において、通信が一時的に遮断されるような場合であっても、仮想空間の各視聴者Uのアバターの状態(位置・姿勢・動作や視聴位置)を場面の切り替わり前と後とで維持させるために参照される。
図2において、クライアントシステム22は、通信部101,会場情報取得部102、ベスト視聴ポジション指定部103、仲間グループ指定部104、ユーザ状態取得部105、ユーザ情報送信部106、及び、配置情報取得部107を有する。
通信部101は、情報処理装置61においてネットワーク23を介した配信サーバ41との通信を制御する。
会場情報取得部102は、情報処理装置61において、配信サーバ41の会場情報送信部82から送信されたイベント会場情報を通信部101を介して取得する。イベント会場情報は、図3に示したようにイベント会場を構築する仮想空間において、配信者T1の配信位置や視聴者Uの視聴位置として設定可能(選択可能)な位置を表した情報である。
会場情報取得部102で取得されたイベント会場情報は、例えば、HMD62の表示部に表示され、体験者が視聴位置(体験者の視聴位置と配信者T1の配信位置との相対的な位置関係)を指定する場合に参照される。
ベスト視聴ポジション指定部103は、例えば、情報処理装置61とハンドコントローラ63とで構成される。ベスト視聴ポジション指定部103は、体験者がハンドコントローラ63等を用いて指定する。体験者の最適視聴位置の指定については、配信サーバ41のユーザ情報取得部83で説明したとおりであるので、ここでは説明を省略する。
ベスト視聴ポジション指定部103により指定された体験者の視聴位置と配信者T1の配信位置との相対的な位置関係は、ベスト視聴ポジション情報としてユーザ情報送信部106に供給される。
仲間グループ指定部104は、例えば、情報処理装置61とハンドコントローラ63とで構成される。仲間グループ指定部104は、体験者がメンバとして参加したい仲間グループをハンドコントローラ63を用いて指定する。仲間グループを作成する方法については特定の方法に限定されない。例えば、任意の視聴者が作成した仲間グループの情報が配信サーバ41から各クライアントシステム22に提供されて、仲間グループ指定部104によりメンバとして参加する仲間グループを指定できるようにしてもよい。また、例えば、イベントへの参加中にチャットを行う視聴者又はグループが自動的に仲間グループに設定されるようにしてもよい。仲間グループ指定部104により指定された仲間グループに関する情報は、仲間グループ情報としてユーザ情報送信部106に供給される。
ユーザ状態取得部105は、例えば、情報処理装置61とHMD62により構成される。ユーザ状態取得部105は、HMD62のモーションセンサにより体験者の位置・姿勢・動作(頭部及び手の位置・姿勢・動作)等を取得する。ユーザ状態取得部105により取得された体験者の位置・姿勢・動作等の情報は、ユーザ情報送信部106に供給される。
ユーザ情報送信部106は、ベスト視聴ポジション指定部103、仲間グループ指定部104、及び、ユーザ状態取得部105からそれぞれ供給されたベスト視聴ポジション情報、仲間グループ情報、及び、ユーザ状態情報をユーザ情報として通信部101に供給し、通信部101を介して配信サーバ41に供給する。
配置情報取得部107は、配信サーバ41の配置情報送信部85から送信される会場配置のデータを通信部101を介して取得する。会場配置のデータは、配信サーバ41の会場配置設定部84により設定された体験者に対する会場配置を表し、仮想空間における配信者T1の配信位置、及び、体験者の視聴位置、体験者以外の視聴者の視聴位置を表す。
情報処理装置61は、配置情報取得部107により取得された会場配置のデータに従って、イベント会場を構築する仮想空間において、配信者T1の配信位置に実写アバター(3Dモデル)を配置し、各視聴者の視聴位置に各視聴者のアバター(3Dモデル)を配置する。なお、体験者の視聴位置には、体験者のアバターを配置しなくてもよいし、頭部より下の胴体部分のみのアバターを配置してもよい。
また、情報処理装置61は、仮想空間をレンダリングする際の視点を体験者の視点位置に設定する。
なお、配信サーバ41の処理部(通信部81、会場情報送信部82、ユーザ情報取得部83、会場配置設定部84、配置情報送信部85、及び、ユーザ状態記憶部86)による会場配置の設定は、イベントに参加して同時にコンテンツを視聴する視聴者ごとに実行され、各視聴者をそれぞれ体験者とした場合の各視聴者に対する会場配置が設定される。そして、各視聴者に対する会場配置のデータが、各視聴者の使用するクライアントシステム22の情報処理装置61に供給される。ただし、各視聴者に対する会場配置の設定は、配信サーバ41で行うのではなく、各視聴者のそれぞれが使用するクライアントシステム22の情報処理装置61において各視聴者のそれぞれに対応する会場配置を設定するようにしてもよい。また、会場配置の設定は、配信サーバ41以外のサーバが行ってもよい。
<会場配置の設定(会場配置設定部84の処理)>
次に、図2の会場配置設定部84による会場配置の設定形態について説明する。会場配置の設定形態としては、第1乃至第9設定形態が例示される。第1乃至第9設定形態は、いずれも体験者の視聴位置と配信者の配信位置との相対的な位置関係が体験者の最適視聴位置の指定等によって決められた位置関係となるように、体験者の視聴位置と前記配信位置とを設定する形態である。また、第1乃至第4設定形態は、体験者の視聴位置と配信者の配信位置とのうち、配信者の配信位置を優先的に設定する形態であり、第5乃至第8設定形態は、体験者の視聴位置を優先的に設定する形態である。第9設定形態は、第1乃至第8設定形態のいずれとも異なる形態である。
<会場配置の第1設定形態>
(例1)
図4は、会場配置の第1設定形態の例1を説明する図である。なお、図4は、イベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。
会場配置の第1設定形態は、配信者の配信位置を所定位置に固定する場合の例である。
図4は、所定の視聴者U1に対する会場配置を設定した場合を示し、視聴者U1を体験者Vとした場合を示す。
また、視聴者U1は、自己が使用するクライアントシステム22のベスト視聴ポジション指定部103(図2参照)により、視聴者の視聴位置と配信者の配信位置との間の距離が最短距離となるときの視聴位置を最適視聴位置として指定したものとする。以下において最適視聴位置の指定についての記載がない場合には、視聴者の視聴位置と配信者の配信位置との間の距離が最短距離となるときの視聴位置(又は配信位置)が最適視聴位置として指定されたものとする。また、最適視聴位置は、視聴者の視聴位置と配信者の配信位置との間の距離が最短距離となるだけでなく、配信位置に配置される配信者の実写アバターに対して正面であることを条件としてもよい。
図4の仮想空間において、視聴可能位置DP(m、n)、DP(m、n+1)、DP(m、n-1)、DP(m+1、n)、・・・は、視聴者の視聴位置として設定可能な位置を表す(以下、視聴可能位置の全体をDPで表す)。
会場配置の第1設定形態では、配信者T1の配信位置P(T1)は、所定の位置P0に設定される。
また、体験者Vである視聴者U1の視聴位置P(U1)は、配信者T1の配信位置P(T1)に対して正面の最短距離となる視聴可能位置DP(m、n)に設定される。即ち、視聴者U1の視聴位置P(U1)を視聴可能位置DPの各々の位置に変更した場合に、配信位置P(T1)から視聴者U1の視聴位置P(U1)へと向かうベクトルBP(U1、T1)が、最小の大きさのベクトルBP0となるときの視聴位置P(U1)である視聴可能位置DP(m、n)に視聴者U1の視聴位置P(U1)が設定される。
(第1設定形態の例1における処理)
図2の配信サーバ41の会場配置設定部84は、体験者Vである視聴者U1のベスト視聴ポジション情報をユーザ情報取得部83から取得する。視聴者U1のベスト視聴ポジション情報とは、視聴者U1が使用するクライアントシステム22のベスト視聴ポジション指定部103により指定された最適視聴位置に関する情報である。そして、会場配置設定部84は、視聴者U1のベスト視聴ポジション情報により指定された条件に適合するように、配信者T1の配信位置P(T1)と体験者Vである視聴者U1の視聴位置P(U1)とを設定する。
そこで、会場配置設定部84は、配信者T1の配信位置P(T1)を例えばステージの中央部に相当する位置P0に設定する。なお、配信者T1の配信位置P(T1)は、視聴者にコンテンツを提供する側が指定した位置であってもよいし、体験者Vが指定した位置であってもよい。体験者Vが配信位置P(T1)を指定する場合には、体験者ごと(視聴者ごと)に配信位置P(T1)が相違していてもよい。また、複数の配信者が存在する場合に、体験者Vが、どの配信者に対して最適視聴位置で視聴したいかを選択できるようにしてもよい。その場合においては、体験者Vが選択した配信者及びその配信者の配信位置を、図4の配信者T1及び配信位置P(T1)とする。下記の第1乃至第3設定形態における配信者T1の配信位置P(T1)についても同様である。
また、会場配置設定部84は、視聴可能位置DPのうち、配信者T1の配信位置P(T1)との間の距離が最短距離となる視聴可能位置DP(m、n)に体験者Vである視聴者U1の視聴位置P(U1)を最適視聴位置として設定する。
尚、会場配置の第1設定形態では、体験者V以外の視聴者の視聴位置は任意の方法で設定される。
ここで、配信者T1の配信位置P(T1)から視聴者U1の視聴位置P(U1)へと向かうベクトルBP(U1、T1)は、視聴位置P(U1)と配信位置P(T1)との相対的な位置関係を表す。
本第1設定形態では、ベスト視聴ポジション指定部103(図2参照)により、視聴者(体験者)の視聴位置と配信者の配信位置との間の距離が最短距離となるときの視聴位置を最適視聴位置として指定された場合(最適視聴位置と配信位置との相対的な位置関係(の条件)が最短距離になるようにすることを指定された場合)を仮定した。この場合に限らず、会場配置設定部84は、ベスト視聴ポジション指定部103により指定された任意の条件(位置関係)に対して、次のような処理を行う。会場配置設定部84は、視聴者U1の視聴位置P(U1)を、設定可能な位置(視聴可能位置DP)の範囲内で変更した場合に、配信者T1の配信位置P(T1)から視聴者U1の視聴位置P(U1)へと向かうベクトルBP(U1、T1)が、ベスト視聴ポジション指定部103(ベスト視聴ポジション情報)により指定された位置関係に最も適合するときの視聴位置P(U1)を最適視聴位置として検出する。そして、会場配置設定部84は、検出した最適視聴位置に視聴者U1の視聴位置P(U1)を設定する。
図4においては、視聴者U1の視聴位置P(U1)を視聴可能位置DPの各々の位置に変更した場合に、配信位置P(T1)から視聴位置P(U1)へと向かうベクトルが、最小の大きさのベクトルBP0となるときの視聴位置P(U1)である視聴可能位置DP(m、n)に視聴者U1の視聴位置P(U1)が設定される。
また、最適視聴位置は、最適な視聴環境となる視聴位置を意味するが、最適な視聴環境は視聴者の嗜好にもよるので、視聴者(体験者)の指定やシステム等によって決められる視聴位置と言い換えることができる。
また、最適視聴位置を指定する方法として、具体的には、視聴可能な位置のうちから最適視聴位置を直接的に指定する第1の指定方法がある。別の方法としては、最適視聴位置と配信者T1の配信位置P(T1)との相対的な位置関係(そのもの)を指定する第2の指定方法がある。
一方、現実世界と異なる仮想世界の利点として、配信者T1の配信位置P(T1)を視聴者ごとに変更することもできる。即ち、配信者T1の配信位置P(T1)を変更することによって固定された視聴位置を最適視聴位置とすることができ、又は、視聴位置と配信者T1の配信位置P(T1)との両方の位置を変更することによって視聴位置を最適視聴位置とすることができる。
このように配信者T1の配信位置P(T1)が固定されない場合の最適視聴位置の指定方法としては、第2の指定方法以外に、固定された視聴位置に対して、配信者T1の配信位置P(T1)を直接的に指定する第3の指定方法がある。
本明細書において、直接的か間接的かを問わずに、最適視聴位置(又は視聴位置)を指定するという場合、最適視聴位置(又は視聴位置)と配信者T1の配信位置P(T1)との相対的な位置関係を指定するという場合、配信者T1の配信位置P(T1)を指定するという場合、又は、これらに相当する趣旨の記載の場合には、具体的な指定方法として、第1乃至第3の指定方法のうちの任意の方法を採用しうるものとする。また、最適視聴位置(視聴位置)、相対的な位置関係、及び、配信位置P(T1)の指定に限らず、それらの決定、設定等についても同様である。
(例2)
図5は、会場配置の第1設定形態の例2を説明する図である。なお、図5は、図4と同じイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。
図5は、図4における視聴者U1とは相違する視聴者U2に対する会場配置を設定した場合を示し、視聴者U2を体験者Vとした場合を示す。
会場配置の第1設定形態では、図5の仮想空間において、配信者T1の配信位置P(T1)は、図4の場合と同様に所定の位置P0に設定される。
また、体験者Vである視聴者U2の視聴位置P(U2)は、図4の視聴者U1が体験者Vであるときの視聴者U1の視聴位配P(U1)と同じように、配信者T1の配信位置P(T1)に対して正面の最短距離となる視聴可能位置DP(m、n)に設定される。
即ち、視聴者U2の視聴位置P(U2)を視聴可能位置DPの各々の位置に変更した場合に、配信者T1の配信位置P(T1)から視聴者U2の視聴位置P(U2)へと向かうベクトルBP(U2、T1)が、最小の大きさのベクトルBP0となるときの視聴位置P(U2)である視聴可能位置DP(m、n)に視聴者U2の視聴位置P(U2)が設定される。
(第1設定形態の例2における処理)
図2の配信サーバ41の会場配置設定部84は、体験者Vである視聴者U2のベスト視聴ポジション情報をユーザ情報取得部83から取得する。視聴者U2のベスト視聴ポジション情報は、視聴者U2が使用するクライアントシステム22のベスト視聴ポジション指定部103により指定された最適視聴位置に関する情報である。そして、会場配置設定部84は、視聴者U2のベスト視聴ポジション情報により指定された条件に適合するように、配信者T1の配信位置P(T1)と体験者Vである視聴者U2の視聴位置P(U2)とを設定する。
尚、会場配置設定部84での配信者T1の配信位置P(T1)と体験者Vである視聴者U2の視聴位置P(U2)との設定処理は、図4の場合と同じであるので説明を省略する。
以上の会場配置の第1設定形態によれば、配信者T1が配信するコンテンツを、同時に、かつ、同一空間で多数の視聴者が視聴する場合であっても、各視聴者は、それぞれ最適な視聴位置で配信者T1が配信するコンテンツを視聴することができる。
<会場配置の第2設定形態>
(例1)
図6は、会場配置の第2設定形態の例1を説明する図である。なお、図6は、図4と同じイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。図6の仮想空間における配信者T1の配信位置P(T1)と視聴可能位置DPとは、図4と同じであり、視聴可能位置DPについては一部のみの符号を表記している。
会場配置の第2設定形態は、配信者の配信位置を所定位置に固定する場合の例である。
図6は、仲間グループG1の所定の視聴者G1-U1に対する会場配置を設定した場合を示し、視聴者G1-U1を体験者Vとした場合を示す。
また、視聴者G1-U1は、自己が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により、仲間グループG1に属することを指定したものとする。また、仲間グループG1には、視聴者G1-U1乃至G1-U6が属しているものとする。
会場配置の第2設定形態では、図6の仮想空間において、配信者T1の配信位置P(T1)は、図4の場合と同様に所定の位置P0に設定される。
また、体験者Vである視聴者G1-U1の視聴位置P(G1-U1)は、配信者T1の配信位置P(T1)に対して正面の最短距離となる視聴可能位置DP(m、n)に設定される。
即ち、視聴者G1-U1の視聴位置P(G1-U1)を視聴可能位置DPの各々の位置に変更した場合に、配信者T1の配信位置P(T1)から視聴者G1-U1の視聴位置P(G1-U1)へと向かうベクトルBP(G1-U1、T1)が、最小の大きさのベクトルBP0となるときの視聴位置P(G1-U1)である視聴可能位置DP(m、n)に視聴者G1-U1の視聴位置P(G1-U1)が設定される。
また、視聴者G1-U1の視聴位置P(G1-U1)の近くには、視聴者G1-U1が属する仲間グループG1のメンバである視聴者G1-U2乃至G1-U6の視聴位置が設定される。視聴者G1-U1乃至G1-U6の視聴位置は、それぞれ視聴可能位置DP(m、n)、DP(m、n+1)、DP(m、n-1)、DP(m+1、n)、DP(m+1、n+1)、DP(m+1、n-1)(図4参照)である。
(第2設定形態の例1における処理)
図2の配信サーバ41の会場配置設定部84は、体験者Vである視聴者G1-U1のベスト視聴ポジション情報をユーザ情報取得部83から取得する。視聴者G1-U1のベスト視聴ポジション情報は、視聴者G1-U1が使用するクライアントシステム22のベスト視聴ポジション指定部103により指定された最適視聴位置に関する情報である。そして、会場配置設定部84は、視聴者G1-U1のベスト視聴ポジション情報により指定された条件に適合するように、配信者T1の配信位置P(T1)と体験者Vである視聴者G1-U1の視聴位置P(G1-U1)とを設定する。
そこで、会場配置設定部84は、配信者T1の配信位置P(T1)を例えばステージの中央部に相当する位置P0に設定する。
また、会場配置設定部84は、視聴可能位置DPのうち、配信者T1の配信位置P(T1)との間の距離が最短距離となる視聴可能位置DP(m、n)に体験者Vである視聴者G1-U1の視聴位置P(G1-U1)を最適視聴位置として設定する。
即ち、会場配置設定部84は、視聴者G1-U1の視聴位置P(G1-U1)を視聴可能位置DPの各々の位置に変更した場合に、配信位置P(T1)から視聴位置P(G1-U1)へと向かうベクトルBP(G1-U1、T1)が、ベスト視聴ポジション指定部103(ベスト視聴ポジション情報)により指定された位置関係に最も適合するときの視聴位置P(G1-U1)を最適視聴位置として検出する。そして、会場配置設定部84は、検出した最適視聴位置に視聴者G1-U1の視聴位置P(G1-U1)を設定する。
また、会場配置設定部84は、体験者Vである視聴者G1-U1の仲間グループ情報をユーザ情報取得部83(図2参照)から取得する。視聴者G1-U1の仲間グループ情報は、視聴者G1-U1が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により指定された仲間グループに関する情報である。会場配置設定部84は、取得した視聴者G1-U1の仲間グループ情報により、体験者Vである視聴者G1-U1が属する仲間グループと、そのメンバを検出する。そして、会場配置設定部84は、検出した仲間グループの体験者V以外のメンバの視聴位置を設定する。
このとき、検出した仲間グループのメンバのそれぞれの視聴位置は、それらの視聴位置のうちのいずれかに隣接するように設定される。さらには、仲間グループのメンバのそれぞれの視聴位置のうちの最も離間した視聴位置の間の距離が最小となるように、メンバのそれぞれの視聴位置を設定するようにしてもよい。
なお、仲間グループのメンバ内での視聴位置の配置(位置関係)は、上述の条件を満たすように事前に決められている。仲間グループのメンバ内での視聴位置の配置を決める方法としては、例えば、仲間グループのメンバ同士で決めてもよいし、ランダムに決めてもよいし、配信サーバ41にログインした順(イベントへの参加を申請した順)に配信者T1の配信位置に近い位置から配置されるように決めてもよい。
図6の例では、体験者Vである視聴者G1-U1が属する仲間グループは、仲間グループG1であり、仲間グループG1のメンバは、視聴者G1-U1乃至G1-U6である。
この場合に、会場配置設定部84は、体験者Vである視聴者G1-U1が属する仲間グループG1のメンバである視聴者G1-U1乃至G1-U6の視聴位置を、仲間グループG1のメンバ内での視聴位置の配置に従って設定する。ただし、体験者Vである視聴者G1-U1の視聴位置P(G1-U1)は、上述のように最適視聴位置とした視聴可能位置DP(m、n)に設定される。
図6の例によれば、仲間グループG1のメンバ内では、前列と後列の2列に分けられて視聴位置が配置されるように決められている。前列中央には体験者Vである視聴者G1-U1が配置され、前列右側には視聴者G1-U2が配置され、前列左側には視聴者G1-U3が配置される。また、後列中央には視聴者G1-U4が配置され、後列右側には視聴者G1-U5が配置され、後列左側には視聴者G1-U6が配置される。
会場配置設定部84は、このように仲間グループG1のメンバ内での視聴位置の配列に従って、かつ、体験者Vである視聴者G1-U1の視聴位置P(G1-U1)が最適視聴位置である視聴可能位置DP(m、n)となるように仲間グループG1の視聴者G1-U1以外のメンバの視聴位置を設定する。
これによって、図6のように、仲間グループG1に属する視聴者G1-U1乃至G1-U6の視聴位置が、それぞれ視聴可能位置DP(m、n)、DP(m、n+1)、DP(m、n-1)、DP(m+1、n)、DP(m+1、n+1)、DP(m+1、n-1)(図4参照)に設定される。
なお、仲間グループG1のメンバ以外の他の視聴者の視聴位置は任意の方法で設定される。
(例2)
図7は、会場配置の第2設定形態の例2を説明する図である。なお、図7は、図4と同じイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。図7の仮想空間における配信者T1の配信位置P(T1)と視聴可能位置DPとは、図4と同じであり、視聴可能位置DPについては一部のみの符号を表記している。
図7は、図6における視聴者G1-U1とは相違する視聴者G1-U2であって、図6と同じ仲間グループG1に属する視聴者G1-U2に対する会場配置を設定した場合を示し、視聴者G1-U2を体験者Vとした場合を示す。
また、視聴者G1-U2は、自己が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により、仲間グループG1に属することを指定したものとする。また、仲間グループG1には、図6の場合と同様に視聴者G1-U1乃至G1-U6が属しているものとする。
また、視聴者G1-U2は、自己が使用するクライアントシステム22のベスト視聴ポジション指定部103(図2参照)により、視聴者の視聴位置と配信者の配信位置との間の距離が最短距離となるときの視聴位置を最適視聴位置として指定したものとする。
会場配置の第2設定形態では、図7の仮想空間において、配信者T1の配信位置P(T1)は、図6の場合と同様に所定の位置P0に設定される。
また、体験者Vである視聴者G1-U2の視聴位置P(G1-U2)は、配信者T1の配信位置P(T1)に対して正面の最短距離となる視聴可能位置DP(m、n)に設定される。
即ち、視聴者G1-U2の視聴位置P(G1-U2)を視聴可能位置DPの各々の位置に変更した場合に、配信者T1の配信位置P(T1)から視聴者G1-U2の視聴位置P(G1-U2)へと向かうベクトルBP(G1-U2、T1)が、最小の大きさのベクトルBP0となるときの視聴位置P(G1-U2)である視聴可能位置DP(m、n)に視聴者G1-U2の視聴位置P(G1-U2)が設定される。
また、視聴者G1-U2の視聴位置P(G1-U2)の近くには、視聴者G1-U2が属する仲間グループG1のメンバである視聴者G1-U1、及び、G1-U3乃至G1-U6の視聴位置が設定される。視聴者G1-U1乃至G1-U6の視聴位置は、それぞれ視聴可能位置DP(m、n-1)、DP(m、n)、DP(m、n-2)、DP(m+1、n-1)、DP(m+1、n)、DP(m+1、n-2)(図4参照)である。
(第2設定形態の例2における処理)
図2の配信サーバ41の会場配置設定部84は、体験者Vである視聴者G1-U2のベスト視聴ポジション情報をユーザ情報取得部83から取得する。視聴者G1-U2のベスト視聴ポジション情報は、視聴者G1-U2が使用するクライアントシステム22のベスト視聴ポジション指定部103により指定された最適視聴位置に関する情報である。そして、会場配置設定部84は、視聴者G1-U2のベスト視聴ポジション情報により指定された条件に適合するように、配信者T1の配信位置P(T1)と体験者Vである視聴者G1-U2の視聴位置P(G1-U2)とを設定する。
そこで、会場配置設定部84は、配信者T1の配信位置P(T1)を図6と同様に位置P0に設定する。
また、会場配置設定部84は、視聴可能位置DPのうち、配信者T1の配信位置P(T1)との間の距離が最短距離となる視聴可能位置DP(m、n)に体験者Vである視聴者G1-U2の視聴位置P(G1-U2)を最適視聴位置として設定する。
即ち、会場配置設定部84は、視聴者G1-U2の視聴位置P(G1-U2)を視聴可能位置DPの各々の位置に変更した場合に、配信位置P(T1)から視聴位置P(G1-U2)へと向かうベクトルBP(G1-U2、T1)が、ベスト視聴ポジション指定部103(ベスト視聴ポジション情報)により指定された位置関係に最も適合するときの視聴位置P(G1-U2)を最適視聴位置として検出する。そして、会場配置設定部84は、検出した最適視聴位置に視聴者G1-U2の視聴位置P(G1-U2)を設定する。
また、会場配置設定部84は、体験者Vである視聴者G1-U2の仲間グループ情報をユーザ情報取得部83(図2参照)から取得する。視聴者G1-U2の仲間グループ情報は、視聴者G1-U2が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により指定された仲間グループに関する情報である。会場配置設定部84は、取得した視聴者G1-U2の仲間グループ情報により、体験者Vである視聴者G1-U2が属する仲間グループと、そのメンバを検出する。そして、会場配置設定部84は、検出した仲間グループの体験者V以外のメンバの視聴位置を設定する。
図7の例では、体験者Vである視聴者G1-U2が属する仲間グループは、仲間グループG1であり、仲間グループG1のメンバは、視聴者G1-U1乃至G1-U6である。
この場合に、会場配置設定部84は、体験者Vである視聴者G1-U2が属する仲間グループG1のメンバである視聴者G1-U1乃至G1-U6の視聴位置を、仲間グループG1のメンバ内で事前に決められている視聴位置の配置に従って設定する。ただし、体験者Vである視聴者G1-U2の視聴位置P(G1-U2)は、上述のように最適視聴位置とした視聴可能位置DP(m、n)に設定される。
仲間グループG1のメンバ内での視聴位置の配置は、図6で示したように事前に決められている。
会場配置設定部84は、このように仲間グループG1のメンバ内で事前に決められた視聴位置の配列に従って、かつ、体験者Vである視聴者G1-U2の視聴位置P(G1-U2)が最適視聴位置である視聴可能位置DP(m、n)となるように設定する。これによって、図7のように、仲間グループG1に属する視聴者G1-U1乃至G1-U6の視聴位置が、それぞれ視聴可能位置DP(m、n-1)、DP(m、n)、DP(m、n-2)、DP(m+1、n-1)、DP(m+1、n)、DP(m+1、n-2)(図4参照)に設定される。
なお、仲間グループG1のメンバ以外の他の視聴者の視聴位置は任意の方法で設定される。
図7における視聴者G1-U1乃至G1-U6の視聴位置の配置は、図6における視聴者G1-U1乃至G1-U6の視聴位置の配置に対して、全体として左側に1列分移動している。これによれば、体験者Vが仲間グループG1のメンバのうちのいずれであっても、仲間グループG1のメンバ内での視聴者G1-U1乃至G1-U6の視聴位置の配置(相対的な位置関係)が同一となるように設定される。
(例3)
図8は、会場配置の第2設定形態の例3を説明する図である。なお、図8は、図4と同じイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。図8の仮想空間における配信者T1の配信位置P(T1)と視聴可能位置DPとは、図4と同じであり、視聴可能位置DPについては一部のみの符号を表記している。
図8は、図7の場合と比較して、視聴者G1-U2が自己の使用するクライアントシステム22のベスト視聴ポジション指定部103(図2参照)により指定した最適視聴位置が相違し、それ以外の条件は図7の場合と共通する。
体験者Vである視聴者G1-U2は、自己が使用するクライアントシステム22のベスト視聴ポジション指定部103により、視聴者の視聴位置が配信者の配信位置に対して斜め方向の視聴可能位置DP(m+1、n+2)の位置を指定したものとする。ただし、最適視聴位置の指定は、視聴可能位置DP(m+1、n+2)を直接的に指定する場合に限らない。
会場配置の第2設定形態では、図8の仮想空間において、配信者T1の配信位置P(T1)は、図6の場合と同様に所定の位置P0に設定される。
また、体験者Vである視聴者G1-U2の視聴位置P(G1-U2)は、配信者T1の配信位置P(T1)に対して斜め方向の視聴可能位置DP(m+1、n+2)に設定される。
即ち、視聴者G1-U2の視聴位置P(G1-U2)を視聴可能位置DPの各々の位置に変更した場合に、配信者T1の配信位置P(T1)から視聴者G1-U2の視聴位置P(G1-U2)へと向かうベクトルBP(G1-U2、T1)が、体験者Vである視聴者G1-U2が指定した最適視聴位置の条件に最も適合するときの視聴位置P(G1-U2)である視聴可能位置DP(m+1、n+2)に視聴者G1-U2の視聴位置P(G1-U2)が設定される。
また、視聴者G1-U2の視聴位置P(G1-U2)の近くには、視聴者G1-U2が属する仲間グループG1のメンバである視聴者G1-U1、及び、G1-U3乃至G1-U6の視聴位置が設定される。視聴者G1-U1乃至G1-U6の視聴位置は、それぞれ視聴可能位置DP(m+1、n+1)、DP(m+1、n+2)、DP(m、n)、DP(m+2、n+1)、DP(m+2、n+2)、DP(m+2、n)(図4参照)である。
(第2設定形態の例3における処理)
図2の配信サーバ41の会場配置設定部84は、体験者Vである視聴者G1-U2のベスト視聴ポジション情報をユーザ情報取得部83から取得する。視聴者G1-U2のベスト視聴ポジション情報は、視聴者G1-U2が使用するクライアントシステム22のベスト視聴ポジション指定部103により指定された最適視聴位置に関する情報である。そして、会場配置設定部84は、視聴者G1-U2のベスト視聴ポジション情報により指定された条件に適合するように、配信者T1の配信位置P(T1)と体験者Vである視聴者G1-U2の視聴位置P(G1-U2)とを設定する。
そこで、会場配置設定部84は、配信者T1の配信位置P(T1)を図6と同様に位置P0に設定する。
また、会場配置設定部84は、視聴者G1-U2の視聴位置P(G1-U2)を視聴可能位置DPの各々に変更したときのベクトルBP(G1-U2、T1)のうち、ベスト視聴ポジション指定部103(ベスト視聴ポジション情報)により指定された位置関係に最も適合するベクトルが得られたときの視聴位置P(G1-U2)を最適視聴位置として検出する。そして、会場配置設定部84は、検出した最適視聴位置に視聴者G1-U2の視聴位置P(G1-U2)を設定する。図8の例では、最適視聴位置として視聴可能位置DP(m+1、n+2)が検出される。
また、会場配置設定部84は、体験者Vである視聴者G1-U2の仲間グループ情報をユーザ情報取得部83(図2参照)から取得する。視聴者G1-U2の仲間グループ情報は、視聴者G1-U2が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により指定された仲間グループに関する情報である。会場配置設定部84は、取得した視聴者G1-U2の仲間グループ情報により、体験者Vである視聴者G1-U2が属する仲間グループG1と、そのメンバである視聴者G1-U1乃至G1-U6を検出する。
会場配置設定部84は、検出した仲間グループG1の視聴者G1-U2以外のメンバである視聴者G1-U1、G1-U3乃至G1-U6の視聴位置を仲間グループG1のメンバ内での視聴位置の配置に従って設定する。仲間グループG1のメンバ内での視聴位置の配置は、図6で示したように事前に決められている。
これによって、図8のように、仲間グループG1に属する視聴者G1-U1乃至G1-U6の視聴位置が、それぞれ視聴可能位置DP(m+1、n+1)、DP(m+1、n+2)、DP(m+1、n)、DP(m+2、n+1)、DP(m+2、n+2)、DP(m+2、n)(図4参照)に設定される。
なお、仲間グループG1のメンバ以外の他の視聴者の視聴位置は任意の方法で設定される。
図8における視聴者G1-U1乃至G1-U6の視聴位置の配置は、図6における視聴者G1-U1乃至G1-U6の視聴位置の配置に対して、全体として右側に2列分、後側に1列分移動している。これによれば、体験者Vが仲間グループG1のメンバのうちのいずれであっても、また、体験者Vが指定する最適視聴位置がどのような位置であっても、仲間グループG1のメンバ内での視聴者G1-U1乃至G1-U6の視聴位置の配置(相対的な位置関係)が同一となるように設定される。
(例4)
図9は、会場配置の第2設定形態の例4を説明する図である。なお、図9は、図4と同じイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。図9の仮想空間における配信者T1の配信位置P(T1)と視聴可能位置DPとは、図4と同じであり、視聴可能位置DPについては一部のみの符号を表記している。
図9は、図6における視聴者G1-U1とは相違する視聴者G2-U1であって、図6と相違する仲間グループG2に属する視聴者G2-U1に対する会場配置を設定した場合を示し、視聴者G2-U1を体験者Vとした場合を示す。
また、視聴者G2-U1は、自己が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により、仲間グループG2に属することを指定したものとする。また、仲間グループG2には、視聴者G2-U1乃至G2-U6が属しているものとする。
会場配置の第2設定形態では、図9の仮想空間において、配信者T1の配信位置P(T1)は、図6の場合と同様に所定の位置P0に設定される。
また、体験者Vである視聴者G2-U1の視聴位置P(G2-U1)は、配信者T1の配信位置P(T1)に対して正面の最短距離となる視聴可能位置DP(m、n)に設定される。
即ち、視聴者G2-U1の視聴位置P(G2-U1)を視聴可能位置DPの各々の位置に変更した場合に、配信者T1の配信位置P(T1)から視聴者G2-U1の視聴位置P(G2-U1)へと向かうベクトルBP(G2-U1、T1)が、最小の大きさのベクトルBP0となるときの視聴位置P(G2-U1)である視聴可能位置DP(m、n)に視聴者G2-U1の視聴位置P(G2-U1)が設定される。
また、視聴者G2-U1の視聴位置P(G2-U1)の近くには、視聴者G2-U1が属する仲間グループG2のメンバである視聴者G2-U2乃至G2-U6の視聴位置が設定される。視聴者G2-U1乃至G2-U6の視聴位置は、それぞれ視聴可能位置DP(m、n)、DP(m、n+1)、DP(m、n-1)、DP(m+1、n)、DP(m+1、n+1)、DP(m+1、n-1)(図4参照)である。
(第2設定形態の例4における処理)
図2の配信サーバ41の会場配置設定部84は、体験者Vである視聴者G2-U1のベスト視聴ポジション情報をユーザ情報取得部83から取得する。視聴者G2-U1のベスト視聴ポジション情報は、視聴者G2-U1が使用するクライアントシステム22のベスト視聴ポジション指定部103により指定された最適視聴位置に関する情報である。そして、会場配置設定部84は、視聴者G2-U1のベスト視聴ポジション情報により指定された条件に適合するように、配信者T1の配信位置P(T1)と体験者Vである視聴者G2-U1の視聴位置P(G2-U1)とを設定する。
そこで、会場配置設定部84は、配信者T1の配信位置P(T1)を図6と同様に位置P0に設定する。
また、会場配置設定部84は、視聴可能位置DPのうち、配信者T1の配信位置P(T1)との間の距離が最短距離となる視聴可能位置DP(m、n)に体験者Vである視聴者G2-U1の視聴位置P(G2-U1)を最適視聴位置として設定する。
即ち、会場配置設定部84は、視聴者G2-U1の視聴位置P(G2-U1)を視聴可能位置DPの各々に変更したときのベクトルBP(G2-U1、T1)のうち、ベスト視聴ポジション指定部103(ベスト視聴ポジション情報)により指定された位置関係に最も適合するベクトルが得られたときの視聴位置P(G2-U1)を最適視聴位置として検出する。そして、会場配置設定部84は、検出した最適視聴位置に視聴者G2-U1の視聴位置P(G2-U1)を設定する。
また、会場配置設定部84は、体験者Vである視聴者G2-U1の仲間グループ情報をユーザ情報取得部83(図2参照)から取得する。視聴者G2-U1の仲間グループ情報は、視聴者G2-U1が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により指定された仲間グループに関する情報である。会場配置設定部84は、取得した視聴者G2-U1の仲間グループ情報により、体験者Vである視聴者G2-U1が属する仲間グループG2と、そのメンバである視聴者G2-U1乃至G2-U6を検出する。
会場配置設定部84は、検出した仲間グループG2の視聴者G2-U1以外のメンバである視聴者G2-U2乃至G2-U6の視聴位置を、仲間グループG2のメンバ内で事前に決められている視聴位置の配置に従って設定する。
図9の例によれば、仲間グループG2のメンバ内では、前列と後列の2列に分けられて視聴位置が配置されるように決められている。前列中央には体験者Vである視聴者G2-U1が配置され、前列右側には視聴者G2-U2が配置され、前列左側には視聴者G2-U3が配置される。また、後列中央には視聴者G2-U4が配置され、後列右側には視聴者G2-U5が配置され、後列左側には視聴者G2-U6が配置される。
会場配置設定部84は、このように仲間グループG2のメンバ内での視聴位置の配列に従って、かつ、体験者Vである視聴者G2-U1の視聴位置P(G2-U1)が最適視聴位置である視聴可能位置DP(m、n)となるように設定する。
これによって、図9のように、仲間グループG2に属する視聴者G2-U1乃至G2-U6の視聴位置が、それぞれ視聴可能位置DP(m、n)、DP(m、n+1)、DP(m、n-1)、DP(m+1、n)、DP(m+1、n+1)、DP(m+1、n-1)(図4参照)に設定される。
なお、仲間グループG2のメンバ以外の他の視聴者の視聴位置は任意の方法で設定される。
図9と図6とを比較すると、体験者Vの周辺部の視聴者は、体験者Vが属する仲間グループごと入れ替わる。
(例5)
図10は、会場配置の第2設定形態の例5を説明する図である。なお、図10は、図4と同じイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。図10の仮想空間における配信者T1の配信位置P(T1)と、視聴可能位置DPとは図4と同じであり、視聴可能位置DPについては一部のみの符号を表記している。
図10は、図9における視聴者G2-U1とは相違する視聴者G2-U2であって、図9と同じ仲間グループG2に属する視聴者G2-U2に対する会場配置を設定して場合を示し、視聴者G2-U2を体験者Vとした場合を示す。
また、視聴者G2-U2は、自己が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により、仲間グループG2に属することを指定したものとする。また、仲間グループG2には、図9の場合と同様に視聴者G2-U1乃至G2-U6が属しているものとする。
また、視聴者G2-U2は、自己が使用するクライアントシステム22のベスト視聴ポジション指定部103(図2参照)により、視聴者の視聴位置と配信者の配信位置との間の距離が最短距離となるときの視聴位置を最適視聴位置として指定したものとする。
会場配置の第2設定形態では、図10の仮想空間において、配信者T1の配信位置P(T1)は、図6の場合と同様に所定の位置P0に設定される。
また、体験者Vである視聴者G2-U2の視聴位置P(G2-U2)は、配信者T1の配信位置P(T1)に対して正面の最短距離となる視聴可能位置DP(m、n)に設定される。
即ち、視聴者G2-U2の視聴位置P(G2-U2)を視聴可能位置DPの各々の位置に変更した場合に、配信者T1の配信位置P(T1)から視聴者G2-U2の視聴位置P(G2-U2)へと向かうベクトルBP(G2-U2、T1)が、最小の大きさのベクトルBP0となるときの視聴位置P(G2-U2)である視聴可能位置DP(m、n)に視聴者G2-U2の視聴位置P(G2-U2)が設定される。
また、視聴者G2-U2の視聴位置P(G2-U2)の近くには、視聴者G2-U2が属する仲間グループG2のメンバである視聴者G2-U1、及び、G2-U3乃至G2-U6の視聴位置が設定される。視聴者G2-U1乃至G2-U6の視聴位置は、それぞれ視聴可能位置DP(m、n-1)、DP(m、n)、DP(m、n-2)、DP(m+1、n-1)、DP(m+1、n)、DP(m+1、n-2)(図4参照)である。
(第2設定形態の例5における処理)
図2の配信サーバ41の会場配置設定部84は、体験者Vである視聴者G2-U2のベスト視聴ポジション情報をユーザ情報取得部83から取得する。視聴者G2-U2のベスト視聴ポジション情報は、視聴者G2-U2が使用するクライアントシステム22のベスト視聴ポジション指定部103により指定された最適視聴位置に関する情報である。そして、会場配置設定部84は、視聴者G2-U2のベスト視聴ポジション情報により指定された条件に適合するように、配信者T1の配信位置P(T1)と体験者Vである視聴者G2-U2の視聴位置P(G2-U2)とを設定する。
そこで、会場配置設定部84は、配信者T1の配信位置P(T1)を図6と同様に位置P0に設定する。
また、会場配置設定部84は、視聴可能位置DPのうち、配信者T1の配信位置P(T1)との間の距離が最短距離となる視聴可能位置DP(m、n)に体験者Vである視聴者G2-U2の視聴位置P(G2-U2)を最適視聴位置として設定する。
即ち、会場配置設定部84は、視聴者G2-U2の視聴位置P(G2-U2)を視聴可能位置DPの各々に変更したときのベクトルBP(G2-U2、T1)のうち、ベスト視聴ポジション指定部103(ベスト視聴ポジション情報)により指定された位置関係に最も適合するベクトルが得られたときの視聴位置P(G2-U2)を最適視聴位置として検出する。そして、会場配置設定部84は、検出した最適視聴位置に視聴者G2-U2の視聴位置P(G2-U2)を設定する。
また、会場配置設定部84は、体験者Vである視聴者G2-U2の仲間グループ情報をユーザ情報取得部83(図2参照)から取得する。視聴者G2-U2の仲間グループ情報は、視聴者G2-U2が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により指定された仲間グループに関する情報である。会場配置設定部84は、取得した視聴者G2-U2の仲間グループ情報により、体験者Vである視聴者G2-U2が属する仲間グループG2と、そのメンバである視聴者G2-U1乃至G2-U6を検出する。
会場配置設定部84は、検出した仲間グループG2の視聴者G2-U2以外のメンバである視聴者G2-U1、G2-U3乃至G2-U6の視聴位置を仲間グループG2のメンバ内での視聴位置の配置に従って設定する。仲間グループG2のメンバ内での視聴位置の配置は、図9で示したように事前に決められている。
これによって、図10のように、仲間グループG2に属する視聴者G2-U1乃至G2-U6の視聴位置が、それぞれ視聴可能位置DP(m、n-1)、DP(m、n)、DP(m、n-2)、DP(m+1、n-1)、DP(m+1、n)、DP(m+1、n-2)(図4参照)に設定される。
なお、仲間グループG2のメンバ以外の他の視聴者の視聴位置は任意の方法で設定される。
図10における視聴者G2-U1乃至G2-U6の視聴位置の配置は、図9における視聴者G2-U1乃至G2-U6の視聴位置の配置に対して、全体として左側に1列分移動している。これによれば、体験者Vが仲間グループG2のメンバのうちのいずれであっても、仲間グループG2のメンバ内での視聴者G2-U1乃至G2-U6の視聴位置の配置(相対的な位置関係)が同一となるように設定される。
以上の会場配置の第2設定形態によれば、配信者が配信するコンテンツを同時に、かつ、同一空間で多数の視聴者が視聴する場合であっても、各視聴者は、それぞれ最適な視聴位置で配信者が配信するコンテンツを視聴することができる。
また、仲間グループ等のグループを設定している場合に、体験者の近くには仲間とする視聴者が配置される。したがって、イベントへの参加中に体験者は仲間の様子を実際に会っている感覚で容易に知ることができる。また、仲間グループでボイスチャットやテキストチャットを行えるようにした場合、又は、チャットを行う視聴者同士又はグループを仲間グループとした場合に、イベントへの参加中であっても容易にチャットを行うことができる。
また、体験者が仲間グループに属する視聴者のうちのいずれかにかかわらず、仲間グループのメンバ内(メンバ間)での視聴位置の配置が同じである。そのため、例えば、同一の仲間グループに属する視聴者の間で互いに相手が例えば右側にいると認識するような事象が生じない。例えば、チャットを行う場合等に相互に向き合うつもりが反対を向いてしまうというような事態が生じない。
<会場配置の第3設定形態>
(例1)
図11は、会場配置の第3設定形態の例1を説明する図である。なお、図11は、図4と同じイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。図11の仮想空間における配信者T1の配信位置P(T1)と視聴可能位置DPとは、図4と同じであり、視聴可能位置DPについては一部のみの符号を表記している。
会場配置の第3設定形態は、配信者の配信位置を所定位置に固定する場合の例である。
図11は、仲間グループG1に属する視聴者G1-U1乃至G1-U6のうちの任意の視聴者に対する会場配置を設定した場合を示し、視聴者G1-U1乃至G1-U6のうちの全ての視聴者に対する会場配置が同一となる場合を示す。
また、仲間グループG1には代表者が決められているものとし、代表者は、自己が使用するクライアントシステム22のベスト視聴ポジション指定部103(図2参照)により、仲間グループG1としての位置と配信者の配信位置との間の距離が最短距離となるときの視聴位置を最適視聴位置として指定したものとする。なお、仲間グループG1としての位置と配信者の配信位置との相対的な位置関係の指定については後述する。
会場配置の第3設定形態では、図11の仮想空間において、配信者T1の配信位置P(T1)は、図4の場合と同様に所定の位置P0に設定される。
また、仲間グループG1としての位置(後述)が、配信者T1の配信位置P(T1)に対して正面の最短距離となる位置に設定される。
即ち、仲間グループG1としての位置を設定可能な位置の範囲内で変更した場合に、配信者T1の配信位置P(T1)から仲間グループG1としての位置へと向かうベクトルBP(G1、T1)が、最小の大きさのベクトルとなるときの仲間グループG1としての位置が最適視聴位置として検出される。そして、検出された最適視聴位置に仲間グループG1としての位置が設定される。
図11の例では、視聴者G1-U1の視聴位置P(G1-U1)が仲間グループG1としての位置として設定されており、視聴可能位置DP(m、n)に視聴者G1-U1の視聴位置P(G1-U1)が設定される。
また、視聴者G1-U1の視聴位置P(G1-U1)の近くには、視聴者G1-U1が属する仲間グループG1のメンバである視聴者G1-U2乃至G1-U6の視聴位置が設定される。視聴者G1-U1乃至G1-U6の視聴位置は、それぞれ視聴可能位置DP(m、n)、DP(m、n+1)、DP(m、n-1)、DP(m+1、n)、DP(m+1、n+1)、DP(m+1、n-1)(図4参照)である。
(第3設定形態の例1における処理)
図2の配信サーバ41の会場配置設定部84は、仲間グループG1に属する任意の視聴者(体験者V)に対する会場配置の設定を行う際に、体験者Vの仲間グループ情報をユーザ情報取得部83から取得する。体験者Vの仲間グループ情報は、体験者Vが使用するクライアントシステム22の仲間グループ指定部104(図2参照)により指定された仲間グループに関する情報である。会場配置設定部84は、取得した体験者Vの仲間グループ情報により、体験者Vが属する仲間グループG1と、そのメンバである視聴者G1-U1乃至G1-U6を検出する。
また、会場配置設定部84は、体験者Vが属する仲間グループG1のベスト視聴ポジション情報をユーザ情報取得部83から取得する。仲間グループG1のベスト視聴ポジション情報は、仲間グループG1としての最適視聴位置に関する情報であり、仲間グループG1の代表者が使用するクライアントシステム22のベスト視聴ポジション指定部103により指定され、ユーザ情報取得部83に取得される。仲間グループG1の代表者は事前に決められているものとする。
ここで、仲間グループ(全体)としての位置とは、仲間グループのメンバが一体として仮想空間に配置される視聴位置を意味する。具体的には、例えば、仲間グループG1のメンバは、第2設定形態と同様に仲間グループG1のメンバ内で事前に決められた視聴位置の配置に従って視聴可能位置DPに配置される。このとき、仲間グループG1に属する所定の視聴者の視聴位置を基準にして、その基準の視聴者の視聴位置を視聴可能位置DPのうちのどの位置に設定するかを決めることによって、仲間グループG1の全てのメンバの視聴位置が決定される。その基準とする視聴者の視聴位置が仲間グループG1としての位置を表すものとする。
仲間グループとしての位置は、例えば、その仲間グループのメンバ内での視聴位置の配置において最も前側の中央に配置される視聴者の視聴位置であるとする。
なお、仲間グループの基準とする位置は所定の視聴者の視聴位置ではなくてもよく、例えば、仲間グループのメンバの視聴位置を包含する領域の中心位置等であってもよい。
図11の例では、仲間グループG1のメンバである視聴者G1-U1乃至G1-U6のそれぞれの仲間グループG1のメンバ内での視聴位置の配置が、図6の場合と同様に事前に決められている。そして、その仲間グループG1のメンバ内での視聴位置の配置において最も前側の中央に配置される視聴者G1-U1の視聴位置P(G1-U1)が、仲間グループG1としての位置に設定される。
また、仲間グループG1の代表者は、事前に自己が使用するクライアントシステム22のベスト視聴ポジション指定部103により、仲間グループG1としての位置についての最適視聴位置を指定しているものとする。
図11の例では、仲間グループG1の代表者は、仲間グループG1としての位置である視聴者G1-U1の視聴位置P(G1-U1)の最適視聴位置を指定しているものとする。以下において、仲間グループG1の代表者は、仲間グループG1としての位置である視聴者G1-U1の視聴位置P(G1-U1)の最適視聴位置として、視聴者G1-U1の視聴位置P(G1-U1)と配信者T1の配信位置P(T1)との間の距離が最短距離となるときの視聴位置を指定したものとする。
会場配置設定部84は、配信者T1の配信位置P(T1)を例えば図4の場合と同様にステージの中央部に相当する位置P0に設定する。
また、会場配置設定部84は、視聴可能位置DPのうち、配信者T1の配信位置P(T1)との間の距離が最短距離となる視聴可能位置DP(m、n)に仲間グループG1としての位置である視聴者G1-U1の視聴位置P(G1-U1)を最適視聴位置として設定する。
即ち、会場配置設定部84は、仲間グループG1としての位置である視聴者G1-U1の視聴位置P(G1-U1)を視聴可能位置DPの各々の位置に変更した場合に、配信位置P(T1)から仲間グループG1へと向かうベクトルBP(G1、T1)(=P(G1-U1、T1))が、ベスト視聴ポジション指定部103(ベスト視聴ポジション情報)により指定された位置関係に最も適合する視聴位置P(G1-U1)を最適視聴位置として検出する。そして、会場配置設定部84は、検出した最適視聴位置に視聴者G1-U1の視聴位置P(G1-U1)を設定する。
また、会場配置設定部84は、仲間グループG1のメンバ内での視聴位置の配置に従って、かつ、仲間グループG1としての位置である視聴者G1-U1の視聴位置P(G1-U1)が視聴可能位置DP(m、n)となるように仲間グループG1の視聴者G1-U1以外のメンバの視聴位置も設定する。
これによって、図11のように、仲間グループG1に属する視聴者G1-U1乃至G1-U6の視聴位置が、それぞれ視聴可能位置DP(m、n)、DP(m、n+1)、DP(m、n-1)、DP(m+1、n)、DP(m+1、n+1)、DP(m+1、n-1)(図4参照)に設定される。
なお、仲間グループG1のメンバ以外の他の視聴者の視聴位置は任意の方法で設定される。
会場配置の第3設定形態では、体験者Vが仲間グループG1のメンバのうちのいずれかであれば、図11の会場配置が設定される。したがって、仲間グループG1のメンバである視聴者G1-U1乃至G1-U6の各々に対する会場配置が全て共通する。即ち、会場配置の第3設定形態では、仲間グループ単位で会場配置が設定される。
(例2)
図12は、会場配置の第3設定形態の例2を説明する図である。なお、図12は、図4と同じイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。図12の仮想空間における配信者T1の配信位置P(T1)と視聴可能位置DPとは、図4と同じであり、視聴可能位置DPについては一部のみの符号を表記している。
図12は、図11の仲間グループG1とは相違する仲間グループG2に属する視聴者G2-U1乃至G2-U6のうちの任意の視聴者に対する会場配置を設定した場合を示し、視聴者G2-U1乃至G2-U6のうちの全ての視聴者に対する会場配置が同一となる場合を示す。
また、仲間グループG2には代表者が決められているものとし、代表者は、自己が使用するクライアントシステム22のベスト視聴ポジション指定部103(図2参照)により、仲間グループG2としての位置と配信者の配信位置との間の距離が最短距離となるときの視聴位置を最適視聴位置として指定したものとする。
会場配置の第3設定形態では、図12の仮想空間において、配信者T1の配信位置P(T1)は、図11の場合と同様に所定の位置P0に設定される。
また、仲間グループG2としての位置が、配信者T1の配信位置P(T1)に対して正面の最短距離となる位置に設定される。
即ち、仲間グループG2としての位置を設定可能な位置の範囲内で変更した場合に、配信者T1の配信位置P(T1)から仲間グループG2としての位置へと向かうベクトルBP(G2、T1)が、最小の大きさのベクトルとなるときの仲間グループG2としての位置が最適視聴位置として検出される。そして、検出された最適視聴位置に仲間グループG2としての位置が設定される。
図12の例では、視聴者G2-U1の視聴位置P(G2-U1)が仲間グループG2としての位置として設定されており、視聴可能位置DP(m、n)に視聴者G2-U1の視聴位置P(G2-U1)が設定される。
また、視聴者G2-U1の視聴位置P(G2-U1)の近くには、視聴者G2-U1が属する仲間グループG2のメンバである視聴者G2-U2乃至G2-U6の視聴位置が設定される。視聴者G2-U1乃至G2-U6の視聴位置は、それぞれ視聴可能位置DP(m、n)、DP(m、n+1)、DP(m、n-1)、DP(m+1、n)、DP(m+1、n+1)、DP(m+1、n-1)(図4参照)である。
なお、仲間グループG2のメンバ以外の他の視聴者の視聴位置は任意の方法で設定される。
図12の会場配置の設定処理は、図11の場合と同じであるので説明を省略する。
以上の会場配置の第3設定形態によれば、配信者が配信するコンテンツを同時に、かつ、同一空間で多数の視聴者が視聴する場合であっても、各視聴者は、仲間グループ単位で最適な視聴位置で配信者が配信するコンテンツを視聴することができる。
また、仲間グループ等のグループを設定している場合に、体験者の近くには仲間とする視聴者が配置される。したがって、イベントへの参加中に体験者は仲間の様子を実際に会っている感覚で容易に知ることができる。また、仲間グループでボイスチャットやテキストチャットを行えるようにした場合、又は、チャットを行う視聴者同士又はグループを仲間グループとした場合に、イベントへの参加中であっても容易にチャットを行うことができる。
また、体験者が仲間グループに属する視聴者のうちのいずれかにかかわらず、仲間グループのメンバ内(メンバ間)での視聴位置の配置が同じである。そのため、例えば、同一の仲間グループに属する視聴者の間で互いに相手が例えば右側にいると認識するような事象が生じない。例えば、チャットを行う場合等に相互に向き合うつもりが反対を向いてしまうというような事態が生じない。
<会場配置の第4設定形態>
(例1)
図13は、会場配置の第4設定形態の例1を説明する図である。なお、図13は、図4と同じイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。図13の仮想空間における配信者T1の配信位置P(T1)と視聴可能位置DPとは、図4と同じであり、視聴可能位置DPについては一部のみの符号を表記している。
会場配置の第4設定形態は、図11及び図12の第3設定形態の変形例であり、配信者の配信位置を変更する場合の例である。
図13は、仲間グループG2に属する視聴者G2-U2に対する会場配置を設定した場合を示し、視聴者G2-U2を体験者Vとした場合を示す。
また、視聴者G2-U2は、自己が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により、仲間グループG2に属することを指定したものとする。また、仲間グループG2には、視聴者G2-U1乃至G2-U6が属しているものとする。
また、視聴者G2-U2は、自己が使用するクライアントシステム22のベスト視聴ポジション指定部103(図2参照)により、視聴者(体験者)の視聴位置と配信者の配信位置との間の距離が最短距離となるときの視聴位置を最適視聴位置として指定したものとする。
また、仲間グループG2には代表者が決められているものとし、代表者は、自己が使用するクライアントシステム22のベスト視聴ポジション指定部103(図2参照)により、仲間グループG2としての位置と配信者の配信位置との間の距離が最短距離となるときの視聴位置を最適視聴位置として指定したものとする。
会場配置の第4設定形態では、図13の仮想空間において、仲間グループG2としての位置は、図12と全く同様に、配信者T1の配信位置P(T1)が本来設定される所定の固定された位置P0に対して正面の最短距離となる位置に設定される。
即ち、仲間グループG2としての位置を設定可能な位置の範囲内で変更した場合に、位置P0から仲間グループG2としての位置へと向かうベクトルが、最小の大きさのベクトルとなるときの仲間グループG2としての位置が最適視聴位置として検出される。そして、検出された最適視聴位置に仲間グループG2としての位置が設定される。
図13の例では、図12と同様に、視聴者G2-U1の視聴位置P(G2-U1)が仲間グループG2としての位置として設定されており、視聴可能位置DP(m、n)に視聴者G2-U1の視聴位置P(G2-U1)が設定される。
また、視聴者G2-U1の視聴位置P(G2-U1)の近くには、視聴者G2-U1が属する仲間グループG2のメンバである視聴者G2-U2乃至G2-U6の視聴位置が設定される。視聴者G2-U1乃至G2-U6の視聴位置は、それぞれ視聴可能位置DP(m、n)、DP(m、n+1)、DP(m、n-1)、DP(m+1、n)、DP(m+1、n+1)、DP(m+1、n-1)(図4参照)である。
なお、仲間グループG2のメンバ以外の他の視聴者の視聴位置は任意の方法で設定される。
一方、配信者T1の配信位置P(T1)は、図12の場合の位置P0とは相違する位置P1に設定される。位置P1は、体験者Vである視聴者G2-U2の視聴位置P(G2-U2)である視聴可能位置DP(m、n+1)に対して正面の最小距離となる位置である。
即ち、配信者T1の配信位置P(T1)を設定可能な位置の範囲内で変更した場合に、配信者T1の配信位置P(T1)から視聴者G2-U2の視聴位置P(G2-U2)へと向かうベクトルBP(G2-U2、T1)が、最小の大きさのベクトルBP0となるときの配信位置P(T1)である位置P1に配信位置P(T1)が設定される。
(第4設定形態の例1における処理)
図2の配信サーバ41の会場配置設定部84は、体験者Vである視聴者G2-U2に対する会場配置の設定を行う際に、視聴者G2-U2の仲間グループ情報をユーザ情報取得部83から取得する。視聴者G2-U2の仲間グループ情報は、視聴者G2-U2が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により指定された仲間グループに関する情報である。会場配置設定部84は、取得した視聴者G2-U2の仲間グループ情報により、体験者Vである視聴者G2-U2が属する仲間グループG2と、そのメンバである視聴者G2-U1乃至G2-U6を検出する。
また、会場配置設定部84は、体験者Vが属する仲間グループG2のベスト視聴ポジション情報をユーザ情報取得部83から取得する。仲間グループG2のベスト視聴ポジション情報は、仲間グループG2としての最適視聴位置に関する情報であり、仲間グループG2の代表者が使用するクライアントシステム22のベスト視聴ポジション指定部103により指定され、ユーザ情報取得部83に取得される。仲間グループG2の代表者は事前に決められているものとする。
図13の例では、仲間グループG2のメンバである視聴者G2-U1乃至G2-U6のそれぞれの仲間グループG2のメンバ内での視聴位置の配置が、図12の場合と同様に事前に決められている。そして、その仲間グループG2のメンバ内での視聴位置の配置において最も前側の中央に配置される視聴者G2-U1の視聴位置P(G2-U1)が、仲間グループG2としての位置に設定される。
また、仲間グループG2の代表者は、事前に自己が使用するクライアントシステム22のベスト視聴ポジション指定部103により、仲間グループG2としての位置についての最適視聴位置を指定しているものとする。
図13の例では、仲間グループG2の代表者は、仲間グループG2としての位置である視聴者G2-U1の視聴位置P(G2-U1)の最適視聴位置を指定しているものとする。以下において、仲間グループG2の代表者は、仲間グループG2としての位置である視聴者G2-U1の視聴位置P(G2-U1)の最適視聴位置として、視聴者G2-U1の視聴位置P(G2-U1)と配信者T1の配信位置P(T1)との間の距離が最短距離となるときの視聴位置を指定したものとする。
会場配置設定部84は、配信者T1の配信位置P(T1)を例えば図12の場合と同様にステージの中央部に相当する位置P0に仮設定する。なお、配信者T1の配信位置P(T1)を仮設定する位置P0は、第1設定形態での配信者T1の配信位置P(T1)と同様に位置P0でなくてもよい。
また、会場配置設定部84は、視聴可能位置DPのうち、配信者T1の配信位置P(T1)との間の距離が最短距離となる視聴可能位置DP(m、n)に仲間グループG2としての位置である視聴者G2-U1の視聴位置P(G2-U1)を最適視聴位置として設定する。
即ち、会場配置設定部84は、仲間グループG2としての位置である視聴者G2-U1の視聴位置P(G2-U1)を視聴可能位置DPの各々の位置に変更した場合に、配信位置P(T1)(仮設定された位置P0)から視聴位置P(G2-U1)へと向かうベクトルが、ベスト視聴ポジション指定部103(ベスト視聴ポジション情報)により指定された位置関係に最も適合するときの視聴位置P(G2-U1)を最適視聴位置として検出する。そして、会場配置設定部84は、検出した最適視聴位置に視聴者G2-U1の視聴位置P(G2-U1)を設定する。
また、会場配置設定部84は、仲間グループG2のメンバ内での視聴位置の配置に従って、かつ、仲間グループG2としての位置である視聴者G2-U1の視聴位置が視聴可能位置DP(m、n)となるように仲間グループG2の視聴者G2-U1以外のメンバの視聴位置を設定する。
これによって、図13のように、仲間グループG1に属する視聴者G2-U1乃至G2-U6の視聴位置が、それぞれ視聴可能位置DP(m、n)、DP(m、n+1)、DP(m、n-1)、DP(m+1、n)、DP(m+1、n+1)、DP(m+1、n-1)(図4参照)に設定される。
なお、仲間グループG2のメンバ以外の他の視聴者の視聴位置は任意の方法で設定される。
この段階では、配信者T1の配信位置P(T1)と仲間グループG2のメンバである視聴者G2-U1乃至G2-U6の視聴位置の配置は、図12の場合と同じである。
会場配置の第4設定形態ではさらに、会場配置設定部84は、配信者T1の配信位置P(T1)として設定可能な位置のうち、配信者T1の配信位置P(T1)と体験者Vである視聴者G2-U2の視聴位置P(G2-U2)との間の距離が最短距離となるときの位置に、配信位置P(T1)を設定する。
即ち、会場配置設定部84は、配信者T1の配信位置P(T1)を設定可能な位置の範囲内で変更した場合に、配信位置P(T1)から視聴位置P(G2-U2)へと向かうベクトルBP(G1-U2、T1)が最小の大きさのベクトルBP0となるときの配信位置P(T1)を最適視聴位置(視聴位置P(G2-U2)を最適な視聴位置とする配信位置P(T1)、以下、最適位置という)として検出する。なお、図13の例では位置P1が最適位置として検出される。
そして、会場配置設定部84は、検出した最適位置P1に配信者T1の配信位置P(T1)を設定する。
以上の会場配置の第4設定形態によれば、配信者が配信するコンテンツを同時に、かつ、同一空間で多数の視聴者が視聴する場合であっても、各視聴者は、最適な視聴位置で配信者が配信するコンテンツを視聴することができる。
また、仲間グループ等のグループを設定している場合に、体験者の近くには仲間とする視聴者が配置される。したがって、イベントへの参加中に体験者は仲間の様子を実際に会っている感覚で容易に知ることができる。また、仲間グループでボイスチャットやテキストチャットを行えるようにした場合、又は、チャットを行う視聴者同士又はグループを仲間グループとした場合に、イベントへの参加中であっても容易にチャットを行うことができる。
また、体験者が仲間グループに属する視聴者のうちのいずれかにかかわらず、仲間グループのメンバ内(メンバ間)での視聴位置の配置が同じである。そのため、例えば、同一の仲間グループに属する視聴者の間で互いに相手が例えば右側にいると認識するような事象が生じない。例えば、チャットを行う場合等に相互に向き合うつもりが反対を向いてしまうというような事態が生じない。
また、配信者の配信位置を大きく変更することがないため、配信者の背景(ステージ等)との不整合を抑止することができる。
<第5設定形態乃至第9設定形態の会場配置構成>
図14は、図15乃至図25において説明する会場配置の第5乃至第9設定形態において用いる会場配置の構成を説明する図である。なお、図14は、イベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。
会場配置の第5設定形態乃至第9設定形態では、体験者とする視聴者ごとに、視聴位置が異なる位置に設定される。
図14の仮想空間において、視聴可能位置DP(m、n)、DP(m、n+1)、DP(m、n-1)、DP(m+1、n)、・・・、及び、視聴可能位置DP(m、n+r)、DP(m、n+r+1)、DP(m、n+r-1)、DP(m+1、n+r)、・・・は、視聴者の視聴位置として設定可能な位置を表す(以下、視聴可能位置の全体をDPで表す)。
視聴者U1、U2は、以下の説明において体験者として着目する視聴者である。視聴者U1を体験者とする場合には、視聴者U1の視聴位置P(U1)は、視聴可能位置DP(m、n)に設定される。視聴者U2を体験者とする場合には、視聴者U2の視聴位置P(U2)は、視聴可能位置DP(m、n+r)に設定される。
また、各視聴者がそれぞれ体験者のときの視聴位置は、現実世界の場合と同様に、同一の視聴可能位置DPには設定されないように事前に決められている。従って、体験者のときの視聴位置が視聴可能位置DP(m、n)に設定されるのは視聴者U1のみであり、体験者のときの視聴位置が視聴可能位置DP(m、n+r)に設定されるのは視聴者U2のみである。なお、体験者のときの視聴位置とは、体験者となる視聴者が仮想空間において視聴する位置である。
また、配信者T1の配信位置P(T1)は、例えば、イベント会場のステージの中央部に設定されたときの位置P0に示されている。ただし、配信者T1の配信位置P(T1)は、体験者とする視聴者の視聴位置に応じて適宜変更される。
<会場配置の第5設定形態>
(例1)
図15は、会場配置の第5設定形態の例1を説明する図である。なお、図15は、図14のイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。図15の仮想空間における視聴可能位置DPは、図14と同じであり、視聴可能位置DPについては一部のみの符号を表記している。
図15は、図14の視聴者U1に対する会場配置を設定した場合を示し、視聴者U1を体験者Vとした場合を示す。
また、視聴者U1は、自己が使用するクライアントシステム22のベスト視聴ポジション指定部103(図2参照)により、視聴者の視聴位置と配信者の配信位置との間の距離が最短距離となるときの視聴位置を最適視聴位置として指定したものとする。
会場配置の第5設定形態では、図15の仮想空間において、体験者Vである視聴者U1の視聴位置P(U1)は、事前に決められた視聴可能位置DP(m、n)に設定される。
また、配信者T1の配信位置P(T1)は、設定可能な位置のうち、体験者Vである視聴者U1の視聴位置P(U1)(=DP(m、n))に対して、正面の最短距離となる位置P2に設定される。
即ち、配信者T1の配信位置P(T1)を設定可能な位置の範囲内で変更した場合に、配信者T1の配信位置P(T1)から視聴者U1の視聴位置P(U1)へと向かうベクトルBP(U1、T1)が、最小の大きさのベクトルBP0となるときの配信位置P(T1)である位置P2に配信位置P(T1)が最適視聴位置(最適位置)として設定される。ここでの最適視聴位置(最適位置)とは、体験者Vである視聴者U1の視聴位置P(U1)が最適な視聴位置(視聴環境)となるときの配信者T1の配信位置P(T1)を意味する。
(第5設定形態の例1における処理)
図2の配信サーバ41の会場配置設定部84は、体験者Vである視聴者U1のベスト視聴ポジション情報をユーザ情報取得部83から取得する。視聴者U1のベスト視聴ポジション情報は、視聴者U1が使用するクライアントシステム22のベスト視聴ポジション指定部103により指定された最適視聴位置に関する情報である。そして、会場配置設定部84は、視聴者U1のベスト視聴ポジション情報により指定された条件に適合するように、配信者T1の配信位置P(T1)と体験者Vである視聴者U1の視聴位置P(U1)とを設定する。
そこで、会場配置設定部84は、体験者Vである視聴者U1の視聴位置P(U1)を事前に決められた視聴可能位置DP(m、n)に設定する。例えば、会場配置設定部84は、イベントに参加する視聴者に対して配信サーバ41にログイン又はイベントへの参加への申請を行った順に、視聴可能位置DPのうちの他の視聴者が選択していない、いずれかの位置を体験者Vのときの視聴位置として選択させるようにしてもよい。
また、会場配置設定部84が、イベントに参加する視聴者に対して、視聴可能位置DPのうちいずれか1つを他の視聴者と重複しないように自動的に割り当ててもよい。
また、会場配置設定部84は、配信者T1の配信位置P(T1)として設定可能な位置のうち、体験者Vである視聴者U1の視聴位置P(U1)を設定した視聴可能位置DP(m、n)との間の距離が最短距離となる位置に配信者T1の配信位置P(T1)を設定する。
即ち、会場配置設定部84は、配信者T1の配信位置P(T1)を設定可能な位置の範囲内で変更した場合に、配信位置P(T1)から視聴者U1の視聴位置P(U1)へと向かうベクトルBP(U1、T1)が、最小の大きさのベクトルBP0となるときの配信位置P(T1)を最適位置として検出する。そして、会場配置設定部84は、検出した最適位置に配信者T1の配信位置P(T1)を設定する。
本第5設定形態では、ベスト視聴ポジション指定部103(図2参照)により、視聴者(体験者)の視聴位置と配信者の配信位置との間の距離が最短距離となるときの視聴位置を最適視聴位置として指定された場合(視聴位置と配信位置との相対的な位置関係(の条件)が最短距離になるようにすることを指定された場合)を仮定している。この場合に限らず、会場配置設定部84は、ベスト視聴ポジション指定部103により指定された任意の条件(位置関係)に対して、次のような処理を行う。会場配置設定部84は、配信位置P(T1)を設定可能な位置の範囲内で変更した場合に、配信位置P(T1)から視聴位置P(U1)へと向かうベクトルBP(U1、T1)がベスト視聴ポジション指定部103(ベスト視聴ポジション情報)により指定された位置関係(条件)に最も適合するときの配信位置P(T1)を最適位置として検出する。そして、会場配置設定部84は、検出した最適位置に配信者T1の配信位置P(T1)を設定する。第6乃至第8設定形態においても同様にしてベスト視聴ポジション指定部103(ベスト視聴ポジション情報)により指定された任意の条件に適合する最適位置が検出される。
なお、体験者Vである視聴者U1以外の視聴者の視聴位置は、任意の方法で設定される。例えば、体験者Vである視聴者U1以外の視聴者の視聴位置は、各視聴者に対して体験者のときの視聴位置として事前に割り当てられた視聴可能位置DPに設定してもよい。
(例2)
図16は、会場配置の第5設定形態の例2を説明する図である。なお、図16は、図14のイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。図16の仮想空間における視聴可能位置DPは、図14と同じであり、視聴可能位置DPについては一部のみの符号を表記している。
図16は、図14の視聴者U2に対する会場配置を設定した場合を示し、視聴者U2を体験者Vとした場合を示す。
また、視聴者U1は、自己が使用するクライアントシステム22のベスト視聴ポジション指定部103(図2参照)により、視聴者の視聴位置と配信者の配信位置との間の距離が最短距離となるときの視聴位置を最適視聴位置として指定したものとする。
会場配置の第6設定形態では、図16の仮想空間において、体験者Vである視聴者U2の視聴位置P(U2)は、事前に決められた視聴可能位置DP(m、n+r)に設定される。
また、配信者T1の配信位置P(T1)は、設定可能な位置のうち、体験者Vである視聴者U2の視聴位置P(U1)(=DP(m、n+r))に対して、正面の最短距離となる位置P3に設定される。
即ち、配信者T1の配信位置P(T1)を設定可能な位置の範囲内で変更した場合に、配信者T1の配信位置P(T1)から視聴者U2の視聴位置P(U2)へと向かうベクトルBP(U2、T1)が、最小の大きさのベクトルBP0となるときの配信位置P(T1)である位置P3に配信位置P(T1)が最適位置として設定される。
なお、図16の会場配置の設定処理は、図15と同様であるのでの説明を省略する。
以上の会場配置の第5設定形態によれば、配信者T1が配信するコンテンツを、同時に、かつ、同一空間で多数の視聴者が視聴する場合であっても、各視聴者は、それぞれ最適な視聴位置で配信者T1が配信するコンテンツを視聴することができる。
<会場配置の第6設定形態>
(例1)
図17は、会場配置の第6設定形態の例1を説明する図である。なお、図17は、図14のイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。図17の仮想空間における視聴可能位置DPは、図14と同じであり、視聴可能位置DPについては一部のみの符号を表記している。
図17は、図14の視聴者U1が仲間グループG1の視聴者G1-U1である場合に、その視聴者G1-U1に対する会場配置を設定した場合を示し、視聴者G1-U1を体験者Vとした場合を示す。
また、視聴者G1-U1は、自己が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により、仲間グループG1に属することを指定したものとする。また、仲間グループG1には、視聴者G1-U1乃至G1-U6が属しているものとする。
また、視聴者G1-U1は、自己が使用するクライアントシステム22のベスト視聴ポジション指定部103(図2参照)により、視聴者の視聴位置と配信者の配信位置との間の距離が最短距離となるときの視聴位置を最適視聴位置として指定したものとする。
会場配置の第6設定形態では、図17の仮想空間において、体験者Vである視聴者G1-U1(図14の視聴者U1)の視聴位置P(G1-U1)は、事前に決められた視聴可能位置DP(m、n)に設定される。
また、配信者T1の配信位置P(T1)は、設定可能な位置のうち、体験者Vである視聴者G1-U1の視聴位置P(G1-U1)(=DP(m、n))に対して、正面の最短距離となる位置P2に設定される。
即ち、配信者T1の配信位置P(T1)を設定可能な位置の範囲内で変更した場合に、配信者T1の配信位置P(T1)から視聴者G1-U1の視聴位置P(G1-U1)へと向かうベクトルBP(G1-U1、T1)が、最小の大きさのベクトルBP0となるときの配信位置P(T1)である位置P2に配信位置P(T1)が設定される。
また、視聴者G1-U1の視聴位置P(G1-U1)の近くには、視聴者G1-U1が属する仲間グループG1のメンバである視聴者G1-U2乃至G1-U6の視聴位置が設定される。視聴者G1-U1乃至G1-U6の視聴位置は、それぞれ視聴可能位置DP(m、n)、DP(m、n+1)、DP(m、n-1)、DP(m+1、n)、DP(m+1、n+1)、DP(m+1、n-1)(図14参照)である。
(第6設定形態の例1における処理)
図2の配信サーバ41の会場配置設定部84は、体験者Vである視聴者G1-U1のベスト視聴ポジション情報をユーザ情報取得部83から取得する。視聴者G1-U1のベスト視聴ポジション情報は、視聴者G1-U1が使用するクライアントシステム22のベスト視聴ポジション指定部103により指定された最適視聴位置に関する情報である。そして、会場配置設定部84は、視聴者G1-U1のベスト視聴ポジション情報により指定された条件に適合するように、配信者T1の配信位置P(T1)と体験者Vである視聴者G1-U1の視聴位置P(G1-U1)とを設定する。
そこで、会場配置設定部84は、体験者Vである視聴者G1-U1の視聴位置P(G1-U1)を事前に決められた視聴可能位置DP(m、n)に設定する。
また、会場配置設定部84は、配信者T1の配信位置P(T1)として設定可能な位置のうち、体験者Vである視聴者G1-U1の視聴位置P(G1-U1)を設定した視聴可能位置DP(m、n)との間の距離が最短距離となる位置に配信者T1の配信位置P(T1)を設定する。
即ち、会場配置設定部84は、配信者T1の配信位置P(T1)を設定可能な位置の範囲内で変更した場合に、配信位置P(T1)から視聴者G1-U1の視聴位置P(G1-U1)へと向かうベクトルBP(G1-U1、T1)が、最小の大きさのベクトルBP0となるときの配信位置P(T1)を最適位置として検出する。そして、会場配置設定部84は、検出した最適位置に配信者T1の配信位置P(T1)を設定する。
また、会場配置設定部84は、体験者Vである視聴者G1-U1の仲間グループ情報をユーザ情報取得部83(図2参照)から取得する。視聴者G1-U1の仲間グループ情報は、視聴者G1-U1が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により指定された仲間グループに関する情報である。会場配置設定部84は、取得した視聴者G1-U1の仲間グループ情報により、体験者Vである視聴者G1-U1が属する仲間グループG1と、そのメンバである視聴者G1-U1乃至G1-U6を検出する。
会場配置設定部84は、検出した仲間グループG1の視聴者G1-U1以外のメンバである視聴者G1-U2乃至G1-U6の視聴位置を仲間グループG1のメンバ内での視聴位置の配置に従って設定する。
なお、仲間グループG1のメンバ内での視聴位置の配置についての条件等は、図6の会場配置の第2設定形態等と同じであるので、説明を省略する。
これによって、図17のように、仲間グループG1に属する視聴者G1-U1乃至G1-U6の視聴位置が、それぞれ視聴可能位置DP(m、n)、DP(m、n+1)、DP(m、n-1)、DP(m+1、n)、DP(m+1、n+1)、DP(m+1、n-1)(図14参照)に設定される。
なお、仲間グループG1のメンバ以外の他の視聴者の視聴位置は任意の方法で設定される。
(例2)
図18は、会場配置の第6設定形態の例2を説明する図である。なお、図18は、図14のイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。図18の仮想空間における視聴可能位置DPは、図14と同じであり、視聴可能位置DPについては一部のみの符号を表記している。
図18は、図14の視聴者U2が図17の仲間グループG1の視聴者G1-U2である場合に、その視聴者G1-U2に対する会場配置を設定した場合を示し、視聴者G1-U2を体験者Vとした場合を示す。
また、視聴者G1-U2は、自己が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により、仲間グループG1に属することを指定したものとする。また、仲間グループG1には、視聴者G1-U1乃至G1-U6が属しているものとする。
また、視聴者G1-U2は、自己が使用するクライアントシステム22のベスト視聴ポジション指定部103(図2参照)により、視聴者の視聴位置と配信者の配信位置との間の距離が最短距離となるときの視聴位置を最適視聴位置として指定したものとする。
会場配置の第6設定形態では、図18の仮想空間において、体験者Vである視聴者G1-U2(図14の視聴者U2)の視聴位置P(G1-U2)は、事前に決められた視聴可能位置DP(m、n+r)ではなく、視聴可能位置(m、n+1)に設定される。
視聴可能位置(m、n+1)は、図17の視聴者G1-U1(図14の視聴者U1)を体験者Vとした場合に、視聴者G1-U1に対して設定された会場配置での視聴者G1-U2の視聴位置である。
即ち、第6設定形態では、同一の仲間グループG1に属する視聴者G1-U1乃至視聴者G1-U6については、それぞれが体験者Vのときの視聴位置が、仲間グループG1のメンバ内での視聴位置の配置に対応した視聴可能位置DPに設定される。
なお、図17は、後述の会場配置の第7設定形態でも参照するため、同一の仲間グループに属する視聴者の体験者のときの視聴位置を、仲間グループG1のメンバ内での視聴位置の配置に対応した視聴可能位置DPに設定することまでは記載していない。
また、配信者T1の配信位置P(T1)は、設定可能な位置のうち、体験者Vである視聴者G1-U2の視聴位置P(G1-U2)(=DP(m、n+1))に対して、正面の最短距離となる位置P4に設定される。
即ち、配信者T1の配信位置P(T1)を設定可能な位置の範囲内で変更した場合に、配信者T1の配信位置P(T1)から視聴者G1-U2の視聴位置P(G1-U2)へと向かうベクトルBP(G1-U2、T1)が、最小の大きさのベクトルBP0となるときの配信位置P(T1)である位置P4に配信位置P(T1)が設定される。
また、視聴者G1-U2の視聴位置P(G1-U2)の近くには、視聴者G1-U2が属する仲間グループG1のメンバである視聴者G1-U1、及び、G1-U3乃至G1-U6の視聴位置が設定される。視聴者G1-U1乃至G1-U6の視聴位置は、それぞれ図17と同じく、視聴可能位置DP(m、n)、DP(m、n+1)、DP(m、n-1)、DP(m+1、n)、DP(m+1、n+1)、DP(m+1、n-1)(図14参照)である。
(第6設定形態の例2における処理)
図2の配信サーバ41の会場配置設定部84は、体験者Vである視聴者G1-U2のベスト視聴ポジション情報をユーザ情報取得部83から取得する。視聴者G1-U2のベスト視聴ポジション情報は、視聴者G1-U2が使用するクライアントシステム22のベスト視聴ポジション指定部103により指定された最適視聴位置に関する情報である。そして、会場配置設定部84は、視聴者G1-U2のベスト視聴ポジション情報により指定された条件に適合するように、配信者T1の配信位置P(T1)と体験者Vである視聴者G1-U2の視聴位置P(G1-U2)とを設定する。
会場配置設定部84は、体験者Vである視聴者G1-U1の視聴位置P(G1-U2)を事前に決められた視聴可能位置DP(m、n+1)に設定する。これについては後述する。
また、会場配置設定部84は、配信者T1の配信位置P(T1)として設定可能な位置のうち、体験者Vである視聴者G1-U2の視聴位置P(G1-U2)を設定した視聴可能位置DP(m、n+1)との間の距離が最短距離となる位置に配信者T1の配信位置P(T1)を設定する。
即ち、会場配置設定部84は、配信者T1の配信位置P(T1)を設定可能な位置の範囲内で変更した場合に、配信位置P(T1)から視聴者G1-U2の視聴位置P(G1-U2)へと向かうベクトルBP(G1-U2、T1)が、最小の大きさのベクトルBP0となるときの配信位置P(T1)を最適位置として検出する。そして、会場配置設定部84は、検出した最適位置に配信者T1の配信位置P(T1)を設定する。
また、会場配置設定部84は、各視聴者に対する会場配置の設定を行う前に、仲間グループごとに、各視聴者の体験者のときの視聴位置の設定を行う。
会場配置設定部84は、各視聴者が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により指定された仲間グループに関する仲間グループ情報をユーザ情報取得部83から取得し、それらの仲間グループ情報により、各仲間グループのメンバ構成等を把握する。仲間グループG1に着目すると、会場配置設定部84は、仲間グループ情報により、仲間グループG1のメンバを検出する。
図17、及び、図18の仲間グループG1のメンバは、視聴者G1-U1乃至G1-U6である。
会場配置設定部84は、仲間グループG1のメンバである視聴者G1-U1乃至G1-U6の体験者のときの視聴位置を、仲間グループG1のメンバ内で事前に決められている視聴位置の配置に従って設定する。
また、会場配置設定部84は、仲間グループG1以外の仲間グループのメンバの体験者のときの視聴位置を、メンバ内で事前に決められている視聴位置の配置に従って設定する。その際、会場配置設定部84は、1つの設定可能位置に、複数の視聴者の視聴位置(体験者のときの視聴位置)を重複して設定しないようにする。
また、会場配置設定部84は、体験者Vである視聴者G1-U2の会場配置の設定を行う際に、視聴者G1-U2の仲間グループ情報をユーザ情報取得部83(図2参照)から取得する。視聴者G1-U2の仲間グループ情報は、視聴者G1-U2が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により指定された仲間グループに関する情報である。会場配置設定部84は、取得した視聴者G1-U2の仲間グループ情報により、体験者Vである視聴者G1-U2が属する仲間グループG1と、そのメンバである視聴者G1-U1乃至G1-U6を検出する。
会場配置設定部84は、検出した仲間グループG1の視聴者G1-U2以外のメンバである視聴者G1-U1、G1-U3乃至G1-U6の視聴位置を仲間グループG1のメンバ内での視聴位置の配置に従って設定する。但し、会場配置設定部84は、体験者のときの視聴位置として視聴者G1-U1、G1-U3乃至G1-U6の視聴位置を仲間グループG1のメンバ内での視聴位置の配置に従って設定しているので、視聴者G1-U1、G1-U3乃至G1-U6の体験者のときの視聴位置をそのまま会場配置の設定に適用してもよい。
これによって、図18のように、仲間グループG1に属する視聴者G1-U1乃至G1-U6の視聴位置が、それぞれ視聴可能位置DP(m、n)、DP(m、n+1)、DP(m、n-1)、DP(m+1、n)、DP(m+1、n+1)、DP(m+1、n-1)(図14参照)に設定され、相互に近接する位置に設定される。
(例3)
図19は、会場配置の第6設定形態の例3を説明する図である。なお、図19は、図14のイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。図19の仮想空間における視聴可能位置DPは、図14と同じであり、視聴可能位置DPについては一部のみの符号を表記している。
図19は、図14の視聴者U2が図17の仲間グループG1と相違する仲間グループG2の視聴者G2-U1である場合に、その視聴者G2-U1に対する会場配置を設定した場合を示し、視聴者G2-U1を体験者V1とした場合を示す。
また、視聴者G2-U1は、自己が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により、仲間グループG2に属することを指定したものとする。また、仲間グループG2には、視聴者G2-U1乃至G2-U6が属しているものとする。
また、視聴者G2-U1は、自己が使用するクライアントシステム22のベスト視聴ポジション指定部103(図2参照)により、視聴者の視聴位置と配信者の配信位置との間の距離が最短距離となるときの視聴位置を最適視聴位置として指定したものとする。
会場配置の第6設定形態では、図19の仮想空間において、体験者Vである視聴者G2-U1(図14の視聴者U2)の視聴位置P(G2-U1)は、事前に決められた視聴可能位置DP(m、n+r)に設定される。
また、配信者T1の配信位置P(T1)は、設定可能な位置のうち、体験者Vである視聴者G2-U1の視聴位置P(G2-U1)(=DP(m、n+r))に対して、正面の最短距離となる位置P3に設定される。
即ち、配信者T1の配信位置P(T1)を設定可能な位置の範囲内で変更した場合に、配信者T1の配信位置P(T1)から視聴者G2-U1の視聴位置P(G2-U1)へと向かうベクトルBP(G2-U1、T1)が、最小の大きさのベクトルBP0となるときの配信位置P(T1)である位置P3に配信位置P(T1)が設定される。
また、視聴者G2-U1の視聴位置P(G2-U1)の近くには、視聴者G2-U1が属する仲間グループG2のメンバである視聴者G2-U2乃至G1-U6の視聴位置が設定される。視聴者G2-U1乃至G2-U6の視聴位置は、それぞれ視聴可能位置DP(m、n+r)、DP(m、n+r+1)、DP(m、n+r-1)、DP(m+1、n+r)、DP(m+1、n+r+1)、DP(m+1、n+r-1)(図14参照)である。
ここで、仲間グループG2のメンバである視聴者G2-U1乃至G2-U6の体験者のときの視聴位置は、図18における仲間グループG1と同様に、仲間グループG2のメンバ内での視聴位置の配置に従って設定されている。
したがって、図2の配信サーバ41の会場配置設定部84は、視聴者G2-U1乃至G2-U6の体験者のときの視聴位置をそのまま視聴者G2-U1に対する会場配置の設定に適用することで図19の配置が得られる。
なお、図19の会場配置の設定処理は、図17及び図18と同様であるので説明を省略する。
(例4)
図20は、会場配置の第6設定形態の例4を説明する図である。なお、図20は、図14のイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。図19の仮想空間における視聴可能位置DPは、図14と同じであり、視聴可能位置DPについては一部のみの符号を表記している。
図20は、図14の視聴者U2が図17の仲間グループG1と相違する仲間グループG2の視聴者G2-U2である場合に、その視聴者G2-U2に対する会場配置を設定した場合を示し、視聴者G2-U2を体験者V1とした場合を示す。
また、視聴者G2-U2は、自己が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により、仲間グループG2に属することを指定したものとする。また、仲間グループG2には、視聴者G2-U1乃至G2-U6が属しているものとする。
また、視聴者G2-U2は、自己が使用するクライアントシステム22のベスト視聴ポジション指定部103(図2参照)により、視聴者の視聴位置と配信者の配信位置との間の距離が最短距離となるときの視聴位置を最適視聴位置として指定したものとする。
会場配置の第6設定形態では、図20の仮想空間において、体験者Vである視聴者G2-U2(図14の視聴者U2)の視聴位置P(G2-U2)は、事前に決められた視聴可能位置DP(m、n+r)に設定される。
また、配信者T1の配信位置P(T1)は、設定可能な位置のうち、体験者Vである視聴者G2-U2の視聴位置P(G2-U2)(=DP(m、n+r))に対して、正面の最短距離となる位置P3に設定される。
即ち、配信者T1の配信位置P(T1)を設定可能な位置の範囲内で変更した場合に、配信者T1の配信位置P(T1)から視聴者G2-U2の視聴位置P(G2-U2)へと向かうベクトルBP(G2-U2、T1)が、最小の大きさのベクトルBP0となるときの配信位置P(T1)である位置P3に配信位置P(T1)が設定される。
また、視聴者G2-U2の視聴位置P(G2-U2)の近くには、視聴者G2-U2が属する仲間グループG2のメンバである視聴者G2-U1、及び、G2-U3乃至G1-U6の視聴位置が設定される。視聴者G2-U1乃至G2-U6の視聴位置は、それぞれ視聴可能位置DP(m、n+r-1)、DP(m、n+r)、DP(m、n+r-2)、DP(m+1、n+r-1)、DP(m+1、n+r)、DP(m+1、n+r-2)(図14参照)である。
ここで、仲間グループG2のメンバ内での視聴位置の配置において、視聴者G2-U2は視聴者G2-U1に対して右隣である。体験者Vである図14の視聴者U2は、図19の視聴者G2-U1である場合と図20の視聴者G2-U2である場合であっても視聴位置は変わらない。従って、図19と図20とを比較すると、図20の方が、仲間グループG2のメンバである視聴者G2-U1乃至G2-U6の視聴位置が1列分左に変位している。
なお、図20の会場配置の設定処理は、図17乃至図19と同様であるので説明を省略する。
以上の会場配置の第6設定形態によれば、配信者が配信するコンテンツを同時に、かつ、同一空間で多数の視聴者が視聴する場合であっても、各視聴者は、それぞれ最適な視聴位置で配信者が配信するコンテンツを視聴することができる。
また、仲間グループ等のグループを設定している場合に、体験者の近くには仲間とする視聴者が配置される。したがって、イベントへの参加中に体験者は仲間の様子を実際に会っている感覚で容易に知ることができる。また、仲間グループでボイスチャットやテキストチャットを行えるようにした場合、又は、チャットを行う視聴者同士又はグループを仲間グループとした場合に、イベントへの参加中であっても容易にチャットを行うことができる。
また、体験者が仲間グループに属する視聴者のうちのいずれかにかかわらず、仲間グループのメンバ内(メンバ間)での視聴位置の配置が同じである。そのため、例えば、同一の仲間グループに属する視聴者の間で互いに相手が例えば右側にいると認識するような事象が生じない。例えば、チャットを行う場合等に相互に向き合うつもりが反対を向いてしまうというような事態が生じない。
<会場配置の第7設定形態>
(例1)
図21は、会場配置の第7設定形態の例1を説明する図である。なお、図21は、図14のイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。図21の仮想空間における視聴可能位置DPは、図14と同じであり、視聴可能位置DPについては一部のみの符号を表記している。
図21は、図14の視聴者U2が図17の仲間グループG1の視聴者G1-U2である場合に、その視聴者G1-U2に対する会場配置を設定した場合を示し、視聴者G1-U2を体験者Vとした場合を示す。
また、視聴者G1-U2は、自己が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により、仲間グループG1に属することを指定したものとする。また、仲間グループG1には、視聴者G1-U1乃至G1-U6が属しているものとする。
また、視聴者G1-U2は、自己が使用するクライアントシステム22のベスト視聴ポジション指定部103(図2参照)により、視聴者の視聴位置と配信者の配信位置との間の距離が最短距離となるときの視聴位置を最適視聴位置として指定したものとする。
会場配置の第7設定形態では、図21の仮想空間において、体験者Vである視聴者G1-U2(図14の視聴者U2)の視聴位置P(G1-U2)は、事前に決められた視聴可能位置DP(m、n+r)に設定される。
ここで、図21では、図18の場合と異なり、視聴者G1-U2の体験者のときの視聴位置が同一の仲間グループG1のメンバである図17の視聴者G1-U1(図14の視聴者U1)の近くに設定されていないことを意味する。
また、配信者T1の配信位置P(T1)は、設定可能な位置のうち、体験者Vである視聴者G1-U2の視聴位置P(G1-U2)(=DP(m、n+r))に対して、正面の最短距離となる位置P3に設定される。
即ち、配信者T1の配信位置P(T1)を設定可能な位置の範囲内で変更した場合に、配信者T1の配信位置P(T1)から視聴者G1-U2の視聴位置P(G1-U2)へと向かうベクトルBP(G1-U2、T1)が、最小の大きさのベクトルBP0となるときの配信位置P(T1)である位置P3に配信位置P(T1)が設定される。
また、視聴者G1-U2の視聴位置P(G1-U2)の近くには、視聴者G1-U2が属する仲間グループG1のメンバである視聴者G1-U1、及び、G1-U3乃至G1-U6の視聴位置が設定される。視聴者G1-U1乃至G1-U6の視聴位置は、それぞれ視聴可能位置DP(m、n+r-1)、DP(m、n+r)、DP(m、n+r-2)、DP(m+1、n+r-1)、DP(m+1、n+r)、DP(m+1、n+r-2)(図14参照)である。
(第7設定形態の例1における処理)
図2の配信サーバ41の会場配置設定部84は、体験者Vである視聴者G1-U2のベスト視聴ポジション情報をユーザ情報取得部83から取得する。視聴者G1-U2のベスト視聴ポジション情報は、視聴者G1-U2が使用するクライアントシステム22のベスト視聴ポジション指定部103により指定された最適視聴位置に関する情報である。そして、会場配置設定部84は、視聴者G1-U2のベスト視聴ポジション情報により指定された条件に適合するように、配信者T1の配信位置P(T1)と体験者Vである視聴者G1-U2の視聴位置P(G1-U2)とを設定する。
そこで、会場配置設定部84は、体験者Vである視聴者G1-U2の視聴位置P(G1-U2)を事前に決められた視聴可能位置DP(m、n+r)に設定する。
また、会場配置設定部84は、配信者T1の配信位置P(T1)として設定可能な位置のうち、体験者Vである視聴者G1-U2の視聴位置P(G1-U2)を設定した視聴可能位置DP(m、n+r)との間の距離が最短距離となる位置に配信者T1の配信位置P(T1)を設定する。
即ち、会場配置設定部84は、配信者T1の配信位置P(T1)を設定可能な位置の範囲内で変更した場合に、配信位置P(T1)から視聴者G1-U2の視聴位置P(G1-U2)へと向かうベクトルBP(G1-U2、T1)が、最小の大きさのベクトルBP0となるときの配信位置P(T1)を最適視聴位置として検出する。そして、会場配置設定部84は、検出した最適視聴位置に配信者T1の配信位置P(T1)を設定する。
また、会場配置設定部84は、体験者Vである視聴者G1-U2の仲間グループ情報をユーザ情報取得部83(図2参照)から取得する。視聴者G1-U2の仲間グループ情報は、視聴者G1-U2が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により指定された仲間グループに関する情報である。会場配置設定部84は、取得した視聴者G1-U2の仲間グループ情報により、体験者Vである視聴者G1-U2が属する仲間グループG1と、そのメンバである視聴者G1-U1乃至G1-U6を検出する。
会場配置設定部84は、検出した仲間グループG1の視聴者G1-U2以外のメンバである視聴者G1-U1、及び、G1-U3乃至G1-U6の視聴位置を、仲間グループG1のメンバ内での視聴位置の配置に従って設定する。
なお、仲間グループG1のメンバ内での視聴位置の配置についての条件等は、図6の会場配置の第2設定形態等と同じであるので、説明を省略する。
これによって、図21のように、仲間グループG1に属する視聴者G1-U1乃至G1-U6の視聴位置が、それぞれ視聴可能位置DP(m、n+r-1)、DP(m、n+r)、DP(m、n+r-2)、DP(m+1、n+r-1)、DP(m+1、n+r)、DP(m+1、n+r-2)に設定される。
なお、図14の視聴者U1が仲間グループG1のメンバである視聴者G1-U1である場合に、本第7設定形態での設定処理を適用すると、図17と同様の会場配置が設定される。従って、同一の仲間グループのメンバがそれぞれ離れた視聴位置で視聴している場合であっても、それぞれの仮想空間では近くに仲間グループのメンバが存在する。
以上の会場配置の第7設定形態によれば、配信者が配信するコンテンツを同時に、かつ、同一空間で多数の視聴者が視聴する場合であっても、各視聴者は、それぞれ最適な視聴位置で配信者が配信するコンテンツを視聴することができる。
また、仲間グループ等のグループを設定している場合に、体験者の近くには仲間とする視聴者が配置される。したがって、イベントへの参加中に体験者は仲間の様子を実際に会っている感覚で容易に知ることができる。また、仲間グループでボイスチャットやテキストチャットを行えるようにした場合、又は、チャットを行う視聴者同士又はグループを仲間グループとした場合に、イベントへの参加中であっても容易にチャットを行うことができる。
また、体験者が仲間グループに属する視聴者のうちのいずれかにかかわらず、仲間グループのメンバ内(メンバ間)での視聴位置の配置が同じである。そのため、例えば、同一の仲間グループに属する視聴者の間で互いに相手が例えば右側にいると認識するような事象が生じない。例えば、チャットを行う場合等に相互に向き合うつもりが反対を向いてしまうというような事態が生じない。
<会場配置の第8設定形態>
(例1)
図22は、会場配置の第8設定形態の例1を説明する図である。なお、図22は、図14のイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。図22の仮想空間における視聴可能位置DPは、図14と同じであり、視聴可能位置DPについては一部のみの符号を表記している。
図22は、図14の視聴者U1が仲間グループG1の視聴者G1-U1である場合に、仲間グループG1に属する視聴者G1-U1乃至G1-U6のうちの任意の視聴者に対する会場配置を設定する場合を示し、視聴者G1-U1乃至G1-U6のうちの全ての視聴者に対する会場配置が同一となる場合を示す。
また、仲間グループG1には代表者が決められているものとし、代表者は、自己が使用するクライアントシステム22のベスト視聴ポジション指定部103(図2参照)により、仲間グループG1としての位置と配信者の配信位置との間の距離が最短距離となるときの視聴位置を最適視聴位置として指定したものとする。
会場配置の第8設定形態では、図22の仮想空間において、視聴者G1-U1(図14の視聴者U1)の視聴位置は、事前に決められた視聴可能位置DP(m、n)に設定される。
また、視聴者G1-U1の視聴位置の近くには、視聴者G1-U1が属する仲間グループG1のメンバである視聴者G1-U2乃至G1-U6の視聴位置が、仲間グループG1のメンバ内で事前に決められた視聴位置の配置に従って設定される。視聴者G1-U1乃至G1-U6の視聴位置は、それぞれ視聴可能位置DP(m、n)、DP(m、n+1)、DP(m、n-1)、DP(m+1、n)、DP(m+1、n+1)、DP(m+1、n-1)(図14参照)である。
また、図22の例では、視聴者G1-U1の視聴位置P(G1-U1)が仲間グループG1としての位置として設定されている。配信者T1の配信位置P(T1)は、設定可能な位置のうち、体験者Vである視聴者G1-U1の視聴位置(G1-U1)(=DP(m、n))に対して、正面の最短距離となる位置P2に設定される。
即ち、配信者T1の配信位置P(T1)を設定可能な位置の範囲内で変更した場合に、配信者T1の配信位置P(T1)から仲間グループG1としての位置(視聴者G1-U1の視聴位置P(G1-U1))へと向かうベクトルBP(G1、T1)が、最小の大きさのベクトルとなるときの配信位置P(T1)である位置P2に配信位置P(T1)が設定される。
(第8設定形態の例1における処理)
図2の配信サーバ41の会場配置設定部84は、仲間グループG1に属する任意の視聴者(体験者V)に対する会場配置の設定を行う場合に、体験者Vの仲間グループ情報をユーザ情報取得部83から取得する。体験者Vの仲間グループ情報は、体験者Vが使用するクライアントシステム22の仲間グループ指定部104(図2参照)により指定された仲間グループに関する情報である。会場配置設定部84は、取得した体験者Vの仲間グループ情報により、体験者Vが属する仲間グループG1と、そのメンバである視聴者G1-U1乃至G1-U6を検出する。
会場配置設定部84は、視聴者G1-U1乃至G1-U6の視聴位置を事前に決められた視聴可能位置DPに設定する。視聴者G1-U1乃至G1-U6の視聴位置の配置の条件等については、図6の会場配置の第2設定形態等において説明した仲間グループG1のメンバ内での視聴位置の配置と同じであるので、説明を省略する。
図22では、視聴者G1-U1を図14の視聴者U1であるとしているので、視聴者G1-U1の視聴位置P(G1-U1)が視聴可能位置DP(m、n)となるように視聴者G1-U1乃至G1-U6の視聴位置は、それぞれ視聴可能位置DP(m、n)、DP(m、n+1)、DP(m、n-1)、DP(m+1、n)、DP(m+1、n+1)、DP(m+1、n-1)(図14参照)に設定される。
また、会場配置設定部84は、体験者Vが属する仲間グループG1のベスト視聴ポジション情報をユーザ情報取得部83から取得する。仲間グループG1のベスト視聴ポジション情報は、仲間グループG1としての最適視聴位置に関する情報であり、仲間グループG1の代表者が使用するクライアントシステム22のベスト視聴ポジション指定部103により指定され、ユーザ情報取得部83に取得される。仲間グループG1の代表者は事前に決められているものとする。
仲間グループG1としての位置は、会場配置の第3設定形態と同様であるので詳細な説明を省略すると、仲間グループG1のメンバ内での視聴位置の配置において基準とする視聴者の視聴位置を表す。例えば、仲間グループG1のメンバ内での視聴位置の配置において最も前側の中央に配置される視聴者の視聴位置が、仲間グループG1としての位置に設定される。
図22の例では、仲間グループG1のメンバ内での視聴位置の配置において最も前側の中央に配置される視聴者G1-U1(図14の視聴者U1)の視聴位置P(G1-U1)が、仲間グループG1としての位置に設定される。なお、仲間グループG1としての位置はこれに限らず任意の位置に設定してよい。
仲間グループG1の代表者は、仲間グループG1としての位置である視聴者G1-U1の視聴位置P(G1-U1)の最適視聴位置として、視聴者G1-U1の視聴位置P(G1-U1)と配信者T1の配信位置P(T1)との間の距離が最短距離となるときの視聴位置を指定したものとする。
会場配置設定部84は、配信者T1の配信位置P(T1)として設定可能な位置のうち、仲間グループG1としての位置である視聴者G1-U1の視聴位置P(G1-U1)を設定した視聴可能位置DP(m、n)との間の距離が最短距離となる位置に配信者T1の配信位置P(T1)を設定する。
即ち、会場配置設定部84は、配信者T1の配信位置P(T1)を設定可能な位置の範囲内で変更した場合に、配信位置P(T1)から視聴者G1-U1の視聴位置P(G1-U1)へと向かうベクトルBP(G1-U1、T1)が、最小の大きさのベクトルBP0となるときの配信位置P(T1)を最適位置として検出する。そして、会場配置設定部84は、検出した最適位置に配信者T1の配信位置P(T1)を設定する。
会場配置の第8設定形態では、体験者Vが仲間グループG1のメンバのうちのいずれかであれば、図22の会場配置が設定される。したがって、仲間グループG1のメンバである視聴者G1-U1乃至G1-U6の各々に対する会場配置が全て共通する。即ち、会場配置の第8設定形態では、仲間グループ単位で会場配置が設定される。
(例2)
図23は、会場配置の第8設定形態の例2を説明する図である。なお、図23は、図14のイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。図23の仮想空間における視聴可能位置DPは、図14と同じであり、視聴可能位置DPについては一部のみの符号を表記している。
図23は、図14の視聴者U2が仲間グループG2の視聴者G2-U1である場合に、仲間グループG2に属する視聴者G2-U1乃至G2-U6のうちの任意の視聴者に対する会場配置を設定する場合を示し、視聴者G2-U1乃至G2-U6のうちの全ての視聴者に対する会場配置が同一となる場合を示す。
また、仲間グループG2には代表者が決められているものとし、代表者は、自己が使用するクライアントシステム22のベスト視聴ポジション指定部103(図2参照)により、仲間グループG2としての位置と配信者の配信位置との間の距離が最短距離となるときの視聴位置を最適視聴位置として指定したものとする。
会場配置の第8設定形態では、図23の仮想空間において、視聴者G2-U1(図14の視聴者U2)の視聴位置は、事前に決められた視聴可能位置DP(m、n+r)に設定される。
また、視聴者G2-U1の視聴位置の近くには、視聴者G2-U1が属する仲間グループG2のメンバである視聴者G2-U2乃至G2-U6の視聴位置が、仲間グループG2のメンバ内で事前に決められた視聴位置の配置に従って設定される。視聴者G2-U1乃至G2-U6の視聴位置は、それぞれ視聴可能位置DP(m、n+r)、DP(m、n+r+1)、DP(m、n+r-1)、DP(m+1、n+r)、DP(m+1、n+r+1)、DP(m+1、n+r-1)(図14参照)である。
また、図23の例では、視聴者G2-U1の視聴位置P(G2-U1)が仲間グループG2としての位置として設定されている。配信者T1の配信位置P(T1)は、設定可能な位置のうち、体験者Vである視聴者G2-U1の視聴位置(G2-U1)(=DP(m、n+r))に対して、正面の最短距離となる位置P3に設定される。
即ち、配信者T1の配信位置P(T1)を設定可能な位置の範囲内で変更した場合に、配信者T1の配信位置P(T1)から仲間グループG2としての位置(視聴者G2-U1の視聴位置P(G2-U1))へと向かうベクトルBP(G2、T1)が、最小の大きさのベクトルとなるときの配信位置P(T1)である位置P3に配信位置P(T1)が設定される。
なお、図23の会場配置の設定処理は、図22と同様であるので説明を省略する。
以上の会場配置の第8設定形態によれば、配信者が配信するコンテンツを同時に、かつ、同一空間で多数の視聴者が視聴する場合であっても、各視聴者は、仲間グループ単位で最適な視聴位置で配信者が配信するコンテンツを視聴することができる。
また、仲間グループ等のグループを設定している場合に、体験者の近くには仲間とする視聴者が配置される。したがって、イベントへの参加中に体験者は仲間の様子を実際に会っている感覚で容易に知ることができる。また、仲間グループでボイスチャットやテキストチャットを行えるようにした場合、又は、チャットを行う視聴者同士又はグループを仲間グループとした場合に、イベントへの参加中であっても容易にチャットを行うことができる。
また、体験者が仲間グループに属する視聴者のうちのいずれかにかかわらず、仲間グループのメンバ内(メンバ間)での視聴位置の配置が同じである。そのため、例えば、同一の仲間グループに属する視聴者の間で互いに相手が例えば右側にいると認識するような事象が生じない。例えば、チャットを行う場合等に相互に向き合うつもりが反対を向いてしまうというような事態が生じない。
<会場配置の第9設定形態>
(例1)
図24は、会場配置の第9設定形態の例1を説明する図である。なお、図24は、図14のイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。図24の仮想空間における視聴可能位置DPは、図14と同じであり、視聴可能位置DPについては一部のみの符号を表記している。
図24は、図14の視聴者U1が仲間グループG1の視聴者G1-U1である場合に、その視聴者G1-U1に対する会場配置を設定した場合を示し、視聴者G1-U1を体験者Vとした場合を示す。
会場配置の第9設定形態では、図24の仮想空間において、体験者Vである視聴者G1-U1(図14の視聴者U1)の視聴位置P(G1-U1)は、事前に決められた視聴可能位置DP(m、n)に設定される。
また、配信者T1の配信位置P(T1)は、事前に決められた位置P0に設定される。
また、視聴者G1-U1の視聴位置P(G1-U1)の近くには、視聴者G1-U1が属する仲間グループG1のメンバである視聴者G1-U2乃至G1-U6の視聴位置が設定される。視聴者G1-U1乃至G1-U6の視聴位置は、それぞれ視聴可能位置DP(m、n)、DP(m、n+1)、DP(m、n-1)、DP(m+1、n)、DP(m+1、n+1)、DP(m+1、n-1)(図14参照)である。
(第9設定形態の例1における処理)
図2の配信サーバ41の会場配置設定部84は、体験者Vである視聴者G1-U1の視聴位置P(G1-U1)を事前に決められた視聴可能位置DP(m、n)に設定する。
また、会場配置設定部84は、体験者Vである視聴者G1-U1の仲間グループ情報をユーザ情報取得部83(図2参照)から取得する。視聴者G1-U1の仲間グループ情報は、視聴者G1-U1が使用するクライアントシステム22の仲間グループ指定部104(図2参照)により指定された仲間グループに関する情報である。会場配置設定部84は、取得した視聴者G1-U1の仲間グループ情報により、体験者Vである視聴者G1-U1が属する仲間グループG1と、そのメンバである視聴者G1-U1乃至G1-U6を検出する。そして、会場配置設定部84は、検出した仲間グループG1の視聴者G1-U1以外のメンバである視聴者G1-U2乃至G1-U6の視聴位置を、仲間グループG1のメンバ内での視聴位置の配置に従って設定する。
なお、仲間グループG1のメンバ内での視聴位置の配置についての条件等は、図6の会場配置の第2設定形態等と同じであるので、説明を省略する。
これによって、図24のように、仲間グループG1に属する視聴者G1-U1乃至G1-U6の視聴位置が、それぞれ視聴可能位置DP(m、n)、DP(m、n+1)、DP(m、n-1)、DP(m+1、n)、DP(m+1、n+1)、DP(m+1、n-1)(図14参照)に設定される。
なお、仲間グループG1のメンバ以外の他の視聴者の視聴位置は任意の方法で設定される。
(例2)
図25は、会場配置の第9設定形態の例2を説明する図である。なお、図25は、図14のイベント会場を構築する仮想空間を表し、高さ方向を紙面に垂直な方向とする。図25の仮想空間における視聴可能位置DPは、図14と同じであり、視聴可能位置DPについては一部のみの符号を表記している。
図25は、図14の視聴者U2が図24の仲間グループG1の視聴者G1-U2である場合に、その視聴者G1-U2に対する会場配置を設定した場合を示し、視聴者G1-U2を体験者Vとした場合を示す。
会場配置の第9設定形態では、図25の仮想空間において、体験者Vである視聴者G1-U2(図14の視聴者U2)の視聴位置P(G1-U2)は、事前に決められた視聴可能位置DP(m、n+r)に設定される。
また、配信者T1の配信位置P(T1)は、図24と同様に事前に決められた位置P0に設定される。
また、視聴者G1-U2の視聴位置P(G1-U2)の近くには、視聴者G1-U2が属する仲間グループG1のメンバである視聴者G1-U1、及び、G1-U3乃至G1-U6の視聴位置が設定される。視聴者G1-U1乃至G1-U6の視聴位置は、それぞれ視聴可能位置DP(m、n+r-1)、DP(m、n+r)、DP(m、n+r-2)、DP(m+1、n+r-1)、DP(m+1、n+r)、DP(m+1、n+r-2)(図14参照)である。
なお、図25の会場配置の設定処理は、図24と同様であるので説明を省略する。
以上の会場配置の第9設定形態によれば、仲間グループ等のグループを設定している場合に、体験者の近くには仲間とする視聴者が配置される。したがって、イベントへの参加中に体験者は仲間の様子を実際に会っている感覚で容易に知ることができる。また、仲間グループでボイスチャットやテキストチャットを行えるようにした場合、又は、チャットを行う視聴者同士又はグループを仲間グループとした場合に、イベントへの参加中であっても容易にチャットを行うことができる。
また、体験者が仲間グループに属する視聴者のうちのいずれかにかかわらず、仲間グループのメンバ内(メンバ間)での視聴位置の配置が同じである。そのため、例えば、同一の仲間グループに属する視聴者の間で互いに相手が例えば右側にいると認識するような事象が生じない。例えば、チャットを行う場合等に相互に向き合うつもりが反対を向いてしまうというような事態が生じない。
<<エンタテインメントシステム11の詳細>>
<サーバシステム21>
図26は、図1のサーバシステム21のコンテンツ配信に関する機能構成を例示したブロック図である。
図26において、サーバシステム21は、配信サーバ41、多視点カメラ42、及び、センサ43を有する。
サーバシステム21は、所定のイベントに参加した多数の視聴者に対して配信者が配信するコンテンツ(自己の映像や音声)を含む配信データを生成し、ネットワーク23(図1参照)を介して通信可能に接続されたクライアントシステム22に供給する。
多視点カメラ42は、例えば、グリーンバックを背景にした配信者を、複数台のビデオカメラにより多視点から撮影し、取得した多視点の映像を配信サーバ41に供給する。
センサ43は、例えば、デプスカメラ、ボディポジションセンサ、又は、赤外線カメラと反射マーカとを用いた位置センサ等により配信者の位置・姿勢・動作を検出するためのセンサである。センサ43により得られたセンサ信号は配信サーバ41に供給される。
図27は、多視点カメラ42及びセンサ43を説明する図である。
図27において、配信者T1は、自身の歌やダンス等のコンテンツを多数の視聴者にバーチャルシステムを使用して配信する。配信者T1は、グリーンバック撮影スタジオなどにおいて歌やダンス等を実践する。
多視点カメラ42は、複数台の撮影カメラCam1、Cam2、・・・、CamN(Nは正の整数)を有する。以下、複数台の撮影カメラCam1、Cam2、・・・、CamNを、それぞれ撮影カメラCamと略す。
多視点カメラ42の各撮影カメラCamは、配信者T1の周囲を囲むようにして配置され、配信者T1を多方向から撮影する。
デプスカメラDCは、配信者T1の深度画像を撮影する。
赤外線カメラIRCamは、配信者T1の身体に装着された反射マーカIRMに赤外線を照射して、その反射光を撮影する。
ボディポジションセンサBPSR及びBPSLは、配信者T1の右手首及び左手首に装着され、配信者T1の右手首及び左手首に位置を検出する。ボディポジションセンサは、手首以外にも胴体、足首、膝などの配信者T1の位置・姿勢・動作等の検出に必要な部分に装着される。
図28は、スタジオでの配信者の撮影の様子を示した図である。
図28において、配信者T1は、緑色の布や壁で覆われた空間内でパフォーマンスを実行する。配信者T1の周囲には全周にわたって複数の支柱141A、141B、・・・(以下、支柱141と略す)が略等間隔に設けられる。各支柱141には、それぞれ多視点カメラ42の撮影カメラCamが上下に1台ずつ設置される。また、各支柱141には、配信者T1の身体に装着された反射マーカIRMの赤外反射を撮影する赤外線カメラIRCamと、可視光及び赤外光を含む照明光を配信者T1に照射する複数の照明142が設置される。支柱141と支柱141の間には、三脚143が必要に応じておかれて、三脚143にはデプスカメラDCや不図示のステレオカメラ等が支持される。配信者T1の両手首にはボディポジションセンサBPSR及びBPSLが装着される。
なお、図26のセンサ43に含まれるデプスカメラDC、赤外線カメラIRCam(反射マーカIRM)、ボディポジションセンサBPSR及びBPSLは、いずれかの1種類だけであってもよいし、センサ43自体がなくてもよい。
図26において、配信サーバ41は、カメラ映像入力部121、カメラ画像データ生成部122、ストリーミング処理部123、センシング入力部124、身体位置情報生成部125、3Dモデル位置情報生成部126、コンテンツデータ生成部127、及び、ネットワーク伝送部128を有する。
カメラ映像入力部121は、多視点カメラ42の各撮影カメラCamで撮影された配信者T1等の映像、及び、不図示のマイクロフォンにより収音された音声を取得する。カメラ映像入力部121は、取得した映像及び音声を編集可能な信号フォーマットに変換してカメラ画像データ生成部122に供給する。
カメラ画像データ生成部122は、カメラ映像入力部121からの多視点の映像から不要な物体像を除去するなどの必要な処理を行う。また、カメラ画像データ生成部122は、カメラ映像入力部121からの音声からノイズ除去するなどの必要な処理を行う。カメラ画像データ生成部122は、処理後の多視点の映像及び音声をストリーミング処理部123に供給する。
ストリーミング処理部123は、カメラ画像データ生成部122からの多視点の映像及び音声を符号化し、映像ストリームデータ及び音声ストリームデータとしてコンテンツデータ生成部127に供給する。
センシング入力部124は、センサ43からのセンサ信号を取得し、身体位置情報生成部125に供給する。
身体位置情報生成部125は、センシング入力部124からのセンサ信号を解析して、配信者T1の骨格の動きを表したいわゆるボーンデータを生成する。身体位置情報生成部125は、生成したボーンデータを3Dモデル位置情報生成部126に供給する。
3Dモデル位置情報生成部126は、身体位置情報生成部125からのボーンデータに基づいて、配信者T1を3Dモデル化する際に頭部、手、足等の各部の位置情報となる6DoF(six degrees of freedom)のデータ(6DoFデータ)を生成する。3Dモデル位置情報生成部126は、生成した6DoFデータをコンテンツデータ生成部127に供給する。
コンテンツデータ生成部127は、ストリーミング処理部123からの映像ストリームデータ及び音声データストリームと、3Dモデル位置情報生成部126からの6DoFデータとを、図1のクライアントシステム22に配信するコンテンツデータ(配信データ)として統合し、ネットワーク伝送部128に供給する。
ネットワーク伝送部128は、図1のネットワーク23を介したクライアントシステム22との通信を制御し、コンテンツデータ生成部127からのコンテンツデータをクライアントシステム22の情報処理装置61に伝送する。尚、配信サーバ41から情報処理装置61に配信されるコンテンツデータには、ここで示したもの以外にも、上述の会場配置のデータなどがあり、それらのデータも配信されるものとする。
<クライアントシステム22>
図29は、図1のクライアントシステム22のコンテンツ受信等に関する機能構成を例示したブロック図である。
図29には、図1のクライアントシステム22の情報処理装置61、HMD62、及び、ハンドコントローラ63の各々における機能構成が例示されている。
情報処理装置61は、ネットワーク伝送入力部151、コンテンツ入力データ解析部152、配信者映像処理部153、タイミング同期部154、3Dオブジェクト制御部155、他視聴者入力データ解析部156、タイミング同期部157、3Dオブジェクト衝突検出部158、タイミング同期部159、体験者出力データ生成部160、及び、ネットワーク伝送出力部161を有する。
ネットワーク伝送入力部151は、図1のネットワーク23を介して、サーバシステム21の配信サーバ41との通信を制御する。また、ネットワーク伝送入力部151は、他のクライアントシステム22の情報処理装置61(他の情報処理装置61という)との通信を制御する。ネットワーク伝送入力部151は、配信サーバ41から伝送されたコンテンツデータをコンテンツ入力データ解析部152に供給する。また、ネットワーク伝送入力部151は、他の情報処理装置61から伝送されたデータ(音声ストリームデータやメタデータ)を他視聴者入力データ解析部156に供給する。
コンテンツ入力データ解析部152は、ネットワーク伝送入力部151からのコンテンツデータを解析し、配信サーバ41から配信された映像ストリームデータと音声とリームデータとメタデータとを分離する。コンテンツ入力データ解析部152は、分離した映像ストリームを配信者映像処理部153に供給する。また、コンテンツ入力データ解析部152は、分離した音声ストリームデータとメタデータとを配信者映像処理部153に供給する。
配信者映像処理部153は、コンテンツ入力データ解析部152からの映像ストリームデータを復号し、多視点映像から自由視点として取得した多視点映像から自由視点映像を生成するための必要な映像処理、フレームの低減、フォーマット変換等を行う。配信者映像処理部153は、処理後の映像データをタイミング同期部154に供給する。
タイミング同期部154は、配信者映像処理部153からの映像データと、コンテンツ入力データ解析部152からの音声ストリームデータと、配信者メタデータとの時間的なずれを低減して同期させる。タイミング同期部154は、映像データとメタデータとを3Dオブジェクト制御部155に供給する。
また、タイミング同期部154は、音声ストリームデータをHMD62のヘッドフォン出力部181に供給する。また、タイミング同期部154は、映像データ及びメタデータを3Dオブジェクト制御部155に供給する。
3Dオブジェクト制御部155は、タイミング同期部154からの映像データ、メタデータ等に基づいて、HMD62のVR空間表示部182に表示させる仮想空間の3Dオブジェクトの制御などを行う。
他視聴者入力データ解析部156は、ネットワーク伝送入力部151からの他の情報処理装置61からのデータを解析し、音声ストリームデータとメタデータとに分離する。他視聴者入力データ解析部156は、分離した音声ストリームデータとメタデータとをタイミング同期部157に供給する。なお、他の情報処理装置61からの音声ストリームデータは、主に体験者がボイスチャットを行っている相手方の視聴者の音声ストリームデータが含まれる。他の情報処理装置61からのメタデータには、他の視聴者の身体(頭部、手)の6DoFデータや、ボイスチャットを行っている相手方の視聴者が入力したテキストデータが含まれる。
タイミング同期部157は、他視聴者入力データ解析部156からの音声ストリームデータとメタデータとの時間的なずれを低減して同期させる。タイミング同期部157は、同期させた音声ストリームデータをHMD62のヘッドフォン出力部181に供給し、同期させたメタデータを3Dオブジェクト制御部155に供給する。
3Dオブジェクト衝突検出部158は、3Dオブジェクト制御部155からの指示によりハンドコントローラ63の振動生成部202に振動を生成させる。
タイミング同期部159は、HMD空間情報検出部184(モーションセンサ)からの頭の位置・姿勢・動作を示す6DoFデータ(メタデータ)と、HMD62のマイク入力部183(マイクロフォン)からの音声ストリームデータとの時間的なずれを低減して同期させる。タイミング同期部159は、同期させた音声ストリームデータとメタデータとを体験者出力データ生成部160に供給する。
体験者出力データ生成部160は、タイミング同期部159からの音声ストリームデータ及びメタデータを統合して伝送用のデータを生成し、ネットワーク伝送出力部161に供給する。
ネットワーク伝送出力部161は、サーバシステム21の配信サーバ41及び他のクライアントシステム22の情報処理装置61との通信を制御する。ネットワーク伝送出力部161は、体験者出力データ生成部160からのデータをネットワーク23を介して配信サーバ41又は他の情報処理装置61に供給する。
HMD62は、ヘッドフォン出力部181、VR空間表示部182、マイク入力部183、及び、HMD空間情報検出部184を有する。
ヘッドフォン出力部181は、タイミング同期部154からの音声ストリームデータを音声としてヘッドフォンから出力させる。これにより、配信サーバ41から配信されたコンテンツのうちの音声がHMD62のヘッドフォンから出力される。
また、ヘッドフォン出力部181は、タイミング同期部157から供給された音声ストリームデータを音声としてヘッドフォンから出力させる。これにより、他の情報処理装置61から供給されたボイスチャット等の音声がヘッドフォンから出力される。
マイク入力部183は、HMD62を装着している体験者の音声を収音して音声ストリームデータとしてタイミング同期部159に供給する。これにより、体験者の音声がボイスチャットの相手の情報処理装置61に供給される。
HMD空間情報検出部184は、例えば、モーションセンサにより、HMD62の位置・姿勢・動作を検出し、6DoFデータ(メタデータ)として3Dオブジェクト制御部155及びタイミング同期部159に供給する。HMD62の位置・姿勢・動作は体験者の頭部の位置・姿勢・動作を示す。3Dオブジェクト制御部155は、HMD空間情報検出部184からの6DoFデータによりHMD62の視線方向(正面方向)等を検出する。また、HMD空間情報検出部184からタイミング同期部159に供給された6DoFデータは他の情報処理装置61に供給され、他の視聴者が視認する体験者のアバターの動作などに反映される。
ハンドコントローラ63は、ハンド空間情報検出部201と振動生成部202とを有する。
ハンド空間情報検出部201は、例えば、モーションセンサにより、ハンドコントローラ63の位置・姿勢・動作を検出し、6DoFデータ(メタデータ)として3Dオブジェクト制御部155及びHMD空間情報検出部184に供給する。ハンドコントローラ63の位置・姿勢・動作は、ハンドコントローラ63を把持する体験者の手(両手)の位置・姿勢・動作を示す。3Dオブジェクト制御部155は、ハンド空間情報検出部201から6DoFデータにより体験者の操作を検出し、また、体験者のアバター等の仮想空間内での動作に反映される。また、ハンド空間情報検出部201からHMD空間情報検出部184に供給された6DoFデータは、タイミング同期部159を介して他の情報処理装置61に供給され、他の視聴者が視認する体験者のアバターの動作などに反映される。
振動生成部202は、3Dオブジェクト衝突検出部158からの指示によりハンドコントローラ63を振動させる。仮想空間内での体験者が何かのオブジェクトに衝突した場合等に、3Dオブジェクト制御部155から3Dオブジェクト衝突検出部158を介して振動生成部202に振動生成の指示が与えられる。
<3Dオブジェクト制御部155>
3Dオブジェクト制御部155(表示制御部)は、配信サーバ41からの配信データ(コンテンツデータ)に基づいて、イベント会場を構築する仮想空間に、各種オブジェクトの3Dモデルを作成し、所定位置の視点から所定の視線方向で仮想空間の各種オブジェクトをレンダリングした映像を生成する。各種オブジェクトの作成及びレンダリングは所定周期で繰り返し実行される。
レンダリングの際の視点は、HMD62を使用する体験者が、配信者のコンテンツを視聴する視聴位置であり、レンダリングの際の視線方向は、HMD62の視線方向である。3Dオブジェクト制御部155は、レンダリングにより生成した映像をHMD62のVR空間表示部182に供給して表示させる。
3Dオブジェクト制御部155は、HMD空間情報検出部184により検出されるHMD62の位置・姿勢・動作に基づいて、実空間でのHMD62の正面方向に対応する仮想空間での方向をレンダリングの際の視線方向として仮想空間のレンダリングを行う。また、3Dオブジェクト制御部155は、VR空間表示部182に表示可能な視野範囲(以下、HMD62の視野範囲)の映像を仮想空間のレンダリングにより生成する。
3Dオブジェクト制御部155は、仮想空間に配置するイベント会場のステージ等の固定のオブジェクトの形状、テクスチャ、及び、位置等を示すオブジェクトデータを配信サーバ41からのメタデータにより取得し、仮想空間に3Dモデルを作成する。また、3Dオブジェクト制御部155は、レンダリングの際にテクスチャを3Dモデルにマッピングする。
また、3Dオブジェクト制御部155は、仮想空間でのイベントに参加している視聴者の視聴位置を配信サーバ41からのメタデータ(会場配置のデータ)により取得し、各視聴者の視聴位置にアバターを配置する。なお、会場配置の設定は、イベントに参加する視聴者の情報や仲間グループのメンバの情報等を取得することで、配信サーバ41ではなく、3Dオブジェクト制御部155においても行うことできるので、本実施例では、3Dオブジェクト制御部155が行うものとする。
3Dオブジェクト制御部155は、アバターの形状、テクスチャ、位置・姿勢・動作を示すオブジェクトデータ(アバターデータ)を、アバターの本人である視聴者の情報処理装置61からのメタデータにより取得する。
即ち、3Dオブジェクト制御部155は、視聴者のアバターの基本的な形状、及び、テクスチャを示すアバターデータと、視聴者の位置・姿勢・動作(頭部及び手の位置・姿勢・動作)を示す6DoFデータとを、他の情報処理装置61から取得する。
3Dオブジェクト制御部155は、配信サーバ41からのメタデータ(会場配置データ)と、各情報処理装置61からのメタデータ(アバターデータ及び6DoFデータ)とにより、各視聴者のアバターの3Dモデルを仮想空間に作成し、レンダリングの際にテクスチャを3Dモデルにマッピングする。これにより、各視聴者の実写動作に対応して動作する各視聴者のアバターが仮想空間に配置される。
また、3Dオブジェクト制御部155は、コンテンツを配信する配信者の配信位置を例えばステージの中央等の所定の位置に決定し、配信位置に配信者の実写アバター(例えば、ボリュメトリック映像)を配置する。
3Dオブジェクト制御部155は、配信サーバ41からの映像ストリームデータ(タイミング同期部154からの映像データ)により配信の多視点映像を取得し、その多視点映像から配信者の3D形状データとテクスチャを生成する。そして、3Dオブジェクト制御部155は、配信者の3D形状データにより仮想空間の配信位置に配信者の3Dモデルを作成し、レンダリングの際に実写映像から生成されたテクスチャを配信者の3Dモデルにマッピングする。これにより、配信者の配信位置に配信者の実写アバターが配置された映像が生成される。
<オブジェクト制御の第1形態>
3Dオブジェクト制御部155が実行するオブジェクト制御の第1形態について説明する。
3Dオブジェクト制御部155は、仮想空間でのイベント会場における配信者の配信位置、及び、視聴者の視聴位置の設定に関して、上述の会場配置の第1乃至第9設定形態のうちの任意の形態を採用することができる。
オブジェクト制御の第1形態では、図6乃至図10で説明した会場配置の第2設定形態を採用した場合について説明する。また、体験者の視聴位置と配信者の配信位置との間の距離が最短距離となるように体験者の視聴位置と配信者の配信位置との相対的な位置関係が設定されるものとする。
図30は、配信者がコンテンツの配信を開始する前(ライブ前)の待機状態のときの仮想空間でのイベント会場の様子を表した図である。イベント会場にはイベントに参加する多数の視聴者Uのアバターが配置され、左右中央の視聴者G1-U1は体験者Vであり、3Dオブジェクト制御部155で生成された映像を視聴する視聴者である。
体験者Vである視聴者G1-U1は、仲間グループG1に属しており、視聴者G1-U1のアバターの周囲には、仲間グループG1のメンバである視聴者G1-U2乃至G1-U6のアバターが配置されている。なお、配信者や視聴者(体験者を含む)のアバターの位置やアバター間の距離に関する記載は、配信者の配信位置や視聴者の視聴位置に関する記載とするみなすことができる。
また、体験者Vの視聴位置を中心に所定半径の円221が描画されている。なお、円221は説明上のものであり、実際には描画されない。その円221の内側の範囲に配置される視聴者G1-U2乃至G1-U6、及び、視聴者Uiのアバター(視聴位置)は、体験者Vのアバター(視聴位置)に対して近接しているとみなされる。即ち、体験者Vの視聴位置からの距離が所定の閾値以下であれば体験者Vのアバターに近接しているとみなされる。
一方、円221の外側の範囲に配置される視聴者Uoのアバターは、体験者Vのアバターに対して近接していないとみなされる。即ち、体験者の視聴位置からの距離が所定の閾値より大きければ体験者Vのアバターに近接していないとみなされる。
体験者Vのアバターに対して近接している視聴者G1-U2乃至G1-U6、及び、視聴者Uiのアバターは、実写動作可能なアバターに設定される。実写動作とは、視聴者の動作に対応した動作を行うアバターを意味する。
一方、体験者Vのアバターに対して近接していない視聴者Uoのアバターは、実写動作せず、簡略化されたモブ化アバター又は影として生成される。
これによれば、体験者Vのアバター(視聴位置)に対して近接していない視聴者Uoのアバターが、実写動作しない簡略化されたモブ化アバター又は影として描画されるので、アバターを描画するための描画データが低減され、3Dオブジェクト制御部155におけるモデリングやレンダリング等の処理負荷(描画負荷等)の軽減が図られる。
なお、3Dオブジェクト制御部155は、体験者Vの視聴位置からの距離に応じて、描画する視聴者のアバターを、処理負荷の大きい第1形態と第1形態よりも処理負荷の小さい第2形態とで変更するようにしたが、これに限らない。例えば、アバターの外観は変更されず、第1形態は実写動作するアバターとし、第2形態は実写動作しないアバターとしてもよい。また、アバターの形態を第1形態と第2形態とで変更する条件は、情報処理装置61での通信や描画の処理負荷に応じた第1形態のアバターの描画数であってもよい。例えば、3Dオブジェクト制御部155は、体験者Vの視聴位置に近い順にアバターの形態を第1形態とし、第1形態の描画数が所定の閾値を超えた場合に、残りのアバターの形態を第2形態とするようにしてもよい。
また、アバターの形態は処理負荷が異なる3形態以上で変更されるようにしてもよい。例えば、体験者Vの視聴位置からの距離が所定の第1閾値以下であるアバターは、高精細かつ実写動作可能なアバターとする。体験者Vの視聴位置からの距離が第1閾値よりも大きく、所定の第2閾値(>第1閾値)以下のアバターは、高精細かつ実写動作不能なアバターとする。体験者Vの視聴位置からの距離が第2閾値よりも大きいアバターは、実写動作不能でかつ簡略化されたアバターとしてもよい。
また、体験者Vのアバターに対して近接している場合であっても、体験者Vの視野範囲、即ち、体験者Vが装着するHMD62の中心視野範囲(仮想空間に対するレンダリングの範囲)の外側に配置されているアバターは実写動作しない簡略化されたアバターとしてもよい。
図31は、配信者T1がコンテンツを配信している際(ライブ中)のコンテンツ配信状態のときの仮想空間でのイベント会場の様子を示した図である。尚、図中、図30と共通する部分には同一の符号を付してあり、その説明を省略する。
図31において、体験者Vである視聴者G1-U1のアバターの正面には、配信者T1の実写アバターが配置される。即ち、配信者T1の実写アバターに対して正面側の最も近い位置に体験者Vのアバターが配置される。したがって、体験者Vのアバターは、最適な視聴環境でコンテンツを視聴することができる。
また、全ての視聴者は、自己のHMD62でコンテンツを視聴する際には体験者Vに相当するので、全ての視聴者が最適な視聴環境でコンテンツを視聴することができる。
<処理手順>
図32は、3Dオブジェクト制御部155によるオブジェクト制御の第1形態の処理手順を示したフローチャートである。
ステップS11では、3Dオブジェクト制御部155は、体験者が属する仲間グループのメンバ内での配置を決定する。処理は、ステップS11からステップS12に進む。
ステップS12では、3Dオブジェクト制御部155は、仲間グループのイベント会場内での配置を決定する。処理は、ステップS12からステップS13に進む。
ステップS13では、3Dオブジェクト制御部155は、仲間グループのメンバ以外の視聴者のアバターを仲間グループ以外の位置に配置する。処理はステップS13からステップS14に進む。
ステップS14では、3Dオブジェクト制御部155は、体験者以外の視聴者(アバター)の全ての検索を開始する。処理はステップS14からステップS15に進む。
ステップS15では、3Dオブジェクト制御部155は、検索されたアバターは体験者に近接かつ中心視野内か否かを判定する。
ステップS15において、検索されたアバターは体験者に近接かつ中心視野内であると判定された場合、処理はステップS16に進み、3Dオブジェクト制御部155は、検索されたアバターを実写の動きができるアバターに設定する。処理はステップS16からステップS18に進む。
ステップS15において、検索されたアバターは体験者に近接かつ中心視野内でないと判定された場合、処理はステップS17に進み、3Dオブジェクト制御部155は、検索されたアバターを影又はモブ化アバターに設定する。処理はステップS17からステップS18に進む。
ステップS18では、3Dオブジェクト制御部155は、体験者以外の全アバターの検索は終了したか否かを判定する。
ステップS18において、体験者以外の全アバターの検索が終了していないと判定された場合には、処理はステップS18からステップS15に戻り、ステップS15からの処理を繰り返す。
ステップS18において、体験者以外の全アバターの検索が終了したと判定された場合には、処理はステップS18からステップS19に進む。
ステップS19では、3Dオブジェクト制御部155は、「ライブ前」へのシーン遷移の処理を実行する。処理はステップS19からステップS20に進む。
ステップS20では、3Dオブジェクト制御部155は、「ライブ中」のシーン開始条件が成立したか否かを判定する。例えば、「ライブ前」の状態で一定時間が経過したか否か、又は、ライブ開始の時刻になったか否かを判定する。
ステップS20において、「ライブ中」のシーン開始条件が成立しないと判定された場合、処理はステップS20を繰り返す。
ステップS20において、「ライブ中」のシーン開始条件が成立したと判定された場合、処理はステップS20からステップS21に進む。
ステップS21では、3Dオブジェクト制御部155は、「ライブ中」へのシーン遷移の処理を実行する。処理はステップS21からステップS22に進む。
ステップS22では、3Dオブジェクト制御部155は、「ライブ後」のシーン開始条件が成立したか否かを判定する。例えば、「ライブ中」の状態で一定時間が経過したか否か、又は、ライブ終了の時刻になったか否かを判定する。
ステップS22において、「ライブ後」のシーン開始条件が成立しないと判定された場合、処理はステップS22を繰り返す。
ステップS22において、「ライブ後」のシーン開始条件が成立したと判定された場合、処理はステップS22からステップS23に進む。
ステップS23では、3Dオブジェクト制御部155は、「ライブ後」へのシーン遷移の処理を実行する。
以上のステップS19乃至ステップS23の処理の間、3Dオブジェクト制御部155は、体験者及び視聴者のアバターの位置関係をシーンの切り替わり等により不連続とならないように承継する。例えば、3Dオブジェクト制御部155は、体験者に近接した視聴者又は仲間グループ内の各視聴者の初期位置及び現在位置をリストデータなどで保持し、シーンが切り替わる毎にリストデータを参照して視聴者の位置関係を承継する。
以上のオブジェクト制御の第1形態によれば、配信者が配信するコンテンツを同時に、かつ、同一空間で多数の視聴者が視聴する場合であっても、各視聴者は、それぞれ最適な視聴位置で配信者が配信するコンテンツを視聴することができる。
また、体験者に近い視聴者のアバターのみを実写動作させるため、情報処理装置61での処理負荷(アバターの描画負荷等)が軽減される。
また、会場配置の設定に関して図6乃至図10で説明した会場配置の第2設定形態等を採用することで、仲間グループを設定している場合に、体験者の近くには仲間とする視聴者が配置される。したがって、イベントへの参加中に体験者は仲間の様子を実際に会っている感覚で容易に知ることができる。また、仲間グループでボイスチャットやテキストチャットを行えるようにした場合、又は、チャットを行う視聴者同士又はグループを仲間グループとした場合に、イベントへの参加中であっても容易にチャットを行うことができる。
また、体験者が仲間グループに属する視聴者のうちのいずれかにかかわらず、仲間グループのメンバ内(メンバ間)での視聴位置の配置が同じである。そのため、例えば、同一の仲間グループに属する視聴者の間で互いに相手が例えば右側にいると認識するような事象が生じない。例えば、チャットを行う場合等に相互に向き合うつもりが反対を向いてしまうというような事態が生じない。
<オブジェクト制御の第2形態>
次に、3Dオブジェクト制御部155が実行するオブジェクト制御の第2形態について説明する。
オブジェクト制御の第2形態では、図15及び図16で説明した会場配置の第5設定形態を採用した場合について説明する。また、体験者の視聴位置と配信者の配信位置との間の距離が最短距離となるように体験者の視聴位置と配信者の配信位置との相対的な位置関係が設定されるものとする。
図33は、配信者がコンテンツを配信している際(ライブ中)のコンテンツ配信状態のときの仮想空間でのイベント会場の様子を示した図である。
図33において、イベント会場にはイベントに参加する多数の視聴者Uのアバターが配置され、左右中央には体験者Vである視聴者U1のアバター(視聴位置)が配置されている。また、体験者Vのアバター(視聴位置)の正面に配信者T1の実写アバターが配置され、配信者T1の実写アバターに対して正面の最も近い位置に体験者Vのアバター(視聴位置)が配置されている。
体験者Vである視聴者U1のアバターに対して近接する範囲(所定距離以下の範囲)には、任意の視聴者U2乃至視聴者U8のアバターが配置されている。視聴者U1乃至U8のアバターは、実写動作可能なアバターに設定される。
また、視聴者U1乃至U8以外の視聴位置には任意の視聴者Uoのアバターが配置されている。視聴者Uoのアバターは、実写動作せず、簡略化されたモブ化アバター又は影として設定される。なお、視聴者のアバターの形態や形態を変更する条件等は、オブジェクト制御の第1形態の場合と同様であるので説明を省略する。
図34は、配信者がコンテンツを配信している際(ライブ中)のコンテンツ配信状態のときの仮想空間でのイベント会場の様子を示した図であり、体験者の視聴位置が図33と相違する場合を示した図である。
図34において、イベント会場にはイベントに参加する多数の視聴者Uのアバターが配置され、全体の左側には体験者Vである視聴者U1のアバターが配置されている。また、体験者Vのアバターの正面に配信者T1の実写アバターが配置され、配信者T1の実写アバターに対して正面の最も近い位置に体験者Vのアバターが配置されている。
体験者Vである視聴者U1のアバターに対して近接する範囲(所定距離以下の範囲)には、任意の視聴者U2乃至視聴者U8のアバターが配置されている。視聴者U1乃至U8のアバターは、実写動作可能なアバターに設定される。
また、視聴者U1乃至U8以外の視聴位置には任意の視聴者Uoのアバターが配置されている。視聴者Uoのアバターは、実写動作せず、簡略化されたモブ化アバター又は影として設定される。
図35は、配信者がコンテンツを配信している際(ライブ中)のコンテンツ配信状態のときの仮想空間でのイベント会場の様子を示した図であり、体験者の視聴位置が図33及び図34と相違する場合を示した図である。
図35において、イベント会場にはイベントに参加する多数の視聴者Uのアバターが配置され、全体の右側には体験者Vである視聴者U1のアバターが配置されている。また、体験者Vのアバターの正面に配信者T1の実写アバターが配置され、配信者T1の実写アバターに対して正面の最も近い位置に体験者Vのアバターが配置されている。
体験者Vである視聴者U1のアバターに対して近接する範囲(所定距離以下の範囲)には、任意の視聴者U2乃至視聴者U8のアバターが配置されている。視聴者U1乃至U8のアバターは、実写動作可能なアバターに設定される。
また、視聴者U1乃至U8以外の視聴位置には任意の視聴者Uoのアバターが配置されている。視聴者U1乃至U8のアバターは、実写動作可能なアバターに設定される。視聴者Uoのアバターは、実写動作せず、簡略化されたモブ化アバター又は影として設定される。
以上のオブジェクト制御の第2形態によれば、体験者Vのアバターが会場のどの位置に配置されても、配信者の実写アバターに対して正面の最も近い位置に体験者Vのアバターが配置されるので(体験者Vのアバターに対して正面の最も近い位置に配信者の実写アバターが配置されるので)、体験者Vは常に最適な視聴環境でコンテンツを視聴することができる。
また、体験者Vの周辺以外のアバターが簡略化されたアバター又は実写動作しないアバターに設定されるので、3Dオブジェクト制御部155におけるモデリングやレンダリング等の処理負荷の軽減が図られる。
なお、図33乃至図35において、全ての視聴者は、体験者Vとして配信者T1の実写アバターを正面で見ることになり、他の視聴者から見ると配信者T1の実写アバターの方向を向いていないので違和感が生じる場合がある。
図36は、図33乃至図35のアバター配置の変形例を示した図である。
図36において、全ての視聴者U1乃至U8、及び、視聴者Uoのアバターは、向きが補正されて、配信者T1の実写アバターの方向に正面を向けて配置されている。これにより、視聴者が配信者T1の方向を向いていないという違和感が軽減される。なお、体験者Vの視聴位置に対して所定の距離範囲に存在するアバターの姿勢のみが配信者T1の実写アバターの方向に正面を向くように補正するようにしてもよい。また、視聴者のアバターを配信者T1の実写アバターの方向に向ける補正は、会場配置の設定形態が上述の第1乃至第9設定形態のいずれの場合であっても適用できる。
<処理手順>
図37は、3Dオブジェクト制御部155によるオブジェクト制御の第2形態の処理手順を示したフローチャートである。
ステップS41では、3Dオブジェクト制御部155は、体験者とその他の全視聴者の会場配置を決定する。処理は、ステップS41からステップS42に進む。
ステップS42では、3Dオブジェクト制御部155は、配信者のステージ位置を体験者の目の前に配置する。処理は、ステップS42からステップS43に進む。
ステップS43では、3Dオブジェクト制御部155は、体験者以外の視聴者(アバター)の全ての検索を開始する。処理はステップS43からステップS44に進む。
ステップS44では、3Dオブジェクト制御部155は、検索されたアバターは体験者に近接かつ中心視野内か否かを判定する。
ステップS44において、検索されたアバターは体験者に近接かつ中心視野内であると判定された場合、処理はステップS45に進み、3Dオブジェクト制御部155は、検索されたアバターを実写の動きができるアバターに設定する。処理はステップS45からステップS47に進む。
ステップS44において、検索されたアバターは体験者に近接かつ中心視野内でないと判定された場合、処理はステップS46に進み、3Dオブジェクト制御部155は、検索されたアバターを影又はモブ化アバターに設定する。処理はステップS46からステップS47に進む。
ステップS47では、3Dオブジェクト制御部155は、体験者以外の全アバターの検索は終了したか否かを判定する。
ステップS47において、体験者以外の全アバターの検索が終了していないと判定された場合には、処理はステップS47からステップS44に戻り、ステップS44からの処理を繰り返す。
ステップS47において、体験者以外の全アバターの検索が終了したと判定された場合には、処理はステップS47からステップS48に進む。
ステップS48では、3Dオブジェクト制御部155は、体験者の周辺のアバター(群)の姿勢を配信者に向くように角度調整を行う(図36参照)。処理はステップS48からステップS49に進む。
ステップS49では、3Dオブジェクト制御部155は、「ライブ前」へのシーン遷移の処理を実行する。処理はステップS49からステップS50に進む。
ステップS50では、3Dオブジェクト制御部155は、「ライブ中」のシーン開始条件が成立したか否かを判定する。例えば、「ライブ前」の状態で一定時間が経過したか否か、又は、ライブ開始の時刻になったか否かを判定する。
ステップS50において、「ライブ中」のシーン開始条件が成立しないと判定された場合、処理はステップS50を繰り返す。
ステップS50において、「ライブ中」のシーン開始条件が成立したと判定された場合、処理はステップS50からステップS51に進む。
ステップS51では、3Dオブジェクト制御部155は、「ライブ中」へのシーン遷移の処理を実行する。処理はステップS51からステップS52に進む。
ステップS52では、3Dオブジェクト制御部155は、「ライブ後」のシーン開始条件が成立したか否かを判定する。例えば、「ライブ中」の状態で一定時間が経過したか否か、又は、ライブ終了の時刻になったか否かを判定する。
ステップS52において、「ライブ後」のシーン開始条件が成立しないと判定された場合、処理はステップS52を繰り返す。
ステップS52において、「ライブ後」のシーン開始条件が成立したと判定された場合、処理はステップS52からステップS53に進む。
ステップS53では、3Dオブジェクト制御部155は、「ライブ後」へのシーン遷移の処理を実行する。
以上のステップS49乃至ステップS53の処理の間、3Dオブジェクト制御部155は、体験者及び視聴者のアバターの位置関係をシーンの切り替わり等により不連続とならないように承継する。例えば、3Dオブジェクト制御部155は、体験者に近接した視聴者又は仲間グループ内の各視聴者の初期位置及び現在位置をリストデータなどで保持し、シーンの切り替わる毎にリストデータを参照して視聴者の位置関係を承継する。
以上のオブジェクト制御の第2形態によれば、配信者が配信するコンテンツを同時に、かつ、同一空間で多数の視聴者が視聴する場合であっても、各視聴者は、それぞれ最適な視聴位置で配信者が配信するコンテンツを視聴することができる。
また、体験者に近い視聴者のアバターのみを実写動作させるため、情報処理装置61での処理負荷(アバターの描画負荷等)が軽減される。
また、体験者の周辺のアバターの姿勢が配信者の方向に正面が向くように補正されるため、現実感の向上が図られる。
本技術は、仮想現実への適用に限らず、現実世界の3次元空間(実空間)に仮想空間の配信者の立体映像や視聴者のアバター等を融合して各種イベントを開催する場合等に適用可能である。本技術は拡張現実、複合現実、代替現実等への適用が可能である。
また、本技術は、多人数接続型の「音楽ライブ」以外に、「スポーツライブ」、「バラエティ」等のエンタテインメント向けコンテンツ配信や、「遠隔教育・レッスン」、「遠隔作業支援」などの用途でのコンテンツ配信への適用が可能である。また、本技術は、イベントに同時に参加している仲間と、実際に会っている感覚でバーバル・ノンバーバルコミュニケーションを実現する手段となり得るため、遠隔コミュニケーションサービスへの適用が可能であり、遠隔コミュニケーションサービスのビジネス利用促進が図られる。
<プログラム>
上述した配信サーバ41や情報処理装置61等での一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図38は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)401,ROM(Read Only Memory)402,RAM(Random Access Memory)403は、バス404により相互に接続されている。
バス404には、さらに、入出力インタフェース405が接続されている。入出力インタフェース405には、入力部406、出力部407、記憶部408、通信部409、及びドライブ410が接続されている。
入力部406は、キーボード、マウス、マイクロフォンなどよりなる。出力部407は、ディスプレイ、スピーカなどよりなる。記憶部408は、ハードディスクや不揮発性のメモリなどよりなる。通信部409は、ネットワークインタフェースなどよりなる。ドライブ410は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア411を駆動する。
以上のように構成されるコンピュータでは、CPU401が、例えば、記憶部408に記憶されているプログラムを、入出力インタフェース405及びバス404を介して、RAM403にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU401)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア411に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア411をドライブ410に装着することにより、入出力インタフェース405を介して、記憶部408にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部409で受信し、記憶部408にインストールすることができる。その他、プログラムは、ROM402や記憶部408に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本技術は以下のような構成も取ることができる。
(1)
仮想空間又は実空間において、所定の配信位置に仮想的に配置された配信者から配信されるコンテンツを視聴する複数の視聴者のうちの少なくとも1の視聴者について、体験者として前記コンテンツを視聴する視聴位置と前記配信位置との相対的な位置関係が前記体験者に対して決められた位置関係となるように、前記体験者の視聴位置と前記配信位置とを設定する処理部
を有する情報処理装置。
(2)
前記処理部は、
前記コンテンツを視聴する複数の前記視聴者をそれぞれ前記体験者とした場合における前記体験者の前記視聴位置と前記配信位置とを設定する
前記(1)に記載の情報処理装置。
(3)
前記複数の視聴者は、前記コンテンツを同時に視聴する視聴者である
前記(1)又は前記(2)に記載の情報処理装置。
(4)
前記処理部は、
前記体験者に対して決められた位置関係として、前記体験者により指定された位置関係、又は、前記配信位置に対して前記体験者が最適な視聴環境となる最適視聴位置として事前に決められた相対的な位置関係を用いる
前記(1)乃至前記(3)のいずれかに記載の情報処理装置。
(5)
前記最適視聴位置は、前記体験者の設定可能な視聴位置のうち、前記配信位置に対して最短距離となる視聴位置である
前記(4)に記載の情報処理装置。
(6)
前記処理部は、
前記体験者により認識される前記体験者以外の前記視聴者の視聴位置を設定する
前記(1)乃至前記(5)のいずれかに記載の情報処理装置。
(7)
前記処理部は、
前記複数の視聴者のうちの複数の前記視聴者からなるグループを事前に設定し、前記グループのうちの前記体験者が属するグループを注目グループとした場合に、前記体験者が、前記注目グループに属する前記視聴者のうちのいずれかにかかわらず、前記注目グループに属する前記視聴者の前記視聴位置の相対的な位置関係が同一となるように、前記注目グループに属する前記視聴者の前記視聴位置を設定する
前記(6)に記載の情報処理装置。
(8)
前記処理部は、
前記注目グループ全体としての位置と前記配信位置との相対的な位置関係が、前記注目グループに対して決められた相対位置となる場合における前記体験者の前記視聴位置と前記配信位置との相対的な位置関係を、前記体験者に対して決められた位置関係とする
前記(7)に記載の情報処理装置。
(9)
前記処理部は、
前記注目グループに属する前記視聴者のそれぞれの前記視聴位置を、それらの前記視聴位置のうちのいずれかに隣接する位置に設定する
前記(7)又は前記(8)に記載の情報処理装置。
(10)
前記処理部は、
前記視聴者が会話を行う仲間を1つのグループとして設定する
前記(7)乃至前記(9)のいずれかに記載の情報処理装置。
(11)
前記体験者以外の前記視聴者の前記視聴位置は、それぞれ前記体験者が視聴する前記仮想空間又は前記実空間において、前記視聴者を表した分身が表示される位置である
前記(6)乃至前記(10)のいずれかに記載の情報処理装置。
(12)
前記分身は、前記配信位置の方向に正面を向けて配置される
前記(11)に記載の情報処理装置。
(13)
前記体験者以外の前記視聴者の前記視聴位置は、前記体験者の前記視聴位置からの距離が所定の閾値以下の場合には、前記視聴者の実写動作に対応して動く前記分身が表示される位置であり、前記体験者の前記視聴位置からの距離が前記閾値よりも大きい場合には、前記視聴者の実写動作に対応しない前記分身が表示される位置である
前記(11)又は前記(12)に記載の情報処理装置。
(14)
前記分身の映像を生成する表示制御部
をさらに有する
前記(11)乃至前記(13)のいずれかに記載の情報処理装置。
(15)
前記配信位置は、前記配信者を実写映像が表示される位置である
前記(1)乃至前記(14)のいずれかに記載の情報処理装置。
(16)
前記配信者の実写映像は、前記配信者を多視点から撮影した映像から生成されたボリュメトリック映像である
前記(15)に記載の情報処理装置。
(17)
前記処理部は、
前記体験者とする前記視聴者にかかわらず、前記配信位置を同一位置に設定し、前記体験者の前記視聴位置と前記配信位置との相対的な位置関係が前記体験者に対して決められた位置関係となるように、前記体験者の前記視聴位置を設定する
前記(1)乃至前記(16)のいずれかに記載の情報処理装置。
(18)
前記処理部は、
前記体験者とする前記視聴者ごとに、前記体験者の前記視聴位置を異なる位置に設定し、前記体験者の前記視聴位置と前記配信位置との相対的な位置関係が前記体験者に対して決められた位置関係となるように、前記配信位置を設定する
前記(1)乃至前記(16)のいずれかに記載の情報処理装置。
(19)
処理部
を有する
情報処理装置の
前記処理部は、
仮想空間又は実空間において、所定の配信位置に仮想的に配置された配信者から配信されるコンテンツを視聴する複数の視聴者のうちの少なくとも1の視聴者について、体験者として前記コンテンツを視聴する視聴位置と前記配信位置との相対的な位置関係が前記体験者に対して決められた位置関係となるように、前記体験者の視聴位置と前記配信位置とを設定する
情報処理方法。
(20)
コンピュータを、
仮想空間又は実空間において、所定の配信位置に仮想的に配置された配信者から配信されるコンテンツを視聴する複数の視聴者のうちの少なくとも1の視聴者について、体験者として前記コンテンツを視聴する視聴位置と前記配信位置との相対的な位置関係が前記体験者に対して決められた位置関係となるように、前記体験者の視聴位置と前記配信位置とを設定する処理部
として機能させるためのプログラム。
11 エンタテインメントシステム, 21 サーバシステム, 22 クライアントシステム, 41 配信サーバ, 42 多視点カメラ, 61 情報処理装置, 62 HMD, 84 会場配置設定部, 155 3Dオブジェクト制御部

Claims (17)

  1. 仮想空間又は実空間において配信者から配信されるコンテンツを視聴する複数の視聴者であって、少なくとも一部が、複数の前記視聴者からなる、複数のグループのうちのいずれかに属するメンバに設定される前記複数の視聴者のそれぞれを体験者として、前記体験者ごとに、前記複数のグループのうちの前記体験者が前記メンバとして属するグループを注目グループとし、前記注目グループが前記コンテンツを視聴する視聴位置と前記配信者が仮想的に配置される配信位置との相対的な位置関係が前記注目グループに対して決められた位置関係となるように、前記注目グループの前記視聴位置と前記配信位置とを設定し、前記注目グループに属する前記体験者と前記体験者以外の前記視聴者の視聴位置の配置が、前記注目グループの前記視聴位置内で、前記注目グループに対して決められた、前記注目グループに属する前記メンバの配置となるように、前記注目グループに属する前記体験者と前記体験者以外の前記視聴者の視聴位置を設定する処理部
    を有する情報処理装置。
  2. 前記複数の視聴者は、前記コンテンツを同時に視聴する視聴者である
    請求項1に記載の情報処理装置。
  3. 前記処理部は、
    前記注目グループに対して決められた位置関係として、前記注目グループにより指定された位置関係、又は、前記配信位置に対して前記注目グループが最適な視聴環境となる最適視聴位置として事前に決められた相対的な位置関係を用いる
    請求項1に記載の情報処理装置。
  4. 前記最適視聴位置は、前記注目グループの設定可能な視聴位置のうち、前記配信位置に対して最短距離となる視聴位置である
    請求項に記載の情報処理装置。
  5. 前記処理部は、
    前記体験者ごとに、前記複数の視聴者のうちの、前記注目グループに属さない前記視聴者の視聴位置を設定する
    請求項1に記載の情報処理装置。
  6. 前記体験者以外の前記視聴者の前記視聴位置は、それぞれ前記体験者が視聴する前記仮想空間又は前記実空間において、前記視聴者を表した分身が表示される位置である
    請求項に記載の情報処理装置。
  7. 前記分身は、前記配信位置の方向に正面を向けて配置される
    請求項に記載の情報処理装置。
  8. 前記体験者以外の前記視聴者の前記視聴位置は、前記体験者の前記視聴位置からの距離が所定の閾値以下の場合には、前記視聴者の実写動作に対応して動く前記分身が表示される位置であり、前記体験者の前記視聴位置からの距離が前記閾値よりも大きい場合には、前記視聴者の実写動作に対応しない前記分身が表示される位置である
    請求項に記載の情報処理装置。
  9. 前記分身の映像を生成する表示制御部
    をさらに有する
    請求項に記載の情報処理装置。
  10. 前記注目グループに属する各メンバの配置は、前記メンバどうしが隣接する配置である
    請求項1に記載の情報処理装置。
  11. 前記処理部は、
    前記複数の視聴者のうちの、互いに会話を行う複数の前記視聴者を1つの前記グループに属する前記メンバに設定する
    請求項1に記載の情報処理装置。
  12. 前記配信位置は、前記配信者実写映像が表示される位置である
    請求項1に記載の情報処理装置。
  13. 前記配信者の実写映像は、前記配信者を多視点から撮影した映像から生成されたボリュメトリック映像である
    請求項1に記載の情報処理装置。
  14. 前記処理部は、
    前記注目グループとする前記グループにかかわらず、前記配信位置を同一位置に設定し、前記注目グループの前記視聴位置と前記配信位置との相対的な位置関係が前記注目グループに対して決められた位置関係となるように、前記注目グループの前記視聴位置を設定する
    請求項1に記載の情報処理装置。
  15. 前記処理部は、
    前記注目グループとする前記グループごとに、前記注目グループの前記視聴位置を異なる位置に設定し、前記注目グループの前記視聴位置と前記配信位置との相対的な位置関係が前記注目グループに対して決められた位置関係となるように、前記配信位置を設定する
    請求項1に記載の情報処理装置。
  16. 処理部
    を有する
    情報処理装置の
    前記処理部は、
    仮想空間又は実空間において配信者から配信されるコンテンツを視聴する複数の視聴者であって、少なくとも一部が、複数の前記視聴者からなる、複数のグループのうちのいずれかに属するメンバに設定される前記複数の視聴者のそれぞれを体験者として、前記体験者ごとに、前記複数のグループのうちの前記体験者が前記メンバとして属するグループを注目グループとし、前記注目グループが前記コンテンツを視聴する視聴位置と前記配信者が仮想的に配置される配信位置との相対的な位置関係が前記注目グループに対して決められた位置関係となるように、前記注目グループの前記視聴位置と前記配信位置とを設定し、前記注目グループに属する前記体験者と前記体験者以外の前記視聴者の視聴位置の配置が、前記注目グループの前記視聴位置内で、前記注目グループに対して決められた、前記注目グループに属する前記メンバの配置となるように、前記注目グループに属する前記体験者と前記体験者以外の前記視聴者の視聴位置を設定する
    情報処理方法。
  17. コンピュータを、
    仮想空間又は実空間において配信者から配信されるコンテンツを視聴する複数の視聴者であって、少なくとも一部が、複数の前記視聴者からなる、複数のグループのうちのいずれかに属するメンバに設定される前記複数の視聴者のそれぞれを体験者として、前記体験者ごとに、前記複数のグループのうちの前記体験者が前記メンバとして属するグループを注目グループとし、前記注目グループが前記コンテンツを視聴する視聴位置と前記配信者が仮想的に配置される配信位置との相対的な位置関係が前記注目グループに対して決められた位置関係となるように、前記注目グループの前記視聴位置と前記配信位置とを設定し、前記注目グループに属する前記体験者と前記体験者以外の前記視聴者の視聴位置の配置が、前記注目グループの前記視聴位置内で、前記注目グループに対して決められた、前記注目グループに属する前記メンバの配置となるように、前記注目グループに属する前記体験者と前記体験者以外の前記視聴者の視聴位置を設定する処理部
    として機能させるためのプログラム。
JP2022528533A 2020-06-03 2021-05-20 情報処理装置、情報処理方法、及び、プログラム Active JP7732453B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020097067 2020-06-03
JP2020097067 2020-06-03
PCT/JP2021/019103 WO2021246183A1 (ja) 2020-06-03 2021-05-20 情報処理装置、情報処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JPWO2021246183A1 JPWO2021246183A1 (ja) 2021-12-09
JP7732453B2 true JP7732453B2 (ja) 2025-09-02

Family

ID=78830252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022528533A Active JP7732453B2 (ja) 2020-06-03 2021-05-20 情報処理装置、情報処理方法、及び、プログラム

Country Status (5)

Country Link
US (1) US20230179756A1 (ja)
EP (1) EP4163876A4 (ja)
JP (1) JP7732453B2 (ja)
CN (1) CN115428032A (ja)
WO (1) WO2021246183A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2023233849A1 (ja) * 2022-06-03 2023-12-07
US12008701B2 (en) 2022-06-13 2024-06-11 Lemon Inc. Computing system and method for rendering avatars
JP7495558B1 (ja) 2023-06-22 2024-06-04 カバー株式会社 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法
JP7521072B1 (ja) * 2023-06-22 2024-07-23 カバー株式会社 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法
WO2025041486A1 (ja) * 2023-08-23 2025-02-27 ソニーグループ株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP7557594B1 (ja) 2023-10-24 2024-09-27 カバー株式会社 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019067112A1 (en) 2017-09-29 2019-04-04 Sony Interactive Entertainment America Llc SPECTATOR VIEW IN AN INTERACTIVE GAMING WORLD PRESENTED IN A LIVE EVENT LOCATED IN A PLACE OF THE REAL WORLD
JP2019188059A (ja) 2018-04-27 2019-10-31 株式会社コロプラ プログラム、情報処理装置、および方法
WO2020213098A1 (ja) 2019-04-17 2020-10-22 マクセル株式会社 映像表示装置及びその表示制御方法

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220247971A1 (en) * 2006-03-18 2022-08-04 Steve H. McNelley Virtual Digital Twin Videoconferencing Environments
US11399053B2 (en) * 2009-03-04 2022-07-26 Jacquelynn R. Lueth System and method for providing a real-time digital virtual audience
JP5299018B2 (ja) * 2009-03-26 2013-09-25 ソニー株式会社 情報処理装置、コンテンツ処理方法及びプログラム
US20110225517A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc Pointer tools for a virtual social venue
US20110225498A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Personalized avatars in a virtual social venue
US9392212B1 (en) * 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
WO2017055910A1 (en) * 2015-09-30 2017-04-06 Sony Interactive Entertainment Inc. Methods for optimizing positioning of content on a screen of a head mounted display
CN108139804A (zh) * 2015-10-15 2018-06-08 索尼公司 信息处理装置与信息处理方法
US20170132845A1 (en) * 2015-11-10 2017-05-11 Dirty Sky Games, LLC System and Method for Reducing Virtual Reality Simulation Sickness
JP6832061B2 (ja) * 2015-12-29 2021-02-24 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム
US10469803B2 (en) * 2016-04-08 2019-11-05 Maxx Media Group, LLC System and method for producing three-dimensional images from a live video production that appear to project forward of or vertically above an electronic display
US10204444B2 (en) * 2016-04-28 2019-02-12 Verizon Patent And Licensing Inc. Methods and systems for creating and manipulating an individually-manipulable volumetric model of an object
US20170359624A1 (en) * 2016-06-08 2017-12-14 Sphere Optics Company, Llc Multi-view point/location omni-directional recording and viewing
US10245507B2 (en) * 2016-06-13 2019-04-02 Sony Interactive Entertainment Inc. Spectator management at view locations in virtual reality environments
US10657701B2 (en) * 2016-06-30 2020-05-19 Sony Interactive Entertainment Inc. Dynamic entering and leaving of virtual-reality environments navigated by different HMD users
US20210044779A1 (en) * 2016-08-29 2021-02-11 Koninklijke Kpn N.V. Communicating in a Virtual Reality Environment
US10516908B2 (en) * 2016-09-08 2019-12-24 Telefonaktiebolaget Lm Ericsson (Publ) Bitrate control in virtual reality (VR) environments using time-shifting and unicast delivery
US10169919B2 (en) * 2016-09-09 2019-01-01 Oath Inc. Headset visual displacement for motion correction
US11071915B2 (en) * 2016-09-30 2021-07-27 Sony Interactive Entertainment Inc. Delivery of spectator feedback content to virtual reality environments provided by head mounted display
US10438418B2 (en) * 2016-12-08 2019-10-08 Colopl, Inc. Information processing method for displaying a virtual screen and system for executing the information processing method
JP6242473B1 (ja) * 2016-12-22 2017-12-06 株式会社コロプラ 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP6266814B1 (ja) * 2017-01-27 2018-01-24 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6244593B1 (ja) * 2017-01-30 2017-12-13 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6392911B2 (ja) * 2017-01-30 2018-09-19 株式会社コロプラ 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6290467B1 (ja) * 2017-02-01 2018-03-07 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP6276434B1 (ja) * 2017-02-03 2018-02-07 株式会社コロプラ 仮想空間における移動を支援するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP6306765B1 (ja) * 2017-02-27 2018-04-04 株式会社コロプラ 仮想空間を移動するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラムおよび情報処理装置
US10438394B2 (en) * 2017-03-02 2019-10-08 Colopl, Inc. Information processing method, virtual space delivering system and apparatus therefor
JP6240353B1 (ja) * 2017-03-08 2017-11-29 株式会社コロプラ 仮想空間において情報を提供するための方法、そのためのプログラム、および、そのための装置
US10365784B2 (en) * 2017-03-08 2019-07-30 Colopl, Inc. Information processing method and apparatus for executing the information processing method
US10688396B2 (en) * 2017-04-28 2020-06-23 Sony Interactive Entertainment Inc. Second screen virtual window into VR environment
JP6298558B1 (ja) * 2017-05-11 2018-03-20 株式会社コロプラ 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US20180329486A1 (en) * 2017-05-14 2018-11-15 Phillip Lucas Williams System of Avatar Management within Virtual Reality Environments
US10165326B1 (en) * 2017-05-31 2018-12-25 International Business Machines Corporation Technological facilitation of virtual in-venue experience for remote spectator(s) of an event
JP6419916B1 (ja) * 2017-09-04 2018-11-07 株式会社コロプラ ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置
US10556185B2 (en) * 2017-09-29 2020-02-11 Sony Interactive Entertainment America Llc Virtual reality presentation of real world space
US10621784B2 (en) * 2017-09-29 2020-04-14 Sony Interactive Entertainment America Llc Venue mapping for virtual reality spectating of live events
US10668382B2 (en) * 2017-09-29 2020-06-02 Sony Interactive Entertainment America Llc Augmenting virtual reality video games with friend avatars
US11179635B2 (en) * 2017-10-11 2021-11-23 Sony Interactive Entertainment LLC Sound localization in an augmented reality view of a live event held in a real-world venue
CN112020836A (zh) * 2018-01-19 2020-12-01 Esb实验室股份有限公司 虚拟交互式观众接口
AU2019216976A1 (en) * 2018-02-12 2020-09-03 Xr Health Il Ltd Virtual and augmented reality telecommunication platforms
US10713834B2 (en) * 2018-04-27 2020-07-14 Colopl, Inc. information processing apparatus and method
US11551645B2 (en) * 2018-06-07 2023-01-10 Sony Interactive Entertainment Inc. Information processing system, information processing method, and computer program
JPWO2020129115A1 (ja) * 2018-12-17 2021-11-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理方法およびコンピュータプログラム
US10802579B2 (en) * 2019-02-01 2020-10-13 Facebook Technologies, Llc Artificial reality system having multiple modes of engagement
US20200349751A1 (en) * 2019-04-30 2020-11-05 Number 9, LLC Presentation interface and immersion platform
US11194386B1 (en) * 2019-05-22 2021-12-07 Facebook Technologies, Llc Artificial reality wearable magnetic sensor system for body pose tracking
US11023095B2 (en) * 2019-07-12 2021-06-01 Cinemoi North America, LLC Providing a first person view in a virtual world using a lens
US12063344B2 (en) * 2019-09-13 2024-08-13 Sony Group Corporation Reproduction device, reproduction method, and recording medium
CN114651448B (zh) * 2019-11-15 2024-10-18 索尼集团公司 信息处理系统、信息处理方法和程序
US11087552B2 (en) * 2019-11-26 2021-08-10 Rufina Shatkina Collaborative on-demand experiences
US11166050B2 (en) * 2019-12-11 2021-11-02 At&T Intellectual Property I, L.P. Methods, systems, and devices for identifying viewed action of a live event and adjusting a group of resources to augment presentation of the action of the live event
US10974147B1 (en) * 2019-12-19 2021-04-13 Sony Interactive Entertainment Inc. Spectator switch board customized to user viewport selection actions
CN115004132A (zh) * 2020-01-29 2022-09-02 索尼集团公司 信息处理装置、信息处理系统和信息处理方法
US11262588B2 (en) * 2020-03-10 2022-03-01 Magic Leap, Inc. Spectator view of virtual and physical objects
JPWO2021230073A1 (ja) * 2020-05-13 2021-11-18
US11321892B2 (en) * 2020-05-21 2022-05-03 Scott REILLY Interactive virtual reality broadcast systems and methods
DE112021003549T5 (de) * 2020-07-01 2023-04-27 Sony Group Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
US20230260235A1 (en) * 2020-07-13 2023-08-17 Sony Group Corporation Information processing apparatus, information processing method, and information processing system
US11070849B2 (en) * 2020-08-17 2021-07-20 Zoltan Bathory Event production and distribution networks, systems, apparatuses, and methods related thereto
US12223587B2 (en) * 2020-10-08 2025-02-11 Sony Group Corporation Information processing device, information processing method, and information distribution system
US11750774B2 (en) * 2020-10-19 2023-09-05 Sophya Inc. Systems and methods for triggering livestream communications between users based on proximity-based criteria for avatars within virtual environments that correspond to the users
US12566583B2 (en) * 2020-10-30 2026-03-03 Sony Group Corporation Information processing apparatus, information processing system, information processing method, and information processing terminal
WO2022107880A1 (ja) * 2020-11-19 2022-05-27 グリー株式会社 コンピュータプログラム、方法、及び、サーバ装置
US11374988B1 (en) * 2021-01-29 2022-06-28 Microsoft Technology Licensing, Llc Controlled user interface transitions for private breakout communication sessions
US11893672B2 (en) * 2021-03-02 2024-02-06 International Business Machines Corporation Context real avatar audience creation during live video sharing
JP2022134638A (ja) * 2021-03-03 2022-09-15 ヤマハ株式会社 画像表示システム、表示制御方法、発光制御方法、及びプログラム
JP2024061694A (ja) * 2021-03-09 2024-05-08 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US12003806B2 (en) * 2021-03-11 2024-06-04 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
EP4305838A2 (en) * 2021-03-11 2024-01-17 Ati Studios A.p.p.s. S.r.l. Web-based video conferencing system and method
FR3120719B1 (fr) * 2021-03-15 2024-04-19 Driving Simulation Ass Navigation rotationnelle en environnement virtuel avec une référence visuelle
US20240153226A1 (en) * 2021-03-31 2024-05-09 Sony Group Corporation Information processing apparatus, information processing method, and program
CN116830563A (zh) * 2021-03-31 2023-09-29 索尼集团公司 信息处理装置、信息处理方法和系统
JP7264941B2 (ja) * 2021-06-17 2023-04-25 グリー株式会社 プログラム、情報処理装置及び情報処理方法
JP7324469B2 (ja) * 2021-06-28 2023-08-10 グリー株式会社 情報処理システム、情報処理方法、情報処理プログラム
WO2023276252A1 (ja) * 2021-06-30 2023-01-05 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
US20240338873A1 (en) * 2021-07-07 2024-10-10 Sony Group Corporation Information processing device, information processing method, information processing system, computer program, and recording medium
US12159352B2 (en) * 2021-08-30 2024-12-03 Bsset Llc Extended reality movement platform
EP4386687A4 (en) * 2021-09-03 2024-12-04 Sony Group Corporation Information processing device, information processing method, and program
US20240378781A1 (en) * 2021-09-07 2024-11-14 Sony Group Corporation Information processing device and method, and program
US11670014B2 (en) * 2021-10-01 2023-06-06 At&T Intellectual Property I, L.P. Augmented reality permission zones
US20250030924A1 (en) * 2021-12-10 2025-01-23 Sony Interactive Entertainment Inc. Information processing system and information processing method
US12342020B2 (en) * 2022-11-07 2025-06-24 Jvckenwood Corporation Advertisement display apparatus, method, and non-transitory computer readable medium
US12356117B2 (en) * 2022-12-29 2025-07-08 Microsoft Technology Licensing, Llc Transitioning of meeting engagement by transitioning viewing perspectives to a temporary viewing perspective showing clusters of group activity
US12400391B2 (en) * 2022-12-29 2025-08-26 Microsoft Technology Licensing, Llc Promotion of meeting engagement by transitioning viewing perspectives to a temporary viewing perspective showing group activity
US20240290041A1 (en) * 2023-02-27 2024-08-29 Adeia Guides Inc. Method for socially-based navigation in virtual events
US20240406490A1 (en) * 2023-05-31 2024-12-05 Apple Inc. Systems and methods of presenting mixed media in a three-dimensional environment
JP7557015B1 (ja) * 2023-06-20 2024-09-26 カバー株式会社 プログラム、方法、およびシステム
US20250086880A1 (en) * 2023-09-12 2025-03-13 Gilad Eliezer Tsur Mayer Systems and methods for virtual arena experiences
US20250130630A1 (en) * 2023-10-18 2025-04-24 Cover Corp. Method and system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019067112A1 (en) 2017-09-29 2019-04-04 Sony Interactive Entertainment America Llc SPECTATOR VIEW IN AN INTERACTIVE GAMING WORLD PRESENTED IN A LIVE EVENT LOCATED IN A PLACE OF THE REAL WORLD
JP2019188059A (ja) 2018-04-27 2019-10-31 株式会社コロプラ プログラム、情報処理装置、および方法
WO2020213098A1 (ja) 2019-04-17 2020-10-22 マクセル株式会社 映像表示装置及びその表示制御方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
中村 暢達 他,インターネット対応3DマルチユーザシステムLadakh,電子情報通信学会論文誌,日本,社団法人電子情報通信学会,1998年05月25日,第J81-D-II巻 第5号,pp.982-991
坂東 敏和 他,セカンドライフを利用したメタバース・ラーニングの提唱,情報処理学会研究報告 平成21年度▲4▼ [CD-ROM],日本,社団法人情報処理学会,2009年12月15日,pp.1-5

Also Published As

Publication number Publication date
EP4163876A4 (en) 2023-11-15
WO2021246183A1 (ja) 2021-12-09
EP4163876A1 (en) 2023-04-12
CN115428032A (zh) 2022-12-02
JPWO2021246183A1 (ja) 2021-12-09
US20230179756A1 (en) 2023-06-08

Similar Documents

Publication Publication Date Title
JP7732453B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP7589374B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
RU2665872C2 (ru) Стереопросмотр
US8928659B2 (en) Telepresence systems with viewer perspective adjustment
US12149671B2 (en) Telepresence system and method
US8885023B2 (en) System and method for virtual camera control using motion control systems for augmented three dimensional reality
WO2020210213A1 (en) Multiuser asymmetric immersive teleconferencing
WO2015027105A1 (en) Virtual reality content stitching and awareness
US12615355B2 (en) Information processing apparatus, information processing method, and system
JP2024506390A (ja) 空間仮想現実環境を用いたテレビ会議装置、テレビ会議方法、及びコンピュータプログラム
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
WO2023026519A1 (ja) 情報処理装置、情報処理端末、情報処理方法、および記憶媒体
WO2023276252A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20240013483A1 (en) Enabling Multiple Virtual Reality Participants to See Each Other
WO2022220306A1 (ja) 映像表示システム、情報処理装置、情報処理方法、及び、プログラム
KR20190031220A (ko) Vr 콘텐츠 제공 시스템 및 방법
JP2020530218A (ja) 没入型視聴覚コンテンツを投影する方法
US12568196B2 (en) Autostereoscopic display device presenting 3D-view and 3D-sound
WO2018161816A1 (zh) 一种投影系统、方法、服务器和控制界面
TWI916630B (zh) 裸視立體顯示裝置、用於同時呈現3d視圖及3d立體聲之方法、及顯示系統
US20180213127A1 (en) Virtual protocol
OA19208A (en) A system for combining virtual simulated images with real footage from a studio.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250722

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250804

R150 Certificate of patent or registration of utility model

Ref document number: 7732453

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150