WO2022030383A1

WO2022030383A1 - 情報処理装置および画像表示方法

Info

Publication number: WO2022030383A1
Application number: PCT/JP2021/028337
Authority: WO
Inventors: 翔威米富; 雅則野村
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2020-08-07
Filing date: 2021-07-30
Publication date: 2022-02-10
Anticipated expiration: 2023-02-07
Also published as: KR20230028426A; JP7390992B2; EP4194066A1; US12330059B2; JP2022030870A; US20230277928A1; CN115777094A; KR102812546B1; EP4194066A4

Abstract

取得部１１０ａは、別の情報処理装置から、第１画像データを取得する。表示処理部１１２ａは、取得部１１０ａが取得した第１画像データに対応する第１画像を表示する。受付部１００ａは、第１画像が表示されているときに、第１情報処理装置１０ａを操作するための入力装置の操作情報を受け付ける。システム画像生成部１０４ａは、受付部１００ａが受け付けた操作情報に対応する第２画像データを生成する。表示処理部１１２ａは、第１画像を縮小し、縮小した第１画像に、第２画像データに対応する第２画像を重ねて表示する。

Description

情報処理装置および画像表示方法

　本発明は、画像を表示する技術に関する。

　特許文献１は、ユーザの端末装置を、ユーザの自宅にあるゲーム装置にインターネット経由で接続して、遠隔地からゲーム装置にログインする技術を開示する。端末装置がゲーム装置にユーザの操作情報を送信すると、ゲーム装置は操作情報をゲーム進行に反映して画像データおよび音声データを生成する。ゲーム装置は、生成した画像データおよび音声データを端末装置にストリーミング送信することで、ユーザは、ゲーム装置から離れた場所にいながらゲームをプレイできる。このプレイモードは「リモートプレイ」と呼ばれている。

国際公開第２０１３／１１１２４７号

　リモートプレイの仕組みを利用すると、たとえばユーザが実家に帰省しているとき、実家のゲーム装置を操作して、自宅のゲーム装置にアクセスし、自宅のゲーム装置にインストールしているゲームをプレイできる。つまりユーザは、実家のゲーム装置に当該ゲームをインストールする必要なく、リモートプレイモードで当該ゲームをプレイできる。

　実家のゲーム装置と自宅のゲーム装置とが同種のゲーム装置である場合、両ゲーム装置が提供するホーム画面などのシステム画面のレイアウトは同じものとなる。そのためユーザは、表示されているシステム画面が、自宅のゲーム装置により提供されているのか、または実家のゲーム装置により提供されているのか判断しづらい。そこで表示されている画面がいずれのゲーム装置により提供されているかユーザに認識させるための工夫を施すことが好ましい。

　そこで本開示は、リモートプレイの実施中に、表示されている画面が接続元装置または接続先装置のいずれにより提供されているか認識させるための技術を提供することを目的とする。

　上記課題を解決するために、本開示のある態様の情報処理装置は、ユーザによって操作される情報処理装置であって、別の情報処理装置とネットワークを介して通信可能に接続する通信処理部と、別の情報処理装置から、第１画像データを取得する取得部と、取得部が取得した第１画像データに対応する第１画像を表示する表示処理部と、第１画像が表示されているときに、情報処理装置を操作するための入力装置の操作情報を受け付ける受付部と、受付部が受け付けた操作情報に対応する第２画像データを生成する画像生成部と、を備える。表示処理部は、第１画像を縮小し、縮小した第１画像に、第２画像データに対応する第２画像を重ねて表示する。

　本開示の別の態様は、情報処理装置において画像を表示する方法であって、ネットワークを介して通信可能に接続する別の情報処理装置から、第１画像データを取得するステップと、第１画像データに対応する第１画像を表示するステップと、第１画像が表示されているときに、情報処理装置を操作するための入力装置の操作情報を受け付けるステップと、操作情報に対応する第２画像データを生成するステップと、第１画像を縮小し、縮小した第１画像に、第２画像データに対応する第２画像を重ねて表示するステップと、を有する。

　なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。

実施例の情報処理システムの一態様を示す図である。情報処理装置のハードウェア構成を示す図である。第１情報処理装置の機能ブロックを示す図である。第１情報処理装置が提供するユーザのホーム画面の例を示す図である。ホーム画面においてアイコン列を動かした状態を示す図である。リモートプレイの接続先を選択する画面の例を示す図である。第２情報処理装置の機能ブロックを示す図である。第１情報処理装置と第２情報処理装置との間で接続を確立する際に表示される画面の例を示す図である。第２情報処理装置が提供するユーザのホーム画面の例を示す図である。拡大中のホーム画面の例を示す図である。表示画面の全体に表示したホーム画面の例を示す図である。ホーム画面においてアイコン列を動かした状態を示す図である。ユーザによりリモートプレイされているゲーム画面の例を示す図である。ユーザが所定の操作部材を操作したときの画面の例を示す図である。第１情報処理装置が提供するシステム画面の例を示す。第１情報処理装置が提供するシステム画面の例を示す。第２情報処理装置が提供するシステム画面の例を示す。

　図１は、実施例の情報処理システムの一態様を示す。情報処理システム１において管理サーバ５は、ゲームに関するネットワークサービスをユーザに提供する。管理サーバ５はユーザを識別するためのアカウント情報を管理しており、ユーザはアカウント情報を用いて、管理サーバ５が提供するネットワークサービスにサインインする。なお以下では、ネットワークサービスにサインインすることを、管理サーバ５にサインインする、と呼ぶこともある。

　アカウント情報は、メールアドレスおよびパスワードで構成されてよい。ユーザは、自身のアカウント情報を保持する情報処理装置にログインすると、アカウント情報が管理サーバ５により認証されて、管理サーバ５にサインインできる。ここで情報処理装置にログインすることは、ユーザが、その情報処理装置の機能を利用可能となることを意味し、ユーザが管理サーバ５にサインインすることは、ユーザが、ネットワークサービスを利用可能となることを意味する。

　ユーザは管理サーバ５にサインインすることで、ゲームのセーブデータを管理サーバ５に保存し、ゲームプレイ中に獲得した表彰品（トロフィ）を管理サーバ５に登録できる。またユーザは管理サーバ５にサインインすることで、遠隔地にある情報処理装置にログインしてゲームをプレイする「リモートプレイ」も実施できる。

　図１に示す情報処理システム１は、ユーザが実家に里帰りしているときの利用態様を例示する。第１情報処理装置１０ａは、ユーザの実家に設置されており、第２情報処理装置１０ｂは、ユーザの自宅に設置されている。リモートプレイの仕組みを利用すると、ユーザは、実家の第１情報処理装置１０ａから自宅に第２情報処理装置１０ｂにアクセスして、第２情報処理装置１０ｂにインストールされているゲームをプレイできる。リモートプレイ中、接続元の第１情報処理装置１０ａと接続先の第２情報処理装置１０ｂとは、インターネットなどのネットワーク３を介してＰ２Ｐ通信で接続してよい。

　第１情報処理装置１０ａは、ユーザが操作する入力装置６と無線または有線で接続する。通常のプレイモードにおいて、第１情報処理装置１０ａは入力装置６から操作情報を受け付けるとシステムソフトウェアやアプリケーションソフトウェアの処理に反映し、出力装置４ａから処理結果を出力させる。実施例において第１情報処理装置１０ａはゲーム等のアプリケーションを実行するゲーム装置であり、入力装置６はゲームコントローラであって、第１情報処理装置１０ａに対してユーザの操作情報を供給する。

　補助記憶装置２ａはＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）などの大容量記憶装置であり、内蔵型記憶装置であってよく、またＵＳＢ（Universal Serial Bus）などによって第１情報処理装置１０ａと接続する外部記憶装置であってもよい。出力装置４ａは画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。出力装置４ａは、第１情報処理装置１０ａに有線ケーブルで接続されてよく、無線接続されてもよい。

　アクセスポイント（以下、「ＡＰ」とよぶ）８ａは、無線アクセスポイントおよびルータの機能を有し、第１情報処理装置１０ａは、無線または有線経由でＡＰ８ａに接続して、外部のネットワーク３に接続する。カメラ７ａはステレオカメラであって、出力装置４ａ周辺の空間を撮像する。

　上記したように第２情報処理装置１０ｂは、ユーザの自宅に設置される。第２情報処理装置１０ｂは、周辺機器である補助記憶装置２ｂ、出力装置４ｂ、カメラ７ｂおよびＡＰ８ｂと無線または有線経由で接続する。ユーザの自宅における第２情報処理装置１０ｂおよび周辺機器の接続は、ユーザの実家における第１情報処理装置１０ａおよび周辺機器の接続と同じであってよい。実施例において第２情報処理装置１０ｂは、第１情報処理装置１０ａと同種のゲーム装置であり、以下、第１情報処理装置１０ａと第２情報処理装置１０ｂとを特に区別しない場合には、単に「情報処理装置１０」と呼ぶこともある。

　図２は、情報処理装置１０のハードウェア構成を示す。情報処理装置１０は、メイン電源ボタン２０、電源ＯＮ用ＬＥＤ２１、スタンバイ用ＬＥＤ２２、システムコントローラ２４、クロック２６、デバイスコントローラ３０、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０を有して構成される。

　メインシステム６０は、メインＣＰＵ（Central Processing Unit）、主記憶装置であるメモリおよびメモリコントローラ、ＧＰＵ（Graphics Processing Unit）などを備える。ＧＰＵはゲームプログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、１つのチップ上に形成されてよい。メインＣＰＵは補助記憶装置２またはＲＯＭ媒体４４に記録されたゲームプログラムを実行する機能をもつ。

　サブシステム５０は、サブＣＰＵ、主記憶装置であるメモリおよびメモリコントローラなどを備え、ＧＰＵを備えず、ゲームプログラムを実行する機能をもたない。サブＣＰＵの回路ゲート数は、メインＣＰＵの回路ゲート数よりも少なく、サブＣＰＵの動作消費電力は、メインＣＰＵの動作消費電力よりも少ない。

　メイン電源ボタン２０は、ユーザからの操作入力が行われる入力部であって、情報処理装置１０の筐体の前面に設けられ、情報処理装置１０のメインシステム６０への電源供給をオンまたはオフするために操作される。電源ＯＮ用ＬＥＤ２１は、メイン電源ボタン２０がオンされたときに点灯し、スタンバイ用ＬＥＤ２２は、メイン電源ボタン２０がオフされたときに点灯する。

　システムコントローラ２４は、ユーザによるメイン電源ボタン２０の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オフ指示」として取得する。

　クロック２６はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ２４やサブシステム５０およびメインシステム６０に供給する。デバイスコントローラ３０は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するＬＳＩ（Large-Scale Integrated Circuit）として構成される。図示のように、デバイスコントローラ３０には、システムコントローラ２４、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０などのデバイスが接続される。デバイスコントローラ３０は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。

　メディアドライブ３２は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したＲＯＭ媒体４４を装着して駆動し、ＲＯＭ媒体４４からプログラムやデータなどを読み出すドライブ装置である。ＲＯＭ媒体４４は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアであってよい。

　ＵＳＢモジュール３４は、外部機器とＵＳＢケーブルで接続するモジュールである。ＵＳＢモジュール３４は補助記憶装置２およびカメラ７とＵＳＢケーブルで接続してもよい。フラッシュメモリ３６は、内部ストレージを構成する補助記憶装置である。無線通信モジュール３８は、Bluetooth（登録商標）プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置６と無線通信する。有線通信モジュール４０は、外部機器と有線通信し、ＡＰ８を介してネットワーク３に接続する。

　実施例では、まずユーザが実家の第１情報処理装置１０ａにログインして、管理サーバ５にサインインする。それからユーザは、リモートプレイを実施するためのアプリケーション（以下、「リモートアプリ」と呼ぶ）を実行して、第２情報処理装置１０ｂにアクセスして、第２情報処理装置１０ｂにログインする。

　図３は、第１情報処理装置１０ａの機能ブロックを示す。第１情報処理装置１０ａは、受付部１００ａ、ログイン処理部１０２ａ、システム画像生成部１０４ａ、アプリケーション実行部１０６ａ、アプリケーション画像生成部１０８ａ、取得部１１０ａ、表示処理部１１２ａおよび通信処理部１１４ａを備える。通信処理部１１４ａは、図２に示す無線通信モジュール３８および有線通信モジュール４０の機能を示す。

　図３において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　第１情報処理装置１０ａが起動されると、ログイン処理部１０２ａがログイン画面を生成して、出力装置４ａに表示する。ログイン画面には、第１情報処理装置１０ａにアカウント情報を登録しているユーザに関する情報がリスト表示される。ユーザが自分のユーザ情報を選択すると、受付部１００ａがユーザ情報の選択操作を受け付けて、ログイン処理部１０２ａがユーザのログインを許可する。ログイン用のパスコードが設定されている場合、ログイン処理部１０２ａは、パスコードの認証を行った上で、ユーザのログインを許可する。ユーザが第１情報処理装置１０ａにログインすると、第１情報処理装置１０ａに登録されているアカウント情報が管理サーバ５により認証されて、ユーザは管理サーバ５にサインインする。

　図４は、第１情報処理装置１０ａが提供するユーザのホーム画面の例を示す。ユーザが第１情報処理装置１０ａにログインすると、システム画像生成部１０４ａは、当該ユーザ用のホーム画像データを生成し、表示処理部１１２ａがホーム画像を出力装置４ａに表示する。システム画像生成部１０４ａは、システムソフトウェアにより実現され、ユーザに対してメニュー項目などを提示するためのシステム画像データを生成する機能をもつ。ホーム画像データは、システム画像データの一種である。

　ホーム画面には、ユーザが実施できるゲームやアプリケーションなどのコンテンツアイコンが並べて配置される。ユーザは入力装置６の方向キーを操作して、アイコン列を横方向に動かし、実行したいコンテンツアイコンを選択エリア１５０に配置する。図４に示すホーム画面で、リモートアプリアイコン１５２は、リモートアプリを実行するためのアイコンである。

　図５は、ホーム画面においてアイコン列を動かした状態を示す。ユーザがリモートアプリアイコン１５２を選択エリア１５０に配置すると、リモートアプリを起動するためのスタートボタン１５４が表示される。ユーザがスタートボタン１５４を操作すると、アプリケーション実行部１０６ａが、リモートアプリを起動する。

　図６は、リモートプレイの接続先を選択する画面の例を示す。アプリケーション画像生成部１０８ａが接続先の選択画像を生成し、表示処理部１１２ａが接続先の選択画像を出力装置４ａに表示する。図６に示す例では、“Second house's Console”と“Bedroom's Console”の２つの情報処理装置が接続先の選択肢として表示されているが、選択肢の数は、１つ又は３つ以上であってもよい。コンソール名は、ユーザが自由に名付けることができる。ここで“Second house's Console”は、ユーザのセカンドハウスに設置した情報処理装置であり、“Bedroom's Console”は、ユーザの自宅に設置した第２情報処理装置１０ｂである。ユーザは入力装置６を操作して、選択枠１５６を動かし、この例では自宅に設置した“Bedroom's Console”を選択して、決定操作を行う。

　受付部１００ａが、接続先を“Bedroom's Console”とする決定操作を受け付けると、通信処理部１１４ａが、第２情報処理装置１０ｂに接続要求を送信する。このとき第２情報処理装置１０ｂのメイン電源がオフ状態にあれば、接続要求に基づいて第２情報処理装置１０ｂのメインシステム６０が起動される。第１情報処理装置１０ａと第２情報処理装置１０ｂとはネットワーク３を介してＰ２Ｐ通信で互いに接続され、リモートプレイを実施可能な環境を形成する。

　図７は、第２情報処理装置１０ｂの機能ブロックを示す。第２情報処理装置１０ｂは、受付部１００ｂ、ログイン処理部１０２ｂ、システム画像生成部１０４ｂ、アプリケーション実行部１０６ｂ、アプリケーション画像生成部１０８ｂおよび通信処理部１１４ｂを備える。通信処理部１１４ｂは、図２に示す無線通信モジュール３８および有線通信モジュール４０の機能を示す。

　図７において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。実施例において第２情報処理装置１０ｂは、第１情報処理装置１０ａと同種のゲーム装置であってよく、したがって第２情報処理装置１０ｂおよび第１情報処理装置１０ａは、ユーザに対して同一のユーザインタフェースを提供する。

　図８は、第１情報処理装置１０ａと第２情報処理装置１０ｂとの間で接続を確立する際に表示される画面の例を示す。表示処理部１１２ａは、現在接続確立中であることを示すメッセージ“Connecting to your Bedroom's console”を表示するとともに、表示画面の一部に、画面全体の表示領域よりも小さい縮小領域１６０を設定して表示する。縮小領域１６０は、画面背景とは異なる態様で表示されて、ユーザが縮小領域１６０の存在を認識できるようにする。

　通信処理部１１４ａと通信処理部１１４ｂとがネットワーク３を介してＰ２Ｐ通信可能に接続すると、リモートアプリは、通信処理部１１４ａから、第２情報処理装置１０ｂに、ユーザのログイン要求を送信する。

　第２情報処理装置１０ｂにおいて、通信処理部１１４ｂは、第１情報処理装置１０ａから、ユーザのログイン要求を受信する。受付部１００ｂは、通信処理部１１４ｂで受信したログイン要求を受け付け、ログイン処理部１０２ｂに受け渡し、ログイン処理部１０２ｂはユーザのログインを許可する。ユーザが第２情報処理装置１０ｂにログインしたことで、システム画像生成部１０４ｂは、当該ユーザ用のホーム画像データを生成し、通信処理部１１４ｂが、第１情報処理装置１０ａに、生成されたホーム画像データを送信する。

　第１情報処理装置１０ａにおいて、通信処理部１１４ａは、受信したホーム画像データを取得部１１０ａに提供し、取得部１１０ａがホーム画像データを取得する。表示処理部１１２ａは、取得したホーム画像データに対応するホーム画像を出力装置４ａに表示する。

　図９は、第２情報処理装置１０ｂが提供するユーザのホーム画面の例を示す。ユーザが第２情報処理装置１０ｂにログインすると、表示処理部１１２ａが、縮小領域１６０にホーム画像を表示する。この縮小領域１６０は、接続確立中に、表示画面中央に設定された領域であり、取得部１１０ａがホーム画像データを第２情報処理装置１０ｂから取得すると、表示処理部１１２ａが、ホーム画像を縮小した状態で出力装置４ａに表示する。

　表示処理部１１２ａは、ホーム画像データが第２情報処理装置１０ｂで生成されていることを示す情報を、ホーム画像に付加して表示する。表示処理部１１２ａは、当該情報として、第２情報処理装置１０ｂで生成されたホーム画像に、外枠１７０を付加して表示する。外枠１７０は、一色で表現されてよいが、多色で表現されてもよい。いずれにしても外枠１７０は、ユーザに、直接操作している第１情報処理装置１０ａとは異なる情報処理装置で生成された画像であることを知らせるために付加され、背景色とは異なる色で表現されることが好ましい。

　また表示処理部１１２ａは、ホーム画像データが第２情報処理装置１０ｂで生成されていることを示す情報として、接続先となる第２情報処理装置１０ｂのコンソール情報１７２を表示してもよい。この例でコンソール情報１７２は、当該第２情報処理装置１０ｂにユーザがつけたコンソール名であり、ユーザはコンソール情報１７２を見ることで、ホーム画像データが第２情報処理装置１０ｂで生成されていることを認識できる。

　表示処理部１１２ａは、縮小領域１６０に表示したホーム画像を、表示画面の全体に拡大する表示演出を実施する。
　図１０は、拡大中のホーム画面の例を示す。表示処理部１１２ａは、所定の速度でホーム画像を拡大表示してよい。
　図１１は、表示画面の全体に表示したホーム画面の例を示す。全面表示した後も、表示処理部１１２ａは、外枠１７０を表示し続ける。これによりユーザは、表示されているホーム画像が、第２情報処理装置１０ｂにより提供されていることを認識できる。

　一方で表示処理部１１２ａは、コンソール情報１７２の表示を所定時間に限ってよい。コンソール情報１７２は画像内に入り込むため、常時表示する場合には、邪魔になることが予測される。そこで表示処理部１１２ａは、ホーム画像の表示開始後の所定時間だけコンソール情報１７２を表示する。たとえば表示処理部１１２ａは、コンソール情報１７２の表示時間を、３～５秒の範囲内で制限してよい。

　ホーム画像が全面表示された時点で、ユーザの入力装置６の操作情報は、基本的に第２情報処理装置１０ｂに対して提供されるようになる。なお入力装置６の所定の操作部材の操作情報に限っては、第１情報処理装置１０ａに対して提供される。

　第２情報処理装置１０ｂから提供されるホーム画面には、補助記憶装置２ｂにインストールされたゲームやアプリケーションなどのコンテンツアイコンが並べて配置される。ホーム画面の表示中、受付部１００ａは、入力装置６から送信されるユーザの操作情報を受け付けると、通信処理部１１４ａに提供し、通信処理部１１４ａは、操作情報を第２情報処理装置１０ｂに送信する。第２情報処理装置１０ｂにおいて、通信処理部１１４ｂが操作情報を受信すると、受付部１００ｂが操作情報をシステム画像生成部１０４ｂに提供する。

　図１１に示すホーム画面において、ユーザが入力装置６の横方向キーを操作すると、システム画像生成部１０４ｂは、アイコン列が横方向に動くホーム画像データを生成し、通信処理部１１４ｂは、生成されたホーム画像データを第１情報処理装置１０ａに送信する。第１情報処理装置１０ａにおいて、通信処理部１１４ａは、受信したホーム画像データを取得部１１０ａに提供し、取得部１１０ａがホーム画像データを取得する。表示処理部１１２ａは、取得したホーム画像データに対応するホーム画像を出力装置４ａに表示する。

　図１２は、ホーム画面においてアイコン列を動かした状態を示す。ユーザがゲームアイコン１７４を選択エリア１５０に配置し、入力装置６の所定の実行ボタンを操作すると、アプリケーション実行部１０６ｂが、ゲームタイトル“Combat field”のゲームを起動し、アプリケーション画像生成部１０８ｂが、ゲーム画像データを生成する。アプリケーション画像生成部１０８ｂは、レンダリング処理などを実行するＧＰＵ（Graphics Processing Unit）を含み、アプリケーション実行部１０６ｂによる仮想空間内の演算処理結果を受けて、仮想空間内の視点位置（仮想カメラ）からのゲーム画像データを生成する。なお同時にアプリケーション音声生成部（図示せず）がゲーム音声データを生成するが、以下においてゲーム音声データについての説明は省略する。

　通信処理部１１４ｂは、ゲーム画像データを第１情報処理装置１０ａにストリーミング送信する。第１情報処理装置１０ａにおいて取得部１１０ａがゲーム画像データを取得し、表示処理部１１２ａが、ゲーム画像データに対応するゲーム画像を出力装置４ａに表示する。

　図１３は、ユーザによりリモートプレイされているゲーム画面の例を示す。この例でユーザは、第２情報処理装置１０ｂで実行されている“Combat field”をプレイしており、表示処理部１１２ａは、第２情報処理装置１０ｂから送信されるゲーム画像データに対応するゲーム画像を表示する。なお表示処理部１１２ａは、ゲーム画像を表示する際、ゲーム画像データが第２情報処理装置１０ｂで生成されていることを示す情報をゲーム画像に付加しない。図１３に示すように、ゲーム画像には外枠１７０やコンソール情報１７２が付加されておらず、そのためユーザは、外枠１７０やコンソール情報１７２を気にすることなく、ゲームをプレイできる。

　上記したように、リモートプレイ中、入力装置６の操作情報は、基本的に第２情報処理装置１０ｂに送信されて処理される。しかしながら入力装置６の一部の操作部材には、第１情報処理装置１０ａを操作するための機能が割り当てられており、ユーザは、リモートプレイ中に、当該操作部材を操作することで、第１情報処理装置１０ａのシステム画像を表示させることができる。

　図１４は、ゲームプレイ中に、ユーザが所定の操作部材を操作したときの画面の例を示す。リモートアプリの実行中、入力装置６の一部の操作部材には、ユーザが第１情報処理装置１０ａを操作するための機能が割り当てられており、受付部１００ａは、当該操作部材の操作情報を受け付けると、システム画像生成部１０４ａに供給する。システム画像生成部１０４ａは、受付部１００ａが受け付けた操作情報に対応するシステム画像データを生成し、表示処理部１１２ａが、システム画像データに対応するシステム画像１８０、１８２を出力装置４ａに表示する。

　システム画像１８０、１８２は、第１情報処理装置１０ａにおいてアクティブなアプリケーションに関する情報や、ユーザにとって優先度が高いと推測される情報を通知するためのＧＵＩ（グラフィカルユーザインタフェース）である。システム画像生成部１０４ａは、情報単位ごとに、情報の一部を記載したカード状ＧＵＩを生成する。ここでシステム画像１８０は、実行中のリモートプレイに関するＧＵＩであり、システム画像１８２は、ユーザが興味のある音楽に関するＧＵＩである。なおシステム画像生成部１０４ａは、３つ以上のシステム画像データを生成してもよい。

　表示処理部１１２ａは、全面表示していたゲーム画像を縮小し、縮小したゲーム画像に、システム画像１８０、１８２を重ねて表示する。このように表示処理部１１２ａは、ゲーム画像の表示中にシステム画像１８０、１８２を表示する際には、ゲーム画像を縮小表示するとともに、背景画像とすることで、ユーザは、システム画像１８０、１８２が第１情報処理装置１０ａで生成された画像であることを認識しやすくなる。また表示処理部１１２ａが、ゲーム画像を縮小領域１６０と同じサイズに縮小することで、ユーザは、縮小されたゲーム画像が第２情報処理装置１０ｂで生成された画像であることを認識しやすくなる。

　このとき表示処理部１１２ａは、縮小表示するゲーム画像に外枠１７０を付加する。縮小したゲーム画像に外枠１７０を付加することで、ユーザは、縮小表示されたゲーム画像が第２情報処理装置１０ｂで生成されていることを、さらに認識しやすくなる。システム画像１８０、１８２は、前面表示された状態で、ユーザが操作可能なアクティブ状態となり、入力装置６の操作情報は、第１情報処理装置１０ａにより処理される。

　システム画像１８０において“Bedroom's Console”が選択された状態で、ユーザが決定操作をすると、システム画像生成部１０４ａが、リモートプレイにより第２情報処理装置１０ｂを操作するためのシステム画像データを生成して、表示処理部１１２ａが、システム画像データに対応するシステム画像を出力装置４ａに表示する。

　図１５は、第１情報処理装置１０ａが提供するシステム画面の例を示す。システム画像１８４は、第１情報処理装置１０ａ側で生成されており、縮小表示されたゲーム画像に対して前面に表示される。図１５に示すシステム画像１８４では、“Home”の項目が選択された状態にある。

　システム画像１８４において、ユーザが“Home”を選択して決定操作すると、通信処理部１１４ａが、第２情報処理装置１０ｂに、ホーム画像データの生成要求を送信する。第２情報処理装置１０ｂにおいて、受付部１００ｂがホーム画像データの生成要求を受け付けると、システム画像生成部１０４ｂが、当該ユーザ用のホーム画像データを生成し、通信処理部１１４ｂが、第１情報処理装置１０ａに、生成されたホーム画像データを送信する。

　第１情報処理装置１０ａにおいて、通信処理部１１４ａは、受信したホーム画像データを取得部１１０ａに提供し、取得部１１０ａがホーム画像データを取得する。表示処理部１１２ａは、取得したホーム画像データに対応するホーム画像を出力装置４ａに表示する。このとき表示処理部１１２ａは、図９に示すように、縮小領域１６０にホーム画像を表示した後、徐々に拡大して（図１０参照）、最終的には全面表示する（図１１参照）表示演出を実施する。

　図１６は、第１情報処理装置１０ａが提供するシステム画面の例を示す。図１６に示すシステム画像１８４では、“Control Center”の項目が選択された状態にある。システム画像１８４において、ユーザが“Control Center”を選択して決定操作すると、通信処理部１１４ａが、第２情報処理装置１０ｂに、システム画像データの生成要求を送信する。第２情報処理装置１０ｂにおいて、受付部１００ｂがシステム画像データの生成要求を受け付けると、システム画像生成部１０４ｂが、当該ユーザ用のシステム画像データを生成し、通信処理部１１４ｂが、第１情報処理装置１０ａに、生成されたシステム画像データを送信する。システム画像データは、第２情報処理装置１０ｂにおいてアクティブなアプリケーションに関する情報や、ユーザにとって優先度が高いと推測される情報を通知するためのＧＵＩ（グラフィカルユーザインタフェース）データである。

　図１７は、第２情報処理装置１０ｂが提供するシステム画面の例を示す。第１情報処理装置１０ａにおいて、通信処理部１１４ａは、第２情報処理装置１０ｂから受信したシステム画像データを取得部１１０ａに提供し、取得部１１０ａがシステム画像データを取得する。表示処理部１１２ａは、取得したシステム画像データに対応するシステム画像１８６、１８８、１９０、１９２を出力装置４ａに表示する。このとき表示処理部１１２ａは、図９に示すように、縮小領域１６０にシステム画像１８６、１８８、１９０、１９２を表示した後、徐々に拡大して、最終的には全面表示する表示演出を実施する。

　このとき表示処理部１１２ａは、システム画像データが第２情報処理装置１０ｂで生成されていることを示す情報として、外枠１７０およびコンソール情報１７２を表示する。なおコンソール情報１７２については、所定時間だけ表示すればよい。

　システム画像１８６、１８８、１９０、１９２は、第２情報処理装置１０ｂにおいてアクティブなアプリケーションに関する情報や、ユーザにとって優先度が高いと推測される情報を通知するためのＧＵＩ（グラフィカルユーザインタフェース）である。システム画像生成部１０４ｂは、情報単位ごとに、情報の一部を記載したカード状ＧＵＩを生成する。ここでシステム画像１８６は、実行中のゲームタイトル“Combat field”に関するＧＵＩ、システム画像１８８は、フレンドからのメッセージに関するＧＵＩ、システム画像１９０は、ユーザが興味のある新しいゲームに関するＧＵＩ、システム画像１９２は、オンラインのフレンドに関するＧＵＩである。ユーザは、いずれかのＧＵＩを選択すると、当該ＧＵＩに関する詳細な情報が提示されてよい。

　以上、本開示を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

　本開示は、画像を表示する技術に利用できる。

１・・・情報処理システム、４ａ・・・出力装置、６・・・入力装置、１０ａ・・・第１情報処理装置、１０ｂ・・・第２情報処理装置、１００ａ，１００ｂ・・・受付部、１０２ａ，１０２ｂ・・・ログイン処理部、１０４ａ，１０４ｂ・・・システム画像生成部、１０６ａ，１０６ｂ・・・アプリケーション実行部、１０８ａ，１０８ｂ・・・アプリケーション画像生成部、１１０ａ・・・取得部、１１２ａ・・・表示処理部、１１４ａ，１１４ｂ・・・通信処理部。

Claims

　ユーザによって操作される情報処理装置であって、
　別の情報処理装置とネットワークを介して通信可能に接続する通信処理部と、
　前記別の情報処理装置から、第１画像データを取得する取得部と、
　前記取得部が取得した第１画像データに対応する第１画像を表示する表示処理部と、
　第１画像が表示されているときに、前記情報処理装置を操作するための入力装置の操作情報を受け付ける受付部と、
　前記受付部が受け付けた操作情報に対応する第２画像データを生成する画像生成部と、を備え、
　前記表示処理部は、第１画像を縮小し、縮小した第１画像に、第２画像データに対応する第２画像を重ねて表示する、
　ことを特徴とする情報処理装置。
　前記表示処理部は、第１画像データが前記別の情報処理装置で生成されていることを示す情報を、第１画像に付加して表示する、
　ことを特徴とする請求項１に記載の情報処理装置。
　前記表示処理部は、前記情報として、第１画像に外枠を付加して表示する、
　ことを特徴とする請求項２に記載の情報処理装置。
　前記通信処理部が、前記別の情報処理装置との間で接続を確立する際、前記表示処理部は、表示画面の一部に縮小領域を設定し、接続が確立した後、当該縮小領域に第１画像を表示して、当該第１画像を、表示画面の全体に拡大する表示演出を実施する、
　ことを特徴とする請求項１から３のいずれかに記載の情報処理装置。
　情報処理装置において画像を表示する方法であって、
　ネットワークを介して通信可能に接続する別の情報処理装置から、第１画像データを取得するステップと、
　第１画像データに対応する第１画像を表示するステップと、
　第１画像が表示されているときに、前記情報処理装置を操作するための入力装置の操作情報を受け付けるステップと、
　操作情報に対応する第２画像データを生成するステップと、
　第１画像を縮小し、縮小した第１画像に、第２画像データに対応する第２画像を重ねて表示するステップと、
　を有することを特徴とする画像表示方法。
　コンピュータに、
　ネットワークを介して通信可能に接続する情報処理装置から、第１画像データを取得する機能と、
　第１画像データに対応する第１画像を表示する機能と、
　第１画像が表示されているときに、前記コンピュータを操作するための入力装置の操作情報を受け付ける機能と、
　操作情報に対応する第２画像データを生成する機能と、
　第１画像を縮小し、縮小した第１画像に、第２画像データに対応する第２画像を重ねて表示する機能と、
　を実現させるためのプログラム。