JP7565461B2 - 適応型ビデオ会議ユーザインターフェース - Google Patents

適応型ビデオ会議ユーザインターフェース Download PDF

Info

Publication number
JP7565461B2
JP7565461B2 JP2023571312A JP2023571312A JP7565461B2 JP 7565461 B2 JP7565461 B2 JP 7565461B2 JP 2023571312 A JP2023571312 A JP 2023571312A JP 2023571312 A JP2023571312 A JP 2023571312A JP 7565461 B2 JP7565461 B2 JP 7565461B2
Authority
JP
Japan
Prior art keywords
representations
real
participants
communication session
time communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023571312A
Other languages
English (en)
Other versions
JP2024521670A (ja
Inventor
ジェ ウー チャン
ジャレット エー フォード
パニ ページ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/745,680 external-priority patent/US12449961B2/en
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2024521670A publication Critical patent/JP2024521670A/ja
Priority to JP2024170555A priority Critical patent/JP2025037859A/ja
Application granted granted Critical
Publication of JP7565461B2 publication Critical patent/JP7565461B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephonic Communication Services (AREA)

Description

（関連出願の相互参照）
本出願は、２０２２年５月１６日付け出願の「ＡＤＡＰＴＩＶＥ ＶＩＤＥＯ ＣＯＮＦＥＲＥＮＣＥ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥＳ」と題する米国特許出願第１７／７４５，６８０号、２０２１年８月６日付け出願の「ＡＤＡＰＴＩＶＥ ＶＩＤＥＯ ＣＯＮＦＥＲＥＮＣＥ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥＳ」と題する米国仮出願第６３／２３０，４７６号、２０２１年６月６日付け出願の「ＡＤＡＰＴＩＶＥ ＶＩＤＥＯ ＣＯＮＦＥＲＥＮＣＥ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥＳ」と題する米国仮出願第６３／１９７，４６１号、及び２０２１年５月１８日出願の「ＡＤＡＰＴＩＶＥ ＶＩＤＥＯ ＣＯＮＦＥＲＥＮＣＥ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥＳ」と題する米国仮出願第６３／１９０，２２４号に対する優先権を主張するものであり、本明細書における参照によりそれらの全体が本明細書内に組み込まれる。
本開示は概してコンピュータユーザインターフェースに関し、特に、ビデオ会議セッションを管理するための技術に関する。
コンピュータシステムは、様々な種類の通信及び情報共有用のインターフェースを表示するためのハードウェア及び／又はソフトウェアを含むことができる。
電子デバイスを使用して通信及び情報共有を行う一部の技術は通常、面倒で非効率的である。例えば、いくつかの既存の技術では、複数回のキー押圧又は打鍵を含み得る、複雑かつ時間のかかるユーザインターフェースが使用されている。既存の技術は、必要以上の時間を要し、ユーザの時間及びデバイスのエネルギを浪費する。この後者の考慮事項は、バッテリ動作式デバイスにおいて特に重要である。
本技術は、ビデオ会議セッションを管理するための、より速く、より効率的な方法及びインターフェースを電子デバイスに提供する。このような方法及びインターフェースは、任意選択的に、ビデオ会議セッションを管理するための他の方法を補完するか又は置き換える。このような方法及びインターフェースは、ユーザにかかる認知負担を低減し、より効率的なヒューマン－マシンインターフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、このような方法及びインターフェースは、電力を節約し、バッテリ充電の間隔を長くする。
いくつかの実施形態によれば、１つ以上の表示生成構成要素及び１つ以上の入力デバイスと通信しているコンピュータシステムにおいて実行される方法が説明される。方法は、リアルタイム通信セッションのユーザインターフェースを表示することであって、ユーザインターフェースが、リアルタイム通信セッションの参加者の複数の表現を含み、複数の表現が、リアルタイム通信セッションのユーザインターフェースの第１の領域にグリッドパターンで表示される参加者の表現の第１のセットと、第１の領域と視覚的に区別できるユーザインターフェースの第２の領域に表示される参加者の表現の第２のセットと、を含み、表現の第１のセットの表現が、表現の第２のセットの表現よりも大きい、表示することと、リアルタイム通信セッションの参加者の複数の表現を含むリアルタイム通信セッションのユーザインターフェースを表示している間に、第１の領域の１つ以上の寸法の変化を検出することと、第１の領域の１つ以上の寸法の変化を検出したことに応じて、第１の領域の１つ以上の寸法の変化に基づいて、第１の領域に表示されるリアルタイム通信セッションの参加者の表現の数を変更することであって、変更が、第１の領域内のそれぞれの参加者の第１の表現を表示することを中止することと、第２の領域において当該それぞれの参加者の第２の表現を表示することと、を含む、変更することと、を含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が説明される。非一時的コンピュータ可読記憶媒体は、１つ以上の表示生成構成要素及び１つ以上の入力デバイスと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、リアルタイム通信セッションのユーザインターフェースを表示することであって、ユーザインターフェースが、リアルタイム通信セッションの参加者の複数の表現を含み、複数の表現が、リアルタイム通信セッションのユーザインターフェースの第１の領域にグリッドパターンで表示される参加者の表現の第１のセットと、第１の領域と視覚的に区別できるユーザインターフェースの第２の領域に表示される参加者の表現の第２のセットと、を含み、表現の第１のセットの表現が、表現の第２のセットの表現よりも大きい、表示することと、リアルタイム通信セッションの参加者の複数の表現を含むリアルタイム通信セッションのユーザインターフェースを表示している間に、第１の領域の１つ以上の寸法の変化を検出することと、第１の領域の１つ以上の寸法の変化を検出したことに応じて、第１の領域の１つ以上の寸法の変化に基づいて、第１の領域に表示されるリアルタイム通信セッションの参加者の表現の数を変更することであって、変更は、第１の領域内のそれぞれの参加者の第１の表現を表示することを中止することと、第２の領域において当該それぞれの参加者の第２の表現を表示することと、を含む、変更することと、のための命令を含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が説明される。一時的コンピュータ可読記憶媒体は、１つ以上の表示生成構成要素及び１つ以上の入力デバイスと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、リアルタイム通信セッションのユーザインターフェースを表示することであって、ユーザインターフェースが、リアルタイム通信セッションの参加者の複数の表現を含み、複数の表現が、リアルタイム通信セッションのユーザインターフェースの第１の領域にグリッドパターンで表示される参加者の表現の第１のセットと、第１の領域と視覚的に区別できるユーザインターフェースの第２の領域に表示される参加者の表現の第２のセットと、を含み、表現の第１のセットの表現が、表現の第２のセットの表現よりも大きい、表示することと、リアルタイム通信セッションの参加者の複数の表現を含むリアルタイム通信セッションのユーザインターフェースを表示している間に、第１の領域の１つ以上の寸法の変化を検出することと、第１の領域の１つ以上の寸法の変化を検出したことに応じて、第１の領域の１つ以上の寸法の変化に基づいて、第１の領域に表示されるリアルタイム通信セッションの参加者の表現の数を変更することであって、変更は、第１の領域内のそれぞれの参加者の第１の表現を表示することを中止することと、第２の領域において当該それぞれの参加者の第２の表現を表示することと、を含む、変更することと、のための命令を含む。
いくつかの実施形態によれば、１つ以上の表示生成構成要素及び１つ以上の入力デバイスと通信するように構成されたコンピュータシステムが説明される。コンピュータシステムは、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、１つ以上のプログラムは、リアルタイム通信セッションのユーザインターフェースを表示することであって、ユーザインターフェースが、リアルタイム通信セッションの参加者の複数の表現を含み、複数の表現が、リアルタイム通信セッションのユーザインターフェースの第１の領域にグリッドパターンで表示される参加者の表現の第１のセットと、第１の領域と視覚的に区別できるユーザインターフェースの第２の領域に表示される参加者の表現の第２のセットと、を含み、表現の第１のセットの表現が、表現の第２のセットの表現よりも大きい、表示することと、リアルタイム通信セッションの参加者の複数の表現を含むリアルタイム通信セッションのユーザインターフェースを表示している間に、第１の領域の１つ以上の寸法の変化を検出することと、第１の領域の１つ以上の寸法の変化を検出したことに応じて、第１の領域の１つ以上の寸法の変化に基づいて、第１の領域に表示されるリアルタイム通信セッションの参加者の表現の数を変更することであって、変更は、第１の領域内のそれぞれの参加者の第１の表現を表示することを中止することと、第２の領域において当該それぞれの参加者の第２の表現を表示することと、を含む、変更することと、のための命令を含む。
いくつかの実施形態によれば、１つ以上の表示生成構成要素及び１つ以上の入力デバイスと通信するように構成されたコンピュータシステムが説明される。コンピュータシステムは、リアルタイム通信セッションのユーザインターフェースを表示する手段であって、ユーザインターフェースが、リアルタイム通信セッションの参加者の複数の表現を含み、複数の表現が、リアルタイム通信セッションのユーザインターフェースの第１の領域にグリッドパターンで表示される参加者の表現の第１のセットと、第１の領域と視覚的に区別できるユーザインターフェースの第２の領域に表示される参加者の表現の第２のセットと、を含み、表現の第１のセットの表現が、表現の第２のセットの表現よりも大きい、手段と、リアルタイム通信セッションの参加者の複数の表現を含む、リアルタイム通信セッションのユーザインターフェースを表示している間に、第１の領域の１つ以上の寸法の変化を検出する手段と、第１の領域の１つ以上の寸法の変化を検出したことに応じて、第１の領域の１つ以上の寸法の変化に基づいて、第１の領域に表示されるリアルタイム通信セッションの参加者の表現の数を変更する手段であって、変更が、第１の領域内のそれぞれの参加者の第１の表現を表示することを中止することと、第２の領域において当該それぞれの参加者の第２の表現を表示することと、を含む、変更する手段と、を含む。
いくつかの実施形態によれば、コンピュータプログラム製品が説明される。コンピュータプログラム製品は、１つ以上の表示生成構成要素及び１つ以上の入力デバイスと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを含み、１つ以上のプログラムは、リアルタイム通信セッションのユーザインターフェースを表示することであって、ユーザインターフェースが、リアルタイム通信セッションの参加者の複数の表現を含み、複数の表現が、リアルタイム通信セッションのユーザインターフェースの第１の領域にグリッドパターンで表示される参加者の表現の第１のセットと、第１の領域と視覚的に区別できるユーザインターフェースの第２の領域に表示される参加者の表現の第２のセットと、を含み、表現の第１のセットの表現が、表現の第２のセットの表現よりも大きい、表示することと、リアルタイム通信セッションの参加者の複数の表現を含むリアルタイム通信セッションのユーザインターフェースを表示している間に、第１の領域の１つ以上の寸法の変化を検出することと、第１の領域の１つ以上の寸法の変化を検出したことに応じて、第１の領域の１つ以上の寸法の変化に基づいて、第１の領域に表示されるリアルタイム通信セッションの参加者の表現の数を変更することであって、変更は、第１の領域内のそれぞれの参加者の第１の表現を表示することを中止することと、第２の領域において当該それぞれの参加者の第２の表現を表示することと、を含む、変更することと、のための命令を含む。
いくつかの実施形態によれば、１つ以上の表示生成構成要素及び１つ以上の入力デバイスと通信しているコンピュータシステムにおいて実行される方法が説明される。方法は、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェースを表示する要求を受信することと、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェースを表示する要求を受信したことに応じて、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェースを表示することと、コンピュータシステムがリアルタイム通信セッションに接続されていて、かつ共有コンテンツセッションに接続されている間に、リアルタイム通信アプリケーションのユーザインターフェースにおいて、リアルタイム通信セッションの参加者の複数の表現であって、２つ以上の行及び２つ以上の列を含む２次元配列で表示される、複数の表現と、配列の２つ以上の行及び／又は配列の２つ以上の列に対応するサイズを有する共有コンテンツセッションのコンテンツの表現であって、配列に視覚的に関連付けられて表示される、コンテンツの表現と、を同時に表示することと、を含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が説明される。非一時的コンピュータ可読媒体は、１つ以上の表示生成構成要素及び1つ以上の入力デバイスと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェースを表示する要求を受信することと、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェースを表示する要求を受信したことに応じて、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェースを表示することと、コンピュータシステムがリアルタイム通信セッションに接続されていて、かつ共有コンテンツセッションに接続されている間に、リアルタイム通信アプリケーションのユーザインターフェースにおいて、リアルタイム通信セッションの参加者の複数の表現であって、２つ以上の行及び２つ以上の列を含む２次元配列で表示される、複数の表現と、配列の２つ以上の行及び／又は配列の２つ以上の列に対応するサイズを有する共有コンテンツセッションのコンテンツの表現であって、配列に視覚的に関連付けられて表示される、コンテンツの表現と、を同時に表示することと、のための命令を含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が説明される。一時的コンピュータ可読媒体は、１つ以上の表示生成構成要素及び１つ以上の入力デバイスと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェースを表示する要求を受信することと、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェースを表示する要求を受信したことに応じて、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェースを表示することと、コンピュータシステムがリアルタイム通信セッションに接続されていて、かつ共有コンテンツセッションに接続されている間に、リアルタイム通信アプリケーションのユーザインターフェースにおいて、リアルタイム通信セッションの参加者の複数の表現であって、２つ以上の行及び２つ以上の列を含む２次元配列で表示される、複数の表現と、配列の２つ以上の行及び／又は配列の２つ以上の列に対応するサイズを有する共有コンテンツセッションのコンテンツの表現であって、配列に視覚的に関連付けられて表示される、コンテンツの表現と、を同時に表示することと、のための命令を含む。
いくつかの実施形態によれば、１つ以上の表示生成構成要素及び１つ以上の入力デバイスと通信するように構成されたコンピュータシステムが説明される。コンピュータシステムは、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、１つ以上のプログラムは、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェースを表示する要求を受信することと、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェースを表示する要求を受信したことに応じて、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェースを表示することと、コンピュータシステムがリアルタイム通信セッションに接続されていて、かつ共有コンテンツセッションに接続されている間に、リアルタイム通信アプリケーションのユーザインターフェースにおいて、リアルタイム通信セッションの参加者の複数の表現であって、２つ以上の行及び２つ以上の列を含む２次元配列で表示される、複数の表現と、配列の２つ以上の行及び／又は配列の２つ以上の列に対応するサイズを有する共有コンテンツセッションのコンテンツの表現であって、配列に視覚的に関連付けられて表示される、コンテンツの表現と、を同時に表示することと、のための命令を含む。
いくつかの実施形態によれば、１つ以上の表示生成構成要素及び１つ以上の入力デバイスと通信するように構成されたコンピュータシステムが説明される。コンピュータシステムは、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェースを表示する要求を受信する手段と、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェースを表示する要求を受信したことに応じて、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェースを表示する手段と、コンピュータシステムがリアルタイム通信セッションに接続されていて、かつ共有コンテンツセッションに接続されている間に、リアルタイム通信アプリケーションのユーザインターフェースにおいて、リアルタイム通信セッションの参加者の複数の表現であって、２つ以上の行及び２つ以上の列を含む２次元配列で表示される、複数の表現と、配列の２つ以上の行及び／又は配列の２つ以上の列に対応するサイズを有する共有コンテンツセッションのコンテンツの表現であって、配列に視覚的に関連付けられて表示される、コンテンツの表現と、を同時に表示する手段と、を含む。
いくつかの実施形態によれば、コンピュータプログラム製品が説明される。コンピュータプログラム製品は、１つ以上の表示生成構成要素及び１つ以上の入力デバイスと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラム含み、１つ以上のプログラムは、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェースを表示する要求を受信することと、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェースを表示する要求を受信したことに応じて、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェースを表示することと、コンピュータシステムがリアルタイム通信セッションに接続されていて、かつ共有コンテンツセッションに接続されている間に、リアルタイム通信アプリケーションのユーザインターフェースにおいて、リアルタイム通信セッションの参加者の複数の表現であって、２つ以上の行及び２つ以上の列を含む２次元配列で表示される、複数の表現と、配列の２つ以上の行及び／又は配列の２つ以上の列に対応するサイズを有する共有コンテンツセッションのコンテンツの表現であって、配列に視覚的に関連付けられて表示される、コンテンツの表現と、を同時に表示することと、のための命令を含む。
これらの機能を実行するための実行可能命令は、任意選択的に、１つ以上のプロセッサによって実行されるように構成された非一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。これらの機能を実行するための実行可能命令は、任意選択的に、１つ以上のプロセッサによって実行されるように構成された一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。
したがって、ビデオ会議セッションを管理するための、より速く、より効率的な方法及びインターフェースがデバイスに提供され、それによって、このようなデバイスの有効性、効率、及びユーザ満足度が向上する。このような方法及びインターフェースは、ビデオ会議セッションを管理するための他の方法を補完するか又は置き換えることができる。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
いくつかの実施形態に係る、タッチ感知ディスプレイを備えたポータブル多機能デバイスを示すブロック図である。 いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。 いくつかの実施形態に係る、タッチスクリーンを有するポータブル多機能デバイスを示す。 いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。 いくつかの実施形態に係る、ポータブル多機能デバイス上のアプリケーションのメニューの例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ディスプレイとは別個のタッチ感知面を有する多機能デバイスの例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、パーソナル電子デバイスを示す。 いくつかの実施形態に係る、パーソナル電子デバイスを示すブロック図である。 いくつかの実施形態に係る、電子デバイス間の通信セッションの例示的な図を示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための方法を示すフロー図を示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。 いくつかの実施形態に係る、ビデオ会議セッションを管理するための方法を示すフロー図を示す。
以下の説明は、例示的な方法、パラメータなどについて記載する。しかしながら、このような説明は、本開示の範囲を限定することを意図するものというより、例示的な実施形態を説明するために提供されるものとして捉えるべきである。
ビデオ会議セッションを管理するための効率的な方法及びインターフェースを提供する電子デバイスが必要とされている。このような技術は、ビデオ会議セッションでコンテンツにアクセスするユーザの認知負担を軽減し、それによって生産性を高めることができる。更に、このような技術は、普通なら冗長なユーザ入力に浪費されるプロセッサ及びバッテリの電力を低減することができる。
以下、図１Ａ～図１Ｂ、図２、図３、図４Ａ～図４Ｂ、及び図５Ａ～図５Ｃは、ビデオ会議セッションを管理するための技術を実行するための例示的なデバイスの説明を提供する。図６Ａ～図６ＡＳは、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。図７は、いくつかの実施形態に係る、ビデオ会議セッションを管理するための方法を示すフロー図である。図６Ａ～図６ＡＳのユーザインターフェースは、図７のプロセスを含む、以下で説明するプロセスを示すために使用される。図８Ａ～図８Ｈは、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。図９は、いくつかの実施形態に係る、ビデオ会議セッションを管理するための方法を示すフロー図である。図８Ａ～図８Ｈのユーザインターフェースは、図９のプロセスを含む、以下で説明されるプロセスを示すために使用される。
後述のプロセスは、改善された視覚的フィードバックをユーザに提供すること、動作を実行するために必要な入力の数を減らすこと、追加で表示されるコントロールでユーザインターフェースを雑然とさせることなしに、追加のコントロールオプションを提供すること、条件のセットが満たされると更なるユーザ入力を必要とせずに動作を実行すること、及び／又は、他の技術を含む、様々な技術により、（例えば、ユーザがデバイスを操作／相互作用する際に適切な入力を行うのを助け、ユーザの誤りを減らすことによって）デバイスの操作性を高め、ユーザとデバイスのインターフェースを効率化するものである。これらの技術はまた、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
更に、１つ以上のステップが、１つ以上の条件が満たされていることを条件とする本明細書に記載の方法では、記載の方法が、繰り返しの過程にわたって、本方法におけるステップを条件とする条件の全てが本方法の異なる繰り返しで満たされるように、複数の繰り返しで繰り返されることができることを理解されたい。例えば、ある方法が、条件が満たされると第１のステップを実行し、条件が満たされないと第２のステップを実行することを必要とする場合、当業者であれば、条件が満たされるまで、又は満たされなくなるまで、請求項に記載のステップが順不同で繰り返されることを理解するであろう。したがって、１つ以上の条件が満たされたことを条件とする１つ以上のステップで説明される方法は、方法に記載の各条件が満たされるまで繰り返される方法として書き換えることができる。しかしながら、これは、システム又はコンピュータ可読媒体が、対応する１つ以上の条件の充足に基づいて条件付き動作を実行するための命令を含み、したがって、方法のステップが条件付きである全ての条件が満たされるまで、方法のステップを明示的に繰り返すことなく偶発性が満たされたか否かを判定することができる、システム又はコンピュータ可読媒体の請求項には必要とされない。当業者はまた、条件付きステップを有する方法と同様に、システム又はコンピュータ可読記憶媒体が、条件付きステップの全てが実行されたことを確実にするために、必要な回数だけ方法のステップを繰り返すことができることを理解するであろう。
以下の説明では、様々な要素について説明するために、「第１の」、「第２の」などの用語を使用するが、これらの要素は、それらの用語によって限定されるものではない。いくつかの実施形態では、これらの用語は、１つの要素を別の要素と区別するために使用される。例えば、記載の様々な実施形態の範囲から逸脱することなく、第１のタッチを第２のタッチと呼ぶこともでき、同様に第２のタッチを第１のタッチと呼ぶこともできる。いくつかの実施形態では、第１のタッチと第２のタッチは、同じタッチに対する２つの別個の呼び方である。いくつかの実施形態では、第１のタッチと第２のタッチはどちらもタッチであるが、これらは同じタッチではない。
本明細書に記載の様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載の様々な実施形態の説明及び添付の特許請求の範囲で使用するとき、単数形の「ａ（１つ、一）」、「ａｎ（１つ、一）」、及び「ｔｈｅ（その、この）」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書で使用するとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及び全ての考えられる組合せを指し、かつこれを含むことを理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む、備える）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」は、本明細書で使用するとき、述べられる特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
「～の場合（if）」という用語は、任意選択的に、文脈に従って、「～ときに（when）」若しくは「～と（upon）」、又は「～と判定したことに応じて（in response to determining）」若しくは「～を検出したことに応じて（in response to detecting）」を意味すると解釈される。同様に、「～と判定された場合（if it is determined）」又は「［記載の条件又はイベント］が検出された場合（if [a stated condition or event] is detected）」という語句は、任意選択的に、文脈に従って、「～と判定すると（upon determining）」若しくは「～と判定したことに応じて（in response to determining）」、又は「［記載の条件又はイベント］を検出すると（upon detecting［the stated condition or event］）」若しくは「［記載の条件又はイベント］を検出したことに応じて（in response to detecting［the stated condition or event］）」を意味すると解釈される。
電子デバイス、このようなデバイス用のユーザインターフェース、及びこのようなデバイスを使用するための関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）のデバイスが挙げられるが、これらに限定されない。任意選択的に、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するラップトップコンピュータ又はタブレットコンピュータなどの他のポータブル電子デバイスも使用される。また、いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するデスクトップコンピュータであることも理解されたい。いくつかの実施形態では、電子デバイスは、表示生成構成要素と（例えば、ワイヤレス通信を介して、ワイヤード通信を介して）通信しているコンピュータシステムである。表示生成構成要素は、ＣＲＴディスプレイを介した表示、ＬＥＤディスプレイを介した表示、又は画像投影を介した表示などの視覚的出力を提供するように構成されている。いくつかの実施形態では、表示生成構成要素は、コンピュータシステムと一体化される。いくつかの実施形態では、表示生成構成要素は、コンピュータシステムとは別個である。本明細書で使用するとき、コンテンツを「表示する」ことは、コンテンツを視覚的に生成するために、ワイヤード又はワイヤレス接続で、データ（例えば、画像データ又はビデオデータ）を、一体型又は外部の表示生成構成要素に送信することによって、コンテンツ（例えば、ディスプレイコントローラ１５６によってレンダリング又はデコードされたビデオデータ）を表示させることを含む。
以下の説明では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかしながら、電子デバイスが、任意選択的に、物理キーボード、マウス、及び／又はジョイスティックなどの１つ以上の他の物理ユーザインターフェースデバイスを含むことを理解されたい。
デバイスは典型的に、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、ビデオ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び／又はデジタルビデオプレーヤアプリケーションのうちの１つ以上などの様々なアプリケーションをサポートする。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理ユーザインターフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーション毎に、及び／又はそれぞれのアプリケーション内で、任意選択的に、調整及び／又は変更される。このように、デバイスの共通の物理アーキテクチャ（タッチ感知面など）は、任意選択的に、ユーザにとって直観的かつ透明なユーザインターフェースを備える様々なアプリケーションをサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注目する。図１Ａは、いくつかの実施形態に係る、タッチ感知ディスプレイシステム１１２を有するポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイ１１２は、便宜上「タッチスクリーン」と呼ばれることがあり、「タッチ感知ディスプレイシステム」として知られている又は呼ばれることがある。デバイス１００は、（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）メモリ１０２と、メモリコントローラ１２２と、１つ以上の処理ユニット（ＣＰＵ）１２０と、周辺機器インターフェース１１８と、ＲＦ回路構成１０８と、オーディオ回路構成１１０と、スピーカ１１１と、マイクロフォン１１３と、入出力（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ、Ｉ／Ｏ）サブシステム１０６と、その他の入力コントロールデバイス１１６と、外部ポート１２４と、を含む。デバイス１００は、任意選択的に、１つ以上の光学センサ１６４を含む。デバイス１００は、任意選択的に、デバイス１００上の接触の強度を検出するための１つ以上の接触強度センサ１６５（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）を含む。デバイス１００は、任意選択的に、デバイス１００上で触知出力を生成する（例えばデバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などのタッチ感知面上で触知出力を生成する）ための、１つ以上の触知出力生成器１６７を含む。これらの構成要素は、任意選択的に、１つ以上の通信バス又は信号ライン１０３を介して通信する。
本明細書及び特許請求の範囲で使用するとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指の接触）の力若しくは圧力（単位面積当たりの力）、又はタッチ感知面上の接触の力若しくは圧力に対する代替物（プロキシ）を指す。接触の強度は、少なくとも４つの別個の値を含み、より典型的には、数百の（例えば、少なくとも２５６の）別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組合せを使用して、判定（又は測定）される。例えば、タッチ感知面の下又はそれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々な点における力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値が、接触の推定される力を判定するために組み合わされる（例えば、加重平均される）。同様に、スタイラスの感圧性先端部が、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。あるいは、タッチ感知面上で検出される接触面積のサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化が、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。一部の実装形態では、接触の力又は圧力の代替測定値が、強度閾値を上回っているか否かを判定するために直接使用される（例えば、強度閾値は、代替測定値に対応する単位で記述される）。いくつかの実装形態では、接触の力又は圧力の代替測定値は、力又は圧力の推定値に変換され、力又は圧力の推定値が、強度閾値を上回っているか否かを判定するために使用される（例えば、強度閾値は、圧力の単位で測定される圧力閾値である）。接触の強度をユーザ入力の属性として使用することにより、アフォーダンスを表示する実装面積が限られている小型化デバイス上で、さもなければユーザによってアクセス不可能であり得る追加のデバイス機能性に（例えば、タッチ感知ディスプレイ上で）ユーザがアクセスすること、及び／又は、ユーザ入力を（例えば、タッチ感知ディスプレイ、タッチ感知面、又は、ノブ若しくはボタンなどの物理的／機械的コントロールを介して）受信することが可能となる。
本明細書及び特許請求の範囲で使用するとき、用語「触知出力」は、ユーザの触感覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、そのデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又は、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況では、物理的変位によって生成される触知出力は、そのデバイス又はデバイスの構成要素の物理的特性の認識される変化に相当する触知感覚として、ユーザによって解釈されることになる。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の動きは、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。場合によっては、ユーザの動作により物理的に押圧される（例えば、変位される）タッチ感知面に関連付けられた物理アクチュエータボタンの動きがないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触知感覚を感じる。別の例として、タッチ感知面の動きは、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。このようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」「ダウンクリック」、「粗さ」）に対応するものと記述される場合、別途記載のない限り、生成される触知出力は、典型的な（又は、平均的な）ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
デバイス１００は、ポータブル多機能デバイスの一例に過ぎず、デバイス１００が、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有するものであり、任意選択的に、２つ以上の構成要素を組み合わせるものであり、又は、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの両方の組合せで実装される。
メモリ１０２は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。メモリコントローラ１２２は、任意選択的に、デバイス１００の他の構成要素によるメモリ１０２へのアクセスを制御する。
周辺機器インターフェース１１８は、デバイスの入力及び出力周辺機器をＣＰＵ１２０及びメモリ１０２に結合するために使用することができる。１つ以上のプロセッサ１２０は、メモリ１０２に記憶されている様々なソフトウェアプログラム（（例えば、命令を含む）コンピュータプログラムなど）及び／又は命令セットを動作させ又は実行して、デバイス１００のための様々な機能を実施し、データを処理する。いくつかの実施形態では、周辺機器インターフェース１１８、ＣＰＵ１２０、及びメモリコントローラ１２２は、任意選択的に、チップ１０４などの単一のチップ上に実装される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
ＲＦ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ、無線周波数）回路構成１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路構成１０８は、電気信号を電磁信号に又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路構成１０８は、任意選択的に、これらの機能を実行するための周知の回路構成を含み、これらの回路は、アンテナシステム、ＲＦ送受信機、１つ以上の増幅ン器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、メモリなどを含むがこれらに限定されない。ＲＦ回路構成１０８は、任意選択的に、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、ワイヤレスローカルエリアネットワーク（Local Area Network、ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（Metropolitan Area Network、ＭＡＮ）などのワイヤレスネットワークなどのネットワーク、また他のデバイスと、ワイヤレス通信によって通信する。ＲＦ回路構成１０８は、任意選択的に、短距離通信無線機などによって近距離通信（Near Field Communication、ＮＦＣ）フィールドを検出する周知の回路構成を含む。ワイヤレス通信は、任意選択的に、モバイル通信用グローバルシステム（Global System for Mobile Communications、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケットアクセス（High-Speed Downlink Packet Access、ＨＳＤＰＡ）、高速アップリンクパケットアクセス（High-Speed Uplink Packet Access、ＨＳＵＰＡ）、エボリューションデータオンリ（Evolution，Data-Only、ＥＶ－ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、デュアルセルＨＳＰＡ（Dual-Cell HSPA、ＤＣ－ＨＳＰＤＡ）、ロングタームエボリューション（Long Term Evolution、ＬＴＥ）、近距離通信（ＮＦＣ）、広帯域符号分割多元接続（Wideband Code Division Multiple Access、Ｗ－ＣＤＭＡ）、符号分割多元接続（Code Division Multiple Access、ＣＤＭＡ）、時分割多元接続（Time Division Multiple Access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈローエネルギ（Bluetooth Low Energy、ＢＴＬＥ）、ワイヤレスフィデリティ（Wireless Fidelity、Ｗｉ－Ｆｉ（登録商標））（例えば、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、ＩＥＥＥ８０２．１１ｎ、及び／若しくはＩＥＥＥ８０２．１１ａｃ）、ボイスオーバインターネットプロトコル（Voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ－ＭＡＸ、電子メール用プロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet Message Access Protocol、ＩＭＡＰ）及び／若しくはポストオフィスプロトコル（Post Office Protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能なメッセージング及びプレゼンスプロトコル（eXtensible Messaging and Presence Protocol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンスレベレイジングエクステンション用のセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、並びに／若しくはショートメッセージサービス（Short Message Service、ＳＭＳ）、又は本明細書の出願日の時点でまだ開発されていない通信プロトコルを含む任意の他の適切な通信プロトコルを含むがこれらに限定されない、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
オーディオ回路構成１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインターフェースを提供する。オーディオ回路構成１１０は、周辺機器インターフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ１１１に送信する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。また、オーディオ回路構成１１０は、マイクロフォン１１３によって音波から変換された電気信号を受信する。オーディオ回路構成１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インターフェース１１８に送信する。オーディオデータは、任意選択的に、周辺機器インターフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路構成１０８から取り出され、かつ／又はメモリ１０２及び／若しくはＲＦ回路構成１０８に送信される。いくつかの実施形態では、オーディオ回路構成１１０はまた、ヘッドセットジャック（例えば、図２の２１２）を含む。ヘッドセットジャックは、オーディオ回路構成１１０と、出力専用ヘッドホン又は出力（例えば片耳又は両耳用のヘッドホン）及び入力（例えばマイクロフォン）の両方を備えるヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインターフェースを提供する。
Ｉ／Ｏサブシステム１０６は、タッチスクリーン１１２及びその他の入力コントロールデバイス１１６などのデバイス１００上の入出力周辺機器を、周辺機器インターフェース１１８に結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光学センサコントローラ１５８、深度カメラコントローラ１６９、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び、他の入力デバイス若しくはコントロールデバイス用の１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、その他の入力コントロールデバイス１１６からの電気信号の受信／その他の入力コントロールデバイス１１６への電気信号の送信を行う。その他の入力コントロールデバイス１１６は、任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの実施形態では、入力コントローラ（単数又は複数）１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される（又はいずれにも結合されない）。１つ以上のボタン（例えば、図２の２０８）は、任意選択的に、スピーカ１１１及び／又はマイクロフォン１１３の音量制御のためのアップ／ダウンボタンを含む。１つ以上のボタンは、任意選択的に、プッシュボタン（例えば、図２の２０６）を含む。いくつかの実施形態では、電子デバイスは、１つ以上の入力デバイスと（例えば、ワイヤレス通信を介して、ワイヤード通信を介して）通信するコンピュータシステムである。いくつかの実施形態では、１つ以上の入力デバイスは、タッチ感知面（例えば、タッチ感知ディスプレイの一部としてのトラックパッド）を含む。いくつかの実施形態では、１つ以上の入力デバイスは、入力としてのユーザのジェスチャ（例えば、手のジェスチャ及び／又はエアジェスチャ）を追跡するためなど、１つ以上のカメラセンサ（例えば、１つ以上の光学センサ１６４及び／又は１つ以上の深度カメラセンサ１７５）を含む。いくつかの実施形態では、１つ以上の入力デバイスは、コンピュータシステムと一体化される。いくつかの実施形態では、１つ以上の入力デバイスは、コンピュータシステムとは別個である。いくつかの実施形態では、エアジェスチャは、ユーザがデバイスの一部である入力要素に触れることなく（又はデバイスの一部である入力要素から独立して）検出されるジェスチャであり、絶対的な基準に対するユーザの身体の動き（例えば、地面に対するユーザの腕の角度、又は地面に対するユーザの手の距離）、ユーザの身体の別の部分に対するユーザの身体の動き（例えば、ユーザの肩に対するユーザの手の動き、ユーザの一方の手に対するユーザの他方の手の動き、及び／又はユーザの手の別の指若しくは部分に対するユーザの指の動き）、及び／又は、ユーザの身体の一部分の絶対的な動き（例えば、所定の量及び／又は速さによる所定のポーズでの手の動きを含むタップジェスチャ、又はユーザの身体の一部分の所定の速さ又は量の回転を含むシェイクジェスチャ）を含む、ユーザの身体の一部分の検出された空気中の動きに基づく。
全体が参照により本明細書に組み込まれる、２００５年１２月２３日出願の米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」、米国特許第７，６５７，８４９号に記載されているように、プッシュボタンの素早い押圧は、任意選択的に、タッチスクリーン１１２のロックを解放し、又は任意選択的に、タッチスクリーン上のジェスチャを使用してデバイスをロック解除するプロセスを開始する。プッシュボタン（例えば、２０６）のより長い押圧は、任意選択的に、デバイス１００への電力をオン又はオフにする。ボタンのうちの１つ以上の機能性は、任意選択的に、ユーザによってカスタマイズ可能である。タッチスクリーン１１２は、仮想又はソフトボタン及び１つ以上のソフトキーボードを実装するために使用される。
タッチ感知ディスプレイ１１２は、デバイスとユーザとの間の入力インターフェース及び出力インターフェースを提供する。ディスプレイコントローラ１５６は、タッチスクリーン１１２からの電気信号の受信、及び／又はタッチスクリーン１１２への電気信号の送信を行う。タッチスクリーン１１２は、ユーザに対して視覚的出力を表示する。この視覚的出力は、グラフィック、テキスト、アイコン、ビデオ、及びそれらの任意の組合せ（総称して「グラフィック」）を任意選択的に含む。いくつかの実施形態では、視覚的出力の一部又は全ては、任意選択的に、ユーザインターフェースオブジェクトに対応する。
タッチスクリーン１１２は、触覚及び／又は触知接触に基づくユーザからの入力を受け入れるタッチ感知面、センサ、又はセンサのセットを有する。タッチスクリーン１１２及びディスプレイコントローラ１５６は（メモリ１０２内の任意の関連モジュール及び／又は命令セットと共に）、タッチスクリーン１１２上で接触（及び任意の接触の動き又は中断）を検出し、検出された接触をタッチスクリーン１１２に表示されるユーザインターフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ、又は画像）との相互作用に変換する。例示的な実施形態では、タッチスクリーン１１２とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン１１２は、任意選択的に、ＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術、又はＬＥＤ（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術も使用される。タッチスクリーン１１２及びディスプレイコントローラ１５６は、任意選択的に、容量性、抵抗性、赤外線、及び表面音波の技術、並びにタッチスクリーン１１２との１つ以上の接触点を判定するための他の近接センサアレイ又は他の要素を含むがこれらに限定されない、既知の又は後に開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びそのあらゆる動き又は中断を検出する。例示的な実施形態では、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）及びｉＰｏｄ Ｔｏｕｃｈ（登録商標）に見られるものなどの、投影型相互静電容量感知技術が使用される。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、任意選択的に、それぞれ全体が参照により本明細書に組み込まれる、米国特許第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎ氏ら）、同第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎ氏ら）、及び／若しくは同第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ氏）、並びに／又は米国特許出願公開第２００２／００１５０２４（Ａ１）号に記載されるマルチタッチ感知タッチパッドに類似している。しかし、タッチスクリーン１１２はデバイス１００からの視覚的出力を表示するのに対して、タッチ感知タッチパッドは視覚的出力を提供しない。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、以下の出願、（１）２００６年５月２日出願の米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日出願の米国特許出願第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日出願の米国特許出願第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日出願の米国特許出願第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日出願の米国特許出願第１１／０３８，５９０号、「Ｍｏｄｅ－Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日出願の米国特許出願第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日出願の米国特許出願第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日出願の米国特許出願第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ－Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日出願の米国特許出願第１１／３６７，７４９号、「Ｍｕｌｔｉ－Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ－Ｈｅｌｄ Ｄｅｖｉｃｅ」で説明されている。これらの出願は全て、全体が参照により本明細書に組み込まれる。
タッチスクリーン１１２は、任意選択的に、１００ｄｐｉを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンは、約１６０ｄｐｉのビデオ解像度を有する。ユーザは、任意選択的に、スタイラス、指などの任意の適したオブジェクト又は付属物を使用して、タッチスクリーン１１２に接触する。いくつかの実施形態では、ユーザインターフェースは、指ベースの接触及びジェスチャを主に使用して動作するように設計されるが、これは、タッチスクリーン上の指の接触面積がより大きいため、スタイラスベースの入力ほど正確でない可能性がある。いくつかの実施形態では、デバイスは、指による粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ／カーソルの位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッドを含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚的出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン１１２とは別個のタッチ感知面、又はタッチスクリーンによって形成されるタッチ感知面の拡張部である。
デバイス１００はまた、様々な構成要素に電力を供給する電力システム１６２を含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（Alternating Current、ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状況インジケータ（例えば、発光ダイオード（Light-Emitting Diode、ＬＥＤ））、及びポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
また、デバイス１００は、任意選択的に、１つ以上の光学センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光学センサコントローラ１５８に結合された光学センサを示す。光学センサ１６４は、任意選択的に、電荷結合デバイス（Charge-Coupled Device、ＣＣＤ）又は相補的金属酸化物半導体（Complementary Metal-Oxide Semiconductor、ＣＭＯＳ）フォトトランジスタを含む。光学センサ１６４は、１つ以上のレンズを通って投影される、環境からの光を受信し、その光を、画像を表すデータに変換する。光学センサ１６４は、任意選択的に、（カメラモジュールとも呼ばれる）撮像モジュール１４３と連携して、静止画像又はビデオ画像をキャプチャする。いくつかの実施形態では、光学センサは、タッチスクリーンディスプレイを静止画像及び／又はビデオ画像の取得のためのビューファインダとして使用可能であるように、デバイスの前面にあるタッチスクリーンディスプレイ１１２とは反対側のデバイス１００の裏面に配置される。いくつかの実施形態では、ユーザが他のビデオ会議参加者をタッチスクリーンディスプレイ上で見ている間、ユーザの画像が、任意選択的に、ビデオ会議のために取得されるように、光学センサはデバイスの前面に配置される。いくつかの実施形態では、光学センサ１６４の位置は、単一の光学センサ１６４を、タッチスクリーンディスプレイと共に、ビデオ会議にも静止画像及び／又はビデオ画像の取得にも使用するように、ユーザが（例えば、デバイス筐体内でレンズ及びセンサを回転させることによって）変更することができる。
デバイス１００はまた、任意選択的に、１つ以上の深度カメラセンサ１７５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の深度カメラコントローラ１６９に結合された深度カメラセンサを示す。深度カメラセンサ１７５は、環境からデータを受信して、視点（例えば、深度カメラセンサ）からのシーン内のオブジェクト（例えば、顔面）の３次元モデルを作成する。いくつかの実施形態では、（カメラモジュールとも呼ばれる）撮像モジュール１４３と連携して、深度カメラセンサ１７５は、任意選択的に、撮像モジュール１４３によってキャプチャされる画像の異なる部分の深度マップを判定するために使用される。いくつかの実施形態では、ユーザが他のビデオ会議参加者をタッチスクリーンディスプレイ上で見ている間、任意選択的に、深度情報を有するユーザの画像をビデオ会議のために取得し、また、深度マップデータを有する自撮り画像をキャプチャするために、デバイス１００の前面に深度カメラセンサが配置される。いくつかの実施形態では、深度カメラセンサ１７５は、デバイスの背面に、又はデバイス１００の背面及び前面に配置される。いくつかの実施形態では、深度カメラセンサ１７５の位置は、深度カメラセンサ１７５を、タッチスクリーンディスプレイと共に、ビデオ会議にも静止画像及び／又はビデオ画像の取得にも使用するように、ユーザが（例えば、デバイス筐体内でレンズ及びセンサを回転させることによって）変更することができる。
デバイス１００はまた、任意選択的に、１つ以上の接触強度センサ１６５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された接触強度センサを示す。接触強度センサ１６５は、任意選択的に、１つ以上のピエゾ抵抗ひずみゲージ、容量性力センサ、電気力センサ、圧電力センサ、光学力センサ、容量性タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（若しくは圧力）を測定するために使用されるセンサ）を含む。接触強度センサ１６５は、接触強度情報（例えば、圧力情報、又は圧力情報に対するプロキシ）を環境から受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並設されるか、又はそれに近接して配置される。いくつかの実施形態では、少なくとも１つの接触強度センサは、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置される。
また、デバイス１００は、任意選択的に、１つ以上の近接センサ１６６を含む。図１Ａは、周辺機器インターフェース１１８に結合された近接センサ１６６を示す。あるいは、近接センサ１６６は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。近接センサ１６６は、任意選択的に、全体が参照により本明細書に組み込まれる、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／６２０，７０２号、「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、同第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、及び同第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」に記載されているように機能する。いくつかの実施形態では、多機能デバイスがユーザの耳の近くに置かれると（例えば、ユーザが電話をかけているとき）、近接センサは、タッチスクリーン１１２をオフにして無効にする。
デバイス１００はまた、任意選択的に、１つ以上の触知出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に結合された触知出力生成器を示す。触知出力生成器１６７は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などのエネルギを直線運動に変換する電気機械デバイスを含む。接触強度センサ１６５は、触知フィードバック生成命令を触覚フィードバックモジュール１３３から受信し、デバイス１００のユーザが感知することが可能な触知出力をデバイス１００上に生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）と並設されるか、又はそれに近接して配置され、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は水平方向（例えば、デバイス１００の表面と同じ平面内の前後）に移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサが、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置される。
また、デバイス１００は、任意選択的に、１つ以上の加速度計１６８を含む。図１Ａは、周辺機器インターフェース１１８に結合された加速度計１６８を示す。あるいは、加速度計１６８は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。加速度計１６８は、任意選択的に、どちらも全体が参照により本明細書に組み込まれる、米国特許出願公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ－ｂａｓｅｄ Ｔｈｅｆｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅｓ」、及び米国特許出願公開第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ａ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅ Ｂａｓｅｄ Ｏｎ Ａｎ Ａｃｃｅｌｅｒｏｍｅｔｅｒ」に記載されているように機能する。いくつかの実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、縦長表示又は横長表示でタッチスクリーンディスプレイに表示される。デバイス１００は、加速度計（単数又は複数）１６８に加えて、磁気計並びにデバイス１００の場所及び配向（例えば、縦方向又は横方向）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ又は他のグローバルナビゲーションシステム）受信機を任意選択的に含む。
いくつかの実施形態では、メモリ１０２内に記憶されるソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System、ＧＰＳ）モジュール（又は命令セット）１３５、及びアプリケーション（又は命令セット）１３６を含む。更に、いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、図１Ａ及び図３に示すように、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ１１２の様々な領域を占めているかを示す表示状態、デバイスの様々なセンサ及び入力コントロールデバイス１１６から取得した情報を含むセンサ状態、並びにデバイスの場所及び／又は姿勢に関する場所情報のうちの１つ以上を含む。
オペレーティングシステム１２６（例えば、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ、ＯＳ Ｘ、ｉＯＳ、ＷＩＮＤＯＷＳ、又はＶｘＷｏｒｋｓなどの組込み型オペレーティングシステム）は、全般的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理など）を制御及び管理する様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、また、ＲＦ回路構成１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素を含む。外部ポート１２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥなど）は、直接的に、又はネットワーク（例えばインターネット、ワイヤレスＬＡＮなど）を介して間接的に、他のデバイスに結合するように適合されている。いくつかの実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同じ若しくは同様であり、かつ／又はそれに適合しているマルチピン（例えば、３０ピン）コネクタである。
接触／動きモジュール１３０は、任意選択的に、タッチスクリーン１１２及び他のタッチ感知デバイス（例えば、タッチパッド又は物理クリックホイール）との接触を（ディスプレイコントローラ１５６と連携して）検出する。接触／動きモジュール１３０は、接触が生じたか否かを判定すること（例えば、指ダウンイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定すること、接触の動きが存在するか否かを判定し、タッチ感知面に亘る動きを追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、及び接触が中止したか否かを判定すること（例えば、指アップイベント又は接触の中断を検出すること）などの、接触の検出に関する様々な動作を実行するための、様々なソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の動きを判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変更）を判定することを含む。これらの操作は、任意選択的に、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触／動きモジュール１３０は、ユーザによって操作が実行されたか否かを判定するために（例えば、ユーザがアイコン上で「クリック」したか否かを判定するために）、１つ以上の強度閾値のセットを使用する。いくつかの実施形態では、強度閾値の少なくともサブセットは、ソフトウェアパラメータに従って判定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されるのではなく、デバイス１００の物理ハードウェアを変更することなく調整することができる）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく、広範囲の予め定義された閾値のうちのいずれかに設定することができる。加えて、いくつかの実装形態では、デバイスのユーザに、（例えば、個々の強度閾値を調整すること、及び／又は複数の強度閾値をシステムレベルのクリック「強度」パラメータによって一度に調整することによって）強度閾値のセットのうちの１つ以上を調整するためのソフトウェア設定が提供される。
接触／動きモジュール１３０は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する（例えば検出される接触の動き、タイミング、及び／又は強度が異なる）。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指タップジェスチャを検出することは、指ダウンイベントを検出することと、それに続く指ダウンイベントと同じ位置（又は実質的に同じ位置）（例えば、アイコンの位置）で指アップ（リフトオフ）イベントを検出することと、を含む。別の例として、タッチ感知面上で指スワイプジェスチャを検出することは、指ダウンイベントを検出し、それに続いて１つ以上の指ドラッグイベントを検出し、その後それに続いて指アップ（リフトオフ）イベントを検出することを含む。
グラフィックモジュール１３２は、表示されるグラフィックの視覚的影響（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚的プロパティ）を変更するための構成要素を含む、タッチスクリーン１１２又は他のディスプレイ上にグラフィックをレンダリング及び表示するための様々な既知のソフトウェア構成要素を含む。本明細書で使用するとき、「グラフィック」という用語は、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインターフェースオブジェクトなど）、デジタル画像、ビデオ、アニメーションなどを含む、ユーザに表示することができる任意のオブジェクトを含むがこれらに限定されない。
いくつかの実施形態では、グラフィックモジュール１３２は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィックプロパティデータと共に、表示されることとなるグラフィックを指定する１つ以上のコードを受信してから、ディスプレイコントローラ１５６に出力するスクリーンの画像データを生成する。
触覚フィードバックモジュール１３３は、触知出力生成器（単数又は複数）１６７によって使用される命令を生成するための様々なソフトウェア構成要素を含み、ユーザのデバイス１００との相互作用に応じて、デバイス１００上の１つ以上の場所で触知出力を生成する。
テキスト入力モジュール１３４は、任意選択的に、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの場所を判定し、様々なアプリケーション内で使用するためにこの情報を（例えば、場所ベースのダイアリングで使用するために電話１３８に、ピクチャ／ビデオメタデータとしてカメラ１４３に、及び気象ウィジェット、ローカルイエローページウィジェット、及び地図／ナビゲーションウィジェットなどの場所ベースのサービスを提供するアプリケーションに）提供する。
アプリケーション１３６は、任意選択的に、以下のモジュール（又は命令セット）又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール１３７（アドレス帳又は連絡先リストと呼ばれることもある）、
●電話モジュール１３８、
●ビデオ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（Instant messaging、ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又はビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール１４７、
●カレンダーモジュール１４８、
●任意選択的に、気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、辞書ウィジェット１４９－５、及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット１４９－６のうちの１つ以上を含むウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９－６を作成するためのウィジェットクリエータモジュール１５０、
●検索モジュール１５１、
●ビデオプレーヤモジュール及び音楽プレーヤモジュールを一体化したビデオ及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、及び／又は、
●オンラインビデオモジュール１５５。
任意選択的にメモリ１０２に記憶されている他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
連絡先モジュール１３７は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、任意選択的に、（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２に記憶されている）アドレス帳又は連絡先リストを管理するために用いられ、その管理には、アドレス帳に名前（単数又は複数）を追加すること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、住所（単数又は複数）、又は他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号又は電子メールアドレスを提供して、電話１３８、ビデオ会議モジュール１３９、電子メール１４０、又はＩＭ１４１による通信を開始及び／又は促進すること、などが含まれる。
電話モジュール１３８は、ＲＦ回路構成１０８、オーディオ回路構成１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、任意選択的に、電話番号に対応する一連の文字の入力、連絡先モジュール１３７内の１つ以上の電話番号へのアクセス、入力された電話番号の修正、それぞれの電話番号のダイヤル、通話の実行、並びに通話終了時の接続解除及び通話停止のために使用される。前述のように、ワイヤレス通信は、任意選択的に、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
ビデオ会議モジュール１３９は、ＲＦ回路構成１０８、オーディオ回路構成１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、光学センサ１６４、光学センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先モジュール１３７、及び電話モジュール１３８と連携して、ユーザの命令に従って、ユーザと１人以上の他の参加者との間のビデオ会議を開始、実行、及び終了するための実行可能な命令を含む。
電子メールクライアントモジュール１４０は、ＲＦ回路構成１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ユーザの命令に応じて電子メールを作成、送信、受信、及び管理するための実行可能な命令を含む。電子メールクライアントモジュール１４０は、画像管理モジュール１４４と連携して、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールの作成及び送信を非常に容易にする。
インスタントメッセージングモジュール１４１は、ＲＦ回路構成１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、インスタントメッセージに対応する一連の文字の入力、以前に入力された文字の修正、（例えば、電話通信ベースのインスタントメッセージ向けのショートメッセージサービス（Short Message Service、ＳＭＳ）若しくはマルチメディアメッセージサービス（Multimedia Message Service、ＭＭＳ）プロトコル、又はインターネットベースのインスタントメッセージ向けのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用する）それぞれのインスタントメッセージの送信、インスタントメッセージの受信、及び受信したインスタントメッセージの閲覧のための実行可能な命令を含む。いくつかの実施形態では、送信される及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるようなグラフィック、写真、オーディオファイル、ビデオファイル、及び／又は他の添付ファイルを含む。本明細書で使用するとき、「インスタントメッセージング」とは、電話通信ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されるメッセージ）と、インターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して送信されるメッセージ）との両方を指す。
トレーニングサポートモジュール１４２は、ＲＦ回路構成１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４、及び音楽プレーヤモジュールと連携して、（例えば、時間、距離、及び／又はカロリー燃焼目標を有する）トレーニングを作成し、トレーニングセンサ（スポーツデバイス）と通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択及び再生し、トレーニングデータを表示、記憶、及び送信するための実行可能命令を含む。
カメラモジュール１４３は、タッチスクリーン１１２、ディスプレイコントローラ１５６、光学センサ（単数又は複数）１６４、光学センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と連携して、静止画像若しくは（ビデオストリームを含む）ビデオのキャプチャ及びメモリ１０２内への記憶、静止画像若しくはビデオの特性の修正、又はメモリ１０２からの静止画像若しくはビデオを削除するための実行可能な命令を含む。
画像管理モジュール１４４は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３と連携して、静止画像及び／若しくはビデオ画像の配置、修正（例えば、編集）、又はその他の操作、ラベル付け、削除、（例えば、デジタルスライドショー若しくはアルバムにおける）提示、及び記憶のための実行可能な命令を含む。
ブラウザモジュール１４７は、ＲＦ回路構成１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ウェブページ又はその部分、並びにウェブページにリンクされた添付ファイル及び他のファイルの検索、リンク、受信、及び表示を含む、ユーザの命令に従って、インターネットをブラウジングするための実行可能な命令を含む。
カレンダーモジュール１４８は、ＲＦ回路構成１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、ユーザの命令に従って、カレンダー及びカレンダーに関連付けられたデータ（例えば、カレンダーアイテム、ｔｏ－ｄｏリストなど）を作成、表示、修正、及び記憶するための実行可能な命令を含む。
ウィジェットモジュール１４９は、ＲＦ回路構成１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、任意選択的に、ユーザによってダウンロード及び使用されるミニアプリケーション（例えば、気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、及び辞書ウィジェット１４９－５）、又はユーザによって作成されたミニアプリケーション（例えば、ユーザ作成ウィジェット１４９－６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ、カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
ウィジェットクリエータモジュール１５０は、ＲＦ回路構成１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、任意選択的に、ウィジェットを作成する（例えば、ウェブページのユーザ指定部分をウィジェットにする）ために、ユーザによって使用される。
検索モジュール１５１は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ユーザの命令に従って、１つ以上の検索基準（例えば、１つ以上のユーザ指定検索語）と一致するメモリ１０２内のテキスト、音楽、サウンド、画像、ビデオ、及び／又は他のファイルを検索するための実行可能な命令を含む。
ビデオ及び音楽プレーヤモジュール１５２は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路構成１１０、スピーカ１１１、ＲＦ回路構成１０８、及びブラウザモジュール１４７と連携して、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶されている録音済みの音楽及び他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能な命令、並びにビデオを（例えば、タッチスクリーン１１２上、又は外部ポート１２４を介して接続された外部のディスプレイ上に）表示、提示、又は別様に再生するための実行可能な命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能性を含む。
メモモジュール１５３は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ユーザの命令に従って、メモ、ｔｏ－ｄｏリストなどを作成及び管理するための実行可能な命令を含む。
地図モジュール１５４は、ＲＦ回路構成１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と連携して、任意選択的に、ユーザの命令に従って、地図及び地図に関連付けられたデータ（例えば、運転の道順、特定の場所又はその付近の店舗及び他の見どころに関するデータ、並びに他の場所ベースのデータ）を受信、表示、修正、及び記憶するために使用される。
オンラインビデオモジュール１５５は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路構成１１０、スピーカ１１１、ＲＦ回路構成１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、ユーザが特定のオンラインビデオへのアクセス、特定のオンラインビデオのブラウジング、（例えば、ストリーミング及び／又はダウンロードによる）受信、（例えば、タッチスクリーン上、又は外部ポート１２４を介して接続された外部ディスプレイ上での）再生、特定のオンラインビデオへのリンクを有する電子メールの送信、並びにＨ．２６４などの１つ以上のファイル形式のオンラインビデオの他の管理を行うことを可能にする命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。オンラインビデオアプリケーションについての追加の説明は、その内容の全体が参照により本明細書に組み込まれる、２００７年６月２０日出願の米国仮特許出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、及び２００７年１２月３１日出願の米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」を参照されたい。
上記のモジュール及びアプリケーションは各々、上に記載の１つ以上の機能及び本出願に記載の方法（例えば、本明細書に記載のコンピュータにより実行される方法及び他の情報処理方法）を実行するための実行可能な命令のセットに対応する。これらのモジュール（例えば、命令セット）は、個々のソフトウェアプログラム（（例えば、命令を含む）コンピュータプログラムなど）、手順、又はモジュールとして実装される必要はなく、したがって、様々な実施形態では、これらのモジュールの様々なサブセットが、任意選択的に組み合わされ、又は別様に再構成される。例えば、ビデオプレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わされて、単一のモジュール（例えば、図１Ａのビデオ及び音楽プレーヤモジュール１５２）にされる。いくつかの実施形態では、メモリ１０２は、任意選択的に、上記のモジュール及びデータ構造のサブセットを記憶する。更に、メモリ１０２は、上に記載していない追加のモジュール及びデータ構造を任意選択的に記憶する。
いくつかの実施形態では、デバイス１００は、そのデバイスにおける既定の機能のセットの動作がタッチスクリーン及び／又はタッチパッドのみを介して実行されるデバイスである。デバイス１００が動作するための主要な入力コントロールデバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、任意選択的に、デバイス１００上の物理入力コントロールデバイス（プッシュボタン、ダイヤルなど）の数が削減される。
タッチスクリーン及び／又はタッチパッドを通じてのみ実行される既定の機能のセットは、任意選択的に、ユーザインターフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされると、デバイス１００上に表示される任意のユーザインターフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又はその他の物理入力コントロールデバイスである。
図１Ｂは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、（例えば、オペレーティングシステム１２６内の）イベントソート部１７０と、（例えば、前述のアプリケーション１３７～１５１、１５５、３８０～３９０のうちのいずれかの）それぞれのアプリケーション１３６－１と、を含む。
イベントソート部１７０は、イベント情報を受信し、イベント情報を配信するアプリケーション１３６－１、及びアプリケーション１３６－１のアプリケーションビュー１９１を判定する。イベントソート部１７０は、イベントモニタ１７１と、イベントディスパッチャモジュール１７４とを含む。いくつかの実施形態では、アプリケーション１３６－１は、アプリケーションがアクティブ又は実行中であるときにタッチ感知ディスプレイ１１２に表示される現在のアプリケーションビュー（単数又は複数）を示すアプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７は、どのアプリケーション（単数又は複数）が現在アクティブであるかを判定するためにイベントソート部１７０によって使用され、アプリケーション内部状態１９２は、イベント情報が配信されるアプリケーションビュー１９１を判定するためにイベントソート部１７０によって使用される。
いくつかの実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６－１が実行を再開するときに使用すべき再開情報、アプリケーション１３６－１によって表示されている情報を示す又は表示する準備ができているユーザインターフェース状態情報、ユーザがアプリケーション１３６－１の前の状態又はビューに戻ることを可能にする状態キュー、及びユーザによって行われた前のアクションのリドゥ／アンドゥキューのうちの１つ以上などの追加情報を含む。
イベントモニタ１７１は、周辺機器インターフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイ１１２でのユーザタッチ）に関する情報を含む。周辺機器インターフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計（単数又は複数）１６８、及び／若しくは（オーディオ回路構成１１０を介した）マイクロフォン１１３などのセンサから受信する情報を送信する。周辺機器インターフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイ１１２又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インターフェース１１８に要求を送信する。それに応じて、周辺機器インターフェース１１８は、イベント情報を送信する。他の実施形態では、周辺機器インターフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回る及び／又は所定の持続時間を超える入力の受信）があるときのみ、イベント情報を送信する。
いくつかの実施形態では、イベントソート部１７０はまた、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイ１１２が２つ以上のビューを表示しているときに、サブイベントが１つ以上のビュー内のどこで起きたかを判定するソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができるコントロール及び他の要素から構成される。
アプリケーションに関連付けられたユーザインターフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインターフェースウィンドウと呼ばれることもあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて判定される。
ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するとき、ヒットビュー判定モジュール１７２は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを識別する。ほとんどの状況では、ヒットビューは、開始サブイベント（例えば、イベント又は潜在的イベントを形成する一連のサブイベントにおける第１のサブイベント）が発生する最も低いレベルのビューである。ヒットビューがヒットビュー判定モジュール１７２によって識別されると、ヒットビューは典型的に、ヒットビューとして識別されたタッチ又は入力ソースと同じタッチ又は入力ソースに関係する全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）が特定の一連のサブイベントを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみが特定の一連のサブイベントを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理的場所を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、特定の一連のサブイベントを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連付けられたエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えばイベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態では、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、それぞれのイベント受信部１８２によって取り出されるイベント情報をイベントキューに記憶する。
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソート部１７０を含む。あるいは、アプリケーション１３６－１がイベントソート部１７０を含む。更に他の実施形態では、イベントソート部１７０は、独立型のモジュールであり、又は接触／動きモジュール１３０などのメモリ１０２内に記憶されている別のモジュールの一部である。
いくつかの実施形態では、アプリケーション１３６－１は、各々がアプリケーションのユーザインターフェースのそれぞれのビュー内で発生するタッチイベントを処理するための命令を含む、複数のイベント処理部１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６－１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。典型的には、それぞれのアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、ユーザインターフェースキット、又は、アプリケーション１３６－１がメソッド及び他のプロパティを継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベント処理部１９０は、データ更新部１７６、オブジェクト更新部１７７、ＧＵＩ更新部１７８、及び／又はイベントソート部１７０から受信したイベントデータ１７９、のうちの１つ以上を含む。イベント処理部１９０は、任意選択的に、データ更新部１７６、オブジェクト更新部１７７、又はＧＵＩ更新部１７８を利用し又は呼び出して、アプリケーション内部状態１９２を更新する。あるいは、アプリケーションビュー１９１のうちの１つ以上が、１つ以上のそれぞれのイベント処理部１９０を含む。また、いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８のうちの１つ以上は、それぞれのアプリケーションビュー１９１に含まれる。
それぞれのイベント認識部１８０は、イベントソート部１７０からイベント情報（例えば、イベントデータ１７９）を受信し、イベント情報からイベントを識別する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０はまた、メタデータ１８３及びイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットを含む。
イベント受信部１８２は、イベントソート部１７０からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの動きについての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの場所などの追加情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。いくつかの実施形態では、イベントは、１つの配向から別の配向への（例えば、縦向きから横向きへ、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の（デバイスの姿勢とも呼ばれる）配向についての対応する情報を含む。
イベント比較部１８４は、イベント情報を、定義済みのイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定するか、あるいはイベント又はサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えばイベント１（１８７－１）及びイベント２（１８７－２）などのイベント（例えば、定義済みの一連のサブイベント）の定義を含む。いくつかの実施形態では、イベント（１８７－１及び／又は１８７－２）内のサブイベントは、例えば、タッチの開始、タッチの終了、タッチの動き、タッチのキャンセル、及び複数のタッチを含む。一実施例では、イベント１（１８７－１）についての定義は、表示されているオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階に対する表示オブジェクト上の第１のタッチ（タッチ開始）、所定の段階に対する第１のリフトオフ（タッチ終了）、所定の段階に対する表示オブジェクト上の第２のタッチ（タッチ開始）、及び所定の段階に対する第２のリフトオフ（タッチ終了）を含む。別の実施例では、イベント２（１８７－２）の定義は、表示されているオブジェクト上のドラッグである。ドラッグは、例えば、所定の段階に対する表示オブジェクト上のタッチ（又は接触）、タッチ感知ディスプレイ１１２にわたるタッチの動き、及びタッチのリフトオフ（タッチ終了）を含む。いくつかの実施形態では、イベントはまた、１つ以上の関連付けられたイベント処理部１９０に関する情報を含む。
いくつかの実施形態では、イベント定義１８６は、それぞれのユーザインターフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、どのユーザインターフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、タッチ感知ディスプレイ１１２に３つのユーザインターフェースオブジェクトが表示されているアプリケーションビュー内で、タッチ感知ディスプレイ１１２上でタッチが検出されると、イベント比較部１８４はヒットテストを実行して、３つのユーザインターフェースオブジェクトのうちのどれがタッチ（サブイベント）に関連付けられているかを判定する。表示されている各オブジェクトがそれぞれのイベント処理部１９０に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトに関連付けられたイベント処理部を選択する。
いくつかの実施形態では、それぞれのイベント１８７の定義はまた、一連のサブイベントがイベント認識部のイベントタイプに対応するか否かが判定されるまで、イベント情報の配信を遅らせる遅延アクションを含む。
それぞれのイベント認識部１８０が、一連のサブイベントがイベント定義１８６のイベントのいずれとも一致しないと判定すると、それぞれのイベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、及び／又はリストを有するメタデータ１８３を含む。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように相互作用するか、又はイベント認識部が互いにどのように相互作用することが可能となるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかどうかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されると、イベントに関連付けられたイベント処理部１９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントに関連付けられたイベント情報をイベント処理部１９０に配信する。イベント処理部１９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する（及び、送信を延期する）こととは別個である。いくつかの実施形態では、イベント認識部１８０は、認識したイベントに関連付けられたフラグを投入し、そのフラグに関連付けられたイベント処理部１９０は、そのフラグを捕らえ、既定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令１８８は、イベント処理部をアクティブ化することなく、サブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定のプロセスを実行する。
いくつかの実施形態では、データ更新部１７６は、アプリケーション１３６－１で使用されるデータを作成及び更新する。例えば、データ更新部１７６は、連絡先モジュール１３７で使用される電話番号を更新する、又はビデオプレーヤモジュールで使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクト更新部１７７は、アプリケーション１３６－１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部１７７は、新しいユーザインターフェースオブジェクトを作成する、又はユーザインターフェースオブジェクトの位置を更新する。ＧＵＩ更新部１７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送る。
いくつかの実施形態では、イベント処理部（単数又は複数）１９０は、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８を含むか、又はそれらへのアクセスを有する。いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８は、それぞれのアプリケーション１３６－１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の説明は、入力デバイスを用いて多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用されるが、それらの全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、キーボードの単一又は複数の押圧若しくは保持と任意選択的に連携される、マウスの動き及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の動き、ペンスタイラス入力、デバイスの動き、口頭による命令、検出された目の動き、バイオメトリック入力、並びに／又はそれらの任意の組合せを、任意選択的に、認識対象のイベントを定義するサブイベントに対応する入力として利用する。
図２は、いくつかの実施形態に係る、タッチスクリーン１１２を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、任意選択的に、ユーザインターフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを表示する。本実施形態、並びに以下で説明される他の実施形態では、ユーザは、例えば、１本以上の指２０２（図には正確な縮尺では描かれていない）又は１つ以上のスタイラス２０３（図には正確な縮尺では描かれていない）を使用して、グラフィック上でジェスチャを実施することによって、それらのグラフィックのうちの１つ以上を選択することが可能となる。いくつかの実施形態では、１つ以上のグラフィックの選択は、ユーザが、その１つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、デバイス１００と接触した指の、１回以上のタップ、１回以上の（左から右へ、右から左へ、上向き及び／若しくは下向きの）スワイプ、並びに／又は、指の（右から左へ、左から右へ、上向き及び／若しくは下向きの）ローリングを、任意選択的に含む。いくつかの実装形態又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
デバイス１００はまた、任意選択的に、「ホーム」ボタン又はメニューボタン２０４などの１つ以上の物理ボタンを含む。前述のように、メニューボタン２０４は、任意選択的にデバイス１００上で実行されるアプリケーションのセット内の任意のアプリケーション１３６にナビゲートするために、任意選択的に使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーン１１２に表示されるＧＵＩ内のソフトキーとして実装される。
いくつかの実施形態では、デバイス１００は、タッチスクリーン１１２、メニューボタン２０４、デバイスの電源をオン／オフにしてデバイスをロックするプッシュボタン２０６、音量調整ボタン（単数又は複数）２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、及びドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、既定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン／オフするため、ボタンを押し下げて、既定の時間が経過する前にボタンを解放することによってデバイスをロックするため、及び／又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。代替の実施形態では、デバイス１００はまた、マイクロフォン１１３を介して、いくつかの機能をアクティブ化又は非アクティブ化するための口頭入力を受け入れる。デバイス１００はまた、任意選択的に、タッチスクリーン１１２上の接触の強度を検出する１つ以上の接触強度センサ１６５、及び／又はデバイス１００のユーザに対する触知出力を生成する１つ以上の触知出力生成器１６７を含む。
図３は、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、（子供の学習玩具などの）教育用デバイス、ゲームシステム、又はコントロールデバイス（例えば、家庭用又は産業用コントローラ）である。デバイス３００は典型的に、１つ以上の処理ユニット（ＣＰＵ）３１０と、１つ以上のネットワーク又は他の通信インターフェース３６０と、メモリ３７０と、これらの構成要素を相互接続する１つ以上の通信バス３２０と、を含む。通信バス３２０は、任意選択的に、（チップセットと呼ばれることもある）、システム構成要素間の通信を相互接続及び制御する回路を含む。デバイス３００は、典型的にはタッチスクリーンディスプレイであるディスプレイ３４０を含む入出力（Ｉ／Ｏ）インターフェース３３０を含む。Ｉ／Ｏインターフェース３３０はまた、任意選択的に、キーボード及び／又はマウス（若しくは他のポインティングデバイス）３５０並びにタッチパッド３５５と、デバイス３００上に触知出力を生成する（例えば、図１Ａを参照して上記した触知出力生成器（単数又は複数）１６７に類似する）触知出力生成器３５７と、センサ３５９（例えば、光、加速度、近接、タッチ感知、及び／又は図１Ａを参照して上記した接触強度センサ（単数又は複数）１６５に類似する接触強度センサ）と、を含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択的に、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３７０は、任意選択的に、ＣＰＵ（単数又は複数）３１０からリモートに位置する１つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２内に記憶されているプログラム、モジュール、及びデータ構造に類似したプログラム、モジュール、及びデータ構造、又はそのサブセットを記憶する。更に、メモリ３７０は、任意選択的に、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は、任意選択的に、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を記憶するのに対して、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、任意選択的に、これらのモジュールを記憶しない。
上記の図３の要素は各々、任意選択的に、前述のメモリデバイスのうちの１つ以上の中に記憶される。上記のモジュールは各々、上記の機能を実行するための命令セットに対応する。上記のモジュール又はコンピュータプログラム（例えば、命令セット又は命令を含む）は、個々のソフトウェアプログラム（（例えば、命令を含む）コンピュータプログラムなど）、手順、又はモジュールとして実装される必要はなく、したがって、様々な実施形態では、これらのモジュールの様々なサブセットが、任意選択的に組み合わされ、又は別様に再構成される。いくつかの実施形態では、メモリ３７０は、任意選択的に、上記のモジュール及びデータ構造のサブセットを記憶する。更に、メモリ３７０は、任意選択的に、上記していない追加のモジュール及びデータ構造を記憶する。
次に、任意選択的に、例えばポータブル多機能デバイス１００に実装されるユーザインターフェースの実施形態に注目する。
図４Ａは、いくつかの実施形態に係る、ポータブル多機能デバイス１００上のアプリケーションのメニューの例示的なユーザインターフェースを示す。同様のユーザインターフェースが、デバイス３００上に任意選択的に実装される。いくつかの実施形態では、ユーザインターフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びＷｉ－Ｆｉ信号などのワイヤレス通信（単数又は複数）用の信号強度インジケータ（単数又は複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈインジケータ４０５、
●バッテリ状態インジケータ４０６、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ４０８
○不在着信又はボイスメールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされた、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール１５２とも称されるビデオ及び音楽プレーヤモジュール１５２用のアイコン４２２、及び
●以下のような、他のアプリケーションのアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１のアイコン４２４、
○「カレンダー」とラベル付けされた、カレンダーモジュール１４８のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３のアイコン４３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール１５５のアイコン４３２、
○「株価」とラベル付けされた、株価ウィジェット１４９－２のアイコン４３４、
○「マップ」とラベル付けされた、地図モジュール１５４のアイコン４３６、
○「天気」とラベル付けされた、気象ウィジェット１４９－１のアイコン４３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット１４９－４のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６に関する設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション又はモジュールのアイコン４４６。
図４Ａに示すアイコンラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽プレーヤモジュール１５２のアイコン４２２は、「音楽」又は「音楽プレーヤ」とラベル付けされる。他のラベルが、様々なアプリケーションアイコン用に、任意選択的に使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図４Ｂは、ディスプレイ４５０（例えば、タッチスクリーンディスプレイ１１２）とは別個のタッチ感知面４５１（例えば、図３のタブレット又はタッチパッド３５５）を有するデバイス（例えば、図３のデバイス３００）上の例示的なユーザインターフェースを示す。デバイス３００はまた、任意選択的に、タッチ感知面４５１上の接触の強度を検出する１つ以上の接触強度センサ（例えば、センサ３５９のうちの１つ以上）、及び／又はデバイス３００のユーザに対して触知出力を生成する１つ以上の触知出力生成器３５７を含む。
以下の実施例のうちのいくつかは、（タッチ感知面とディスプレイが組み合わされている）タッチスクリーンディスプレイ１１２上の入力を参照して与えられるが、いくつかの実施形態では、デバイスは、図４Ｂに示すように、ディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）上の一次軸（例えば、図４Ｂの４５３）に対応する一次軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの場所に対応する（例えば、図４Ｂでは、４６０は４６８に対応し、４６２は４７０に対応する）場所で、タッチ感知面４５１との接触（例えば、図４Ｂの４６０及び４６２）を検出する。このようにして、タッチ感知面（例えば、図４Ｂの４５１）上でデバイスによって検出されるユーザ入力（例えば、接触４６０及び４６２、並びにこれらの動き）は、タッチ感知面がディスプレイとは別個であるとき、多機能デバイスのディスプレイ（例えば、図４Ｂの４５０）上のユーザインターフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインターフェースに任意選択的に使用されることを理解されたい。
加えて、以下の例は、主に指入力（例えば、指接触、指タップジェスチャ、指スワイプジェスチャ）を参照して与えられる一方、いくつかの実施形態では、指入力のうちの１つ以上が別の入力デバイスからの入力（例えば、マウスベースの入力又はスタイラス入力）に置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、（例えば、接触ではなく）マウスクリックとそれに続く（例えば、接触の動きではなく）スワイプの経路に沿ったカーソルの動きによって置き換えられる。別の例として、タップジェスチャは、任意選択的に、（例えば、接触の検出とそれに続く接触の不検出ではなく）カーソルがタップジェスチャの場所上に位置している間のマウスクリックによって置き換えられる。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用されているか、又はマウスと指の接触が、任意選択的に、同時に使用されていることを理解されたい。
図５Ａは、例示的なパーソナル電子デバイス５００を示す。デバイス５００は、本体５０２を含む。いくつかの実施形態では、デバイス５００は、デバイス１００及び３００（例えば、図１Ａ～図４Ｂ）に関して説明した機能のうちのいくつか又は全てを含むことができる。いくつかの実施形態では、デバイス５００は、以下ではタッチスクリーン５０４と呼ぶタッチ感知ディスプレイスクリーン５０４を有する。あるいは、又はタッチスクリーン５０４に加えて、デバイス５００は、ディスプレイ及びタッチ感知面を有する。いくつかの実施形態では、デバイス１００及び３００のそれと同様に、タッチスクリーン５０４（又はタッチ感知面）は、任意選択的に、加えられている接触（例えば、タッチ）の強度を検出する１つ以上の強度センサを含む。タッチスクリーン５０４（又はタッチ感知面）の１つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス５００のユーザインターフェースは、タッチに、その強度に基づいて応答することができ、これは、異なる強度のタッチが、デバイス５００上で異なるユーザインターフェース動作を呼び出すことができることを意味する。
タッチ強度を検出し処理する例示的な技術は、例えば、それぞれ全体が参照により本明細書に組み込まれる関連出願である、国際公開第２０１３／１６９８４９号として公開された、２０１３年５月８日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０４００６１号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」、及び国際公開第２０１４／１０５２７６号として公開された、２０１３年１１月１１日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０６９４８３号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」を参照されたい。
いくつかの実施形態では、デバイス５００は、１つ以上の入力機構５０６及び５０８を有する。入力機構５０６及び５０８は、含まれている場合、物理的であり得る。物理的入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。いくつかの実施形態では、デバイス５００は、１つ以上のアタッチメント機構を有する。このようなアタッチメント機構は、含まれている場合、例えば帽子、眼鏡類、イアリング、ネックレス、シャツ、ジャケット、ブレスレット、ウォッチのバンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどにデバイス５００を取り付けることを可能にすることができる。これらのアタッチメント機構は、ユーザがデバイス５００を着用することを可能にする。
図５Ｂは、例示的なパーソナル電子デバイス５００を示す。いくつかの実施形態では、デバイス５００は、図１Ａ、図１Ｂ、及び図３に関して説明した構成要素のうちのいくつか又は全てを含むことができる。デバイス５００は、Ｉ／Ｏセクション５１４を１つ以上のコンピュータプロセッサ５１６及びメモリ５１８に動作可能に結合するバス５１２を有する。Ｉ／Ｏセクション５１４はディスプレイ５０４に接続することができ、ディスプレイ５０４は、タッチ感知構成要素５２２と、任意選択的に強度センサ５２４（例えば、接触強度センサ）とを有することができる。加えて、Ｉ／Ｏセクション５１４は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（near field communication、ＮＦＣ）、セルラー、及び／又は他のワイヤレス通信技術を使用して、アプリケーション及びオペレーティングシステムデータを受信する通信ユニット５３０と接続することができる。デバイス５００は、入力機構５０６及び／又は５０８を含むことができる。入力機構５０６は、任意選択的に、例えば、回転可能な入力デバイスであるか、又は押下可能かつ回転可能な入力デバイスである。いくつかの実施例では、入力機構５０８は、任意選択的にボタンである。
いくつかの実施例では、入力機構５０８は、任意選択的にマイクロフォンである。パーソナル電子デバイス５００は、任意選択的に、ＧＰＳセンサ５３２、加速度計５３４、方向センサ５４０（例えば、コンパス）、ジャイロスコープ５３６、動きセンサ５３８、及び／又はそれらの組合せなどの様々なセンサを含み、それらは全て、Ｉ／Ｏセクション５１４に動作可能に接続することができる。
パーソナル電子デバイス５００のメモリ５１８は、１つ以上のコンピュータプロセッサ５１６によって実行されると、例えば、コンピュータプロセッサに、プロセス７００及びプロセス９００（図７及び図９）を含む、後述の技術を行わせることができるコンピュータ実行可能命令を記憶するための１つ以上の非一時的コンピュータ可読記憶媒体を含むことができる。コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって、又は命令実行システム、装置、若しくはデバイスに関連して、使用されるコンピュータ実行可能命令を、有形に含み又は記憶することができる任意の媒体であり得る。いくつかの実施例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの実施例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、磁気記憶装置、光学記憶装置、及び／又は半導体記憶装置を含むことができるが、これらに限定されない。このような記憶装置の例は、磁気ディスク、ＣＤ、ＤＶＤ、又はＢｌｕ－ｒａｙ技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの永続性ソリッドステートメモリなどを含む。パーソナル電子デバイス５００は、図５Ｂの構成要素及び構成に限定されるものではなく、他の又は追加の構成要素を複数の構成で含むことができる。
本明細書で使用するとき、「アフォーダンス」という用語は、任意選択的にデバイス１００、３００、及び／又は５００（図１Ａ、図３、及び図５Ａ～図５Ｂ）のディスプレイスクリーンに表示される、ユーザ相互作用グラフィカルユーザインターフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン、及びテキスト（例えば、ハイパーリンク）は各々、任意選択的に、アフォーダンスを構成する。
本明細書で使用するとき、「フォーカスセレクタ」という用語は、ユーザが相互作用しているユーザインターフェースの現在の部分を示す入力要素を指す。カーソル又は他の場所マーカーを含むいくつかの実装形態では、カーソルが特定のユーザインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインターフェース要素）の上に位置している間、入力（例えば、押圧入力）がタッチ感知面（例えば、図３のタッチパッド３５５又は図４Ｂのタッチ感知面４５１）上で検出されると、特定のユーザインターフェース要素は、検出された入力に従って調整されるように、カーソルが「フォーカスセレクタ」として作用する。タッチスクリーンディスプレイ上のユーザインターフェース要素との直接相互作用を可能にするタッチスクリーンディスプレイ（例えば、図１Ａのタッチ感知ディスプレイシステム１１２又は図４Ａのタッチスクリーン１１２）を含むいくつかの実装形態では、タッチスクリーンディスプレイ上の特定のユーザインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインターフェース要素）の場所で入力（例えば、接触による押圧入力）が検出されると、特定のユーザインターフェース要素が、検出された入力に従って調整されるように、タッチスクリーン上の検出された接触が「フォーカスセレクタ」として作用する。いくつかの実装形態では、タッチスクリーンディスプレイ上の対応するカーソルの動き又は接触の動きなしに、フォーカスがユーザインターフェースの１つの領域からユーザインターフェースの別の領域に動かされ（例えば、タブキー又は矢印キーを使用することによってフォーカスが１つのボタンから別のボタンに動かされ）、これらの実装形態では、フォーカスセレクタは、ユーザインターフェースの種々の領域間でのフォーカスの動きに従って移動する。フォーカスセレクタが取る具体的な形態に関わらず、フォーカスセレクタは、概して、ユーザが意図するユーザインターフェースとの相互作用を（例えば、ユーザがそれを通じて相互作用することを意図しているユーザインターフェースの要素をデバイスに示すことによって）通信するためにユーザによって制御されるユーザインターフェース要素（又はタッチスクリーンディスプレイ上の接触）である。例えば、タッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で押圧入力が検出されている間の、それぞれのボタンの上のフォーカスセレクタ（例えば、カーソル、接触、又は選択ボックス）の場所は、（そのデバイスのディスプレイ上に表示されている他のユーザインターフェース要素ではなく）それぞれのボタンをアクティブ化することをユーザが意図していることを示すものである。
本明細書及び特許請求の範囲で使用するとき、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく、その接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、すなわち、既定のイベント（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の動きの開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、及び／又は、接触の強度の減少を検出する前若しくは後）に関連する所定の時間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）の間に収集される強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均（mean）値、接触の強度の平均（average）値、接触の強度の上位１０パーセンタイル値、接触の強度の最大の２分の１の値、接触の強度の最大の９０パーセントの値などのうちの１つ以上に基づく。いくつかの実施形態では、特性強度を判定する際に（例えば、特性強度が経時的な接触の強度の平均であるときに）、接触の持続期間が使用される。いくつかの実施形態では、特性強度は、ユーザによって操作が実行されたか否かを判定するために、１つ以上の強度閾値のセットと比較される。例えば、１つ以上の強度閾値のセットは、任意選択的に、第１の強度閾値及び第２の強度閾値を含む。この実施例では、第１の閾値を超えない特性強度を有する接触は第１の動作をもたらし、第１の強度閾値を上回るが第２の強度閾値を超えない特性強度を有する接触は第２の動作をもたらし、第２の閾値を超える特性強度を有する接触は第３の動作をもたらす。いくつかの実施形態では、特性強度と１つ以上の閾値との間の比較は、第１の動作を実行するべきか、それとも第２の動作を実行するべきかを判定するために使用されるのではなく、１つ以上の動作を実行するべきか否か（例えば、それぞれの動作を実行するべきか、それともそれぞれの動作を実行するのを取り止めるべきか）を判定するために使用される。
本明細書で使用するとき、「インストール済みアプリケーション」は、電子デバイス（例えば、デバイス１００、３００、及び／又は５００）にダウンロードされ、デバイス上で起動する（例えば、開かれる）準備ができているソフトウェアアプリケーションを指す。いくつかの実施形態では、ダウンロードされたアプリケーションは、ダウンロードされたパッケージからプログラム部分を抽出し、抽出された部分をコンピュータシステムのオペレーティングシステムと統合するインストールプログラムによって、インストール済みアプリケーションになる。
本明細書で使用するとき、「開いているアプリケーション」又は「実行中のアプリケーション」という用語は、保持された状態情報を（例えば、デバイス／グローバル内部状態１５７及び／又はアプリケーション内部状態１９２の一部として）有するソフトウェアアプリケーションを指す。開いている又は実行中のアプリケーションは、任意選択的に、以下のタイプのアプリケーションのうちのいずれか１つである。
●アプリケーションが使用されているデバイスのディスプレイスクリーンに現在表示されているアクティブなアプリケーション、
●現在表示されていないが、アプリケーションに対する１つ以上のプロセスが１つ以上のプロセッサによって処理されている背景アプリケーション（又は背景プロセス）、並びに
●実行していないが、（それぞれ、揮発性及び不揮発性の）メモリに記憶されており、かつアプリケーションの実行を再開するために使用することができる状態情報を有する、中断又は休止状態のアプリケーション。
本明細書で使用するとき、「閉じているアプリケーション」という用語は、保持された状態情報を有していないソフトウェアアプリケーションを指す（例えば、閉じているアプリケーションに関する状態情報は、デバイスのメモリ内に記憶されていない）。したがって、アプリケーションを閉じることは、アプリケーションに対するアプリケーションプロセスを停止及び／又は削除し、アプリケーションに関する状態情報をデバイスのメモリから削除することを含む。概して、第１のアプリケーション中に第２のアプリケーションを開いても、第１のアプリケーションは閉じない。第２のアプリケーションの表示中、第１のアプリケーションの表示が中止されると、第１のアプリケーションは背景アプリケーションになる。
図５Ｃは、電子デバイス５００Ａと、５００Ｂと、５００Ｃとの間の通信セッションの例示的な図を示す。デバイス５００Ａ、５００Ｂ、及び５００Ｃは、電子デバイス５００と同様であり、各々が、ある期間にわたってそれぞれのデバイス間のオーディオ及び／又はビデオデータのリアルタイム通信を容易にするように、インターネット接続、Ｗｉ－Ｆｉ接続、セルラー接続、短距離通信接続、及び／又は任意の他のこのようなデータ接続若しくはネットワークなどの１つ以上のデータ接続５１０を互いに共有する。いくつかの実施形態では、例示的な通信セッションは、電子デバイスにおけるそれぞれのコンテンツの同時出力を可能にするために、電子デバイスのうちの１つ以上から他の電子デバイスにデータが通信される共有データセッションを含むことができる。いくつかの実施形態では、例示的な通信セッションは、それぞれのデバイスのユーザが電子デバイスを使用してリアルタイム通信に関与することができるように、オーディオ及び／又はビデオデータがデバイス５００Ａと、５００Ｂと、５００Ｃとの間で通信されるビデオ会議セッションを含むことができる。
図５Ｃでは、デバイス５００Ａは、ユーザＡに関連付けられた電子デバイスを表す。デバイス５００Ａは、ユーザＢ及びユーザＣにそれぞれ関連付けられたデバイス５００Ｂ及び５００Ｃと（データ接続５１０を介して）通信している。デバイス５００Ａは、通信セッションのビデオデータをキャプチャするために使用されるカメラ５０１Ａと、通信セッションに関連付けられたコンテンツを表示するために使用されるディスプレイ５０４Ａ（例えば、タッチスクリーン）と、を含む。デバイス５００Ａはまた、通信セッションのオーディオを記録するためのマイクロフォン（例えば、１１３）及び通信セッションのオーディオを出力するためのスピーカ（例えば、１１１）などの他の構成要素を含む。
デバイス５００Ａは、ディスプレイ５０４Ａを介して、デバイス５００Ｂとデバイス５００Ｃとの間の通信セッション（例えば、ビデオ会議セッション）を容易にするユーザインターフェースである通信ＵＩ５２０Ａを表示する。通信ＵＩ５２０Ａは、ビデオフィード５２５－１Ａと、ビデオフィード５２５－２Ａと、を含む。ビデオフィード５２５－１Ａは、デバイス５００Ｂにおいて（例えば、カメラ５０１Ｂを使用して）キャプチャされ、通信セッション中にデバイス５００Ｂからデバイス５００Ａ及び５００Ｃに通信されるビデオデータの表現である。ビデオフィード５２５－２Ａは、デバイス５００Ｃにおいて（例えば、カメラ５０１Ｃを使用して）キャプチャされ、通信セッション中にデバイス５００Ｃからデバイス５００Ａ及び５００Ｂに通信されるビデオデータの表現である。
通信ＵＩ５２０Ａは、カメラ５０１Ａを介してデバイス５００Ａにおいてキャプチャされるビデオデータの表現であるカメラプレビュー５５０Ａを含む。カメラプレビュー５５０Ａは、ユーザＡに対して、それぞれのデバイス５００Ｂ及び５００Ｃに表示されるユーザＡの予想されるビデオフィードを表す。
通信ＵＩ５２０Ａは、通信セッションの１つ以上の態様を制御する１つ以上のコントロール５５５Ａを含む。例えば、コントロール５５５Ａは、通信セッションのオーディオをミュートする、通信セッションのカメラビューを変更する（例えば、通信セッションのビデオをキャプチャするためにどのカメラが使用されるかを変更する、ズーム値を調整する）、通信セッションを終了する、通信セッションのカメラビューに視覚的効果を適用する、通信セッションに関連付けられた１つ以上のモードをアクティブ化するためのコントロールを含むことができる。いくつかの実施形態では、１つ以上のコントロール５５５Ａが、任意選択的に、通信ＵＩ５２０Ａに表示される。いくつかの実施形態では、１つ以上のコントロール５５５Ａは、カメラプレビュー５５０Ａとは別個に表示される。いくつかの実施形態では、１つ以上のコントロール５５５Ａは、カメラプレビュー５５０Ａの少なくとも一部分にオーバーレイして表示される。
図５Ｃでは、デバイス５００Ｂは、デバイス５００Ａ及び５００Ｃと（データ接続５１０を介して）通信しているユーザＢに関連付けられた電子デバイスを表す。デバイス５００Ｂは、通信セッションのビデオデータをキャプチャするために使用されるカメラ５０１Ｂと、通信セッションに関連付けられたコンテンツを表示するために使用されるディスプレイ５０４Ｂ（例えば、タッチスクリーン）と、を含む。デバイス５００Ｂはまた、通信セッションのオーディオを記録するためのマイクロフォン（例えば、１１３）及び通信セッションのオーディオを出力するためのスピーカ（例えば、１１１）などの他の構成要素を含む。
デバイス５００Ｂは、タッチスクリーン５０４Ｂを介して、デバイス５００Ａの通信ＵＩ５２０Ａと同様の通信ＵＩ５２０Ｂを表示する。通信ＵＩ５２０Ｂは、ビデオフィード５２５－１Ｂと、ビデオフィード５２５－２Ｂと、を含む。ビデオフィード５２５－１Ｂは、デバイス５００Ａにおいて（例えば、カメラ５０１Ａを使用して）キャプチャされ、通信セッション中にデバイス５００Ａからデバイス５００Ｂ及び５００Ｃに通信されるビデオデータの表現である。ビデオフィード５２５－２Ｂは、デバイス５００Ｃにおいて（例えば、カメラ５０１Ｃを使用して）キャプチャされ、通信セッション中にデバイス５００Ｃからデバイス５００Ａ及び５００Ｂに通信されるビデオデータの表現である。通信ＵＩ５２０Ｂはまた、カメラ５０１Ｂを介してデバイス５００Ｂにおいてキャプチャされるビデオデータの表現であるカメラプレビュー５５０Ｂと、コントロール５５５Ａと同様の、通信セッションの１つ以上の態様を制御するための１つ以上のコントロール５５５Ｂと、を含む。カメラプレビュー５５０Ｂは、ユーザＢに対して、それぞれのデバイス５００Ａ及び５００Ｃに表示されるユーザＢの予想されるビデオフィードを表す。
図５Ｃでは、デバイス５００Ｃは、デバイス５００Ａ及び５００Ｂと（データ接続５１０を介して）通信しているユーザＣに関連付けられた電子デバイスを表す。デバイス５００Ｃは、通信セッションのビデオデータをキャプチャするために使用されるカメラ５０１Ｃと、通信セッションに関連付けられたコンテンツを表示するために使用されるディスプレイ５０４Ｃ（例えば、タッチスクリーン）と、を含む。デバイス５００Ｃはまた、通信セッションのオーディオを記録するためのマイクロフォン（例えば、１１３）及び通信セッションのオーディオを出力するためのスピーカ（例えば、１１１）などの他の構成要素を含む。
デバイス５００Ｃは、タッチスクリーン５０４Ｃを介して、デバイス５００Ａの通信ＵＩ５２０Ａ及びデバイス５００Ｂの通信ＵＩ５２０Ｂと同様の通信ＵＩ５２０Ｃを表示する。通信ＵＩ５２０Ｃは、ビデオフィード５２５－１Ｃと、ビデオフィード５２５－２Ｃと、を含む。ビデオフィード５２５－１Ｃは、デバイス５００Ｂにおいて（例えば、カメラ５０１Ｂを使用して）キャプチャされ、通信セッション中にデバイス５００Ｂからデバイス５００Ａ及び５００Ｃに通信されるビデオデータの表現である。ビデオフィード５２５－２Ｃは、デバイス５００Ａにおいて（例えば、カメラ５０１Ａを使用して）キャプチャされ、通信セッション中にデバイス５００Ａからデバイス５００Ｂ及び５００Ｃに通信されるビデオデータの表現である。通信ＵＩ５２０Ｃはまた、カメラ５０１Ｃを介してデバイス５００Ｃにおいてキャプチャされるビデオデータの表現であるカメラプレビュー５５０Ｃと、コントロール５５５Ａ及び５５５Ｂと同様の、通信セッションの１つ以上の態様を制御するための１つ以上のコントロール５５５Ｃと、を含む。カメラプレビュー５５０Ｃは、ユーザＣに対して、それぞれのデバイス５００Ａ及び５００Ｂに表示されるユーザＣの予想されるビデオフィードを表す。
図５Ｃに示す図は、３つの電子デバイス間の通信セッションを表すが、通信セッションは、２つ以上の電子デバイス間で確立させることができ、通信セッションに参加するデバイスの数は、電子デバイスが通信セッションに参加する又は通信セッションから退出するにつれて変更することができる。例えば、電子デバイスのうちの１つが通信セッションから離れる場合、通信セッションへの参加を停止したデバイスからのオーディオ及びビデオデータは、参加しているデバイス上ではもはや表されない。例えば、デバイス５００Ｂが通信セッションへの参加を停止した場合、デバイス５００Ａと５００Ｃとの間のデータ接続５１０、及びデバイス５００Ｃと５００Ｂとの間のデータ接続５１０は存在しない。加えて、デバイス５００Ａはビデオフィード５２５－１Ａを含めず、デバイス５００Ｃはビデオフィード５２５－１Ｃを含めない。同様に、デバイスが通信セッションに参加した場合、参加デバイスと既存のデバイスとの間に接続が確立され、各デバイスが他のデバイスから通信されるデータを出力することができるように、ビデオデータ及びオーディオデータが全てのデバイス間で共有される。
図５Ｃに示す実施形態は、図６Ａ～図６ＡＳ、図８Ａ～図８Ｈに示す例示的な通信セッションを含む、複数の電子デバイス間の通信セッションの図を表す。いくつかの実施形態では、図６Ａ～図６ＡＳ、図８Ａ～図８Ｈに示す通信セッションは、通信セッションに参加している他の電子デバイスが図に示されていない場合でも、２つ以上の電子デバイスを含む。
次に、ポータブル多機能デバイス１００、デバイス３００、又はデバイス５００などの電子デバイス上で実施されるユーザインターフェース（User Interface、「ＵＩ」）及び関連プロセスの実施形態に注目する。
図６Ａ～図６ＡＳは、いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。これらの図におけるユーザインターフェースは、図７におけるプロセスを含む、以下で説明するプロセスを示すために使用される。いくつかの実施形態では、図６Ａ～図６ＡＳのユーザインターフェースを使用して、図９に関して以下で説明するプロセスを示すことができる。
本開示は、ビデオ会議セッションを管理するための実施形態を説明する。いくつかの実施形態では、ビデオ会議セッションは、それぞれのコンテンツが（共有セッションとも呼ばれる）共有コンテンツセッションに参加している複数のデバイスにおいて同時に出力され得る共有コンテンツセッションに関連して提供される。いくつかの実施形態では、共有コンテンツセッションが非アクティブであるか、又は進行中ではない間に、ビデオ会議セッションは進行中である。いくつかの実施形態では、ビデオ会議セッションは、共有コンテンツセッションと同時に進行中である。いくつかの実施形態では、共有コンテンツセッションは、ビデオ会議セッション又はビデオ会議セッションを提供するためのユーザインターフェースから開始される。いくつかの実施形態では、ビデオ会議セッションは、共有コンテンツセッション又は共有コンテンツセッションを提供するためのユーザインターフェースから開始される。
いくつかの実施形態では、共有コンテンツセッションに参加している複数のデバイスにおいて同時に出力される個別のコンテンツは、スクリーン共有コンテンツである。例えば、ホストデバイスの表示されるスクリーンのコンテンツが共有コンテンツセッションの参加者と共有され、参加者が、それぞれのデバイスにおいて、ホストデバイス（共有デバイス、又はスクリーンコンテンツが共有されているデバイス）のスクリーンコンテンツを、表示されるスクリーンコンテンツに対する任意の変更を含んで、リアルタイムで閲覧することができる。いくつかの実施形態では、それぞれのコンテンツは、共有コンテンツセッションの参加者のそれぞれのデバイスにおいて同時に出力される同期コンテンツである。例えば、参加者の各デバイスが、リモートサーバ（単数又は複数）及び／又はローカルメモリからそれぞれのコンテンツ（例えば、ビデオ、映画、ＴＶ番組、及び／又は歌）に別々にアクセスし、それぞれのデバイスがリモートサーバ及び／又はローカルメモリからそれぞれのコンテンツに別々にアクセスする際にコンテンツがそれぞれのデバイスにおいて（例えば、それぞれのデバイスにローカルなアプリケーションを介して）同時に出力されるようにし、それらのコンテンツのそれぞれの出力において同期される。いくつかの実施形態では、それぞれのデバイスは、同期を容易にするように（例えば、サーバを介して）情報を交換する。例えば、それぞれのデバイスは、他のデバイス上のコンテンツの出力に対してコマンドを実行するために、コンテンツの再生状態及び／又は再生位置情報、並びにローカルコマンド（例えば、再生、一時停止、停止、早送り、及び／又は巻戻し）の指示を共有することができる。ホストデバイスが、コンテンツをそれぞれのデバイスに送信しているのではなく、むしろ、再生状態及び／又は再生位置情報を含むより小さいデータパケットを送信しているので、再生状態及び／又は再生位置情報を共有することは、それぞれのデバイスにおいてコンテンツを同期させるためにより効率的かつ効果的である。加えて、それぞれのデバイスが各々、それぞれのデバイス及びデバイスの接続性（例えば、データ伝送及び／又は処理速度などのデータ接続条件）に適切なサイズ及び品質でコンテンツを出力し、それによって、それぞれのデバイスの各々において、よりカスタマイズされ、しかも同期された再生体験を提供する。いくつかの実施形態では、デバイスが共有コンテンツセッションに参加することを可能にするために、それぞれのデバイスにおいて（例えば、ダウンロード及び／又はインストールされる）アプリケーション（又は「アプリ」）を利用することが可能である。
本明細書で使用するとき、用語「共有」、「共有すること」、又は「共有される」は通常、コンテンツ（例えば、スクリーン共有コンテンツ及び／又は同期コンテンツ）が、共有コンテンツセッションに参加している複数のデバイスにおいて同時に出力される（例えば、閲覧及び／又は再生される）、又は出力されることが可能である状況を指すために使用される。特に断りのない限り、これらの用語は、「共有」されているコンテンツが、共有コンテンツセッションに参加している任意の特定のデバイスから、コンテンツが共有されている他のデバイスのいずれかに送信されることを必要としない。いくつかの実施形態では、共有コンテンツセッションにおいて共有されているコンテンツは、例えば、遠隔サーバ又は共有コンテンツセッションに参加しているデバイスのうちの１つ以外の別のソースから、それぞれのデバイス各々によって別々にアクセスされるコンテンツである。例えば、いくつかの実施形態では、映画などのメディアコンテンツが共有コンテンツセッションに参加しているデバイスで再生されているとき、それぞれの参加者が、共有コンテンツセッションの他の参加者とは別個に（けれども同時に）（例えば、映画アプリケーションから）映画にアクセスして再生している場合であっても、映画は参加者と共有されていると言われる。いくつかの実施形態では、スクリーン共有コンテンツは、ホストデバイスから、ホストデバイスのディスプレイスクリーン上に表示されるコンテンツを表す画像データを、共有コンテンツセッションに参加している他のデバイスに送信することによって、共有コンテンツセッションの参加者と共有される。
いくつかの実施形態では、共有コンテンツセッションが進行中である間、及び任意選択的に、コンテンツ（例えば、スクリーン共有コンテンツ及び／又は同期コンテンツ）が共有コンテンツセッションを介して共有されている間、共有コンテンツセッションの参加者がリアルタイムで互いに通話できるように、共有コンテンツセッション進行中に、１つ以上のオーディオチャネルがアクティブ化される（例えば、開かれる）。いくつかの実施形態では、共有コンテンツセッションが進行中である間、及び任意選択で、コンテンツが共有コンテンツセッションを介して共有されている間、共有コンテンツセッションの参加者がライブビデオ通信（例えば、ビデオチャット）に参加できるように、１つ以上のビデオチャネルが（例えば、それぞれのデバイスに対してローカルであるビデオ会議アプリケーションを介して）開かれる。これらの実施形態の様々な態様、及び共有コンテンツセッションの更なる詳細は、図面を参照して以下で説明される。
いくつかの実施形態では、コンテンツは、別のユーザインターフェース上に任意選択的にオーバーレイされるウィンドウとして表示され、それが表示されるユーザインターフェースとは別個に移動されることができる。いくつかの実施形態では、このようなウィンドウは、本明細書ではピクチャインピクチャウィンドウ又は「ＰｉＰ」と呼ばれる。いくつかの実施形態では、ＰｉＰは、スクリーン共有コンテンツ及び／又は同期コンテンツなどの共有コンテンツを含むことができる。いくつかの実施形態では、ＰｉＰは、ビデオ会議からのビデオフィードなど、共有コンテンツセッションから独立したコンテンツを含むことができる（ただし、いくつかの実施形態では、このようなＰｉＰは、共有コンテンツセッションに関連して表示されることができる）。
図６Ａ～図６Ｓは、いくつかの実施形態に係る、ビデオ会議セッションに参加するための例示的なデバイス及びユーザインターフェースを示す。具体的には、これらのデバイスは、デバイス６００（例えば、タブレット）と、デバイス６０１（例えば、ラップトップ）と、デバイス６０２（例えば、スマートフォン）とを含む。デバイスは、ディスプレイ（例えば、それぞれ６００－１、６０１－１、及び６０２－１）と、１つ以上のカメラ（例えば、それぞれ６００－２、６０１－２、及び６０２－２）と、１つ以上のマイクロフォンとを含む。デバイス６００、６０１及び６０２は、デバイス１００、３００、及び／又は５００の１つ以上の要素を含む。
本明細書で提供される実施形態では、デバイス６００、６０１、又は６０２は、ビデオ会議及び／又は共有コンテンツセッションに関連付けられる機能のセットを実行するものとして説明することができる。これらの説明は、それぞれのデバイスによって実行される機能を限定することを意図するものではなく、むしろ、ビデオ会議及び／又は共有コンテンツセッションの様々な態様及び実施形態を示すために提供されるものである。したがって、別段の指定がない限り、デバイス６００によって実行されるものとして説明される機能は、デバイス６０１及びデバイス６０２によって同様に実行されることが可能である。同様に、別段の指定がない限り、デバイス６０１によって実行されるものとして説明される機能は、デバイス６００及び６０２によって同様に実行されることが可能であり、デバイス６０２によって実行されるものとして説明される機能は、デバイス６００又は６０１によって実行されることが可能である。
図６Ａ～図６ＡＳは、グループの参加者間のビデオ会議セッションを示す例示的な実施形態を示す。ビデオ会議の参加者は、ビデオ会議において、それぞれの参加者に関連付けられたそれぞれのデバイスからのそれぞれのビデオフィードで表される。簡単にするために、参加者のそれぞれのビデオフィードは、シルエットの内側に番号を有するタイル６１０によって図中に表され、各番号は特定の参加者のビデオフィードに対応する。いくつかの実施形態では、タイルは、参加者が通話に参加した順序で番号付けされる。同様に、シルエットの内側にテキスト「ｍｅ（私）」を有するタイル（例えば、タイル６０８）によって、デバイス６００、６０１、又は６０２のカメラプレビュー（又はセルフビュー）のビデオフィードの表現が示される。図６Ａ～図６Ｌでは、タイル６０８が、例えばカメラ６００－２を使用して生成された、デバイス６００のビデオフィードを表す。
図６Ａでは、デバイス６００は、ビデオ会議の参加者に対応するタイルを表示するための少なくとも２つの領域、すなわちメイン領域６０４及び名簿６０６を含むビデオ会議インターフェース６０５を表示する。いくつかの実施形態では、タイルは通常、メイン領域６０４に表示されるが、例えば、それぞれのタイルをメイン領域６０４に表示するのに十分な空間がない場合など、様々な基準に基づいて名簿６０６に表示することができる。
いくつかの実施形態では、名簿６０６に表示されるタイルは、メイン領域６０４に表示されるタイルよりも小さい。いくつかの実施形態では、名簿６０６に表示されるタイルは全て同じサイズで表示される。いくつかの実施形態では、カメラプレビューのタイル６０８は、名簿６０６に合わせて表示されるか、又は名簿６０６内に表示され、名簿６０６内のタイルと同じサイズで表示される。
名簿６０６は、いくつかの完全なタイル及び１つの（例えば、タイル６０８の下又は上に重なる）部分的なタイルを表示することができる。名簿６０６内の残りのタイルは非表示されていて、（例えば、ユーザ入力、又は話したり若しくは動いたりすることなどによってアクティブに参加している参加者の検出イベントのいずれかに応じて）名簿６０６をスクロールすることによって表示することができる。タイル６０８によってオーバーラップされる名簿６０６内のタイルは、名簿６０６内により多くのタイルが存在すること、及び／又は名簿６０６をスクロールできることを示すために、部分的に陰影を付けることができる。いくつかの実施形態では、名簿６０６内のタイルの順序は、参加者がビデオ会議セッションに参加する順序に依存する。いくつかの実施形態では、名簿６０６内のタイルの順序は、経時的に（例えば、参加者がビデオ会議セッションに参加する又はビデオ会議セッションから退出すると、あるいは参加者が、例えば、名簿６０６内のタイルのユーザ選択又は名簿６０６内に表されている参加者によるアクティブな参加により、メイン領域６０４に出入りすると）変化する。いくつかの実施形態では、名簿６０６内のタイルの順序は固定されている（例えば、名簿６０６内のタイルが表示される順序は、経時的に変化しない）。いくつかの実施形態では、名簿６０６内のタイルの順序は、グループに関連付けられたリストの順序（例えば、グループの作成時に、参加者がグループに追加された順序）に基づく。いくつかの実施形態では、メイン領域６０４内のタイルの表示（例えば、ビデオフィード）は、名簿６０６内のタイルの表示よりも高い頻度で更新される（例えば、名簿６０６内のタイルのビデオフィードは、メイン領域６０４内のタイルのビデオフィードよりも低い頻度で更新される）。
いくつかの実施形態では、タイルは、表示の優先度レベルに関連付けられ、より高い優先度を有するタイルがメイン領域に表示され、残りのタイル（又は残りのタイルのサブセット）が名簿に表示される。いくつかの実施形態では、より高い優先度を有するタイルは、よりアクティブな（又はより直近にアクティブな）参加者のビデオフィードを表示するタイル、コンテンツを共有しているか又は直近にコンテンツを共有した参加者に関連付けられるタイル、通話セッションにおいてより早くビデオ会議に参加した参加者、又はメイン領域における表示のために選択された（例えば、ピン留めされた）タイルである。いくつかの実施形態では、メイン領域にタイルを表示するのに十分な空間がない場合、より高い優先度を有するタイルを名簿に表示することができる。いくつかの実施形態では、タイルは、参加者の優先度が変わると、又は他の条件に応じて、メイン領域６０４から名簿６０６に（又はその逆に）移動される。いくつかの実施形態では、全てのタイルが名簿内で可視的であるとは限らない。このような場合、ユーザ入力（例えば、名簿上でのスワイプ又はドラッグジェスチャ）に応じて名簿をスクロールして、名簿に割り当てられた追加のタイルを表示することができる。いくつかの実施形態では、ユーザ入力（例えば、カメラプレビュー６０８上でのタップ）に応じて、カメラプレビュー６０８が名簿６０６の少なくとも一部分の上に表示され、名簿６０６内のタイルが、カメラプレビュー６０８の下にスクロールされるか、又は下からスクロールアウトされることができる。
いくつかの実施形態では、メイン領域６０４内のタイルは、グリッドビューが有効になっているか否かに基づいて、様々な配置で表示することができる。グリッドビュー設定が有効になっていると、デバイス６００は、例えば、図６Ａ～図６Ｌに示すように、タイルをグリッド配置で表示する。グリッドビュー設定が無効になっていると、デバイス６００は、以下でより詳細に説明するように、タイルをオーバーラップ又は非グリッド表示配置で表示する（図６Ｚ又は図８Ｈを参照）。
ビデオ会議インターフェース６０５はまた、ビデオ会議に関連付けられた情報及び様々なコントロールを含むコントロール領域６１２と、任意選択的に、ビデオ会議セッションと同時にアクティブである共有コンテンツセッションとを含む。図６Ａでは、コントロール領域６１２は、「登山家」と呼ばれるグループの４人の参加者がビデオ会議セッションにおいて現在アクティブであることを示す状態領域６１２－１を含む。コントロール領域６１２はまた、ビデオ会議及び／又は共有コンテンツセッションの動作、パラメータ、及び／又は設定を制御するために選択可能な様々なオプションを含む。例えば、いくつかの実施形態では、メッセージオプション６１２－２を選択して、登山家グループのメンバー間のメッセージ会話を閲覧するためのメッセージインターフェースを表示することができる。いくつかの実施形態では、マイクオプション６１２－３を選択して、ビデオ会議及び／又は共有コンテンツセッションのために使用されるマイクロフォンを有効若しくは無効にし、又はそれに関する設定を変更することができる。いくつかの実施形態では、カメラオプション６１２－４を選択して、登山家グループとのビデオ会議セッションを開始し、進行中のビデオ会議セッションを閲覧し、カメラを有効／無効にし、並びに／又はビデオ会議及び／若しくは共有コンテンツセッションで使用する異なるカメラを選択することができる。いくつかの実施形態では、共有オプション６１２－５は、様々なメディア再生設定を表示及び／又は変更するために、又はデバイス６００のスクリーン上に表示されているコンテンツがビデオ会議の参加者と（例えば、共有コンテンツセッションを介して）共有されるスクリーン共有オプションを開始するために選択可能である。いくつかの実施形態では、退出オプション６１２－６は、デバイス６００にビデオ会議及び／又は共有コンテンツセッションを退出させるために選択可能である。いくつかの実施形態では、状態領域６１２－１を選択して、登山家グループに関する情報、並びに／又はビデオ会議及び／若しくは共有コンテンツセッションに関する他の設定を閲覧することができる。例えば、いくつかの実施形態では、状態領域６１２－１を選択して、グリッドビュー設定を有効又は無効にするオプションを含むグループカードを表示することができる。
図６Ａ～図６Ｈは、参加者がビデオ会議セッションに参加するときのビデオ会議インターフェース６０５の進行を示す例示的な実施形態を示す。いくつかの実施形態では、タイルの配置は、ビデオ会議インターフェース６０５を閲覧しているユーザを混乱させたり困惑させたりすることを回避するように、参加者が通信セッションに参加又は退出する際のタイルの移動及び／又は再配置を低減（例えば、最小化）させながら、表示されるタイル配置の美観、タイルを表示するために利用可能な空間、タイルの優先度、及び表示されるタイルのサイズなどの様々な要因のバランスをとるように、（例えば、デバイス６００によって）自動的に決定される。
図６Ａでは、デバイス６００は、ビデオ会議の参加者１～３に対応するタイル６１０－１、６１０－２、及び６１０－３を表示する。タイルは、メイン領域６０４に単一の行で表示されており、名簿６０６にはタイルが表示されていない。いくつかの実施形態では、参加者１～３がビデオ会議に参加すると、参加している参加者に対応するタイルがメイン領域６０４に追加され、既存のタイルの位置をシフトさせ、任意選択でそのサイズを変更する。例えば、参加者１がビデオ会議における唯一の遠隔参加者であるとき、タイル６１０－１は拡大されたビューで（例えば、フルスクリーンで、又はシステム状態情報及び／又はシステムコントロール用に指定されたスクリーンの部分の外側のスクリーンの全てを使用して）表示され、参加者２が参加すると、タイル６１０－１はサイズが縮小され、タイル６１０－１と同じサイズで表示される参加者２のタイル６１０－２と共にメイン領域６０４内に表示される。
いくつかの実施形態では、それぞれの参加者は、タイル内に表される参加者の活動（例えば、話をしている、コンテンツを共有している、コンテンツを再生している、及び／又はカメラフィード内で移動している）に基づいて、アクティブな（又は最もアクティブな）参加者であると決定される。デバイス６００は、ビデオ会議インターフェース６０５の視聴者に視覚フィードバックを提供するために、アクティブな参加者のタイルを強調してアクティブな参加者を識別する。例えば、図６Ａでは、参加者１が最もアクティブな参加者であり、したがって、デバイス６００は、（他のタイルと比較して）拡大されたサイズになったタイル６１０－１を表示し、タイル６１０－１にシミュレーションされた深度を提供するために、影６０９を含める。
いくつかの実施形態では、ビデオ会議インターフェース６０５は、（例えば、図６Ａに示すような）ビデオ会議インターフェース６０５内の参加者の表現がグリッドパターンで表示されるモードと、（例えば、図６Ｚに示すような）参加者の表現がオーバーラップ配置で表示されるモードとの間で変更するために選択することができる配置選択オプション６７２を含む。いくつかの実施形態では、配置選択オプション６７２は、（グリッドビュー又はグリッド配置とも呼ばれる）グリッドパターンオプションが利用可能であることを（例えば、テキスト「グリッド」を介して）示す。いくつかの実施形態では、配置選択オプション６７２は、グリッドパターンが有効になっている場合に視覚的に強調され（例えば、ハイライトされ、太字にされ、輪郭が描かれ、及び／又は塗りつぶされ）、グリッドパターンが有効になっていない（例えば、オーバーラップ配置が有効になっている）場合には視覚的に強調されない。配置選択６７２の特徴はまた、図６Ｘ、図６Ｚ、及び図６ＡＨ～図６ＡＳを参照して説明される。
図６Ｂでは、参加者４がビデオ会議に参加し、デバイス６００はタイル６１０－４を、タイル６１０－１～６０４－３と共にメイン領域６１０内に表示する。タイル６１０－４がメイン領域６０４に追加されると、タイルは、タイル６１０－１及び６１０－２が一番上の行にあり、タイル６１０－３及び６１０－４が一番下の行にある、２×２配置で表示される。参加者１は、最もアクティブな参加者であり続ける。
図６Ｃでは、参加者５及び６がビデオ会議に参加し、デバイス６００は、対応するタイル６１０－５及び６１０－６をメイン領域６０４内に表示する。デバイス６００は、タイル６１０－１～６１０－３が一番上の行にあり、タイル６１０－４～６１０－６が一番下の行にある、２×３配置でタイルを表示する。ここで、参加者３が最もアクティブな参加者であると決定される。したがって、デバイス６００は、タイル６１０－１を非強調状態に戻し、タイル６１０－３のサイズを増大させ、タイル６１０－３の周りに影６０９を表示する。
図６Ｄでは、参加者７及び８がビデオ会議に参加し、デバイス６００は、メイン領域６０４内に新しい列に対応するタイル６１０－７及び６１０－８を表示する。デバイス６００は、追加分の新しいタイルを収容するために、タイル６１０－１～６１０－６のサイズを縮小し、タイル６１０－７を一番上の行の終端に追加し、タイル６１０－８を一番下の行の終端に追加し、２×４配置でタイルを表示する。参加者３は、最もアクティブな参加者であり続ける。
図６Ｅでは、参加者９～１２がビデオ会議に参加し、デバイス６００は、メイン領域６０４内に新しい行に対応するタイル６１０－９～６１０－１２を表示する。デバイス６００は、タイル６１０－９～６１０－１２からなる追加分の新しい行を収容するために、タイルのサイズを縮小し、３×４配置でタイルを表示する。ここで、参加者９が、タイル６１０－９の（他のタイルに対して）大きくなったサイズ及び影６０９によって示されるように、最もアクティブな参加者であると決定される。
図６Ｆでは、参加者１３～１５がビデオ会議に参加し、デバイス６００は、メイン領域６０４内に新しい列に対応するタイル６１０－１３～６１０－１５を表示する。デバイス６００は、タイル６１０－１３～６１０－１５からなる追加分の新しい列を収容するために、タイルのサイズを縮小し、３×５配置でタイルを表示する。参加者９は、最もアクティブな参加者であり続ける。
図６Ｇでは、参加者１６～１８がビデオ会議に参加し、デバイス６００は、メイン領域６０４内に新しい列に対応するタイル６１０－１６～６１０－１８を表示する。デバイス６００は、タイル６１０－１６～６１０－１８からなる追加分の新しい列を収容するために、タイルのサイズを縮小し、３×６配置でタイルを表示する。ここで、参加者８が最もアクティブな参加者である。
デバイス６００がメイン領域６０４を埋めると、デバイスは追加の参加者を名簿６０６に配置し始める。例えば、図６Ｈでは、コントロール領域６１２の状態領域における２６人のアクティブ参加者の表示によって示されるように、参加者１９～２５が、ビデオ会議に参加した。メイン領域６０４内のグリッドに行又は列を追加するのではなく、デバイス６００は、タイル６１０－１９～６１０－２３によって示されるように、名簿６０６内に追加のタイルを表示する。デバイス６００は、参加者１９～２５のタイルを名簿に割り当てるが、図６Ｈに示す実施形態では、ディスプレイ６０１上には名簿内の全てのタイルを表示するのに十分な空間がない。したがって、図６Ｈに示すように、名簿６０６内のタイルのいくつか、具体的には、参加者２４及び２５のタイルは表示されていない。しかしながら、これらの追加の名簿タイルは、ビデオ会議インターフェース６０５内のタイルの配置を操作することによって見せることができる。例えば、名簿６０６をスクロールして、追加のタイルを表示することができる。別の例として、メイン領域６０４の寸法を、メイン領域６０４内に追加分のタイルを収容するために、大きくするか、又は別様に変更することができる。このような実施形態が図６Ｉに示されている。
図６Ｉでは、デバイス６００が回転され、ビデオ会議インターフェース６０５が横向きから縦向きに変更される。回転された向きの結果として、及び、いくつかの実施形態では、タイルのアスペクト比に起因して、デバイス６００は、ビデオ会議インターフェース６０５が横向きであるときよりも多くのタイルをメイン領域６０４内に収容する。したがって、デバイス６００は、タイルのうちのいくつか（例えば、名簿内のタイルのうちの優先度が最も高いタイル）を名簿６０６からメイン領域６０４に移動させる。具体的には、タイル６１０－１９及び６１０－２０が名簿６０６からメイン領域６０４に移動され、名簿６０６内のタイルは、タイル６１０－１９及び６１０－２０をメイン領域６０４に移動させることによって生じた空白を埋めようにスライドし、それによって、参加者２４及び２５にそれぞれ対応するタイル６１０－２４及び６１０－２５が見えるようになる。
いくつかの実施形態では、デバイス６００がビデオ会議インターフェース６０５の向きを回転させると、デバイス６００は、表示されているタイルの再配置を回避又は最小化するために、タイルのうちのいくつかの相対場所を維持する。例えば、図６Ｉでは、デバイス６００は、タイル６１０－１～６１０－１２の互いに対する場所を保持し（図６Ｈに示す最初の４列及び上の３行に配置されるままである）、タイル６１０－１３～６１０－１８を一番右の２列（図６Ｈに示すとおり）から図６Ｉの下の２行に移動させ、タイル６１０－１９及び６１０－２０で配置における最後の２つのスポットを埋める。タイル６１０－１３～６１０－１８が移動されているが、デバイス６００は、それらのタイルのサブセットの相対場所を依然として維持している。例えば、タイル６１０－１３と６１０－１６は、タイル６１０－１４と６１０－１７、並びにタイル６１０－１５と６１０－１８と同様に、互いに隣接して配置されるままである。いくつかの実施形態では、図６Ｈの配置から図６Ｉの配置への遷移はアニメーションとして表示され、図６Ｈの一番右の２列（例えば、タイル６１０－１３～６１０－１８）は、デバイス６００が回転されると表示からフェードアウトし、図６Ｉのタイル６１０－１９及び６１０－２０と共に下の２行において表示にフェードインする一方で、残りのタイルは、直立表示位置に留まるように、表示されたまま、その場で回転する。
いくつかの実施形態では、図６Ｈから図６Ｉへのタイルの再配置は、デバイス６００を再び回転させることによって反転させることができる。図６Ｊでは、デバイス６００は横向きに戻されている。したがって、図６Ｈ及び図６Ｉに関して上で説明した遷移が反転され、タイル６１０－１９及び６１０－２０－２０をメイン領域６０４から名簿６０６に移動され、タイル６１０－２４及び６１０－２５をスクリーン外にスライドされる（例えば、カメラプレビュー６０８の後ろでスクリーン外にスクロールさせる）。加えて、タイル６１０－１３～６１０－１８は、図６Ｉの下の２行から図６Ｊの一番右の２列に移動される。いくつかの実施形態では、この遷移はアニメーションとして表示され、図６Ｉの下の２行（例えば、タイル６１０－１３～６１０－２０）は、デバイス６００が回転されると表示からフェードアウトし、それぞれの場所（例えば、名簿６０６内のタイル６１０－１９及び６１０－２０、並びに図６Ｊの一番右の２列内のタイル６１０－１３～６１０－１８）で表示にフェードインする一方で、残りのタイルは、直立視聴位置に留まるように、表示されたまま、その場で回転する。
図６Ｊでは、参加者のうちの１人（例えば、参加者２）が、ビデオ会議セッションにおいて（例えば、共有コンテンツセッションを介して）視聴するためにコンテンツ（例えば、ＴＶ番組）を選択したことを示す通知６１４が表示されている。参加者２が、登山家グループと共有するためのコンテンツを選択したので、ここで、参加者２が最もアクティブな参加者であることを示すためにタイル６１０－２が強調される。通知６１４は、デバイス６００においてコンテンツの再生を開始するために選択することができるオプション６１４－１を含み、再生は、それぞれのデバイスを使用してコンテンツを再生している登山家グループの他の参加者とも同期される。オプション６１４－１を選択する入力６１５－１に応じて、デバイス６００は、図６Ｋに示すように、ＴＶアプリを起動して、参加者２が登山家グループのために選択したＴＶ番組を再生し始める。いくつかの実施形態では、共有コンテンツの再生は、例えば、共有コンテンツセッションに関する設定及び／又は特定のアプリ（ＴＶアプリなど）に関する設定を含む、各種デバイス設定に従って、デバイス６００において処理される。図６Ｊに示す実施形態では、デバイス６００の設定は、デバイス６００が（例えば、通知６１４を表示することによって）共有コンテンツを再生するようにユーザに促すようなものである。しかしながら、いくつかの実施形態では、デバイス６００の設定は、グループと共有するために選択されたコンテンツが、（例えば、通知６１４を表示することなく）デバイス６００で自動的に再生されるように設定することができる。
図６Ｋでは、デバイス６００はＴＶアプリを起動して、登山家グループのために参加者２によって選択されたＴＶ番組を再生する。ＴＶ番組コンテンツは、デバイス６００においてコンテンツＰｉＰ６２０内に表示される。いくつかの実施形態では、デバイス６００は、ビデオ会議インターフェース６０５内のタイルをコンテンツＰｉＰ６２０にオーバーレイして表示する。いくつかの実施形態では、デバイス６００は、コンテンツＰｉＰ６２０によってオーバーレイされることを回避するように、タイルの表示を再配置する。コンテンツＰｉＰ６２０は、再生を調整（例えば、一時停止、再生、早送り、巻き戻し、及び／又はスキップ）するための再生コントロール６２０－２と、表示されているコンテンツにわたってスクラブするために選択することができる、経過した再生時間を示すスクラブバー６２０－１とを含む。コンテンツＰｉＰ６２０は、（例えば、ドラッグ入力に応じて）移動されること、（例えば、ピンチ又はピンチ解除ジェスチャに応じて）サイズ変更されること、（例えば、コンテンツＰｉＰ６２０をディスプレイ６００－１の端部にドラッグすることに応じて）最小化されること、又は（例えば、拡大用アフォーダンス６２０－３の選択に応じて）（例えば、拡大ビュー、フルスクリーンビュー、又はシステム状態情報及び／若しくはシステムコントロール用に指定されたスクリーンの部分の外側のスクリーンの全てを使用するビューに）拡大されることを含め、デバイス６００のディスプレイ上で操作することができる。コンテンツの再生は、閉じ用アフォーダンス６２０－４を選択することによって終了することができる。いくつかの実施形態では、コンテンツの再生を終了することはまた、登山家グループの他のメンバーのそれぞれのデバイスにおける同じコンテンツの再生を終了する。同様に、コンテンツの再生を調整すること（例えば、コンテンツを再生すること、一時停止すること、スクラブすること）はまた、登山家グループのメンバーが他のメンバーと共有コンテンツを同期して体験することができるように、登山家グループの他のメンバーのそれぞれのデバイスにおけるコンテンツの再生を調整する。同様に、登山家グループの他のメンバーは、それぞれのデバイスで表示されているコンテンツの再生コントロールを操作することによって、デバイス６００のコンテンツＰｉＰ６２０内のコンテンツの再生を制御することができる。いくつかの実施形態では、メンバーは、ビデオ会議セッションのオーディオ及びビデオチャネルを介して互いに同時に対話しながら、共有コンテンツを体験（例えば、視聴）することができる。
図６Ｌでは、デバイス６００は、コンテンツＰｉＰ６２０内でＴＶ番組を再生し続ける。コンテンツＰｉＰ６２０の再生コントロール及び他の要素は、（例えば、コンテンツＰｉＰ６２０への入力なしで所定の時間量が経過すると）自動的に消去される。加えて、ここで、参加者１０が最もアクティブな参加者であり（例えば、参加者１０がテレビ番組について話し始めた）、参加者６はビデオ会議セッションを退出した。いくつかの実施形態では、デバイス６００は、参加者がビデオ会議を退出した場合であっても、タイルの表示される配置を再配置することを回避する。例えば、図６Ｌでは、デバイス６００は、退出した参加者に対応するタイル６１０－６の表示を停止し、グリッド内に空白６２２を残す。いくつかの実施形態では、デバイス６００は、退出した参加者のタイルを名簿６０６からのタイルで置き換えることによって、空白を埋める。
図６Ｍ～図６Ｐは、デバイス６０１を使用して表示されるビデオ会議インターフェースの例示的な実施形態を示す。デバイス６０１は、ディスプレイ６０１－１と、カメラ６０１－２と、キーボード６０１－３と、を含む（任意選択的に、トラックパッド、マウス、又は他の入力デバイスを含む）。デバイス６０１は、ビデオ会議インターフェース６０５と同様のビデオ会議インターフェースを、ビデオ会議ウィンドウ６３０に表示する。ビデオ会議ウィンドウ６３０は、（メイン領域６０４と同様の）メイン領域６３４及び（名簿６０６と同様の）名簿６３６に表示される様々な（タイル６１０と同様の）タイル６４０と、（カメラプレビュー６０８と同様の）カメラプレビュー６３８と、コントロール領域６１２に表示されるものと同様の様々なコントロールを含むコントロール領域６３２と、を含む。カメラプレビュー６３８は、カメラ６０１－２のビデオフィードの少なくとも一部分を表す。いくつかの実施形態では、ビデオ会議ウィンドウ６３０は、図６Ａ、図６Ｘ、図６Ｚ、及び図６ＡＨ～図６ＡＳを参照して説明するものと類似の方法で、メイン領域６３４内のタイル６４０のグリッドパターンとオーバーラップ配置との間で変更するために選択することができる配置選択オプション６７２を含む。
図６Ｍでは、デバイス６０１は、タイル６４０－１～６４０－９をメイン領域６３４内にグリッド配置で表示し、タイル６４０－１０及び６４０－１１を名簿６３６内に表示する。タイル６４０－１は、参加者１が最もアクティブな参加者であることを示すために、わずかに拡大されたサイズ及び影６３９で強調されて示されている。デバイス６０１は、マウス、トラックパッド、又は他の入力デバイスを使用した入力６１５－２（例えば、カーソルによるクリックアンドドラッグジェスチャ）を検出する。入力６１５－２に応じて、デバイス６０１は、図６Ｎに示すように、どのタイルもメイン領域６３４から名簿６３６に（又はその逆に）移動させることなしに、タイル６４０－１～６４０－１１及びカメラプレビュー６３８を縮小することを含めて、ビデオ会議ウィンドウ６３０をわずかにサイズ変更する（例えば縮小する）。いくつかの実施形態では、サイズ変更は、ウィンドウ６３０を拡大することによって反転させる（例えば、タイル及びカメラプレビューを拡大する）ことができる。
図６Ｎでは、デバイス６０１は、入力６１５－３又は６１５－４を検出する。入力６１５－３は、ビデオ会議ウィンドウ６３０を狭くするためのクリックアンドドラッグジェスチャである。入力６１５－４は、ビデオ会議ウィンドウ６３０を短くするためのクリックアンドドラッグジェスチャである。これらのそれぞれの入力の結果は、以下でより詳細に説明するように、それぞれ図６Ｏ及び図６Ｐに示している。
図６Ｏは、狭窄化ジェスチャ入力６１５－３の結果を示す。デバイス６０１は、メイン領域６３４を狭くすることを含め、ウィンドウ６３０を狭くする。その結果、メイン領域６３４の寸法は水平方向に減少し、デバイス６０１は、タイルの一番右の列をメイン領域６３４から名簿６３６に移動させる。具体的には、タイル６４０－３、６４０－６、及び６４０－９が、メイン領域６３４から名簿６３６に、やはり名簿内にあるタイル６４０－１０及び６４０－１１の隣に移動される。いくつかの実施形態では、ウィンドウ６３０の狭窄化は、（例えば、ウィンドウ６３０の側端部をクリック及びドラッグしてウィンドウを広げることによって）反転させることができ、これはまた、タイル６４０－３、６４０－６、及び６４０－９を名簿６３６からメイン領域６３４に移動させることによってタイルの配置を反転させる。
図６Ｐは、短縮化入力６１５－４の結果を示す。デバイス６０１は、メイン領域６３４を短くすることを含め、ウィンドウ６３０を短くする。その結果、メイン領域６３４の寸法は垂直方向に減少し、デバイス６０１は、タイルの一番下の行をメイン領域６３４から名簿６３６に移動させる。具体的には、タイル６４０－７、６４０－８、及び６４０－９が、メイン領域６３４から名簿６３６に、やはり名簿内にあるタイル６４０－１０及び６４０－１１の隣に移動される。いくつかの実施形態では、ウィンドウ６３０の短縮化は、（例えば、ウィンドウ６３０の上端部をクリック及びドラッグしてウィンドウを長くすることによって）反転させることができ、これはまた、タイル６４０－７、６４０－８、及び６４０－９を名簿６３６からメイン領域６３４に移動させることによってタイルの配置を反転させる。
図６Ｑ～図６ＡＧは、デバイス６０２を使用して表示されるビデオ会議インターフェースの例示的な実施形態を示す。デバイス６０２は、ディスプレイ６０２－１と、カメラ６０２－２とを含む。デバイス６０２は、ビデオ会議インターフェース６０５及びビデオ会議ウィンドウ６３０と同様のビデオ会議インターフェース６５０を表示する。ビデオ会議インターフェース６５０は、（メイン領域６０４及びメイン領域６３４と同様の）メイン領域６５４に表示される様々な（タイル６１０及びタイル６４０と同様の）タイル６６０と、（カメラプレビュー６０８及びカメラプレビュー６３８と同様の）カメラプレビュー６５８と、（コントロール領域６１２と同様）コントロール領域６５２とを含む。カメラプレビュー６５８は、カメラ６０２－２のビデオフィードを表す。いくつかの実施形態では、名簿内にタイルがない場合、名簿は表示されない。例えば、図６Ｑでは、デバイス６０２はタイル６６０－２を、メイン領域６５４内で、適用可能な場合（例えば、図６Ｖに示すように）、典型的には名簿を表示するディスプレイ６０２－１の領域に部分的に位置するように表示する。
図６Ｑでは、デバイス６０２は、タイル６６０－１及び６６０－２をメイン領域６５４内に表示する。参加者２が、タイル６６０－２の拡大されたサイズ及び影６５９によって示されるように、最もアクティブな参加者である。カメラプレビュー６５８は、タイル６６０－２にオーバーラップして表示されている。デバイス６０２は、タイル６６０－２上の入力６１５－５を検出し、それに応じて、図６Ｒに示すように、タイル６６０－２をカメラプレビュー６５８の前に移動させ、タイル６６０－２に関連付けられた追加のコントロール及び要素を表示する。具体的には、デバイス６０２は、参加者名６６４、キャプチャ用アフォーダンス６６２、及び拡大用アフォーダンス６６６を表示する。キャプチャ用アフォーダンス６６２を選択して、タイル６６０－２の画像をキャプチャすることができ、拡大用アフォーダンス６６６を選択して、タイル６６０－２を拡大することができる（例えば、ピン留めビュー、フルスクリーンビュー、又はシステム状態情報及び／若しくはシステムコントロール用に指定されたスクリーンの一部分の外側のスクリーンの全てを使用するビューにおいて）。
いくつかの実施形態では、デバイスは、メイン領域内の利用可能な空間に基づいて、ビデオ会議インターフェース内に表示されるタイルのサイズ及び／又は配置を調整する。例えば、図６Ｓでは、コントロール領域６５２は所定の時間の後に消失し、デバイス６０２は、コントロール領域６５２の削除によって生じた利用可能な空間を埋めるように、タイル６６０－１及び６６０－２を拡大し、位置をシフトさせる。逆に、コントロール領域６５２が表示されると、デバイス６０２は、（例えば、図６Ｑに示すように）コントロール領域のための空間を作るために、タイル６６０－１及び６６０－２をサイズ変更し、位置をシフトさせる。図６Ｔでは、参加者３がビデオ会議セッションに参加し、それに応じて、デバイス６０２は、タイル６６０－３をメイン領域６５４に表示し、タイル６６０－１及び６６０－２を縮小してタイル６６０－３のための空間を作る。図６Ｕでは、参加者４がビデオ会議セッションに参加し、それに応じて、デバイス６０２は、タイル６６０－４をメイン領域６５４内に表示し、タイル６６０－４を収容するために、タイル６６０－１～６６０－３を縮小し、再配置する。
図６Ｖは、参加者５～１１がビデオ会議セッションに参加した後のデバイス６０２を示す。タイル６６０－５及び６６０－６はメイン領域６５４に表示され、タイル６６０－７～６６０－９は名簿６５６に示され、タイル６６０－９はカメラプレビュー６５８の後ろに配置される。入力６１５－６に応じて、デバイス６０２は、名簿６５６内のタイルをスクロールして、図６Ｗのタイル６６０－９～６６０－１１を表示する。ここで、参加者４が最もアクティブな参加者であり、デバイス６０２は名簿を反対方向にスクロールする入力６１５－７を検出し、それによって、図６Ｘに示すように、タイル６６０－１０及び６６０－１１を非表示し、タイル６６０－７及び６６０－８を再表示する。
図６Ｘでは、図６Ｗにおける入力６１５－２０（例えば、タップ）を検出したことに応じて、デバイス６０２はコントロール領域６５２及び配置選択オプション６７２を表示し、コントロール領域６５２の表示を収容するために、タイル６６０－１～６６０－６をシフトさせ、サイズ変更する。デバイス６０２は、コントロール領域６５２の状態領域６５２－１で入力６１５－８を検出し、それに応じて、図６Ｙに示すように、グループカードインターフェース６６５を表示する。いくつかの実施形態では、グループカードインターフェース６６５は、グリッドビュー構成を有効又は無効にするオプションを含む。例えば、図６Ｙでは、デバイス６０２は、グリッドビューオプション６６８が有効になっている状態で示されているグループカードインターフェース６６５を表示する。いくつかの実施形態では、グリッドビューオプション６６８は、グループカードインターフェース６６５内の異なる場所に配置される。例えば、グリッドビューオプション６６８は、参加者のリストの下に表示され（任意選択的に、［招待リンクをコピーする］を有する領域に含まれる）、いくつかの実施形態では、（例えば、多数の参加者がいる場合）グループカードインターフェース６６５をスクロールすると表示される。図６Ｙでは、デバイス６０２は、グリッドビュー構成を無効にするための、グリッドビューオプション６６８を選択する入力６１５－９を検出し、ビデオ会議インターフェース６５０に戻るための入力６１５－１０を検出する。図６Ｚでは、デバイス６０２は、グリッドビュー構成が無効になっている状態でビデオ会議インターフェース６５０を表示する。したがって、タイル６６０－１、６６０－２、及び６６０－３は、メイン領域６５４において非グリッド配置（例えば、オーバーラップ配置）で表示され、タイル６６０－４、６６０－５、及び６６０－６は、タイル６６０－６～６６０－１１を有する名簿６５６に移動される。
いくつかの実施形態では、ビデオ会議インターフェース６５０は、図６Ｘにおける入力６１５－１４（例えば、配置選択オプション６７２の選択）を検出したことに応じて、図６Ｘに示すグリッドパターンから図６Ｚに示すオーバーラップ配置に変化する。いくつかの実施形態では、ビデオ会議インターフェース６５０は、図６Ｘにおける入力６１５－１３（例えば、接触６１５－１３Ａ及び６１５－１３Ｂを含むジェスチャ）を検出したことに応じて、図６Ｘに示すグリッドパターンから図６Ｚに示すオーバーラップ配置に変化する。図６Ｘに示す実施形態では、入力６１５－１３は、経時的に更に離れるように移動し、及び／又はユーザインターフェース内の参加者の表現（例えば、６６０）のうちの１つ以上に対応する場所を通って移動する２つの接触によるピンチ解除ジェスチャである。いくつかの実施形態では、ビデオ会議インターフェース６５０は、経時的に互いに近づき、ユーザインターフェース内の参加者の表現（例えば、６６０）のうちの１つ以上に対応する場所を通って移動する２つ以上の接触（例えば、６１５－１５Ａ及び６１５－１５Ｂ）によるピンチジェスチャを検出したことに応じて、図６Ｘに示すグリッドパターンから図６Ｚに示すオーバーラップ配置に変化する。
いくつかの実施形態では、ビデオ会議インターフェース６５０は、図６Ｚにおける入力６１５－１６（例えば、配置選択オプション６７２の選択）を検出したことに応じて、図６Ｚに示すオーバーラップ配置から図６Ｘに示すグリッドパターンに変化する。いくつかの実施形態では、ビデオ会議インターフェース６５０は、図６Ｚにおける入力６１５－１５（例えば、接触６１５－１５Ａ及び６１５－１５Ｂを含むジェスチャ）を検出したことに応じて、図６Ｚに示すオーバーラップ配置から図６Ｘに示すグリッドパターンに変化する。図６Ｚに示す実施形態では、入力６１５－１５は、経時的に互いに近づくように移動し、及び／又はユーザインターフェース内の参加者の表現（例えば、６６０）のうちの１つ以上に対応する場所を通って移動する２つの接触によるピンチジェスチャである。いくつかの実施形態では、ビデオ会議インターフェース６５０は、経時的に更に離れて移動し、ユーザインターフェース内の参加者の表現（例えば、６６０）のうちの１つ以上に対応する場所を通って移動する２つ以上の接触（例えば、６１５－１３Ａ及び６１５－１３Ｂ）によるピンチ解除ジェスチャを検出したことに応じて、図６Ｚに示すオーバーラップ配置から図６Ｘに示すグリッドパターンに変化する。
図６ＡＡでは、入力なしで所定の時間が経過すると、又は図６Ｚにおける入力６１５－２１（例えば、表現６６０に向けられていないビデオ会議インターフェース６５０におけるタップ）に応じて、デバイス６０２は、コントロール領域６５２を非表示にし、メイン領域６５４内のタイル６６０－１～６６０－３をサイズ変更し、シフトさせる。ここで、参加者２が、タイル６６０－２の拡大されたサイズ及び影６５９によって示されるように、最もアクティブな参加者である。
図６ＡＢ～図６ＡＧは、共有コンテンツとのオーバーラップを回避するためにタイルを移動させるデバイス６０２の様々な実施形態を示す。図６ＡＢでは、デバイス６０２は、（コンテンツＰｉＰ６２０と同様の）コンテンツＰｉＰ６７０内に共有コンテンツセッション（例えば、ＴＶ番組又は映画）からのメディアを再生している。タイル６６０－１及び６６０－２は、サイズ変更かつシフトされ、タイル６６０－３は、コンテンツＰｉＰ６７０の非オーバーラップ表示に適応するために、名簿６５６に移動される。デバイス６０２は、コンテンツＰｉＰ６７０上の入力６１５－１１（例えば、ドラッグジェスチャ）を検出し、それに応じて、入力６１５－１１が維持されている間、コンテンツＰｉＰ６７０をディスプレイ上で移動させる。コンテンツＰｉＰ６７０がディスプレイ上でドラッグされると、デバイス６０２は、図６ＡＣに示すように、タイル６６０－１及び６６０－２をコンテンツＰｉＰ６７０の邪魔にならないように移動させる。
いくつかの実施形態では、デバイス６０２は、コンテンツＰｉＰ６７０の移動に適応するために、名簿６５６及びカメラプレビュー６５８を移動させる。例えば、図６ＡＤでは、デバイス６０２は、コンテンツＰｉＰ６７０がディスプレイ６０２－１の下部に移動されると、名簿６５６及びカメラプレビュー６５８を移動させる。いくつかの実施形態では、デバイス６０２は、コンテンツＰｉＰ６７０の移動に適応するために、名簿６５６又はカメラプレビュー６５８を移動させない。例えば、コンテンツＰｉＰ６７０が、図６ＡＣに示すように、名簿６５６及びカメラプレビュー６５８の上方でホバリングしており、入力６１５－１１が終了する（例えば、指が持ち上げられる）と、デバイス６０２は、図６ＡＥに示すように、名簿６５６及びカメラプレビュー６５８の上の場所にコンテンツＰｉＰ６７０を再配置し、タイル６６０－１及び６６０－２を再配置／サイズ変更する。図６ＡＥでは、デバイス６０２は、入力６１５－１２を検出し、それに応じて、図６ＡＦに示すように、コンテンツＰｉＰ６７０をビデオ会議インターフェース６５０の上部に移動させる。
いくつかの実施形態では、デバイスは、ビデオ会議インターフェースの向きが変更されると、ディスプレイに対する表示要素（例えば、タイル）の場所を維持する。例えば、図６ＡＧでは、デバイス６０２は、図６ＡＦにおける縦向きから反時計回りに回転される。デバイス６０２は、ディスプレイ６０２－１に対するコンテンツＰｉＰ６７０、タイル６６０－１～６６０－５、及びカメラプレビュー６５８の場所を維持しながら、それぞれの要素を回転させて直立表示位置を維持する。いくつかの実施形態では、デバイス６０２は、任意選択的に、ディスプレイ６０２－１上のそれぞれの要素の位置を維持するために、コンテンツＰｉＰ６７０、タイル６６０－１、及び／又はタイル６６０－２をサイズ変更する。
図６ＡＨ～図６ＡＳは、ビデオ会議インターフェース６５０の実施形態を示す。図６ＡＨ、図６ＡＪ、図６ＡＬ、図６ＡＮ、図６ＡＰ、及び図６ＡＲは、グリッドパターンが無効になっている（例えば、かつオーバーラップ配置が有効になっている）ビデオ会議インターフェース６５０を示し、図６ＡＩ、図６ＡＫ、図６ＡＭ、図６ＡＯ、図６ＡＱ、及び図６ＡＳは、グリッドパターンが有効になっている（例えば、かつオーバーラップ配置が無効になっている）対応するビデオ会議インターフェース６５０を示す。
図６ＡＨは、ビデオ会議に２人のアクティブな参加者（例えば、１人の遠隔参加者（６６０－１によって表される参加者１）及びデバイス６０２に関連付けられた（カメラプレビュー６５８によって表される）参加者）が存在し、コントロール領域６５２が表示され、グリッドパターンが無効になっているときのビデオ会議インターフェース６５０を示す。参加者の数（２人の参加者）が所定数の参加者（例えば、３人の参加者、（図６ＡＨのように）４人の参加者、又は５人の参加者）より少ないので、配置選択オプション６７２は図６ＡＨに表示されていない。図６ＡＩは、グリッドパターンが有効になっていることを除いて、図６ＡＨと同じ条件下での（例えば、同じ２人の参加者がアクティブであり、コントロール領域６５２が表示されており、グリッドパターンが有効になっている）ビデオ会議インターフェース６５０を示す。参加者の数（２人の参加者）が所定数の参加者（例えば、３人の参加者、（図６ＡＩのように）４人の参加者、又は５人の参加者）より少ないので、配置選択オプション６７２は図６ＡＩに表示されていない。図６ＡＨ及び図６ＡＩに示す実施形態では、２人のアクティブな参加者がいるとき、グリッドパターンが無効になっているときと、グリッドパターンが有効になっているときのビデオ会議インターフェース６５０は同じである。
図６ＡＪは、ビデオ会議に３人のアクティブな参加者がおり（例えば、図６ＡＨ及び図６ＡＩと比較して、６６０－２によって表される参加者２がビデオ会議に参加している）、コントロール領域６５２が表示され、グリッドパターンが無効になっているときのビデオ会議インターフェース６５０を示す。参加者の数（３人の参加者）が所定数の参加者（例えば、３人の参加者、（図６ＡＪのように）４人の参加者、又は５人の参加者）よりも少ないので、配置選択オプション６７２は図６ＡＪに表示されていない。図６ＡＫは、グリッドパターンが有効になっていることを除いて、図６ＡＪと同じ条件下での（例えば、同じ３人の参加者がアクティブであり、コントロール領域６５２が表示されており、グリッドパターンが有効になっている）ビデオ会議インターフェース６５０を示す。参加者の数（３人の参加者）が所定数の参加者（例えば、３人の参加者、（図６ＡＫのように）４人の参加者、又は５人の参加者）よりも少ないので、配置選択オプション６７２は図６ＡＫに表示されていない。図６ＡＪ及び図６ＡＫに示す実施形態では、３人のアクティブな参加者がいるとき、グリッドパターンが無効になっているときと、グリッドパターンが有効になっているときのビデオ会議インターフェース６５０は同じである。
図６ＡＬは、ビデオ会議に４人のアクティブな参加者がおり（例えば、図６ＡＪ及び図６ＡＫと比較して、６６０－３によって表される参加者３がビデオ会議に参加している）、コントロール領域６５２が表示され、グリッドパターンが無効になっているときのビデオ会議インターフェース６５０を示す。参加者の数（４人の参加者）が所定数の参加者（例えば、３人の参加者、４人の参加者（図６ＡＬのように）、又は５人の参加者）を満たし（例えば、それ以上であり）、かつコントロール領域６５２が表示されているので、配置選択オプション６７２が図６ＡＬに表示されている。グリッドパターンが有効になっていないので、図６ＡＬでは、配置選択オプション６７２は強調されていない（例えば、太字にされていない）。図６ＡＭは、グリッドパターンが有効になっていることを除いて図６ＡＬと同じ条件下での（例えば、同じ４人の参加者がアクティブであり、コントロール領域６５２が表示されており、グリッドパターンが有効になっている）ビデオ会議インターフェース６５０を示す。参加者の数（４人の参加者）が所定数の参加者（例えば、３人の参加者、（図６ＡＭのように）４人の参加者、又は５人の参加者）を満たし、コントロール領域６５２が表示されているので、配置選択オプション６７２が図６ＡＭに表示されている。図６ＡＪ及び図６ＡＫに示す実施形態では、３人のアクティブな参加者がいるとき、グリッドパターンが無効になっているときと、グリッドパターンが有効になっているときのビデオ会議インターフェース６５０は同じである。グリッドパターンが有効になっているので、配置選択オプション６７２は、図６ＡＭにおいて強調されている（例えば、太字にされている）。図６ＡＬにおける配置選択オプション６７２の選択に対応する入力６１５－１７（例えば、タップ）を検出したことに応じて、デバイス６０２はグリッドパターンを有効にし、（例えば、メイン領域６５４内のタイル６６０を含む）ビデオ会議インターフェース６５０を、図６ＡＬにおけるオーバーラップ配置から図６ＡＭにおけるグリッドパターンに変更し、配置選択オプション６７２を強調する。図６ＡＭにおける配置選択オプション６７２の選択に対応する入力６１５－１８（例えば、タップ）を検出したことに応じて、デバイス６０２はグリッドパターンを無効にし（例えば、オーバーラップ配置を有効にし）、（例えば、メイン領域６５４内のタイル６６０を含む）ビデオ会議インターフェース６５０を、図６ＡＭにおけるグリッドパターンから図６ＡＬにおけるオーバーラップ配置に変更し、配置選択オプション６７２を強調しない。
図６ＡＮは、ビデオ会議に４人のアクティブな参加者（例えば、図６ＡＬ及び図６ＡＭと同じ４人の参加者）が存在し、コントロール領域６５２及び配置選択オプション６７２が表示されておらず、グリッドパターンが無効になっているときのビデオ会議インターフェース６５０を示す。いくつかの実施形態では、デバイス６０２は、入力が受信されてから所定の時間が経過したという判定に応じて、又は図６ＡＬにおける入力６１５－２２（例えば、ビデオ会議インターフェース６５０上の、参加者の場所に対応していない場所でのタップ）を検出したことに応じて、コントロール領域６５２及び／又は配置選択オプション６７２の表示を中止する。いくつかの実施形態では、デバイス６０２は、図６ＡＮにおける入力６１５－２４（例えば、ビデオ会議インターフェース６５０上の、参加者の場所に対応していない場所でのタップ）を検出したことに応じて、コントロール領域６５２及び／又は配置選択オプション６７２を表示する（例えば、図６ＡＬに示すようなビデオ会議インターフェース６５０を表示する）。図６ＡＯは、グリッドパターンが有効になっていることを除いて図６ＡＮと同じ条件下での（例えば、同じ４人の参加者がアクティブであり、コントロール領域６５２及び配置選択オプション６７２が表示されておらず、グリッドパターンが有効になっている）ビデオ会議インターフェース６５０を示す。いくつかの実施形態では、デバイス６０２は、入力が受信されてから所定の時間が経過したという判定に応じて、又は図６ＡＭにおける入力６１５－２３（例えば、ビデオ会議インターフェース６５０上の、参加者の場所に対応していない場所でのタップ）を検出したことに応じて、コントロール領域６５２及び／又は配置選択オプション６７２の表示を中止する。いくつかの実施形態では、デバイス６０２は、図６ＡＯにおける入力６１５－２６（例えば、ビデオ会議インターフェース６５０上の、参加者の場所に対応していない場所でのタップ）を検出したことに応じて、コントロール領域６５２及び／又は配置選択オプション６７２を表示する（例えば、図６ＡＭに示すようなビデオ会議インターフェース６５０を表示する）。いくつかの実施形態では、図６ＡＮにおけるディスプレイ６０２－１上で入力６１５－２５（例えば、図６Ｚを参照して説明したようなピンチ解除ジェスチャ又は図６Ｘを参照して説明したようなピンチジェスチャ）を検出したことに応じて、デバイス６０２は、グリッドパターンを有効にし、（例えば、メイン領域６５４内のタイル６６０を含む）ビデオ会議インターフェース６５０を、図６ＡＮにおけるオーバーラップ配置から図６ＡＯにおけるグリッドパターンに変更する。いくつかの実施形態では、図６ＡＯのディスプレイ６０２－１上で入力６１５－２７（例えば、図６Ｚを参照して説明したようなピンチ解除ジェスチャ又は図６Ｘを参照して説明したようなピンチジェスチャ）を検出したことに応じて、デバイス６０２は、グリッドパターンを無効にし（例えば、オーバーラップ配置を有効にし）、（例えば、メイン領域６５４内のタイル６６０を含む）ビデオ会議インターフェース６５０を、図６ＡＯのグリッドパターンから図６ＡＮのオーバーラップ配置に変更する。
図６ＡＰは、ビデオ会議に５人のアクティブな参加者がおり（例えば、６６０－４によって表される参加者４が、図６ＡＮ及び図６ＡＯと比較してビデオ会議に参加している）、グリッドパターンが無効になっている（例えば、オーバーラップ配置が有効になっている）ときのビデオ会議インターフェース６５０を示す。グリッドパターンが無効になっているので、参加者４を表すタイル６６０－４は、名簿６５６においてカメラプレビュー６５８の隣に表示されている。参加者の数が所定の数（例えば、４人の参加者、（図６ＡＰのように）５人の参加者、又は６人の参加者）に増加している（又はそれを超えている）ときにグリッドパターンが無効になっていることに応じて、デバイス６０２は、グリッドパターンが利用可能であることを示す通知６７４を表示する（例えば、タイル６６０の一部又は全部を、例えば、オーバーラップ配置ではなく、図６ＡＰに示すグリッドパターンで表示することができる）。図６ＡＱは、グリッドパターンが有効になっていることを除いて図６ＡＰと同じ条件下での（例えば、同じ５人の参加者がアクティブであり、コントロール領域６５２及び配置選択オプション６７２が表示されておらず、グリッドパターンが有効になっている）ビデオ会議インターフェース６５０を示す。グリッドパターンが有効になっているので、参加者４を表すタイル６６０－４は、（例えば、名簿６５６内ではなく）メイン領域６５４内に表示されている。図６ＡＱでは、参加者の数が所定の数（例えば、４人の参加者、（図６ＡＱのように）５人の参加者、又は６人の参加者）に増加しているときにグリッドパターンが有効になっているので、デバイス６０２は、グリッドパターンが利用可能であることを示す通知６７４の表示を取り止める。図６ＡＰにおける通知６７４の選択に対応する入力６１５－１９（例えば、タップ）を検出したことに応じて、デバイス６０２は、グリッドパターンを有効にし、（例えば、メイン領域６５４内のタイル６６０を含む）ビデオ会議インターフェース６５０を、（例えば、タイル６６０－４を名簿６５６からメイン領域６５４に移動させることを含め）図６ＡＰにおけるオーバーラップ配置から図６ＡＱにおけるグリッドパターンに変更する。
図６ＡＲは、ビデオ会議に７人のアクティブな参加者がおり（例えば、図６ＡＰ及び図６ＡＱと比較して、６６０－５によって表される参加者５及び６６０－６によって表される参加者６がビデオ会議に参加している）、グリッドパターンが無効になっている（例えば、オーバーラップ配置が有効になっている）ときのビデオ会議インターフェース６５０を示す。グリッドパターンが無効になっているので、（例えば、図６ＡＡに示すように）参加者５を表すタイル６６０－５及び参加者６を表すタイル６６０－６が名簿６５６内に表示されている。図６ＡＲに示す実施形態では、デバイス６０２は、通知６７４の表示を中止しており、追加の参加者（例えば、参加者５及び／又は参加者６）がビデオ会議に参加したことに応じて、通知６７４を表示（例えば、再表示）しない。
図６ＡＳは、グリッドパターンが有効になっていることを除いて図６ＡＲと同じ条件下での（例えば、同じ７人の参加者がアクティブであり、コントロール領域６５２及び配置選択オプション６７２が表示されておらず、グリッドパターンが有効になっている）ビデオ会議インターフェース６５０を示す。グリッドパターンが有効になっているので、参加者５を表すタイル６６０－５及び参加者６を表すタイル６６０－６は、（例えば、名簿６５６内ではなく）メイン領域６５４内に表示されている。いくつかの実施形態では、参加者５を表すタイル６６０－５及び／又は参加者６を表すタイル６６０－６が、（例えば、メイン領域６５４内ではなく）名簿６５６内に表示される。
いくつかの実施形態では、図６ＡＨ～図６ＡＳを参照して説明するビデオ会議インターフェース６５０に適用される技術は、ビデオ会議インターフェース６０５（及び任意選択的に、その中のタイル６１０及び／又はコントロール領域６１２）及び／又はビデオ会議ウィンドウ６３０内のビデオ会議インターフェース（及び任意選択的に、その中のタイル６４０及び／又はコントロール領域６３２）に適用される。
図７は、いくつかの実施形態に係る、コンピュータシステム（たとえば、６００、６０１、又は６０２）を使用してビデオ会議セッションを管理するための方法を示すフロー図である。方法７００は、１つ以上の表示生成構成要素（例えば、６００－１、６０１－１、又は６０２－１）（例えば、ディスプレイコントローラ、タッチ感知ディスプレイシステム、スピーカ、骨伝導オーディオ出力デバイス、触知出力生成器、プロジェクタ、及び／又はホログラフィックディスプレイ）及び１つ以上の入力デバイス（例えば、６００－１、６０１－３、又は６０２－１）（例えば、タッチ感知面、キーボード、マウス、トラックパッド、ジェスチャを検出するための１つ以上の光学センサ、ホバー入力を検出するための１つ以上の容量センサ、及び／又は加速度計／ジャイロスコープ／慣性測定ユニット）と通信しているコンピュータシステム（例えば、１００、３００、５００、６００、６０１、又は６０２）において実行される。方法７００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
以下に説明するように、方法７００は、ビデオ会議セッションを管理する直感的な方法を提供する。この方法は、ビデオ会議セッションを管理するユーザの認知負担を軽減し、それによって、より効率的なヒューマン－マシンインターフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザがより迅速かつより効率的にビデオ会議セッションを管理できるようにすることは、電力を節約し、バッテリ充電の間隔を長くする。
コンピュータシステムは、リアルタイム通信セッション（例えば、ビデオ通信セッション、オーディオ通信セッション、又はオーディオ／ビデオ通信セッション（例えば、ビデオチャット））のユーザインターフェース（例えば、６０５、６３０、又は６５０）（例えば、アプリケーションのインターフェース）を表示し、ユーザインターフェースは、リアルタイム通信セッションの参加者の複数の表現（例えば、タイル６１０、タイル６４０、又はタイル６５０）を含み、複数の表現は、リアルタイム通信セッションのユーザインターフェースの第１の領域（例えば、６０４、６３４、又は６５４）にグリッドパターン（例えば、１つ以上の行及び１つ以上の列を含むデカルトグリッド、２次元配列、キャンバス領域）で表示される参加者の表現の第１のセットと、第１の領域と視覚的に区別できる（例えば、第１の領域とオーバーラップしておらず、第１の領域から可視境界によって分離されている）ユーザインターフェースの第２の領域（例えば、６０６、６３６、又は６５６）（例えば、（ディスプレイの上部若しくは下部に沿う）単一の行又は（ディスプレイの左側若しくは右側に沿う）単一の列）に表示される参加者の第２のセットの表現（例えば、第１のセットと第２のセットは相互に排他的である）と、を含み、表現の第１のセットの表現は、表現の第２のセットの表現よりも大きい（例えば、表現の第１のセットの各表現が、表現の第２のセットの各表現よりも大きい、又は表現の第１のセットの一番小さい表現が、表現の第２のセットの一番大きい表現よりも大きい）（例えば、物理的に大きい、及び／又はより大きな物理サイズを有する）（７０２）。いくつかの実施形態では、表現の第１のセットは、表現の第２セットと同時に表示される。いくつかの実施形態では、グリッドパターンは、領域内に表されている参加者よりもアクティブであり、かつ／又は（例えば、参加者優先度基準に従って）優先度が高い参加者の表現を含む。
リアルタイム通信セッションの参加者の複数の表現（例えば、６１０、６４０、又は６６０）を含むリアルタイム通信セッションのユーザインターフェース（例えば、６０５、６３０、又は６５０）を表示している間に、コンピュータシステム（例えば、６００、６０１、又は６０２）は、第１の領域（例えば、６０４、６３４、又は６５４）の１つ以上の寸法の変化を検出する（例えば、第１の領域のサイズの変化（増加又は減少）及び／又はアスペクト比の変化（第１の領域の一方の寸法（幅）に対する他方の寸法（高さ）のサイズの変化）を検出する）（７０４）。いくつかの実施形態では、第１の領域の１つ以上の寸法の変化を検出することは、第１の領域を変更する要求を検出することを含む（例えば、である）。いくつかの実施形態では、第１の領域の１つ以上の寸法の変化を検出することは、リアルタイム通信セッションのユーザインターフェースに向けられた入力を検出することを含む（例えば、である）。
第１の領域（例えば、６０４、６３４、又は６５４）の１つ以上の寸法の変化を検出したことに応じて、コンピュータシステム（例えば、６００、６０１、又は６０２）は、第１の領域の１つ以上の寸法の変化に基づいて、第１の領域（例えば、グリッド）に表示されるリアルタイム通信セッションの参加者の表現（例えば、６１０、６４０、又は６６０）の数を変更し（７０６）、これは、第１の領域内のそれぞれの参加者の第１の表現（例えば、図６Ｉの６１０－１９及び／又は６１０－２０）（例えば、図６Ｎの６４０－３、６４０－６、６４０－７、６４０－８、及び／又は６４０－９）（例えば、図６ＡＡの６６０－３）を表示することを中止することと、第２の領域（例えば、６０６、６３６、又は６５６）において当該それぞれの参加者の第２の表現（例えば、図６Ｊの６１０－１９及び／又は６１０－２０）（例えば、図６Ｏの６４０－３、６４０－６、及び／又は６４０－９）（例えば、図６Ｐの６４０－７、６４０－８、及び／又は６４０－９）（例えば、図６ＡＢの６６０－３）を表示することと、を含む。第１の領域の１つ以上の寸法の変化に基づいて第１の領域に表示されるリアルタイム通信セッションの参加者の表現の数を変更することにより、コンピュータシステムは、リアルタイム通信セッションのユーザインターフェースをユーザが手動で調整することを必要とせずに、第１の領域の１つ以上の寸法の変化に基づいて参加者の表現の配置を自動的かつ動的に最適化できるようになり、これは、改善された視覚フィードバックを提供し、動作を実行するために必要な入力の数を低減する。
いくつかの実施形態では、第１の領域の１つ以上の寸法の変化に基づいて、第１の領域（例えば、６０４、６３４、又は６５４）に表示されるリアルタイム通信セッションの参加者の表現の数を変更することは、第２の領域（例えば、６０６、６３６、又は６５６）にそれぞれの参加者の第１の表現（例えば、図６Ｊの６１０－１９及び／又は６１０－２０）（例えば、図６Ｏの６４０－３、６４０－６、及び／又は６４０－９）（例えば、図６Ｐの６４０－７、６４０－８、及び／又は６４０－９）（例えば、図６ＡＢの６６０－３）を表示することを中止し、第１の領域に当該それぞれの参加者の第２の表現（例えば、図６Ｉの６１０－１９及び／又は６１０－２０）（例えば、図６Ｎの６４０－３、６４０－６、６４０－７、６４０－８、及び／又は６４０－９）（例えば、図６ＡＡの６６０－３）を表示することを含む。いくつかの実施形態では、それぞれの参加者の第１の表現を第１の領域に表示することを中止し、当該それぞれの参加者の第２の表現を第２の領域に表示することは、当該それぞれの参加者を第１の領域から第２の領域に移動させることと呼ばれる。同様に、それぞれの参加者の第１の表現を第２の領域に表示することを中止し、当該それぞれの参加者の第２の表現を第１の領域に表示することは、当該それぞれの参加者を第２の領域から第１の領域に移動させることと呼ばれる。
いくつかの実施形態では、第１の領域（例えば、６０４、６３４、又は６５４）の（例えば、１つ以上の寸法の）サイズが（例えば、閾値サイズを超えて）小さくなると、コンピュータシステム（例えば、６００、６０１、又は６０２）は、リアルタイム通信セッションの参加者の１つ以上の表現（例えば、図６Ｉの６１０－１９及び／又は６１０－２０）（例えば、図６Ｎの６４０－３、６４０－６、６４０－７、６４０－８、及び／又は６４０－９）（例えば、図６ＡＡの６６０－３）を、第１の領域から第２の領域（例えば、６０６、６３６、又は６５６）に移動させる（また、任意選択的に、リアルタイム通信セッションの参加者の１つ以上の表現を第１の領域から削除する）（例えば、コンピュータシステムは、第１の領域に表示されるリアルタイム通信セッションの参加者の表現の数を減少させる）。いくつかの実施形態では、第１の領域の（例えば、１つ以上の寸法の）サイズが（例えば、閾値サイズを超えて）大きくなると、コンピュータシステムは、リアルタイム通信セッションの参加者の１つ以上の表現（例えば、図６Ｉの６１０－１９及び／又は６１０－２０）（例えば、図６Ｎの６４０－３、６４０－６、６４０－７、６４０－８、及び／又は６４０－９）（例えば、図６ＡＡの６６０－３）を第２の領域から第１の領域に移動させる（また、任意選択的に、リアルタイム通信セッションの参加者の１つ以上の表現を第２の領域から削除する）（例えば、コンピュータシステムは、第１の領域に表示されるリアルタイム通信セッションの参加者の表現の数を増加させる）。
いくつかの実施形態では、第１の領域（例えば、６０４、６３４、又は６５４）の１つ以上の寸法の変化は、（例えば、図６Ｈ～図６Ｊに示すような）第１の領域の向きの（例えば、縦向きから横向きへ、又は横向きから縦向きへの）変化を含む。いくつかの実施形態では、コンピュータシステムは、第１の領域の長さ及び高さが異なるときに第１の領域の長さ及び高さをスワップさせるコンピュータシステム及び／又は表示生成構成要素の向きの変化、（例えば、回転）を検出したことに応じて、第１の領域の１つ以上の寸法を変更する。いくつかの実施形態では、第１の領域（例えば、６０４、６３４、又は６５４）の１つ以上の寸法の変化は、（例えば、図６Ｍ～図６Ｐに示すような）第１の領域の１つ以上の寸法（例えば、高さ及び／又は幅）のサイズの変化を含む。
いくつかの実施形態では、第１の領域（例えば、６０４、６３４、又は６５４）の１つ以上の寸法の変化を検出することは、第１の領域が第１の状態（例えば、第１のサイズ）（例えば、図６Ｎの６３４）である間に行われる。いくつかの実施形態では、第１の領域（例えば、６１５－３又は６１５－４）の１つ以上の寸法の変化を検出したことに応じて、第１の領域の１つ以上の寸法の変化が、第１の状態から第２の状態（例えば、第１のサイズ変更後状態）（例えば、図６Ｏの６３４）への第１の領域（例えば、６１５－３）の変化に対応するという判定に従って、それぞれの参加者は、リアルタイム通信セッションの第１の参加者（例えば、タイル６４０－３、６４０－６、又は６４０－９に対応する参加者）であり（例えば、第１の領域が第２の状態に変更される場合、第１の参加者の表現は、第１の領域から第２の領域に移動される）、第１の領域の１つ以上の寸法の変化が、第１の状態から、第２の状態（例えば、第２のサイズ変更後状態）とは異なる第３の状態（例えば、図６Ｐの６３４）への第１の領域（例えば、６１５－４）の変化に対応するという判定に従って、それぞれの参加者は、リアルタイム通信セッションの第１の参加者とは異なるリアルタイム通信セッションの第２の参加者（例えば、タイル６４０－７、６４０－８、又は６４０－９に対応する参加者）である（例えば、第１の領域が第２の状態とは異なる第３の状態に変更される場合、第２の（別の）参加者の表現が第１の領域から第２の領域に移動される）。第１の領域の１つ以上の寸法の変化が、第２の状態又は第３の状態への変化に対応するという判定に従って、それぞれの参加者がリアルタイム通信セッションの第１又は第２の参加者であることにより、コンピュータシステムは、リアルタイム通信セッションのユーザインターフェースをユーザが手動で調整することを必要とせずに、第１の領域の１つ以上の寸法の変化に基づいて、参加者の表現の配置を自動的かつ動的に最適化できるようになり、これは、改善された視覚フィードバックを提供し、動作を実行するために必要な入力の数を低減する。いくつかの実施形態では、コンピュータシステムは、第１の領域がどのように変更されるかに応じて、異なる参加者を第２の領域に移動させる。
いくつかの実施形態では、第１の領域（例えば、６３４）の１つ以上の寸法の変化（例えば、６１５－２）を検出したことに応じて、かつ第１の領域に表示されているリアルタイム通信セッションの参加者の表現（例えば、６４０）の数を変更する前に、コンピュータシステム（例えば、６００、６０１、又は６０２）は、（任意選択的に、第１の領域に表示されるリアルタイム通信セッションの参加者の表現の数を変更することなく）第１の領域の参加者の表現の第１のセットの１つ以上の表現（例えば、図６Ｎの６４０－１、６４０－２、６４０－３、６４０－４、６４０－５、６４０－６、６４０－７、６４０－８、及び／又は６４０－９）（例えば、表現のサブセット又は全ての表現）のサイズ（例えば、高さ及び／又は幅）を変更する（例えば、減少又は増加させる）。第１の領域内に表示されるリアルタイム通信セッションの参加者の表現の数を変更する前に、第１の領域内の参加者の表現の第１のセットの１つ以上の表現のサイズを変更することにより、コンピュータシステムは、リアルタイム通信セッションのユーザインターフェース内の参加者の表現をユーザが手動で調整することを必要とせずに、参加者の表現の配置を維持しながら、第１の領域の表示サイズを自動的かつ動的に変更できるようになり、これは、改善された視覚フィードバックを提供し、動作を実行するために必要な入力の数を低減する。
いくつかの実施形態では、第１の領域（例えば、６０４、６３４、又は６５４）の１つ以上の寸法の変化は、第１の領域の１つ以上の寸法の（例えば、サイズ閾値を満たさないサイズまでの）第１の（例えば、初期の）変化（例えば、６１５－２）（例えば、増加又は減少）と、それに続く第１の領域の１つ以上の寸法の（例えば、サイズ閾値を満たすサイズまでの）第２の（例えば、継続的又は追加の）変化（例えば、６１５－３又は６１５－４）を含み、第１の変化を検出したことに応じて、コンピュータシステム（例えば、６００、６０１、又は６０２）は、第１の領域内の参加者の表現（例えば、図６Ｎの６４０－１、６４０－２、６４０－３、６４０－４、６４０－５、６４０－６、６４０－７、６４０－８、及び／又は６４０－９）のサイズを変化させる（例えば、それぞれ増加又は減少させる）が、第１の領域内に表示される参加者の表現の数を変更せず、第２の変化を検出したことに応じて、コンピュータシステムは、（例えば、図６Ｏ又は図６Ｐに示すように）第１の領域内に表示されるリアルタイム通信セッションの参加者の表現の数を変更する。
いくつかの実施形態では、コンピュータシステム（例えば、６００、６０１、又は６０２）は、第１の領域の１つ以上の寸法の変化が基準のセットを満たす（例えば、第１の領域の１つ以上の寸法のサイズが閾値サイズ以下に縮小された）という判定に従って、第１の領域（例えば、６０４、６３４、又は６５４）内に表示されるリアルタイム通信セッションの参加者の表現の数を変更する。例えば、第１の領域のサイズの縮小を検出したことに応じて、コンピュータシステムは、最初に、第１の領域のサイズが閾値サイズに縮小するまで（例えば、図６Ｎにおける）表現のサイズを低減し、この時点で、コンピュータシステムは、（例えば、図６Ｏ又は図６Ｐにおける）第１の領域に表示されるリアルタイム通信セッションの参加者の表現の数を変更する（例えば、減少させる）。
いくつかの実施形態では、第１の領域（例えば、６０４、６３４、又は６５４）に表示されるリアルタイム通信セッションの参加者の表現（例えば、６１０、６４０、又は６６０）の数は、最小表現サイズに基づく。最小表現サイズに基づいてリアルタイム通信セッションの参加者の表現の数を表示することにより、コンピュータシステムは、リアルタイム通信セッションのユーザインターフェースをユーザが手動で調整することを必要とせずに、第１の領域の１つ以上の寸法の変化に基づいて、第１の領域へ又は第１の領域から参加者の表現を自動的かつ動的に移動させるためのサイズ閾値を設定できるようになり、これは、改善された視覚フィードバックを提供し、動作を実行するために必要な入力の数を低減する。いくつかの実施形態では、第１の領域のサイズが領域サイズの第１の範囲内にあるという判定に従って、コンピュータシステムは、リアルタイム通信セッションの参加者の第１の数の表現を第１の領域内に表示し、第１の領域のサイズが領域サイズの第１の範囲内にないという判定に従って、コンピュータシステムは、リアルタイム通信セッションの参加者の、第１の数とは異なる第２の数の表現を第１の領域内に表示する。いくつかの実施形態では、領域サイズの第１の範囲は、参加者の表現が最大表現表示サイズを有する第１の最大領域サイズと、参加者の表現が最小表現表示サイズを有する第１の最小領域サイズと、を含む。いくつかの実施形態では、第１の領域のサイズが第１の最小領域サイズ未満に縮小される場合、コンピュータシステムは、第１の領域内のリアルタイム通信セッションの参加者の表現の数を減少させ、表現のサイズを（例えば、最大表現表示サイズに）大きくする。
いくつかの実施形態では、リアルタイム通信セッションのユーザインターフェース（例えば、６０５、６３０、又は６５０）を表示している間に、コンピュータシステム（例えば、６００、６０１、又は６０２）は、リアルタイム通信セッションの参加者（例えば、リアルタイム通信セッションに参加する１人以上の参加者、リアルタイム通信セッションを退出する１人以上の参加者、増大した活動レベルを有する１人以上の参加者、減少した活動レベルを有する１人以上の参加者、第１の領域から（例えば、第２の領域に）移動される参加者の１つ以上の表現、及び／又は第１の領域に移動される参加者の１つ以上の表現）の１つ以上の表現の第１のセット（例えば、図６Ｌの６１０－６）の表示状態の変化を検出する。いくつかの実施形態では、リアルタイム通信セッションの参加者の１つ以上の表現の第１のセットの表示状態の変化を検出したことに応じて、コンピュータシステムは、リアルタイム通信セッションの参加者の１つ以上の表現の第１のセットの表示状態の変化（例えば、グリッド内のタイルの追加及び／又は削除）に基づいて、第１のセットに含まれていないリアルタイム通信セッションの参加者の１つ以上の表現の第２のセット（例えば、図６Ｌの６１０－１～６１０－５及び６１０－７～６１０－１８のいずれか）の表示される位置を変更せずに（例えば、グリッド内の変化した状態を有さないタイルの表示される位置／配置を維持しながら）、グリッドパターン（例えば、６０４、６３４、又は６５４）に表示される参加者の表現の第１のセットを更新する。第１のセットに含まれていない参加者の１つ以上の表現の第２のセットの表示される位置を変更することなしに、リアルタイム通信セッションの参加者の１つ以上の表現の第１のセットの表示状態の変化に基づいて、グリッドパターンに表示される参加者の表現の第１のセットを更新することにより、コンピュータシステムは、第２のセットにおける参加者の表現の表示される配置を維持するためにリアルタイム通信セッションのユーザインターフェースをユーザが手動で調整することを必要とせずに、第１の領域の１つ以上の寸法の変化に基づいて参加者の表現を再配置することを回避するように、参加者の表現の配置を自動的かつ動的に最適化できるようになり、これは、改善された視覚的フィードバックを提供し、動作を実行するために必要な入力の数を低減する。
いくつかの実施形態では、コンピュータシステム（例えば、６００、６０１、又は６０２）は、グリッド内のタイル（例えば、６１０、６４０、又は６６０）の移動を最小限にするように、タイルを追加及び／又は削除することによって、グリッドを更新する。例えば、コンピュータシステムは、グリッドの断片的な構築又は分解、又はグリッド内のタイルの順序を再度並び替えるのを回避するために１人のユーザがグリッドに追加又は削除されるときにグリッドをリフローすることによって、一度に行及び／又は列全体を追加又は削除する。別の例として、参加者がグリッドから削除された（例えば、対応するユーザがリアルタイム通信セッションを退出した、又は名簿に移動された）場合、コンピュータシステムは、削除された参加者に対応する場所を空白（例えば、６２２）のままにするか、又はグリッド内の他のタイルを移動させることなしに、その場所に、第２の領域（例えば、名簿）内に以前に表されていた参加者の表現を表示する。
いくつかの実施形態では、第１のセットに含まれていないリアルタイム通信セッションの参加者の１つ以上の表現の第２のセットの表示される位置を変更することなしに、リアルタイム通信セッションの参加者の１つ以上の表現の第１のセットの表示状態の変化に基づいて、グリッドパターンに表示される参加者の表現の第１のセットを更新することは、リアルタイム通信セッションの参加者の表現の完全な行（例えば、図６Ｅの６１０－９、６１０－１０、６１０－１１、及び６１０－１２）又は列（例えば、図６Ｄの６１０－７及び６１０－８）を、第１の領域（例えば、６０４、６３４、又は６５４）に追加すること、又はリアルタイム通信セッションの参加者の表現の完全な行（例えば、図６Ｐの６４０－７、６４０－８、及び６４０－９）又は列（例えば、図６Ｏの６４０－３、６４０－６、及び６４０－９）を、第１の領域（例えば、６０４、６３４、又は６５４）から削除することを含む。リアルタイム通信セッションの参加者の表現の完全な行又は列を第１の領域に追加又は第１の領域から削除することにより、コンピュータシステムは、第２のセットの参加者の表現の表示される配置を維持するためにリアルタイム通信セッションのユーザインターフェース（例えば、６０５、６３０、又は６５０）をユーザが手動で調整することを必要とせずに、第１の領域の１つ以上の寸法の変化に基づいて参加者の表現を再配置することを回避するように、参加者の表現の配置を自動的かつ動的に最適化できるようになり、これは、改善された視覚フィードバックを提供し、動作を実行するために必要な入力の数を低減する。
いくつかの実施形態では、第１の領域（例えば、６０４、６３４、又は６５４）がサイズ変更されると、参加者の表現の行又は列全体が、サイズ変更に基づいて第１の領域から削除されるか、又は第１の領域に追加される。例えば、第１の領域が水平方向にサイズ変更される際に、第１の領域の幅を縮小するときに参加者の表現の列が第１の領域から削除され（例えば、名簿に移動され）、第１の領域の幅を拡大するときに参加者の表現の列が第１の領域に追加される（例えば、名簿から移動される）。別の例として、第１の領域が垂直にサイズ変更される際に、第１の領域の高さを低減するときに参加者の表現の行が第１の領域から削除され（例えば、名簿に移動され）、第１の領域の高さを増加させるときに参加者の表現の行が第１の領域に追加される（例えば、名簿から移動される）。
いくつかの実施形態では、第１のセットに含まれていないリアルタイム通信セッションの参加者の１つ以上の表現の第２のセットの表示される位置を変更することなしに、リアルタイム通信セッションの参加者の１つ以上の表現の第１のセットの表示状態の変化に基づいて、グリッドパターンに表示される参加者の表現の第１のセットを更新することは、リアルタイム通信セッションのユーザインターフェース（例えば、６０５、６３０、又は６５０）の向きの変化に応じて、第２のセットの参加者の表現（例えば、図６Ｏの６４０－１、６４０－２、６４０－４、６４０－５、６４０－７、及び６４０－８）（例えば、図６Ｐの６４０－１～６４０－６）の表示される配置を維持することを含む。リアルタイム通信セッションのユーザインターフェースの向きの変化に応じて、第２のセットの参加者の表現の表示される配置を維持することにより、コンピュータシステムは、第２のセットの参加者の表現の表示配置を維持するためにリアルタイム通信セッションのユーザインターフェースをユーザが手動で調整することを必要とせずに、第１の領域の１つ以上の寸法の変化に基づいて参加者の表現を再配置することを回避するように、参加者の表現の配置を自動的かつ動的に最適化できるようになり、これは、改善された視覚フィードバックを提供し、動作を実行するために必要な入力の数を低減する。いくつかの実施形態では、ユーザインターフェースの向きが変更される（例えば、回転される）と、グリッド内のタイルは、グリッド内の他のタイルに対する相対場所を維持する。
いくつかの実施形態では、第１のセットに含まれていないリアルタイム通信セッションの参加者の１つ以上の表現の第２のセットの表示される位置を変更することなしに、リアルタイム通信セッションの参加者の１つ以上の表現の第１のセットの表示状態の変化に基づいて、グリッドパターンに表示される参加者の表現の第１のセットを更新することは、リアルタイム通信セッションのユーザインターフェース（例えば、６０５、６３０、又は６５０）の向きの変化に応じて、リアルタイム通信セッションのユーザインターフェースの向きの変化に従って参加者の表現を回転させながら、第２のセットの参加者の表現（例えば、図６ＡＧの６６０－１及び／又は６６０－２）の、表示生成構成要素に対する場所を維持することを含む。リアルタイム通信セッションのユーザインターフェースの向きの変化に応じて第２のセット内の参加者の表現の場所を維持することにより、コンピュータシステムは、第２のセット内の参加者の表現の表示される配置を維持するためにリアルタイム通信セッションのユーザインターフェースをユーザが手動で調整することを必要とせずに、第１の領域の１つ以上の寸法の変化に基づいて参加者の表現を再配置することを回避するように、参加者の表現の配置を自動的かつ動的に最適化できるようになり、これは、改善された視覚フィードバックを提供し、動作を実行するために必要な入力の数を低減する。いくつかの実施形態では、ユーザインターフェースの向きが変更される（例えば、回転される）と、グリッド内のタイルは、ディスプレイ上の絶対場所を維持し、それぞれのタイルは、閲覧者に対して直立位置を維持するようにその場で回転される。
いくつかの実施形態では、第３の参加者の活動レベルがアクティビティ基準のセットを満たす（例えば、第３の参加者がリアルタイム通信セッションの参加者の中で活動レベルが最も高い）という判定に従って、コンピュータシステム（例えば、６００、６０１、又は６０２）は、（例えば、第１の領域内の）第３の参加者の表現（例えば、図６Ｃの６１０－３）のサイズを大きくする。第３の参加者のアクティビティレベルがアクティビティ基準のセットを満たすという判定に従って第３の参加者の表現のサイズを大きくすることにより、どの参加者がリアルタイム通信セッションにおいて設定されたアクティビティ基準を満たしているかについてのフィードバックをコンピュータシステムのユーザに提供できるようになり、これは、改善された視覚的フィードバックを提供する。
いくつかの実施形態では、第４の参加者の活動レベルがアクティビティ基準のセットを満たす（例えば、第４の参加者がリアルタイム通信セッションの参加者の中で活動レベルが最も高い）という判定に従って、コンピュータシステム（例えば、６００、６０１、又は６０２）は、第４の参加者の表現に関連付けられた深度効果（例えば、６０９）を変更すること（例えば、深度の増加を示すために陰影効果を増加させること、深度の減少を示すために陰影効果を減少させること）を含め、（例えば、第１の領域内の）第４の参加者の表現（例えば、図６Ｅの６１０－９）を視覚的に区別する。第４の参加者のアクティビティレベルがアクティビティ基準のセットを満たすという判定に従って第４の参加者の表現に関連付けられた深度効果を変更することにより、どの参加者がリアルタイム通信セッションにおいて設定されたアクティビティ基準を満たしているかについてのフィードバックをコンピュータシステムのユーザに提供できるようになり、これは、改善された視覚的フィードバックを提供する。
いくつかの実施形態では、コンピュータシステム（例えば、６００、６０１、又は６０２）は、１つ以上のカメラ（例えば、６００－２、６０１－２、又は６０２－２）と通信しており、リアルタイム通信セッションのユーザインターフェース（例えば、６０５、６３０、又は６５０）は、１つ以上のカメラの視野の表現（例えば、カメラプレビュー）（例えば、６０８、６３８、又は６５８）を含む。いくつかの実施形態では、１つ以上のカメラの視野の表現を、リアルタイム通信セッションの参加者の第１の表現（例えば、図６Ｑの６６０－２）の少なくとも一部分にオーバーレイして表示している（例えば、カメラプレビューが参加者の表現の少なくとも一部分の前に表示される）間、コンピュータシステムは、リアルタイム通信セッションの参加者の第１の表現に対応する入力（例えば、６１５－５）を検出する。いくつかの実施形態では、リアルタイム通信セッションの参加者の第１の表現に対応する入力を検出したことに応じて、コンピュータシステムは、リアルタイム通信セッションの参加者の第１の表現を、（例えば、図６Ｒに示すように）１つ以上のカメラの視野の表現の少なくとも一部分にオーバーレイして表示する（例えば、参加者の表現は、カメラプレビューの少なくとも一部分の前に表示される）。リアルタイム通信セッションの参加者の第１の表現に対応する入力を検出したことに応じて、リアルタイム通信セッションの参加者の第１の表現を１つ以上のカメラの視野の表現の少なくとも一部分にオーバーレイして表示することにより、追加のコントロールオプションの表示を必要とせずに参加者の表現の配置を最適化するための追加のコントロールを提供し、ユーザインターフェースを雑然とさせることなしに、追加のコントロールオプションを提供することができる。
いくつかの実施形態では、リアルタイム通信セッションの参加者の第２の表現（例えば、図６Ｑの６６０－２）を表示している間に、コンピュータシステム（例えば、６００、６０１、又は６０２）は、リアルタイム通信セッションの参加者の第２の表現の選択（例えば、６１５－５）を検出する。いくつかの実施形態では、リアルタイム通信セッションの参加者の第２の表現の選択を検出したことに応じて、コンピュータシステムは、（例えば、リアルタイム通信セッションの他の参加者の画像を生成することなく）リアルタイム通信セッションの参加者の第２の表現の画像を生成するために選択可能なキャプチャ用アフォーダンス（例えば、６６２）を表示する。リアルタイム通信セッションの参加者の第２の表現の選択を検出したことに応じてキャプチャ用アフォーダンスを表示することにより、選択が検出されるまで、ユーザインターフェースを追加のコントロールオプションで雑然とさせることなしに、リアルタイム通信セッションの参加者の第２の表現の画像を生成するための追加のコントロールを提供し、ユーザインターフェースを雑然とさせることなしに、追加のコントロールオプションを提供することができる。いくつかの実施形態では、リアルタイム通信セッションの遠隔参加者に関連付けられた外部コンピュータシステムは、リアルタイム通信セッションの参加者の第２の表現の画像をキャプチャし、画像をコンピュータシステムに送信する（例えば、コンピュータシステムは、リアルタイム通信セッションの参加者の第２の表現の画像を外部コンピュータシステムから取得する）。
いくつかの実施形態では、コンピュータシステム（例えば、６００、６０１、又は６０２）は、１つ以上のカメラ（例えば、６００－２、６０１－２、又は６０２－２）と通信しており、キャプチャ用アフォーダンス（例えば、６６２）は、リアルタイム通信セッションの参加者の第２の表現（例えば、図６Ｒの６６０－２）の第１の部分に表示され、リアルタイム通信セッションの参加者の第２の表現の選択（例えば、６１５－５）を検出する前に、コンピュータシステムは、（例えば、図６Ｑに示すように）１つ以上のカメラの視野の表現（例えば、カメラプレビュー）（例えば、６０８、６３８、又は６５８）を、リアルタイム通信セッションの参加者の第２の表現の第１の部分にオーバーレイして表示する。
いくつかの実施形態では、第２の領域（例えば、６０６、６３６、又は６５６）に表示され、第１のサイズを有する参加者の表現の第２のセットを表示している間に、コンピュータシステム（例えば、６００、６０１、又は６０２）は、リアルタイム通信セッション用の１つ以上のコントロール（例えば、６１２、６３２、又は６５２）の第１のセットを表示する要求を受信する。いくつかの実施形態では、リアルタイム通信セッション用の１つ以上のコントロールの第１のセットを表示する要求を受信したことに応じて、コンピュータシステムは、リアルタイム通信セッション用の１つ以上のコントロールの第１のセット（例えば、リアルタイム通信セッション及び／若しくは共有コンテンツセッションに関連付けられた情報、並びに／又は、選択されると、コンピュータシステムにリアルタイム通信セッション及び／若しくは共有コンテンツセッションに関連付けられたそれぞれの機能を実行させる１つ以上の選択可能な機能オプションを含む、コントロール領域又はグラフィカルオブジェクト）を表示し、第２の領域に表示され、第１のサイズよりも小さい第２のサイズを有する参加者の表現の第２のセットを表示する（例えば、コントロールが表示されると、より小さいサイズを有する名簿を表示する）（例えば、いくつかの実施形態では、コントロール領域６５２が表示されると、図６Ｘの名簿６５６内のタイルが縮小する）。第２の領域に表示され、第１のサイズよりも小さい第２のサイズを有する参加者の表現の第２のセットを表示することにより、コンピュータシステムは、コントロール及び参加者の表現を第２の領域に配置するためにリアルタイム通信セッションのユーザインターフェースをユーザが手動で調整することを必要とせずに、リアルタイム通信セッション用の１つ以上のコントロールの第１のセットの表示を収容するために参加者の表現のサイズを自動的かつ動的に最適化できるようになり、これは、改善された視覚フィードバックを提供し、動作を実行するために必要な入力の数が低減する。
いくつかの実施形態では、コンピュータシステム（例えば、６００、６０１、又は６０２）は、１つ以上のカメラ（例えば、６００－２、６０１－２、又は６０２－２）と通信しており、リアルタイム通信セッションのユーザインターフェース（例えば、６０５、６３０、又は６５０）は、１つ以上のカメラの視野の表現（例えば、カメラプレビュー）（例えば、６０８、６３８、又は６５８）を含み、第２の領域（例えば、６０６、６３６、又は６５６）に表示される参加者の表現の第２のセットは、１つ以上のカメラの視野の表現に（例えば、参加者の介在位置又は表現なしで）隣接するシフト後位置を有する参加者の１つ以上の表現（例えば、図６Ｖの６６０－９）（例えば、図６Ｗの６６０－１１）を含む（例えば、名簿内のタイルのうちの１つ以上は、カメラプレビューのための空間を作るためにシフトされる）。１つ以上のカメラの視野の表現に隣接するシフト後位置を有する参加者の１つ以上の表現を含む第２の領域内の参加者の表現の第２のセットを表示することにより、コンピュータシステムは、第２の領域内の参加者の表現を配置するためにリアルタイム通信セッションのユーザインターフェースをユーザが手動で調整することを必要とせずに、第２の領域内の参加者の表現の配置を１つ以上のカメラの視野の表現の表示を収容するために自動的かつ動的に最適化できるようになり、これは、改善された視覚フィードバックを提供し、動作を実行するために必要な入力の数を低減する。
いくつかの実施形態では、第２の領域（例えば、６０６、６３６、又は６５６）に表示される参加者の表現の第２のセットの第１のサブセットを表示している間に、コンピュータシステム（例えば、６００、６０１、又は６０２）は、ユーザインターフェース（例えば、６０５、６３０、又は６５０）におけるそれぞれの方向への移動に対応する入力（例えば、６１５－６又は６１５－７）（例えば、ドラッグ又はスワイプジェスチャ）（例えば、参加者の表現の第１のセットをスクロールする要求）（例えば、参加者の表現の第２のセットをスクロールする要求）を受信する。いくつかの実施形態では、ユーザインターフェースにおけるそれぞれの方向への移動に対応する入力を受信したことに応じて、ユーザインターフェースにおけるそれぞれの方向への移動に対応する入力が、参加者の表現の第２のセット（例えば、６０６、６３６、又は６５６）を含むユーザインターフェースの一部分に向けられているという判定に従って、コンピュータシステムは、参加者の表現の第２のセットの第１のサブセットに含まれていない参加者の１つ以上の表現（例えば、図６Ｗの６６０－１０及び／又は６６０－１１）（例えば、図６Ｘの６６０－７及び／又は６６０－８）を表示すること（例えば、かつ第１のサブセット内の参加者の１つ以上の表現を表示することを中止すること）（例えば、かつ第１のサブセット内の参加者の１つ以上の表現の表示を継続すること）を含め、参加者の表現の第２のセットをそれぞれの方向にスクロールする。ユーザインターフェースにおけるそれぞれの方向への移動に対応する入力が、参加者の表現の第２のセットを含むユーザインターフェースの一部分に向けられているという判定に従って、参加者の表現の第２のセットをスクロールすることにより、コンピュータシステムは、第２の領域内の参加者の表現を表示又は非表示できるようになり、これは、改善された視覚フィードバックを提供し、動作を実行するために必要とされる入力の数を低減する。
いくつかの実施形態では、コンピュータシステム（例えば、６００、６０１、又は６０２）は、ユーザインターフェース（例えば、６０５、６３０、又は６５０）におけるそれぞれの方向への移動に対応する入力（例えば、６１５－６又は６１５－７）を受信したことに応じて、及びユーザインターフェースにおけるそれぞれの方向への移動に対応する入力が、参加者の表現の第１のセットを含むユーザインターフェース（例えば、６０４、６３４、又は６５６）の一部分に向けられているという判定に従って、参加者の表現の第１のセットをスクロールすることを取り止める。いくつかの実施形態では、参加者の表現の第１のセット（例えば、グリッド）は、スクロールすることができない。
いくつかの実施形態では、コンピュータシステム（例えば、６００、６０１、又は６０２）は、１つ以上のカメラ（例えば、６００－２、６０１－２、又は６０２－２）と通信しており、リアルタイム通信セッションのユーザインターフェース（例えば、６０５、６３０、又は６５０）は、１つ以上のカメラの視野の表現（例えば、カメラプレビュー）（例えば、６０８、６３８、又は６５８）を含み、参加者の表現の第２のセットをスクロールすることは、参加者の表現の第２のセット内の参加者の１つ以上の表現（例えば、図６Ｘの６６０－１０及び／又は６６０－１１）を、１つ以上のカメラの視野の表現の下でスクロールする（例えば、名簿をカメラプレビューの下でスクロールする）ことを含む。参加者の表現の第２のセット内の参加者の１つ以上の表現を１つ以上のカメラの視野の表現の下でスクロールすることにより、コンピュータシステムは、１つ以上のカメラの視野の表現の表示を収容しながら、第２の領域内の参加者の表現を表示又は非表示できるようになり、これは、改善された視覚フィードバックを提供し、動作を実行するために必要とされる入力の数を低減する。
いくつかの実施形態では、（例えば、第１の領域の１つ以上の寸法の変化に基づいて、１人以上の参加者がリアルタイム通信セッションを退出するか又は参加することに基づいて）第１の領域（例えば、６０４、６３４、又は６５４）に表示されるリアルタイム通信セッションの参加者の表現の数を変更した後、コンピュータシステム（例えば、６００、６０１、又は６０２）は、リアルタイム通信セッションのユーザインターフェース（例えば、６０５、６３０、又は６５０）の表示を更新し、このことは、参加者の表現の第２のセットが、リアルタイム通信セッションの参加者の表現を閾値数（例えば、０、１、又は２）よりも多く含んでいるという判定に従って、リアルタイム通信セッションの参加者の表現の第２のセット（例えば、図６Ｖの６６０－７、６６０－８、及び／又は６６０－９）を表示することと、参加者の表現の第２のセットが、リアルタイム通信セッションの参加者の表現を閾値数よりも多く含んでいないという判定に従って、リアルタイム通信セッションの参加者の表現の第２のセットの表示を中止する（例えば、図６Ｕの領域６５６）（例えば、全てのタイルが名簿からグリッドに移動された場合、名簿の表示を中止する）ことと、を含む。参加者の表現の第２のセットが、閾値数以上の参加者の表現を含んでいないという判定に従って、リアルタイム通信セッションの参加者の表現の第２のセットの表示を中止することにより、参加者の表現が閾値数未満であるというフィードバックをコンピュータシステムのユーザに提供して、リアルタイム通信セッションの参加者の表現の第２のセットの表示を除外することによって計算リソースを節約できるようになり、これは、改善された視覚的フィードバックを提供し、コンピュータシステムの計算リソースを節約する。
いくつかの実施形態では、第１の領域（例えば、６０４、６３４、又は６５４）に表示され、第１の配置（例えば、サイズ及び／又は場所）を有する参加者の表現の第１のセット（例えば、図６ＡＡの６６０－１、６６０－２、及び６６０－３）を表示している間に、コンピュータシステム（例えば、６００、６０１、又は６０２）は、リアルタイム通信セッション用の１つ以上のコントロール（例えば、６１２、６３２、又は６５２）の第２のセットを表示する要求を受信する。いくつかの実施形態では、リアルタイム通信セッション用の１つ以上のコントロールの第２のセットを表示する要求を受信したことに応じて、コンピュータシステムは、リアルタイム通信セッション用の１つ以上のコントロールの第２のセット（例えば、リアルタイム通信セッション及び／若しくは共有コンテンツセッションに関連付けられた情報、並びに／又は、選択されると、コンピュータシステムにリアルタイム通信セッション及び／若しくは共有コンテンツセッションに関連付けられたそれぞれの機能を実行させる１つ以上の選択可能な機能オプションを含む、コントロール領域又はグラフィカルオブジェクト）を表示し、第１の領域に表示され、第１の配置とは異なる第２の配置を有する（例えば、コントロールのセットの表示に基づいて異なる場所、位置、順序、及び／又はサイズを有する）参加者の表現の第１のセット（例えば、図６Ｚの６６０－１、６６０－２、及び６６０－３）を表示する。第１の領域に表示され、第１の配置とは異なる第２の配置を有する参加者の表現の第１のセットを表示することにより、コンピュータシステムは、リアルタイム通信セッションのユーザインターフェースをユーザが手動で調整することを必要とせずに、リアルタイム通信セッション用の１つ以上のコントロールの第２のセットを表示することに応じて、参加者の表現の場所を自動的かつ動的に最適化できるようになり、これは、改善された視覚フィードバックを提供し、動作を実行するために必要な入力の数を低減する。
いくつかの実施形態では、リアルタイム通信セッションのユーザインターフェース（例えば、６６５）は、選択されると、（例えば、リアルタイム通信セッションのユーザインターフェースの第１の領域（例えば、６０４、６３４、又は６５４）における）リアルタイム通信セッションの参加者の第３のセットの表現（例えば、図６Ｚの６６０－１、６６０－２、及び６６０－３）のオーバーラップ配置（例えば、図６ＡＺ）を有効（又は無効）にする（又は、任意選択的に、リアルタイム通信セッションのユーザインターフェースの第１の領域（例えば、６０４、６３４、又は６５４）における参加者の表現の第１のセットのグリッドパターンを無効にする）配置選択オプション（例えば、６６８及び／又は６７２）（例えば、アフォーダンス、ボタン、及び／又は選択可能なグラフィカル要素）を含む。配置選択オプションを表示することにより、入力が検出されるまで、追加で表示されるコントロールでユーザインターフェースを雑然とさせることなしに、参加者の表現の第３のセットのオーバーラップ配置を有効にするための追加のコントロールを提供して、ユーザインターフェースを雑然とさせることなしに、追加のコントロールオプションを提供することができる。いくつかの実施形態では、オーバーラップ配置は、リアルタイム通信セッション（例えば、図６Ｚ、図６ＡＬ、図６ＡＮ、図６ＡＰ、及び／又は図６ＡＲ）の参加者の１つ以上の他の表現とオーバーラップする参加者の１つ以上の表現を含む。いくつかの実施形態では、オーバーラップ配置である間、表現の第３のセットの１つ以上の表現は、経時的にサイズ及び／又は位置を変更し（例えば、参加者１が最もアクティブな参加者であるため、図６Ｚでは６６０－１のサイズが大きくなる）、サイズ及び／又は位置の変更中及び／又は変更後に１つ以上の他の表現とのオーバーラップを維持する（例えば、オーバーラップし続ける）（例えば、図６Ｚでは、６６０－１は６６０－２とのオーバーラップを維持し、及び／又は６６０－２は６６０－３とのオーバーラップを維持する）。いくつかの実施形態では、サイズ及び／又は位置を変更した後、表現の第３のセットのうちの１つ以上の表現は、サイズ及び／又は位置を変更する前に１つ以上の表現が占有していた位置を占有する（例えば、図６Ｚでは、６６０－１はそのまま６６０－２の左上にあり、６６０－２はそのまま６６０－３の右上にある）。いくつかの実施形態では、リアルタイム通信セッションの参加者の表現の第３のセットは、リアルタイム通信セッションの参加者の表現の第１のセットと同じ参加者に対応する（例えば、第１のセットと第３のセットは、同じ数の表現を含む）（例えば、図６ＡＬ及び図６ＡＭ）。いくつかの実施形態では、リアルタイム通信セッションの参加者の表現の第３のセットは、リアルタイム通信セッションの参加者の表現の第１のセットとは異なる数の表現（例えば、より多い表現又はより少ない表現）を含む（例えば、表現の数は、グリッドパターンからオーバーラップ配置に、又はオーバーラップ配置からグリッドパターンに変化するときに変化する）（例えば、図６Ｘ及び図６Ｚ、図６ＡＰ及び図６ＡＱ、並びに図６ＡＲ及び図６ＡＳ）。
いくつかの実施形態では、共有コンテンツセッション（例えば、コンテンツが１つ以上の外部コンピュータシステムによって出力されている間、コンピュータシステム（例えば、６００、６０１、又は６０２）が、（例えば、同期化コンテンツ（例えば、出力がコンピュータシステムと外部コンピュータシステムで同期されるオーディオ及び／若しくはビデオデータ）並びに／又はスクリーン共有コンテンツ（例えば、デバイス（例えば、コンピュータシステム、外部コンピュータシステム）によって生成される、デバイスで現在表示されている画像又はビデオコンテンツのリアルタイム表現を提供する画像データ））を出力できるようにする、コンピュータシステムと１つ以上の外部コンピュータシステムとの間のセッション）の表現を、参加者の表現の第１のセットと同時に、リアルタイム通信セッションのユーザインターフェースの第１の領域に表示している間、コンピュータシステムは、コンテンツの表現を移動させる要求（例えば、６１５－１１又は６１５－１２）を受信する。いくつかの実施形態では、コンテンツの表現を移動させる要求を受信したことに応じて、コンピュータシステムは、コンテンツの表現を、リアルタイム通信セッションのユーザインターフェース内の第１の場所（例えば、図６Ｋの６２０）（例えば、図６ＡＢの６７０）からリアルタイム通信セッションのユーザインターフェース内の第２の場所に移動させ、このことは、参加者の表現の第１のセットのオーバーラップ配置が有効になっているという判定に従って、（例えば、コンテンツの表現の移動後位置を回避するため）コンテンツの表現の移動（例えば、移動後位置）に基づいて、（例えば、図６ＡＣ、図６ＡＤ、又は図６ＡＥに示すように）第１の領域内の参加者の表現の第１のセットの参加者の１つ以上の表現の位置を変更する（例えば、移動させる）ことと、参加者の表現の第１のセットのオーバーラップ配置が有効になっていないという判定に従って、コンテンツの表現の移動（例えば、移動後位置）に基づいて、（例えば、図６Ｋ又は図６Ｌに示すように）第１の領域内の参加者の表現の第１のセットの参加者の１つ以上の表現の位置を変更する（例えば、移動させる）ことを取り止める（例えば、いくつかの実施形態では、コンテンツの表現を参加者の表現の第１のセットの参加者の１つ以上の表現にオーバーレイして表示する）ことと、を含む。コンテンツの表現の移動に基づいて、第１の領域内の参加者の表現の第１のセットの参加者の１つ以上の表現の位置を変更することにより、コンピュータシステムは、リアルタイム通信セッションのユーザインターフェースをユーザが手動で調整することを必要とせずに、コンテンツの位置の変化に基づいて、表現の場所を自動的かつ動的に最適化できるようになり、これは、改善された視覚フィードバックを提供し、動作を実行するために必要とされる入力の数を低減する。いくつかの実施形態では、グリッド配置が有効になっていると、グリッド内のタイルは、共有コンテンツが移動される際に共有コンテンツの位置を回避するために移動しない。いくつかの実施形態では、オーバーラップ配置が有効になっていると、タイルは、共有コンテンツが移動される際に、共有コンテンツの位置を回避するように移動する。
いくつかの実施形態では、配置選択オプション（例えば、６７２）は、リアルタイム通信セッションの参加者の複数の表現と同時に表示され（例えば、図６Ｘ及び図６Ｚ）、配置選択オプションをリアルタイム通信セッションの参加者の複数の表現と同時に表示することにより、ユーザインターフェースを雑然とさせることなしに追加のコントロールオプションを提供し、ユーザインターフェースを更にナビゲートすることなしに、リアルタイム通信セッションの参加者の表現の配置を選択するオプションを提供することにより、動作を実行するために必要とされる入力の数を低減する。
いくつかの実施形態では、所定数の参加者（例えば、３人の参加者、４人の参加者、又は５人の参加者）がリアルタイム通信セッションに参加（例えば、同時に参加）している（例えば、参加者がリアルタイム通信セッションに参加し、参加者の数を参加者の所定数に合致させた）ことに応じて、コンピュータシステムは、配置選択オプションを表示する（例えば、最初に表示する、及び／又は表示を開始する）（例えば、図６ＡＬ及び図６ＡＭ）。いくつかの実施形態では、配置選択オプションは、所定数の参加者がリアルタイム通信セッションに参加する前（例えば、直前）には表示されない（例えば、図６ＡＨ及び図６ＡＩ）。いくつかの実施形態では、所定数未満の参加者がリアルタイム通信セッションに参加している（例えば、同時に参加している）場合（例えば、その判定に応じて及び／又はそれに従って）、配置選択オプションは表示されない。所定数の参加者がリアルタイム通信セッションに参加していることに応じて配置選択オプションを表示することにより、参加者の数がオーバーラップ配置よりもグリッドパターンの方が表示空間のより適切な使用を提供する数に達したとき、又はグリッドパターンとオーバーラップ配置との間に著しい差があるときに、配置選択オプションが表示されるようになり、これは、改善された視覚フィードバックをユーザに提供し、条件のセットが満たされると更なるユーザ入力を必要とせずに動作を実行する。
いくつかの実施形態では、配置選択オプション（例えば、６７２）を表示している間に、コンピュータシステムは所定数未満の参加者がリアルタイム通信セッションに参加している（例えば、同時に参加している）という示唆を受信する（例えば、１人の参加者がリアルタイム通信セッションを退出した結果、参加者の数が参加者の所定数未満になった）。いくつかの実施形態では、所定数未満の参加者がリアルタイム通信セッションに参加しているという示唆を受信したことに応じて、コンピュータシステムは、配置選択オプションの表示を中止する（例えば、図６ＡＪ及び図６ＡＫ）。所定数未満の参加者が参加しているという示唆を受信したことに応じて配置選択オプションの表示を中止することにより、コンピュータシステムは、参加者の数がオーバーラップ配置よりもグリッドパターンの方が表示空間のより適切な使用を提供する数未満であるとき、又はグリッドパターンとオーバーラップ配置との間に有意差がないときに、配置選択オプションを表示することを回避できるようになり、これは、改善された視覚フィードバックをユーザに提供し、条件のセットが満たされると更なるユーザ入力を必要とせずに動作を実行し、ユーザインターフェースを雑然とさせることを回避する。
いくつかの実施形態では、参加者がリアルタイム通信セッションに参加することに応じて（例えば、任意選択的に、参加者がリアルタイム通信セッションに参加した後の参加者の数が参加者の所定数以上であるという判定に従って）、コンピュータシステムは、配置選択オプション（例えば、６７２）の表示を開始する。参加者がリアルタイム通信セッションに参加することに応じて配置選択オプションの表示を開始することにより、参加者の数が増加してオーバーラップ配置よりもグリッドパターンの方が表示空間のより適切な使用を提供するようになり、又はグリッドパターンとオーバーラップ配置との間に著しい差があるときに、配置選択オプションが表示されるようになり、これは、改善された視覚フィードバックをユーザに提供し、条件のセットが満たされると更なるユーザ入力を必要とせずに動作を実行する。
いくつかの実施形態では、配置選択オプション（例えば、６７２）が、リアルタイム通信セッション用の１つ以上のコントロール（例えば、６１２、６３２、及び／又は６５２）の第３のセット（例えば、選択されると、コンピュータシステムにリアルタイム通信セッション及び／又は共有コンテンツセッションに関連付けられたそれぞれの（例えば、通話を退出する、通話を終了する、ビデオ効果オプションを表示する、カメラを切り替える、マイクロフォンをミュートする／ミュート解除する、及び／又は画像を捕捉する）機能を実行させる、リアルタイム通信セッション及び／又は共有コンテンツセッション及び／又は１つ以上の選択可能な機能オプション（例えば、アフォーダンス、ボタン、及び／又は選択可能なグラフィック要素）に関連付けられた情報を含むＨＵＤ又はグラフィカルオブジェクトがリアルタイム通信セッションのユーザインターフェースに表示されている間に（例えば、その表示に応じて、又はそれに従って）、表示される。いくつかの実施形態では、配置選択オプションが、リアルタイム通信セッション用の１つ以上のコントロールの第３のセットと同時に表示されている間、コンピュータシステムは、リアルタイム通信セッション用の１つ以上のコントロールの第３のセットの表示を中止することに対応するそれぞれの条件（例えば、ユーザインターフェースにおけるタップ入力、又はユーザインターフェースに向けられた入力を検出せずに閾値時間を超えて経過したこと）の発生を検出する。いくつかの実施形態では、それぞれの条件の発生を検出したことに応じて、コンピュータシステムは、リアルタイム通信セッション用の１つ以上のコントロールの第３のセット（例えば、６１２、６３２、及び／又は６５２）を表示することを中止し、配置選択オプション（例えば、６７２）を表示することを中止する。いくつかの実施形態では、コンピュータシステムは、入力（例えば、６１５－２４又は６１５－２６）（例えば、タップジェスチャ又はポインタ（例えば、カーソル）をリアルタイム通信セッションのユーザインターフェースの上方でホバリングさせる入力）を検出したことに応じて、１つ以上のコントロールの第３のセット（及び、任意選択的に、配置選択オプション）を表示する（例えば、その表示を開始する）。いくつかの実施形態では、コンピュータシステムは、入力（例えば、６１５－２２又は６１５－２３）（例えば、ポインタ（例えば、カーソル）を、リアルタイム通信セッションのユーザインターフェースの上方でホバリングさせないタップジェスチャ又は入力）を検出したことに応じて、１つ以上のコントロールの第３のセット（及び、任意選択的に、配置選択オプション）の表示を中止する。リアルタイム通信セッション用の１つ以上のコントロールの第３のセットの表示を中止することと、リアルタイム通信セッション用の１つ以上のコントロールの第３のセットの表示を中止することに対応するそれぞれの条件の発生を検出したことに応じて、配置選択オプションの表示を中止することにより、リアルタイム通信セッション用のオプションの表示を統合して、追加で表示されるコントロールでユーザインターフェースを雑然とさせることなしに、追加のコントロールオプションを提供し、条件のセットが満たされると更なるユーザ入力を必要とせずに動作を実行する。
いくつかの実施形態では、リアルタイム通信セッションのユーザインターフェースの第１の領域にグリッドパターンの参加者の表現の第１のセットを表示している間に（例えば、図６Ｘ）、コンピュータシステムは、ユーザインターフェース内の参加者の複数の表現の配置を変更する要求に対応する、ユーザインターフェース内の参加者の表現（例えば、図６Ｘの６６０）のうちの１つ以上に対応する場所を通る移動を含む第１のジェスチャ）（例えば、６１５－１３Ａ及び６１５－１３Ｂ、並びに／又は６１５－１５Ａ及び６１５－１５Ｂ）（例えば、ピンチ解除ジェスチャ（例えば、経時的に更に離れる２つ以上の接触を含むジェスチャ）又はピンチジェスチャ（例えば、経時的に互いに近づく２つ以上の接触を含むジェスチャ）などの、コンピュータシステムと通信するタッチ感知面上の１つ以上の接触を含み、任意選択的に、タッチジェスチャの場所に依存しない（例えば、特定のグラフィカル要素に向けられていない）タッチジェスチャを検出する。いくつかの実施形態では、第１のジェスチャを検出したことに応じて、コンピュータシステムは、リアルタイム通信セッションの参加者の表現の第４のセットをオーバーラップ配置で（例えば、図６Ｚ）で（例えば、第１の領域に）表示する（例えば、リアルタイム通信セッションのユーザインターフェースの第１の領域内の参加者の表現の第１のセットのグリッドパターンを無効にし、オーバーラップ配置に切り替える）。ユーザインターフェース内の参加者の表現のうちの１つ以上に対応する場所を通る移動を含むジェスチャに応じて、リアルタイム通信セッションの参加者の表現をオーバーラップ配置で表示することにより、コンピュータシステムは、リアルタイム通信セッションの参加者の表現の配置を変更するための選択可能なグラフィカル要素が表示されているか否かにかかわらず、リアルタイム通信セッションの参加者の表現の配置を変更し、これは、操作を実行するのに必要な入力の数を減少させ、追加で表示されるコントロールでユーザインターフェースを雑然とさせることなしに追加のコントロールオプションを提供することができる。
いくつかの実施形態では、リアルタイム通信セッションのユーザインターフェース内に、リアルタイム通信セッションの参加者の表現の第５のセットをオーバーラップ配置（例えば、図６Ｚ）で表示している間に、コンピュータシステムは、ユーザインターフェース内の参加者の複数の表現の配置を変更する要求に対応する、ユーザインターフェース内の参加者の表現（例えば、図６Ｚの６６０－２）のうちの１つ以上に対応する場所を通る移動を含む第２のジェスチャ（例えば、６１５－１３Ａ及び６１５－１３Ｂ、並びに／又は６１５－１５Ａ及び６１５－１５Ｂ）（例えば、ピンチジェスチャ（例えば、経時的に互いに近づく２つ以上の接触を含むジェスチャ）又はピンチ解除ジェスチャ（例えば、経時的に更に離れる２つ以上の接触を含むジェスチャ）などの、コンピュータシステムと通信するタッチ感知面上の１つ以上の接触を含むタッチジェスチャ）を検出する。いくつかの実施形態では、第２のジェスチャを検出したことに応じて、コンピュータシステムは、リアルタイム通信セッションの参加者の表現の第６のセットをグリッドパターン（例えば、図６Ｘ）で（例えば、第１の領域に）表示する（例えば、参加者の表現の第５のセットのオーバーラップ配置を無効にする）。ユーザインターフェース内の参加者の表現のうちの１つ以上に対応する場所を通る移動を含むジェスチャに応じて、グリッドパターン内にリアルタイム通信セッションの参加者の表現を表示することにより、コンピュータシステムは、リアルタイム通信セッションの参加者の表現の配置を変更するための選択可能なグラフィカル要素が表示されているか否かにかかわらず、リアルタイム通信セッションの参加者の表現の配置を変更し、これは、動作を実行するために必要とされる入力の数を低減し、追加で表示されるコントロールでユーザインターフェースを雑然とさせることなしに追加のコントロールオプションを提供することができる。
いくつかの実施形態では、リアルタイム通信セッションのユーザインターフェース内に、リアルタイム通信セッションの参加者の表現の第７のセットをオーバーラップ配置で表示している間に、コンピュータシステムは、所定数の参加者（例えば、３人の参加者、４人の参加者、５人の参加者、又は６人の参加者）がリアルタイム通信セッションに参加している（例えば、同時に参加している）（例えば、参加者がリアルタイム通信セッションに参加し、参加者の数を参加者の所定数に合致させた）という示唆を受信する。いくつかの実施形態では、所定数の参加者がリアルタイム通信セッションに参加しているという示唆を受信したことに応じて、コンピュータシステムは、リアルタイム通信セッションの参加者の複数の表現をグリッドパターンで表示できることを示す通知（例えば、６７４）を表示する（例えば、最初に表示する及び／又は表示を開始する）。いくつかの実施形態では、通知は、選択されると（例えば、６１５～１９）、コンピュータシステムに、リアルタイム通信セッションの参加者の表現を第１の領域内にグリッドパターンで表示させる（例えば、図６ＡＱ）選択可能なオプション（例えば、アフォーダンス）を含む（例えば、である）。所定数の参加者がリアルタイム通信セッションに参加しているという示唆を受信したことに応じて、リアルタイム通信セッションの参加者の複数の表現をグリッドパターンで表示できることを示す通知を表示することにより、より多数の参加者に対してより適切な表示を提供し得る異なる配置が利用可能であることをユーザに通知できるようになり、これは、改善された視覚フィードバックをユーザに提供する。
いくつかの実施形態では、第２の領域（例えば、６０６、６３６、又は６５６）内の参加者の表現のセットの表現は、コンピュータシステム（例えば、６００、６０１、又は６０２）と通信しているカメラ（例えば、６００－２、６０１－２、又は６０２－２）の視野の表現（例えば、６０８、６３８、又は６５８）（例えば、カメラプレビュー）と同様の高さ（又は同じ高さ）を有する。
いくつかの実施形態では、リアルタイム通信セッションのユーザインターフェース（例えば、６０５、６３０、又は６５０）を表示することは、コンピュータシステム（例えば、６００、６０１、又は６０２）と通信しているカメラ（例えば、６００－２、６０１－２、又は６０２－２）の視野の表現（例えば、６０８、６３８、又は６５８）（例えば、カメラプレビュー）を、第１の領域（例えば、６０４、６３４、又は６５４）と視覚的に区別できるユーザインターフェースの第２の領域（例えば、６０６、６３６、又は６５６）に表示することを含む（例えば、第２の領域は、カメラプレビュー及び名簿を含み、これらは両方ともグリッド内のタイルとは別個である）。
いくつかの実施形態では、第１の領域の１つ以上の寸法の変化に基づいて、第１の領域（例えば、６０４、６３４、又は６５４）に表示されるリアルタイム通信セッションの参加者の表現の数を変更させることは、第１の領域の参加者の表現の少なくとも第２の行（例えば、図６Ｊの配置に遷移するときの図６Ｉの上３行のタイル６１０－１～６１０－１２）の表示を維持しながら、参加者の表現の第１の行（例えば、図６Ｊの配置に遷移するときの図６Ｉのタイル６１０－１３～６１０－２０の下の２行のうちの１つ）をフェードアウト表示する（例えば、行が徐々に消えるアニメーションなど、参加者の表現の第１の行の輝度、不透明度、彩度、及び／又は他の視覚特性を減少させることによって、参加者の表現の第１の行の視覚的目立ちを徐々に低減する）ことを含む（例えば、１つ以上の行がグリッドに表示されたままである一方で、１つ以上の行がフェードアウトする）。第１の領域内の参加者の表現の少なくとも第２の行の表示を維持しながら、フェードアウトする参加者の表現の第１の行を表示することにより、コンピュータシステムは、第２のセット内の参加者の表現の表示される配置を維持するためにリアルタイム通信セッションのユーザインターフェースをユーザが手動で調整することを必要とせずに、第１の領域の１つ以上の寸法の変化に基づいて参加者の表現を再配置することを回避するように、参加者の表現の配置を自動的かつ動的に最適化できるようになり、これは、改善された視覚フィードバックを提供し、動作を実行するために必要な入力の数を低減する。いくつかの実施形態では、第１の行内の参加者の表現は、第２の領域内の名簿にフェードインして表示される。
いくつかの実施形態では、第１の領域の１つ以上の寸法の変化に基づいて、第１の領域（例えば、６０４、６３４、又は６５４）に表示されるリアルタイム通信セッションの参加者の表現の数を変更させることは、第１の領域内の参加者の表現の少なくとも第２の列（例えば、図６Ｉの配置に遷移するときの図６Ｈの一番左の４列のタイル６１０－１～６１０－１２のうちの１つ）の表示を維持しながら、参加者の表現の第１の列（例えば、図６Ｉの配置に遷移するときの図６Ｈのタイル６１０－１３～６１０－１８の一番右の２列のうちの１つ）をフェードアウト表示する（例えば、列が徐々に消えるアニメーションなど、参加者の表現の第１の行の輝度、不透明度、彩度、及び／又は他の視覚的特性を減少させることによって参加者の表現の第１の行の視覚的目立ち度を徐々に低減する）ことを含む（例えば、１つ以上の列がグリッドに表示されたままである一方で、１つ以上の列がフェードアウトする）。第１の領域内の参加者の表現の少なくとも第２の列の表示を維持しながら、参加者の表現の第１の列をフェードアウト表示することにより、コンピュータシステムは、第２のセット内の参加者の表現の表示される配置を維持するためにリアルタイム通信セッションのユーザインターフェースをユーザが手動で調整することを必要とせずに、第１の領域の１つ以上の寸法の変化に基づいて参加者の表現を再配置することを回避するように、参加者の表現の配置を自動的かつ動的に最適化できるようになり、これは、改善された視覚的フィードバックを提供し、動作を実行するために必要な入力の数が低減する。いくつかの実施形態では、第１の列の参加者の表現は、第２の領域の名簿にフェードインして表示される。
方法７００（例えば、図７）に関して上記したプロセスの詳細はまた、後述の方法と類似の方法で適用可能であることに留意されたい。例えば、方法９００は、方法７００を参照して上記した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、図６Ａ～図６ＡＳに示すタイルを配置する方法は、方法９００を参照して説明する実施形態に適用することができる。簡潔にするために、これらの詳細は繰り返されていない。
図８Ａ～図８Ｈは、いくつかの実施形態に係る、ビデオ会議セッションを管理するための例示的なユーザインターフェースを示す。これらの図におけるユーザインターフェースは、図９におけるプロセスを含む、以下で説明するプロセスを説明するために使用される。いくつかの実施形態では、図８Ａ～図８Ｈのユーザインターフェースを使用して、図７に関して上記したプロセスを示すことができる。
図８Ａでは、デバイス６００はホームスクリーン８０１を表示し、一方、登山家グループは、共有コンテンツセッションで同時にアクティブであるビデオ会議に参加している。デバイス６００はまた、コントロール領域６１２と同様のコントロール領域８１２を表示する。デバイス６００は、カメラオプション８１２－４を選択する入力８１５－１を検出し、それに応じて、ビデオ会議インターフェース６０５と同様のビデオ会議インターフェース８０５を表示する。ビデオ会議インターフェースは、メイン領域８０４に表示されるタイル８１０－１～８１０－１２と、名簿８０６に表示されるタイル８１０－１３及び８１０－１４と、カメラプレビュー８０８と、を含む。参加者１が、タイル８１０－１の拡大されたサイズ及び影８０９によって示されるように、最もアクティブな参加者である。
図８Ｃでは、参加者１は、登山家グループとコンテンツを共有し始める。したがって、デバイス６００は、共有コンテンツの表現と、共有コンテンツに関連付けられた他の要素とを含む、共有コンテンツ領域８２０を表示する。図８Ｃに示す実施形態では、参加者１（ジョン）は、自分のデバイスのスクリーン上に表示されているコンテンツを共有している。したがって、共有コンテンツ領域８２０は、ジョンのスクリーンのリアルタイム表現であるスクリーン共有コンテンツ８３０を含む。共有コンテンツ領域８２０はまた、共有コンテンツがジョンのスクリーンであることを示すインジケータ８２４と、ジョンのデバイスからのビデオフィードであるタイル８１０－１ｂと、を含む。いくつかの実施形態では、ジョンのビデオフィードは、それぞれのタイル８１０－１ａ及び８１０－ｂによって示されるように、共有コンテンツ領域８２０及びグリッドの両方に表示される。いくつかの実施形態では、共有コンテンツのビューは、サイズ変更、調整、ズームイン、ズームアウト、パン、又は別様に操作することができる。例えば、拡大用アフォーダンス８２２を選択して、スクリーン共有コンテンツ８３０の（例えば、フルスクリーン、又はシステム状態情報及び／若しくはシステムコントロール用に指定されたスクリーンの一部分の外側のスクリーンの全てを使用して）拡大されたビューを表示することができる。タイル８１０－１ｂ及びインジケータ８２４は、任意選択的に、スクリーン共有コンテンツ８３０の拡大されたビューと共に表示される。いくつかの実施形態では、スクリーン共有コンテンツ８３０のビューは、（例えば、ピンチ解除ジェスチャに応じて）ズームイン、（例えば、ピンチジェスチャに応じて）ズームアウト、（例えば、１本指又は２本指のドラッグジェスチャに応じて）パン、又は別様に操作することができる。
デバイス６００が共有コンテンツ領域８２０を表示すると、タイルのうちのいくつかが名簿８０６に移動される一方で、残りのタイルをメイン領域８０４に表示し続ける。図８Ｂ及び図８Ｃに示す実施形態では、デバイス６００は、メイン領域８０４の一番右の列のタイル（タイル８１０－７、８１０－８、及び８１０－１２）を名簿８０６に移動させる一方で、残りのタイルの相対位置をそれぞれの３×３配置に保持した。
図８Ｄ～図８Ｈは、アクティブな参加者のタイルが、例えば、参加者がプレゼンターであることを示すために拡大される様々な実施形態を示す。図８Ｄでは、参加者１は自分のスクリーンの共有を停止し、デバイス６００はタイルを前の配置に戻す。参加者２が登山家グループに話し始めると、タイル８１０－２が強調される。図８Ｅでは、参加者２がグループに話し続けると、デバイス６００は、タイル８１０－２を、図８Ｄの強調表示から、タイル８１０－２ｂに示すような拡大されたプレゼンター状態に遷移させる。参加者２がプレゼンターになると、彼らのビデオフィードが拡大タイル８１０－２ｂ及びグリッドタイル８１０－２ａに表示される。いくつかの実施形態では、影８０９は、参加者２が拡大されたタイル８１０－２ｂにおいて既に強調されているので、タイル８１０－２ａの周りに表示されない。拡大されたタイル８１０－２ｂが表示されると、デバイス６００は、いくつかのタイルを名簿８０６に移動させ、メイン領域８０４内の残りのタイルの相対場所を保持することを含む、図８Ｂ及び図８Ｃに関して上記したものと同様の方法でタイルを移動させる。
図８Ｅでは、デバイス６００は、タイル８１０－９を選択する入力８１５－２を検出する。それに応じて、デバイス６００はタイル８１０－９を拡大し、それによって、図８Ｆに示すように、タイル８１０－９をメイン領域８０４内にピン留めする。タイル８１０－９が拡大されると、デバイス６００は、隣接するタイル８１０－４、８１０－５、及び８１０－１０を名簿８０６に移動させる一方で、残りのタイル８１０－１、８１０－２ａ、８１０－３、８１０－６、及び８１０－１１をメイン領域８０４内に維持する。
図８Ｇでは、参加者２は、登山家グループとコンテンツを共有し始める。デバイス６００は、（コンテンツＰｉＰ６２０と同様に）コンテンツＰｉＰ８４０内に共有コンテンツを表示する。デバイス６００は、参加者２がコンテンツＰｉＰ８４０内のコンテンツを登山家グループと共有していることを示すために、コンテンツＰｉＰ８４０と共に拡大されたタイル８１０－２ｂをメイン領域８０４内に表示し続ける。図８Ｇに示すように、デバイス６００は、拡大されたタイル８１０－２ｂ及びコンテンツＰｉＰ８４０の表示を収容するために、残りのタイルを名簿８０６に移動させる。
いくつかの実施形態では、デバイス６００は、タイルがグリッド内に表示され、プレゼンタータイルがグリッドの少なくとも一部分にオーバーラップして表示されるハイブリッド配置で、タイルを表示することができる。このような実施形態の一例が図８Ｈに示されており、この例では、メイン領域８０４において、拡大されたタイル８１０－２ｂが、タイル８１０－１～８１０－１２の上に表示されている。グリッド内のタイルは２つのグループに分割され、タイル８１０－１、８１０－２ａ、８１０－４、８１０－５、８１０－９、及び８１０－１０が拡大されたタイル８１０－２ｂの一方の側に配置されており、タイル８１０－３、８１０－７、８１０－６、８１０－８、８１０－１１、及び８１０－１２が拡大されたタイル８１０－２ｂの他方の側に配置されている。
図９は、いくつかの実施形態に係る、コンピュータシステム（例えば、６００、６０１、又は６０２）を使用してビデオ会議セッションを管理するための方法を示すフロー図である。方法９００は、１つ以上の表示生成構成要素（例えば、ディスプレイコントローラ、タッチ感知ディスプレイシステム、スピーカ、骨伝導オーディオ出力デバイス、触知出力生成器、プロジェクタ、及び／又はホログラフィックディスプレイ）（例えば、６００－１、６０１－１、又は６０２－１）及び１つ以上の入力デバイス（例えば、タッチ感知面、キーボード、マウス、トラックパッド、ジェスチャを検出するための１つ以上の光学センサ、ホバー入力を検出するための１つ以上の容量センサ、及び／又は加速度計／ジャイロスコープ／慣性測定ユニット）（例えば、６００－１、６０１－３、又は６０２－１）と通信しているコンピュータシステム（例えば、スマートフォン、タブレット、デスクトップ又はラップトップコンピュータ）（例えば、１００、３００、５００、６００、６０１、又は６０２）において実行される。方法９００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。いくつかの実施形態では、方法９００は、リアルタイム通信セッションが利用可能である（例えば、参加することも、開始することも可能である）間に、コンピュータシステムにおいて実行される。いくつかの実施形態では、リアルタイム通信セッションは、共有コンテンツセッション（の一部）に含まれる。いくつかの実施形態では、共有コンテンツセッションは、リアルタイム通信セッション（の一部）に含まれる。いくつかの実施形態では、リアルタイム通信セッション及び共有コンテンツセッションは、同一の通信セッション（の一部）に含まれる。
以下に説明するように、方法９００は、ビデオ会議セッションを管理する直感的な方法を提供する。この方法は、ビデオ会議セッションを管理するユーザの認知負担を軽減し、それによって、より効率的なヒューマン－マシンインターフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザがより迅速かつより効率的にビデオ会議セッションを管理できるようにすることは、電力を節約し、バッテリ充電の間隔を長くする。
コンピュータシステムは、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェース（例えば、８０５）を表示する要求（例えば、８１５－１）を受信する（９０２）。リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェースを表示する要求を受信したことに応じて、コンピュータシステムは、リアルタイム通信セッションに対応するリアルタイム通信アプリケーションのユーザインターフェース（例えば、８０５）を表示する（９０４）。コンピュータシステムがリアルタイム通信セッションに接続され、共有コンテンツセッション（例えば、コンピュータシステムが、コンテンツ（例えば、同期化コンテンツ（例えば、出力がコンピュータシステムと外部コンピュータシステムで同期されるオーディオ及び／若しくはビデオデータ）並びに／又はスクリーン共有コンテンツ（例えば、デバイス（例えば、コンピュータシステム、外部コンピュータシステム）によって生成される、デバイスで現時点で表示される画像又はビデオコンテンツのリアルタイム表現を提供する画像データ））を、コンテンツが１つ以上の外部コンピュータシステムによって出力されている間に出力できるようにする、コンピュータシステムと１つ以上の外部コンピュータシステムとの間のセッション）に接続されている間、コンピュータシステムは、リアルタイム通信アプリケーション（例えば、ビデオ通信セッション、オーディオ通信セッション、又はオーディオ／ビデオ通信セッション（例えば、ビデオチャット））のユーザインターフェース（例えば、アプリケーションのインターフェース）において、リアルタイム通信セッションの参加者の複数の表現（例えば、８１０）であって、複数の表現が、２つ以上の行及び２つ以上の列（例えば、グリッド、パターン）を含む２次元配列（例えば、図８Ｃ、図８Ｅ、図８Ｆ、及び／又は図８Ｈに示すようなメイン領域８０４内のタイル８１０の配置）で表示される、複数の表現と、共有コンテンツセッションのコンテンツの表現（例えば、８２０、８３０、８１０－２ｂ、及び／又は８４０）であって、コンテンツの表現が、配列に視覚的に関連付けられて表示され（例えば、配列に隣接して表示され、配列と一緒にグループ化されて表示され、配列内に表示され）、コンテンツの表現が、配列の２つ以上の行及び／又は配列の２つ以上の列に対応するサイズを有する、共有コンテンツセッションのコンテンツの表現と、を同時に表示する（９０６）。いくつかの実施形態では、２次元配列は、それぞれの行及びそれぞれの列に対応する対応する場所を含む。いくつかの実施形態では、配列内の全ての場所に表現があるわけではない（例えば、ある場所は、リアルタイム通信セッションの参加者の表現以外のコンテンツがあってもよく、コンテンツがなくてもよい）。リアルタイム通信アプリケーションのユーザインターフェースにおいて、リアルタイム通信セッションの参加者の複数の表現と、共有コンテンツセッションのコンテンツの表現と、を同時に表示することにより、ユーザは、共有コンテンツとリアルタイム通信アプリケーションの別個のユーザインターフェース間をユーザがナビゲートすることを必要とせずに、進行中のリアルタイム通信セッションのコンテキストを維持しながら、共有コンテンツセッションのコンテンツを閲覧できるようになり、これは、ユーザインターフェースを雑然とさせることなしに、改善された視覚フィードバックを提供する。
いくつかの実施形態では、リアルタイム通信セッションの参加者（例えば、８１０）の複数の表現は、配列（例えば、メイン領域８０４内のタイル８１０の配列）の２つ以上の行及び２つ以上の列を少なくとも部分的に占有する（例えば、複数の表現は、全てが単一の行又は単一の列にあるわけではない）。いくつかの実施形態では、リアルタイム通信セッションの参加者の複数の表現のうちの１つ以上（例えば、タイル８１０－１）（例えば、図６Ｋのタイル６１０－１）は、コンテンツの表現（例えば、６２０、８２０、８３０、８１０－２ｂ、及び／又は８４０）によって少なくとも部分的に占有される行を占有し、リアルタイム通信セッションの参加者の複数の表現のうちの１つ以上（例えば、図６Ｋのタイル６１０－１２、６１０－１５、及び／又は６１０－１８）は、コンテンツの表現（例えば、６２０）によって少なくとも部分的に占有される列を占有する（例えば、コンテンツの表現の上／下にある（例えば、同じ列を占有するが、異なる行を占有する）リアルタイム通信セッションの参加者の１つ以上の表現、及びコンテンツの表現のそばにある（例えば、同じ行を占有するが、異なる列を占有する）リアルタイム通信セッションの参加者の１つ以上の表現が存在する）。いくつかの実施形態では、コンテンツの表現は、コンテンツの表現（例えば、８３０）を含む領域（例えば、８２０）を含み、領域は、境界によって少なくとも部分的に画定され、領域及び領域内のコンテンツの表現のうちの少なくとも１つは、配列の２つ以上の行及び／又は配列の２つ以上の列に対応するサイズを有する。
いくつかの実施形態では、共有コンテンツセッション中に、コンテンツ（例えば、８２０、８３０、８１０－２ｂ、及び／又は８４０）は、コンピュータシステム（例えば、６００、６０１、又は６０２）と、リアルタイム通信セッションの参加者に関連付けられた１つ以上の外部コンピュータシステムの両方において同時に出力される。いくつかの実施形態では、コンテンツは、コンピュータシステムが、コンピュータシステムからのスクリーン共有コンテンツを同時に出力するように、外部コンピュータシステム（単数又は複数）に伝送される、コンピュータシステムからのスクリーン共有コンテンツ（例えば、コンピュータシステムのディスプレイ上に表示されているコンテンツ）である。いくつかの実施形態では、コンテンツは、コンピュータシステムが外部コンピュータシステムからのスクリーン共有コンテンツを同時に出力するように、コンピュータシステム（及び、いくつかの実施形態では、他の外部コンピュータシステム）に伝送される、外部コンピュータシステムからのスクリーン共有コンテンツ（例えば、外部コンピュータシステムのディスプレイ上に表示されているコンテンツ）（例えば、８３０）である。いくつかの実施形態では、コンテンツは、コンピュータシステムと外部コンピュータシステム（単数又は複数）において出力される同期コンテンツ（例えば、８４０）である。いくつかの実施形態では、コンピュータシステム及び外部コンピュータシステム（単数又は複数）は各々、遠隔サーバからのコンテンツ（例えば、ビデオ、映画、ＴＶ番組、歌）に別々にアクセスし、各コンピュータシステムが遠隔サーバからのコンテンツに別々にアクセスしている間、コンテンツがコンピュータシステムにおいて（例えば、それぞれのコンピュータシステムにローカルなアプリケーションを介して）出力されるように、コンテンツのそれぞれの出力において同期される。いくつかの実施形態では、コンピュータシステム及び外部コンピュータシステム（単数又は複数）は、コンピュータシステム又は外部コンピュータシステムにおいて受信される、コンテンツの出力を要求する選択に応じて、コンテンツ（例えば、同期コンテンツ）に別々にアクセスする。
いくつかの実施形態では、共有コンテンツセッションのコンテンツの表現は、リアルタイム通信セッションのアクティブな参加者（例えば、コンテンツを提示している、コンテンツを共有している、及び／又は話をしている参加者）の表現（例えば、８１０－１ｂ、８２４、及び／又は８１０－２ｂ）（例えば、ライブビデオフィード、名前、写真、及び／又はアバター）を含む。いくつかの実施形態では、共有コンテンツセッションのコンテンツの表現は、アクティブな参加者の第１の表現（例えば、８１０－１ｂ又は８１０－２ｂ）（例えば、ライブビデオフィード、名前、写真、及び／又はアバター）を含み、参加者の複数の表現は、アクティブな参加者の第２の表現（例えば、８１０－１ａ又は８１０－２ａ）（例えば、ライブビデオフィード、名前、写真、及び／又はアバター）を含む。コンテンツの表現においてアクティブな参加者の第１の表現、及び参加者の複数の表現においてアクティブな参加者の第２の表現を表示することにより、コンピュータシステムのユーザを困惑させる可能性がある、参加者の複数の表現の表示される配置を調整することなしに、アクティブな参加者が共有コンテンツに関連付けられているというフィードバックをコンピュータシステムのユーザに提供し、それによって、改善された視覚的フィードバックを提供する。
いくつかの実施形態では、共有コンテンツセッションにおいてコンテンツの表現を表示することは、コンテンツが第１のアスペクト比（例えば、４：３、９：１６、又は縦向き）を有するという判定に従って、第１のサイズを有するコンテンツの表現（例えば、図８Ｃの８３０、又は図８Ｇの８１０－２ｂ）を表示することと、コンテンツが第１のアスペクト比とは異なる第２のアスペクト比（例えば、１６：９又は横向き）を有するとの判定に従って、第１のサイズとは異なる第２のサイズを有するコンテンツの表現（例えば、８４０）を表示することと、を含む。いくつかの実施形態では、共有コンテンツセッションのコンテンツの表現は、共有コンテンツセッションにおいてコンテンツの出力を開始した参加者の表現（例えば、８１０－１ｂ、８１０－２ｂ、及び／又は８２４）（例えば、ライブビデオフィード、名前、写真、及び／又はアバター）を含む。共有コンテンツセッションにおいてコンテンツの出力を開始した参加者の表現を含む、共有コンテンツセッションのコンテンツの表現を表示することにより、当該参加者が共有コンテンツの出力を開始したというフィードバックをコンピュータシステムのユーザに提供し、これは、改善された視覚的フィードバックを提供する。いくつかの実施形態では、共有コンテンツセッションにおいてコンテンツの出力を開始した参加者の表現は、当該参加者のライブビデオフィード（例えば、８１０－１ｂ又は８１０－２ｂ）を含む。いくつかの実施形態では、共有コンテンツセッションにおいてコンテンツの表現を表示することは、コンテンツ（例えば、スクリーン共有コンテンツ及び／又は同期コンテンツ）の表現（例えば、８３０）と、共有コンテンツセッションにおいてコンテンツの出力を開始した参加者の表現（例えば、８１０ｂ及び／又は８２４）（例えば、名前、アバター、写真、及び／又はライブビデオフィード）と、を含む領域（例えば、８２０）（例えば、境界内の領域）を表示することを含み、共有コンテンツセッションにおいてコンテンツの出力を開始した参加者の表現は、コンテンツの表現とは別個に（例えば、離間して）表示される。コンテンツの表現と、共有コンテンツセッションにおいてコンテンツの出力を開始した参加者の表現とを含む領域を含む共有コンテンツセッションのコンテンツの表現を表示することにより、当該参加者が共有コンテンツの出力を開始したというフィードバックをコンピュータシステムのユーザに提供し、これは、改善された視覚的フィードバックを提供する。
いくつかの実施形態では、参加者のそれぞれの表現が第１の表示サイズを有する、リアルタイム通信セッションの参加者の複数の表現を２次元配列で表示している間、コンピュータシステム（例えば、６００、６０１、又は６０２）は、第１の表示サイズ（例えば、ピン留めタイル）を有するリアルタイム通信セッションの参加者の第１の表現（例えば、８１０－９）に対応する１つ以上の入力（例えば、８１５－２）のセットを検出する。いくつかの実施形態では、１つ以上の入力のセットは、タイルをピン留めする要求を含む。いくつかの実施形態では、１つ以上の入力のセットは、タイルを拡大する要求を含む。いくつかの実施形態では、１つ以上の入力のセットは、（例えば、タイルが拡大された後に）タイルを縮小する要求を含む。いくつかの実施形態では、リアルタイム通信セッションの参加者の第１の表現に対応する１つ以上の入力のセットを検出したことに応じて、コンピュータシステムは、第１の表示サイズ（例えば、図８Ｆの８１０－１）を有するリアルタイム通信セッションの参加者の他の表現を表示しながら、第１の表示サイズ（例えば、図８Ｆの８１０－９）と異なる（例えば、より大きい）第２の表示サイズを有するリアルタイム通信セッションの参加者の第１の表現を２次元配列で表示する。第１の表示サイズを有するリアルタイム通信セッションの参加者の他の表現を表示しながら、第１の表示サイズと異なる第２の表示サイズを有するリアルタイム通信セッションの参加者の第１の表現を２次元配列で表示することにより、当該参加者の表現が選択されたというフィードバックをコンピュータシステムのユーザに提供し、これは、改善された視覚フィードバックを提供する参加者の表現の拡大されたビューを提供する。いくつかの実施形態では、タイルは、グリッド内で位置を変えないようにピン留めされ得る。いくつかの実施形態では、ピン留めされたタイルが拡大されると、拡大されたピン留めされたタイルがグリッド内に残っている間に、１つ以上の隣接のタイルが名簿に押し出される。いくつかの実施形態では、拡大され、ピン留めされたタイルが、その元の表示サイズに縮小されると、グリッドに押し出されたタイルは、名簿から削除され、ピン留めされたタイルに隣接するそれらの元の位置に表示される。
いくつかの実施形態では、２次元配列内に表示されるリアルタイム通信セッションの参加者の複数の表現は、参加者のそれぞれの表現が（例えば、２次元配列内に表される参加者の数の変化に応じて）２次元配列内で場所を変更することを防止するピン止め状態を有する参加者のそれぞれの表現（例えば、図８Ｆの８１０－９）を含む。参加者のそれぞれの表現が２次元配列内で場所を変更することを防止するピン止め状態を有する参加者のそれぞれの表現を含む、リアルタイム通信セッションの参加者の複数の表現を表示することにより、それぞれの参加者の固定位置を維持するための追加のコントロールでユーザインターフェースを混乱させることなしに、参加者のそれぞれの表現の固定位置を維持するための追加のコントロールを提供し、これは、ユーザインターフェースを雑然とさせることなしに、追加のコントロールオプションを提供する。
いくつかの実施形態では、リアルタイム通信セッションの参加者の複数の表現を表示することは、２次元配列の第１のセクション（例えば、図８Ｈの８１０－１、８１０－２ａ、８１０－４、８１０－５、８１０－９、及び８１０－１０を含むセクション）（例えば、リアルタイム通信セッションの参加者の表現の２つ以上の行及び２つ以上の列を含むセクション）を表示することと、（例えば、第１のセクションから分離された）第１のセクションとは異なる２次元配列の第２のセクション（例えば、図８Ｈの８１０－３、８１０－７、８１０－６、８１０－８、８１０－１１、及び８１０－１２を含むセクション）（例えば、リアルタイム通信セッションの参加者の表現の２つ以上の行及び２つ以上の列を含むセクション）を表示することと、リアルタイム通信セッションの第１の参加者の拡大された表現（例えば、８１０－２ｂ）を表示することであって、第１の参加者の拡大された表現が、２次元配列の第１のセクションの少なくとも一部分及び２次元配列の第２のセクションの少なくとも一部分とオーバーラップする、表示することと、を含む。リアルタイム通信セッションの第１の参加者の拡大された表現を２次元配列の第１のセクションの少なくとも一部分及び２次元配列の第２のセクションの少なくとも一部分とオーバーラップして表示することを含む、リアルタイム通信セッションの参加者の複数の表現を表示することにより、表現第１の参加者２次元配列の第１及び第２のセクションの参加者の表現とを閲覧するために別個のユーザインターフェース間をユーザがナビゲートすることを必要とせずに、他の参加者との進行中のリアルタイム通信セッションのコンテキストを維持しながら、ユーザが第1の参加者の表現を閲覧することを可能にし、これは、ユーザインターフェースを雑然とさせることなく改善された視覚フィードバックを提供する。
いくつかの実施形態では、リアルタイム通信セッションの参加者（例えば、６６０又は８１０）の複数の表現並びに共有コンテンツセッションのコンテンツ（例えば、６２０、６７０、８２０、８３０、８１０－２ｂ、及び／又は８４０）の表現を表示している間に、コンピュータシステム（例えば、６００、６０１、又は６０２）は、コンテンツの表現を移動させる要求（例えば、６１５－１１又は６１５－１２）（例えば、入力）を受信する。いくつかの実施形態では、コンテンツの表現を移動させる要求を受信したことに応じて、コンピュータシステムは、コンテンツの表現を移動させる要求に従って（例えば、入力の移動の方向及び／又は大きさに基づいて）コンテンツの表現を移動させ（例えば、図６ＡＢ～図６ＡＦに示すように６７０を移動させ）、（例えば、コンテンツの表現の移動後位置を回避するために）コンテンツの表現の移動（例えば、移動後位置）に基づいて、リアルタイム通信セッションの参加者の１つ以上の表現（例えば、領域６５４及び／又は領域６５６内のタイル６６０）の位置を変更する（例えば、移動させる）。コンテンツの表現の移動に基づいてリアルタイム通信セッションの参加者の１つ以上の表現の位置を変更することにより、コンピュータシステムは、リアルタイム通信アプリケーションのユーザインターフェースをユーザが手動で調整することを必要とせずに、コンテンツの位置の変化に基づいて表現の場所を自動的かつ動的に最適化できるようになり、これは、改善された視覚フィードバックを提供し、動作を実行するために必要な入力の数を低減する。いくつかの実施形態では、リアルタイム通信アプリケーションのユーザインターフェースは、２次元配列とは視覚的に区別できるユーザインターフェースの第１の領域（例えば、６５６又は８０６）内に表示されるリアルタイム通信セッションの参加者の表現のサブセット（例えば、領域６５６又は８０６内のタイル６６０又は８１０）を含む。
いくつかの実施形態では、コンテンツの表現の移動に基づいてリアルタイム通信セッションの参加者の１つ以上の表現の位置を変更することは、（例えば、図６ＡＤに示すように）（例えば、コンテンツの表現の移動後位置を回避するために）コンテンツの表現の移動に基づいて参加者の表現のサブセットをユーザインターフェースの第１の領域から第２の領域に移動させることを含む。コンテンツの表現の移動に基づいて、リアルタイム通信セッションの参加者の表現のサブセットをユーザインターフェースの第１の領域から第２の領域に移動させることにより、コンピュータシステムは、リアルタイム通信アプリケーションのユーザインターフェースをユーザが手動で調整することを必要とせずに、コンテンツの位置の変化に基づいて参加者の表現のサブセットの場所を自動的かつ動的に最適化できるようになり、これは、改善された視覚フィードバックを提供し、動作を実行するために必要な入力の数を低減する。
いくつかの実施形態では、リアルタイム通信セッションの参加者の複数の表現及び共有コンテンツセッションのコンテンツの表現を表示している間に、コンピュータシステムは、リアルタイム通信アプリケーションのユーザインターフェース（例えば、６０５、６３０、６５０、又は８０５）内で移動するためのアイテム（例えば、６１０、６２０、６４０、６７０、６６０、８１０、８２０、８３０、８１０－２ｂ、又は８４０）（例えば、リアルタイム通信セッションの参加者の表現、リアルタイム通信セッションの参加者の１つ以上の表現のセット、又は共有コンテンツセッションのコンテンツの表現）を選択する要求（例えば、６１５－１１又は６１５－１２）（例えば、入力）を受信する。いくつかの実施形態では、移動するためのアイテムを選択する要求を受信したことに応じて、要求が共有コンテンツセッションのコンテンツの表現（例えば、６２０、６７０、８２０、８３０、８１０－２ｂ、又は８４０）の選択に対応するという判定に従って、コンピュータシステムは、（例えば、入力の移動の方向及び／又は大きさに基づいて）コンテンツの表現の移動を有効にし、要求がリアルタイム通信セッションの参加者の１つ以上の表現（例えば、６１０、６６０、６４０、又は８１０）（例えば、配列内の１つ以上のタイル、名簿内の１つ以上のタイル）のセットの選択に対応するという判定に従って、コンピュータシステムは、リアルタイム通信セッションの参加者の１つ以上の表現のセットの移動を有効にすることを取り止める。要求が共有コンテンツセッションのコンテンツの表現の選択に対応するときにコンテンツの表現の移動を有効にし、要求がリアルタイム通信セッションの参加者の１つ以上の表現のセットの選択に対応するときにリアルタイム通信セッションの参加者の１つ以上の表現のセットの移動を有効にすることを取り止めることにより、コンテンツの表現を移動させるための追加のコントロールでユーザインターフェースを混乱させることなしに、ユーザインターフェース内で移動させるコンテンツの表現を選択するためのコントロールを提供し、これは、ユーザインターフェースを雑然とさせることなしに、追加のコントロールオプションを提供する。いくつかの実施形態では、共有コンテンツの表現を選択して、ユーザインターフェース内で移動させることができるが、グリッド及び／又は名簿内のタイルを選択して、ユーザインターフェース内で移動させることはできない。
いくつかの実施形態では、（例えば、図６ＡＦに示すように）リアルタイム通信セッションの参加者の複数の表現（例えば、６６０－１、６６０－２、６６０－３、６６０－４、及び／又は６６０－５）に対して第１の位置を有するコンテンツの表現（例えば、６７０）を表示している間に、コンピュータシステムは、（例えば、図６ＡＧに示すように）リアルタイム通信アプリケーションのユーザインターフェースの向きの変化（例えば、縦向きから横向きへのコンピュータシステムの回転、又は横向きから縦向きへのコンピュータシステムの回転）を検出する。いくつかの実施形態では、リアルタイム通信アプリケーションのユーザインターフェースの向きの変化を検出したことに応じて、向きの変化が第１の方向における回転（例えば、時計回りの回転）であるという判定に従って、コンピュータシステムは、リアルタイム通信セッションの参加者の複数の表現に対するコンテンツの表現の第１の位置を維持しながら、コンテンツの表現（例えば、６７０）及び参加者の複数の表現（例えば、６６０－１、６６０－２、６６０－３、６６０－４、及び／又は６６０－５）の表示される向きを第２の方向に回転（例えば、反時計回りに回転）させ、（例えば、図６ＡＧに示すように）向きの変化が第３の方向における回転（例えば、反時計回りの回転）であるという判定に従って、コンピュータシステムは、（例えば、図６ＡＧに示すように）リアルタイム通信セッションの参加者の複数の表現に対するコンテンツの表現の第１の位置を維持しながら、コンテンツの表現（例えば、６７０）及び参加者の複数の表現（例えば、６６０－１、６６０－２、６６０－３、６６０－４、及び／又は６６０－５）の表示される向きを第４の方向に回転（例えば、時計回りに回転）させる。リアルタイム通信セッションの参加者の複数の表現に対するコンテンツの表現の第１の位置を維持しながら、コンテンツの表現及び参加者の複数の表現の表示される向きを回転させることにより、コンピュータシステムは、コンピュータシステムのユーザを困惑させる可能性がある、コンテンツの表現及び参加者の複数の表現の表示される配置を調整することなしに、コンテンツの表現及び参加者の複数の表現の表示される向きを最適化できるようになり、これは、改善された視覚フィードバックを提供する。
方法９００（例えば、図９）に関して上記したプロセスの詳細はまた、上述した方法に類似の方法で適用可能であることに留意されたい。例えば、方法７００は、方法９００を参照して上記した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、図８Ａ～図８Ｈに示す、方法９００を参照して説明した共有コンテンツを表示する方法は、図６Ａ～図６ＡＳに示す、方法７００を参照して説明した実施形態に適用することができる。簡潔にするために、これらの詳細は繰り返されていない。
明細書で提供される様々な実施形態は、概して、デバイス６００、６０１、及び６０２を使用して説明される。しかしながら、他のコンピュータシステム又はデバイスを（デバイス６００、６０１、及び／又は６０２に加えて、又はその代わりに）使用して、（同時共有コンテンツセッションを伴う又は伴わない）ビデオ会議セッションに参加することができること、及びビデオ会議セッションの様々な態様が、ビデオ会議セッションに参加する各種デバイスにわたって別様に実装され得ることを理解されたい。例えば、ディスプレイ構成要素を任意選択で含むスマートスピーカを使用して、ビデオ会議セッションに参加することができる。いくつかの実施形態では、スマートスピーカでの入力は、口頭で、及び任意選択的に、タッチ入力を介して提供することができ、出力は、接続されたディスプレイ構成要素で提供されるオーディオ出力及び任意選択的に視覚出力とすることができる。別の例として、ビデオ会議セッションの視覚的側面を表示するために頭部搭載型デバイス（ＨＭＤ）のディスプレイ構成要素（及びオーディオを生成するために用いられるスピーカ）を使用することができ、入力は、ジェスチャ、視線、手の動き、オーディオ入力、タッチ入力、又は同等物を検出することによって受信されることができる。いくつかの実施形態では、図に示すユーザインターフェースは、拡張現実又は仮想現実などのエクステンデッドリアリティ環境において表示されることができる。例えば、図に示すビデオタイル、ウィンドウ、及び／又は他の表示領域は、３次元環境内に浮遊表示され得る。別の例として、ユーザ又は参加者の表現は、ビデオ会議アプリケーションにおけるビデオタイル又はウィンドウではなく、シミュレーションされた３次元アバター又は３次元環境の周りに配置される２次元アバターとして表示することができる。加えて、実施形態は、タップ、ドラッグ、クリック、及びホバージェスチャなどの様々な種類の入力を使用して本明細書で説明されているが、説明される実施形態は、ジェスチャ、視線、手の動き、オーディオ入力などを含む他の形態の入力に応答するように修正され得ることを理解されたい。加えて、異なる能力を有する異なるデバイスは、単一の（例えば、共有コンテンツセッションを伴う又は伴わない）ビデオ会議セッションにおいて組み合わせられることができ、例えば、スマートフォン、タブレット、ラップトップコンピュータ、デスクトップコンピュータ、スマートスピーカ、スマートＴＶ、ヘッドホン又はイヤホン、ＨＭＤ、及び／又はスマートウォッチ（又はそれらのサブセット）が、異なるデバイスがデバイスの能力に従って別様に参加することにより同一のセッションに参加することができる（例えば、シミュレーションされた３次元環境又は拡張現実環境においてコンテンツを表示するＨＭＤ、オーディオ出力及び入力を提供するスマートスピーカ、空間オーディオ出力及びオーディオ入力を提供するヘッドホン、オーディオ及び視覚的入力及び出力を提供するラップトップ、デスクトップコンピュータ、スマートフォン及びタブレット、オーディオ及び視覚的出力並びにオーディオ入力（又はオーディオ及び視覚的入力）を提供するスマートＴＶ）。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な説明は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本技術の原理、及びそれらの実際の用途を最も良く説明するために、実施形態が選択及び記載されている。これにより、他の当業者は、意図された具体的な用途に適するような様々な修正を用いて、本技術及び様々な実施形態を最も良好に利用することが可能となる。
添付図面を参照して、本開示及び例を十分に説明してきたが、様々な変更及び修正が、当業者には明らかとなるであろうことに留意されたい。このような変更及び修正は、特許請求の範囲によって定義されるとおり、本開示及び例の範囲内に含まれるものとして理解するべきである。
上記したように、本技術の一態様は、様々なソースから入手可能なデータを収集及び使用して、ユーザへのビデオ会議セッションのコンテンツの配信を改善することである。本開示は、いくつかの場合には、この収集されたデータが、特定の人を一意に識別する個人情報データ、又は特定の人に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを想到する。このような個人情報データとしては、人口統計データ、場所ベースのデータ、電話番号、電子メールアドレス、ソーシャルネットワークＩＤ、自宅の住所、ユーザの健康若しくはフィットネスレベルに関するデータ若しくは記録（例えば、バイタルサイン測定値、投薬情報、運動情報）、生年月日、又は任意の他の識別情報若しくは個人情報が挙げられる。
本開示は、本技術におけるこのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データは、ユーザにとってより興味深いターゲットコンテンツを配信するために使用されてもよい。したがって、このような個人情報データの使用は、ユーザによる配信されるコンテンツの計算された制御を可能にする。更に、ユーザに利益をもたらす個人情報データに関する他の使用も本開示によって意図されている。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスについての洞察を提供するために使用することができ、又は、ウェルネスの目標を追求する技術を使用している個人への、積極的なフィードバックとして使用することもできる。
本開示は、このような個人情報データの収集、分析、開示、送信、記憶、又は他の使用に関与するエンティティが、確固たるプライバシーポリシー及び／又はプライバシー慣行を遵守するものとなることを想到する。具体的には、このようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。このようなポリシーは、ユーザによって容易にアクセス可能とするべきであり、データの収集及び／又は使用が変更されるにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有又は販売されるべきではない。更には、このような収集／共有は、ユーザに告知して同意を得た後に実施されるべきである。加えて、このようなエンティティは、このような個人情報データへのアクセスを保護及び安全化し、個人情報データへのアクセス権を有する他者が、それらのプライバシーポリシー及び手順を忠実に守ることを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更に、このようなエンティティは、広く受け入れられているプライバシーポリシー及び慣行に対する自身の遵守を証明するために、サードパーティによる評価を自らが受けることができる。更には、ポリシー及び慣行は、収集及び／又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含む、適用法令及び規格に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集又はそれへのアクセスは、医療保険の相互運用性と説明責任に関する法律（ＨＩＰＡＡ）などの、連邦法及び／又は州法に準拠し得る。その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国において、異なる個人データのタイプに関して異なるプライバシー慣行が保たれるべきである。
前述のことがらにも関わらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、このような個人情報データへのアクセスを防止又は阻止するために、ハードウェア要素及び／又はソフトウェア要素が提供され得ることを想到する。例えば、いくつかの実施形態では、本技術は、ユーザが、サービスのための登録中に又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択することを可能にするように構成され得る。別の例では、本技術は、ユーザが、（例えば、スクリーン共有実施形態などにおいて）ユーザのスクリーン上に現れ得る個人情報の共有を防止することを可能にするように構成されることができる。「オプトイン」及び「オプトアウト」のオプションを提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを想到する。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに通知し、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに通知し得る。
更には、本開示の意図は、個人情報データを、非意図的若しくは許可のないアクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなると削除することにより、リスクを最小化することができる。追加的に、特定の健康関連アプリケーションを含め、適用可能な場合、ユーザのプライバシーを保護するために、データの非特定化を使用することができる。非特定化は、適切なときに、特定の識別子（例えば、生年月日など）を削除すること、記憶されたデータの量又は特異性を制御すること（例えば、場所データを住所レベルよりも都市レベルで収集すること）、データがどのように記憶されるかを制御すること（例えば、データをユーザ全体にわたって集約すること）及び／又は他の方法によって、容易にすることができる。
それゆえ、本開示は、１つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものであるが、本開示はまた、このような個人情報データにアクセスすることなく、それらの様々な実施形態を実施することも可能であることを想到する。すなわち、本技術の様々な実施形態は、このような個人情報データの全て又は一部分が欠如することにより、動作不可能にされるものではない。例えば、コンテンツは、ユーザに関連付けられたデバイスにより要求されたコンテンツ、コンテンツ配信サービスで使用可能な他の非個人情報、若しくは公的に使用可能な情報などの、非個人情報データ又は個人情報の最小限の量のみに基づいて選好を推測することにより、選択してユーザに配信することができる。

Claims (39)

  1. １つ以上の表示生成構成要素及び１つ以上の入力デバイスと通信しているコンピュータシステムにおいて、
    リアルタイム通信セッションのユーザインターフェースを表示することであって、前記ユーザインターフェースが、前記リアルタイム通信セッションの参加者の複数の表現を含み、前記複数の表現が、
    前記リアルタイム通信セッションの前記ユーザインターフェースの第１の領域にグリッドパターンで表示される参加者の表現の第１のセットと、
    前記第１の領域と視覚的に区別できる前記ユーザインターフェースの第２の領域に表示される参加者の表現の第２のセットであって、表現の前記第１のセットの前記表現が、表現の前記第２のセットの前記表現よりも大きい、表現の第２のセットと、を含む、表示することと、
    前記リアルタイム通信セッションの参加者の前記複数の表現を含む前記リアルタイム通信セッションの前記ユーザインターフェースを表示している間に、前記第１の領域の１つ以上の寸法の変化を検出することと、
    前記第１の領域の前記１つ以上の寸法の前記変化を検出したことに応じて、前記第１の領域の前記１つ以上の寸法の前記変化に基づいて、前記第１の領域に表示される前記リアルタイム通信セッションの参加者の表現の数を変更することであって、前記第１の領域内のそれぞれの参加者の第１の表現を表示することを中止することと、前記第２の領域において前記それぞれの参加者の第２の表現を表示することと、を含む、変更することと、
    を含む、方法。
  2. 前記第１の領域の１つ以上の寸法の前記変化が、前記第１の領域の向きの変化を含む、請求項１に記載の方法。
  3. 前記第１の領域の１つ以上の寸法の前記変化が、前記第１の領域の１つ以上の寸法のサイズの変化を含む、請求項１に記載の方法。
  4. 前記第１の領域が第１の状態である間に、前記第１の領域の１つ以上の寸法の前記変化を検出することが行われ、
    前記第１の領域の１つ以上の寸法の前記変化を検出したことに応じて、
    前記第１の領域の１つ以上の寸法の前記変化が、前記第１の領域の前記第１の状態から第２の状態への変化に対応するという判定に従って、前記それぞれの参加者が、前記リアルタイム通信セッションの第１の参加者であり、
    前記第１の領域の１つ以上の寸法の前記変化が、前記第１の領域の前記第１の状態から前記第２の状態とは異なる第３の状態への変化に対応するという判定に従って、前記それぞれの参加者が、前記リアルタイム通信セッションの前記第１の参加者とは異なる前記リアルタイム通信セッションの第２の参加者である、
    請求項１に記載の方法。
  5. 前記第１の領域の前記１つ以上の寸法の前記変化を検出したことに応じて、
    前記第１の領域に表示される前記リアルタイム通信セッションの参加者の表現の前記数を変更する前に、前記第１の領域内の参加者の表現の前記第１のセットのうちの１つ以上の表現のサイズを変更すること、
    を更に含む、請求項１に記載の方法。
  6. 前記第１の領域に表示される前記リアルタイム通信セッションの参加者の表現の前記数が、最小表現サイズに基づく、請求項１に記載の方法。
  7. 前記リアルタイム通信セッションの前記ユーザインターフェースを表示している間に、前記リアルタイム通信セッションの参加者の１つ以上の表現の第１のセットの表示状態の変化を検出することと、
    前記リアルタイム通信セッションの参加者の１つ以上の表現の前記第１のセットの前記表示状態の前記変化を検出したことに応じて、前記第１のセットに含まれていない前記リアルタイム通信セッションの参加者の１つ以上の表現の第２のセットの表示される位置を変更することなしに、前記リアルタイム通信セッションの参加者の１つ以上の表現の前記第１のセットの前記表示状態の前記変化に基づいて、前記グリッドパターンに表示される参加者の表現の前記第１のセットを更新することと、
    を更に含む、請求項１に記載の方法。
  8. 前記第１のセットに含まれていない前記リアルタイム通信セッションの参加者の１つ以上の表現の前記第２のセットの表示される位置を変更することなしに、前記リアルタイム通信セッションの参加者の１つ以上の表現の前記第１のセットの前記表示状態の前記変化に基づいて、前記グリッドパターンに表示される参加者の表現の前記第１のセットを更新することが、前記リアルタイム通信セッションの参加者の表現の完全な行又は列を前記第１の領域に追加すること、又は前記リアルタイム通信セッションの参加者の表現の完全な行又は列を前記第１の領域から削除することを含む、請求項７に記載の方法。
  9. 前記第１のセットに含まれていない前記リアルタイム通信セッションの参加者の１つ以上の表現の前記第２のセットの表示される位置を変更することなしに、前記リアルタイム通信セッションの参加者の１つ以上の表現の前記第１のセットの前記表示状態の前記変化に基づいて、前記グリッドパターンに表示される参加者の表現の前記第１のセットを更新することが、前記リアルタイム通信セッションの前記ユーザインターフェースの向きの変化に応じて、前記第２のセットの参加者の前記表現の表示される配置を維持することを含む、請求項７に記載の方法。
  10. 前記第１のセットに含まれていない前記リアルタイム通信セッションの参加者の１つ以上の表現の前記第２のセットの表示される位置を変更することなしに、前記リアルタイム通信セッションの参加者の１つ以上の表現の前記第１のセットの前記表示状態の前記変化に基づいて、前記グリッドパターンに表示される参加者の表現の前記第１のセットを更新することが、前記リアルタイム通信セッションの前記ユーザインターフェースの向きの変化に応じて、前記リアルタイム通信セッションの前記ユーザインターフェースの向きの前記変化に従って前記参加者の前記表現を回転させながら、前記第２のセットの参加者の前記表現の、前記表示生成構成要素に対する場所を維持することを含む、請求項７に記載の方法。
  11. 第３の参加者の活動レベルが、アクティビティ基準のセットを満たすという判定に従って、前記第３の参加者の表現のサイズを増加させること、
    を更に含む、請求項１に記載の方法。
  12. 第４の参加者の活動レベルが、アクティビティ基準のセットを満たすという判定に従って、前記第４の参加者の表現に関連付けられた深度効果を変更することを含め、前記第４の参加者の前記表現を視覚的に区別すること、
    を更に含む、請求項１に記載の方法。
  13. 前記コンピュータシステムが１つ以上のカメラと通信しており、前記リアルタイム通信セッションの前記ユーザインターフェースが前記１つ以上のカメラの視野の表現を含み、前記方法が、
    前記１つ以上のカメラの前記視野の前記表現を、前記リアルタイム通信セッションの参加者の第１の表現の少なくとも一部分にオーバーレイして表示している間に、前記リアルタイム通信セッションの前記参加者の前記第１の表現に対応する入力を検出することと、
    前記リアルタイム通信セッションの前記参加者の前記第１の表現に対応する前記入力を検出したことに応じて、前記リアルタイム通信セッションの前記参加者の前記第１の表現を、前記１つ以上のカメラの前記視野の前記表現の少なくとも一部分にオーバーレイして表示することと、
    を更に含む、請求項１に記載の方法。
  14. 前記リアルタイム通信セッションの参加者の第２の表現を表示している間に、前記リアルタイム通信セッションの前記参加者の前記第２の表現の選択を検出することと、
    前記リアルタイム通信セッションの前記参加者の前記第２の表現の前記選択を検出したことに応じて、前記リアルタイム通信セッションの前記参加者の前記第２の表現の画像を生成するために選択可能なキャプチャ用アフォーダンスを表示することと、
    を更に含む、請求項１に記載の方法。
  15. 前記コンピュータシステムが１つ以上のカメラと通信しており、
    前記キャプチャ用アフォーダンスが、前記リアルタイム通信セッションの前記参加者の前記第２の表現の第１の部分に表示されており、
    前記方法が、前記リアルタイム通信セッションの前記参加者の前記第２の表現の前記選択を検出する前に、前記１つ以上のカメラの視野の表現を、前記リアルタイム通信セッションの前記参加者の前記第２の表現の前記第１の部分にオーバーレイして表示することを更に含む、
    請求項１４に記載の方法。
  16. 前記第２の領域に表示され、第１のサイズを有する参加者の表現の前記第２のセットを表示している間に、前記リアルタイム通信セッション用の１つ以上のコントロールの第１のセットを表示する要求を受信することと、
    前記リアルタイム通信セッション用の１つ以上のコントロールの第１のセットを表示する前記要求を受信したことに応じて、
    前記リアルタイム通信セッション用の１つ以上のコントロールの前記第１のセットを表示することと、
    前記第２の領域に表示され、前記第１のサイズよりも小さい第２のサイズを有する、参加者の表現の前記第２のセットを表示することと、
    を更に含む、請求項１に記載の方法。
  17. 前記コンピュータシステムが１つ以上のカメラと通信しており、
    前記リアルタイム通信セッションの前記ユーザインターフェースが、前記１つ以上のカメラの視野の表現を含み、
    前記第２の領域に表示される参加者の表現の前記第２のセットが、前記１つ以上のカメラの前記視野の前記表現に隣接するシフト後位置を有する、参加者の１つ以上の表現を含む、
    請求項１に記載の方法。
  18. 前記第２の領域に表示される参加者の表現の前記第２のセットの第１のサブセットを表示している間に、前記ユーザインターフェースにおけるそれぞれの方向への移動に対応する入力を受信することと、
    前記ユーザインターフェースにおける前記それぞれの方向への移動に対応する前記入力を受信したことに応じて、
    前記ユーザインターフェースにおける前記それぞれの方向への移動に対応する前記入力が、参加者の表現の前記第２のセットを含む前記ユーザインターフェースの一部分に向けられているという判定に従って、参加者の表現の前記第２のセットの前記第１のサブセットに含まれていない参加者の１つ以上の表現を表示することを含め、参加者の表現の前記第２のセットを前記それぞれの方向にスクロールすることと、
    を更に含む、請求項１に記載の方法。
  19. 前記ユーザインターフェースにおける前記それぞれの方向への移動に対応する前記入力を受信したことに応じて、
    前記ユーザインターフェースにおける前記それぞれの方向への移動に対応する前記入力が、参加者の表現の前記第１のセットを含む前記ユーザインターフェースの一部分に向けられているとの判定に従って、参加者の表現の前記第１のセットをスクロールすることを取り止めること、
    を更に含む、請求項１８に記載の方法。
  20. 前記コンピュータシステムが１つ以上のカメラと通信しており、
    前記リアルタイム通信セッションの前記ユーザインターフェースが、前記１つ以上のカメラの視野の表現を含み、
    参加者の表現の前記第２のセットをスクロールすることが、参加者の表現の前記第２のセット内の参加者の１つ以上の表現を、前記１つ以上のカメラの前記視野の前記表現の下にスクロールすることを含む、
    請求項１８に記載の方法。
  21. 前記第１の領域に表示される前記リアルタイム通信セッションの参加者の表現の前記数を変更した後に、前記リアルタイム通信セッションの前記ユーザインターフェースの表示を更新することであって、
    参加者の表現の前記第２のセットが、前記リアルタイム通信セッションの参加者の表現を閾値数よりも多く含んでいるという判定に従って、前記リアルタイム通信セッションの参加者の表現の前記第２のセットを表示することと、
    参加者の表現の前記第２のセットが、前記リアルタイム通信セッションの参加者の表現を前記閾値数より多く含んでいないという判定に従って、前記リアルタイム通信セッションの参加者の表現の前記第２のセットを表示することを中止することと、を含む、更新すること、
    を更に含む、請求項１に記載の方法。
  22. 前記第１の領域に表示され、第１の配置を有する、参加者の表現の前記第１のセットを表示している間に、前記リアルタイム通信セッション用の１つ以上のコントロールの第２のセットを表示する要求を受信することと、
    前記リアルタイム通信セッション用の１つ以上のコントロールの第２のセットを表示する前記要求を受信したことに応じて、
    前記リアルタイム通信セッション用の１つ以上のコントロールの前記第２のセットを表示することと、
    前記第１の領域に表示され、前記第１の配置とは異なる第２の配置を有する、参加者の表現の前記第１のセットを表示することと、
    を更に含む、請求項１に記載の方法。
  23. 前記リアルタイム通信セッションの前記ユーザインターフェースが、選択されると、前記リアルタイム通信セッションの参加者の表現の第３のセットのオーバーラップ配置を有効にする配置選択オプションを含む、請求項１に記載の方法。
  24. 共有コンテンツセッションに関連付けられたコンテンツの表現を、参加者の表現の前記第１のセットと同時に、前記リアルタイム通信セッションの前記ユーザインターフェースの前記第１の領域内に表示している間に、コンテンツの前記表現を移動させる要求を受信することと、
    前記コンテンツの表現を移動させる前記要求を受信したことに応じて、前記コンテンツの表現を前記リアルタイム通信セッションの前記ユーザインターフェース内の第１の場所から前記リアルタイム通信セッションの前記ユーザインターフェース内の第２の場所に移動させることであって、
    参加者の表現の前記第１のセットの前記オーバーラップ配置が有効になっているという判定に従って、コンテンツの前記表現の前記移動に基づいて、前記第１の領域内の参加者の表現の前記第１のセットの参加者の１つ以上の表現の位置を変更することと、
    参加者の表現の前記第１のセットの前記オーバーラップ配置が有効になっていないという判定に従って、コンテンツの前記表現の前記移動に基づいて前記第１の領域内の参加者の表現の前記第１のセットの参加者の１つ以上の表現の位置を変更することを取り止めることと、
    を含む、移動させることと、
    を更に含む、請求項２３に記載の方法。
  25. 前記配置選択オプションが、前記リアルタイム通信セッションの参加者の前記複数の表現と同時に表示される、請求項２３に記載の方法。
  26. 所定数の参加者が前記リアルタイム通信セッションに参加していることに応じて、前記配置選択オプションを表示すること、
    を更に含む、請求項２３に記載の方法。
  27. 前記配置選択オプションを表示している間に、所定数未満の参加者が前記リアルタイム通信セッションに参加しているという示唆を受信することと、
    前記所定数未満の参加者が前記リアルタイム通信セッションに参加しているという前記示唆を受信したことに応じて、前記配置選択オプションの表示を中止することと、
    を更に含む、請求項２３に記載の方法。
  28. 参加者が前記リアルタイム通信セッションに参加したことに応じて、前記配置選択オプションの表示を開始すること、
    を更に含む、請求項２３に記載の方法。
  29. 前記リアルタイム通信セッション用の１つ以上のコントロールの第３のセットが前記リアルタイム通信セッションの前記ユーザインターフェースに表示されている間に、前記配置選択オプションが表示され、
    前記方法が、
    前記配置選択オプションが前記リアルタイム通信セッション用の１つ以上のコントロールの前記第３のセットと同時に表示されている間に、前記リアルタイム通信セッション用の１つ以上のコントロールの前記第３のセットの表示を中止することに対応するそれぞれの条件の発生を検出することと、
    前記それぞれの条件の前記発生を検出したことに応じて、前記リアルタイム通信セッション用の１つ以上のコントロールの前記第３のセットを表示することを中止し、前記配置選択オプションを表示することを中止することと、
    を更に含む、請求項２３に記載の方法。
  30. 前記リアルタイム通信セッションの前記ユーザインターフェースの前記第１の領域に前記グリッドパターンで参加者の表現の前記第１のセットを表示している間に、前記ユーザインターフェース内の参加者の前記複数の表現の配置を変更する要求に対応する、前記ユーザインターフェース内の参加者の前記表現のうちの１つ以上に対応する場所を通る移動を含む第１のジェスチャを検出することと、
    前記第１のジェスチャを検出したことに応じて、前記リアルタイム通信セッションの参加者の表現の第４のセットをオーバーラップ配置で表示することと、
    を更に含む、請求項１の方法。
  31. 前記リアルタイム通信セッションの前記ユーザインターフェース内に、前記リアルタイム通信セッションの参加者の表現の第５のセットをオーバーラップ配置で表示している間に、前記ユーザインターフェース内の参加者の前記複数の表現の配置を変更する要求に対応する、前記ユーザインターフェース内の参加者の前記表現のうちの１つ以上に対応する場所を通る移動を含む第２のジェスチャを検出することと、
    前記第２のジェスチャを検出したことに応じて、前記リアルタイム通信セッションの参加者の表現の第６のセットをグリッドパターンで表示することと、
    を更に含む、請求項１に記載の方法。
  32. 前記リアルタイム通信セッションの前記ユーザインターフェースに、前記リアルタイム通信セッションの参加者の表現の第７のセットをオーバーラップ配置で表示している間に、所定数の参加者が前記リアルタイム通信セッションに参加しているという示唆を受信することと、
    所定数の参加者が前記リアルタイム通信セッションに参加しているという前記示唆を受信したことに応じて、前記リアルタイム通信セッションの参加者の前記複数の表現を前記グリッドパターンで表示できることを示す通知を表示することと、
    を更に含む、請求項１に記載の方法。
  33. 前記第２の領域内の参加者の表現の前記第２のセットの前記表現が、前記コンピュータシステムと通信しているカメラの視野の表現と同様の高さを有する、請求項１に記載の方法。
  34. 前記リアルタイム通信セッションの前記ユーザインターフェースを表示することが、前記コンピュータシステムと通信しているカメラの視野の表現を、前記第１の領域と視覚的に区別できる前記ユーザインターフェースの前記第２の領域に表示することを含む、請求項１に記載の方法。
  35. 前記第１の領域の前記１つ以上の寸法の前記変化に基づいて、前記第１の領域に表示される前記リアルタイム通信セッションの参加者の表現の数を変更することが、前記第１の領域内の参加者の表現の少なくとも第２の行の表示を維持しながら、参加者の表現の第１の行をフェードアウト表示することを含む、請求項１に記載の方法。
  36. 前記第１の領域の前記１つ以上の寸法の前記変化に基づいて、前記第１の領域に表示される前記リアルタイム通信セッションの参加者の表現の数を変更することが、前記第１の領域内の参加者の表現の少なくとも第２の列の表示を維持しながら、参加者の表現の第１の列をフェードアウト表示することを含む、請求項１に記載の方法。
  37. 請求項１～３６のいずれか一項に記載の方法をコンピュータに実行させるためのコンピュータプログラム。
  38. コンピュータシステムであって、
    請求項３７に記載のコンピュータプログラムを記憶するメモリと、
    前記メモリに記憶された前記コンピュータプログラムを実行することができる１つ以上のプロセッサと、を備え、前記コンピュータシステムは１つ以上の表示生成構成要素及び１つ以上の入力デバイスと通信するように構成されている、
    コンピュータシステム。
  39. １つ以上の表示生成構成要素及び１つ以上の入力デバイスと通信するように構成されたコンピュータシステムであって、
    請求項１～３６のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
JP2023571312A 2021-05-18 2022-05-17 適応型ビデオ会議ユーザインターフェース Active JP7565461B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024170555A JP2025037859A (ja) 2021-05-18 2024-09-30 適応型ビデオ会議ユーザインターフェース

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US202163190224P 2021-05-18 2021-05-18
US63/190,224 2021-05-18
US202163197461P 2021-06-06 2021-06-06
US63/197,461 2021-06-06
US202163230476P 2021-08-06 2021-08-06
US63/230,476 2021-08-06
US17/745,680 2022-05-16
US17/745,680 US12449961B2 (en) 2021-05-18 2022-05-16 Adaptive video conference user interfaces
PCT/US2022/029580 WO2022245787A1 (en) 2021-05-18 2022-05-17 Adaptive video conference user interfaces

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024170555A Division JP2025037859A (ja) 2021-05-18 2024-09-30 適応型ビデオ会議ユーザインターフェース

Publications (2)

Publication Number Publication Date
JP2024521670A JP2024521670A (ja) 2024-06-04
JP7565461B2 true JP7565461B2 (ja) 2024-10-10

Family

ID=82019730

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2023571312A Active JP7565461B2 (ja) 2021-05-18 2022-05-17 適応型ビデオ会議ユーザインターフェース
JP2024170555A Pending JP2025037859A (ja) 2021-05-18 2024-09-30 適応型ビデオ会議ユーザインターフェース

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024170555A Pending JP2025037859A (ja) 2021-05-18 2024-09-30 適応型ビデオ会議ユーザインターフェース

Country Status (5)

Country Link
US (1) US20260037114A1 (ja)
EP (1) EP4324192A1 (ja)
JP (2) JP7565461B2 (ja)
KR (2) KR20250174703A (ja)
WO (1) WO2022245787A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12452320B2 (en) * 2022-10-31 2025-10-21 Microsoft Technology Licensing, Llc Persistent participant prioritization across communication sessions
US12495087B2 (en) 2023-06-30 2025-12-09 Google Llc Providing video streams for presentation in a user interface of a video conference based on a user priority list

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007300452A (ja) 2006-05-01 2007-11-15 Mitsubishi Electric Corp 画像及び音声通信機能付テレビジョン放送受像機
US20130151623A1 (en) 2011-12-07 2013-06-13 Reginald Weiser Systems and methods for translating multiple client protocols via a conference bridge
JP2018136828A (ja) 2017-02-23 2018-08-30 株式会社リコー 端末装置、プログラム、データ表示方法
US20190342519A1 (en) 2018-05-07 2019-11-07 Apple Inc. Multi-participant live communication user interface

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
KR100595926B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
KR100910599B1 (ko) * 2006-11-20 2009-08-03 (주)디디오넷 화면 분할정보 기반 화상 데이터 품질 조절 기능을 가지는화상회의 시스템 및 그 방법
NO331338B1 (no) * 2009-06-24 2011-11-28 Cisco Systems Int Sarl Fremgangsmate og anordning for endring av en videokonferanse-layout
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
AU2013368443B2 (en) 2012-12-29 2016-03-24 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
CN105323532B (zh) * 2014-06-30 2019-10-15 中兴通讯股份有限公司 一种移动终端图像的自适应显示方法和装置
US9819877B1 (en) * 2016-12-30 2017-11-14 Microsoft Technology Licensing, Llc Graphical transitions of displayed content based on a change of state in a teleconference session
CN110495125B (zh) 2017-03-24 2022-07-15 苹果公司 用于传输或接收下行链路控制信息的方法和装置
CN110457091A (zh) * 2018-05-07 2019-11-15 苹果公司 多参与者实时通信用户界面
CN110932673B (zh) 2018-09-19 2025-02-21 恩智浦美国有限公司 一种包含并联陷波滤波器的斩波稳定放大器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007300452A (ja) 2006-05-01 2007-11-15 Mitsubishi Electric Corp 画像及び音声通信機能付テレビジョン放送受像機
US20130151623A1 (en) 2011-12-07 2013-06-13 Reginald Weiser Systems and methods for translating multiple client protocols via a conference bridge
JP2018136828A (ja) 2017-02-23 2018-08-30 株式会社リコー 端末装置、プログラム、データ表示方法
US20190342519A1 (en) 2018-05-07 2019-11-07 Apple Inc. Multi-participant live communication user interface

Also Published As

Publication number Publication date
EP4324192A1 (en) 2024-02-21
KR20230173148A (ko) 2023-12-26
KR20250174703A (ko) 2025-12-12
US20260037114A1 (en) 2026-02-05
WO2022245787A1 (en) 2022-11-24
JP2024521670A (ja) 2024-06-04
JP2025037859A (ja) 2025-03-18

Similar Documents

Publication Publication Date Title
US12449961B2 (en) Adaptive video conference user interfaces
US12541338B2 (en) Shared-content session user interfaces
US12242702B2 (en) Shared-content session user interfaces
JP7793706B2 (ja) 複数参加者ライブ通信ユーザインターフェース
EP3627450A1 (en) Creative camera
JP2023539880A (ja) ハンドジェスチャを使用したユーザインタフェースのナビゲーション
US12287957B2 (en) User interfaces for managing application widgets
US11943559B2 (en) User interfaces for providing live video
US20260037114A1 (en) Adaptive video conference user interfaces
US20240364645A1 (en) User interfaces and techniques for editing, creating, and using stickers
AU2020101324B4 (en) Multi-participant live communication user interface
US20240385795A1 (en) Techniques for managing one or more displays
US20240370129A1 (en) User interfaces for remote content display
JP7549162B2 (ja) 共有コンテンツセッションユーザインタフェース
AU2021203903B2 (en) Multi-participant live communication user interface
JP7651050B2 (ja) 共有コンテンツセッションユーザインタフェース
US20260056695A1 (en) Techniques for managing one or more displays
CN117296309A (zh) 自适应视频会议用户界面
WO2024226225A1 (en) User interfaces and techniques for editing, creating, and using stickers

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240930

R150 Certificate of patent or registration of utility model

Ref document number: 7565461

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150