TWI800856B

TWI800856B - 擴增實境系統及其操作方法

Info

Publication number: TWI800856B
Application number: TW110123328A
Authority: TW
Inventors: 黃志文; 徐文正; 傅宇; 楊朝光
Original assignee: 宏碁股份有限公司
Priority date: 2021-06-25
Filing date: 2021-06-25
Publication date: 2023-05-01
Also published as: TW202301868A; US20220414990A1

Abstract

本發明提供一種擴增實境系統及其操作方法。擴增實境系統包括目標設備以及擴增實境設備。目標設備感測目標設備自身的姿態而產生姿態資訊，以及提供數位內容與姿態資訊給擴增實境設備。擴增實境設備拍攝目標設備而產生畫面。擴增實境設備追蹤目標設備在畫面中的目標位置，以進行擴增實境應用。在進行擴增實境應用時，擴增實境設備將數位內容疊覆在畫面中的目標位置，以及基於目標設備的姿態資訊對應調整在畫面中數位內容的姿態。

Description

擴增實境系統及其操作方法

本發明是有關於一種視訊系統，且特別是有關於一種擴增實境（Augmented Reality，AR）系統及其操作方法。

各種影音串流服務越來越風行。常見的影音串流服務包括視訊會議。在視訊會議中，使用者A可以通過通訊網路展示某個東西給遠端的使用者B看。舉例來說，使用者A所持拿的手機正在顯示一個有趣的數位內容（畫面或是立體數位物件），使用者A可能想要將這個數位內容透過視訊會議給遠端的使用者B看。因此，使用者A讓視訊會議設備拍攝這個手機的畫面。受限於各種環境因素（例如解析度、色偏等），使用者B很可能無法清楚看見使用者A的手機所顯示的內容。

本發明提供一種擴增實境（Augmented Reality，AR）系統及其操作方法，以進行擴增實境應用。

在本發明的一實施例中，上述的擴增實境系統包括目標設備以及擴增實境設備。目標設備用以感測目標設備自身的姿態而產生姿態資訊。目標設備提供數位內容與姿態資訊給擴增實境設備。擴增實境設備用以拍攝目標設備而產生畫面。擴增實境設備追蹤目標設備在畫面中的目標位置，以進行擴增實境應用。擴增實境設備在擴增實境應用中，將數位內容疊覆在畫面中的目標位置。擴增實境設備基於目標設備的姿態資訊對應調整在畫面中數位內容的姿態。

在本發明的一實施例中，上述的操作方法包括：由目標設備感測目標設備自身的姿態而產生姿態資訊；由目標設備提供數位內容與姿態資訊給擴增實境設備；由擴增實境設備拍攝目標設備而產生畫面；由擴增實境設備追蹤目標設備在畫面中的目標位置，以進行擴增實境應用；由擴增實境設備在擴增實境應用中將數位內容疊覆在畫面中的目標位置；以及由擴增實境設備基於目標設備的姿態資訊對應調整在畫面中數位內容的姿態。

基於上述，本發明諸實施例所述擴增實境設備可以拍攝目標設備而產生畫面，以進行擴增實境應用。所述目標設備可以感測目標設備自身的姿態，而提供姿態資訊與數位內容給擴增實境設備。在進行擴增實境應用的過程中，所述擴增實境設備可以將目標設備所提供的數位內容疊覆於目標設備在畫面中的目標位置，以及基於目標設備的姿態資訊對應調整在畫面中數位內容的姿態。因為數位內容不是被固定儲存在擴增實境設備中，所以擴增實境設備可以更彈性地呈現擴增實境效果。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

在本案說明書全文（包括申請專利範圍）中所使用的「耦接（或連接）」一詞可指任何直接或間接的連接手段。舉例而言，若文中描述第一裝置耦接（或連接）於第二裝置，則應該被解釋成該第一裝置可以直接連接於該第二裝置，或者該第一裝置可以透過其他裝置或某種連接手段而間接地連接至該第二裝置。本案說明書全文（包括申請專利範圍）中提及的「第一」、「第二」等用語是用以命名元件（element）的名稱，或區別不同實施例或範圍，而並非用來限制元件數量的上限或下限，亦非用來限制元件的次序。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟代表相同或類似部分。不同實施例中使用相同標號或使用相同用語的元件/構件/步驟可以相互參照相關說明。

圖1是依照本發明的一實施例的一種擴增實境（Augmented Reality，AR）系統100的電路方塊（circuit block）示意圖。圖1所示AR系統100包括目標設備110以及AR設備120。使用者可以讓AR設備120拍攝目標設備110而產生畫面。本實施例並不限制AR設備120與目標設備110的具體產品類別。舉例來說，在一些實施例中，目標設備110可以包括手機、智能手錶、平板電腦或是其他電子裝置，而AR設備120可以包括本地端電腦、頭戴式顯示器以及（或是）其他AR設備。

圖2是依照本發明的一實施例的一種AR系統的操作方法的流程示意圖。請參照圖1與圖2。在步驟S210中，目標設備110可以感測目標設備110自身的姿態，而產生姿態資訊A_inf。AR設備120可以與目標設備110建立通訊連接，使得目標設備110可以提供數位內容DC與姿態資訊A_inf給AR設備120（步驟S220）。依照實際設計，所述通訊連接可以包括藍芽（Bluetooth）、Wi-Fi無線網路、通用序列匯流排（Universal Serial Bus，USB）以及（或是）其他通訊連接介面。所述數位內容DC可以依照實際應用來設定。舉例來說，在一些實施例中，數位內容DC可以包括二維影像幀、三維數位物件以及（或是）其他數位內容。二維影像幀可以包括相片、影片或其他影像訊號。

在步驟S230中，AR設備120可以拍攝目標設備110而產生畫面（或畫面串流）。在步驟S240中，AR設備120可以追蹤目標設備110在所述畫面中的目標位置，以進行AR應用。依照實際設計，所述AR應用可以包括遊戲應用、教育應用、視訊會議應用以及（或是）其他應用。在進行所述AR應用的過程中，AR設備120可以在所述畫面中將目標設備110所提供的數位內容DC疊覆於所述目標位置（步驟S250）。因此在一些應用情境中，數位內容DC可以取代在所述畫面中的目標設備110。在步驟S260中，AR設備120可以基於目標設備110的姿態資訊A_inf對應調整在所述畫面中數位內容DC的姿態。舉例來說，數位內容DC可以包括三維數位物件（例如汽車、動物或是其他三維物件），而AR設備120可以基於姿態資訊A_inf對應調整在畫面中所述三維數位物件的姿態。

隨著目標設備110的移動，數位內容DC在所述畫面中的位置亦隨之改變。使用者可以旋轉目標設備110。隨著目標設備110的姿態的改變，數位內容DC在所述畫面中的姿態亦隨之改變。依照實際應用情境，在所述畫面中的目標位置可以是目標設備110的位置，或是在所述畫面中的目標位置可以不同於目標設備110的位置。舉例來說，當該目標設備110在所述畫面中時，所述目標位置可以是目標設備110在所述畫面中的位置。當目標設備110被移出所述畫面時，AR設備120以目標設備110被移出所述畫面前，目標設備110的有效位置作為所述目標位置。依照實設計，所述有效位置可以是，在可以完整呈現數位內容DC的前提下，目標設備110被移出所述畫面前的最終位置。

在另一些實施例中，目標設備110可以顯示標記MRK（未繪示於圖1）。基於實際設計，標記MRK可以包括ArUco標記、快速回應（Quick Response，QR）碼或是預先定義的任何幾何圖形。AR設備120可以拍攝標記MRK，以定位在所述畫面中的目標位置。舉例來說，所述目標位置可以是標記MRK在所述畫面中的位置。當標記MRK消失於所述畫面時，AR設備120以標記MRK消失於所述畫面前，標記MRK的有效位置作為所述目標位置。依照實設計，所述有效位置可以是，在可以完整呈現數位內容DC的前提下，標記MRK消失於所述畫面前的最終位置。依照實際應用情境，使用者可以操作目標設備110以不顯示標記MRK，進而使得標記MRK消失於所述畫面。在另一些應用情境中，使用者可以翻轉目標設備110的方向使AR設備120拍攝不到目標設備110所顯示的標記MRK，進而使得標記MRK消失於所述畫面。在又一些應用情境中，使用者可以將目標設備110移出所述畫面外，使AR設備120拍攝不到目標設備110所顯示的標記MRK，進而使得標記MRK消失於所述畫面。

在又一些實施例中，目標設備110以及（或是）AR設備120可以具有人機介面，以供使用者操作。當使用者觸發所述人機介面時，AR設備120以目標設備110的當前位置固定作為所述目標位置。亦即，在人機介面被觸發後，目標設備110的移動不會影響所述目標位置（數位內容DC的位置）。

圖3是依照本發明的一實施例的一種AR應用的情境示意圖。在圖3所示實施例中，所述AR應用可以包括視訊會議應用。請參照圖1與圖3。AR設備120可以通過通訊網路連結遠端設備300。依照實際設計，所述通訊網路可以包括Wi-Fi無線網路、乙太網路（Ethernet）、網際網路（internet）以及（或是）其他通訊網路。在圖3所示實施例中，目標設備110可以包括智能手機，而AR設備120以及遠端設備300可以包括筆記型電腦。AR設備120可以通過通訊網路將畫面傳送給遠端設備300以進行視訊會議。

在圖3所示視訊會議中，使用者A可以通過通訊網路展示某個東西給遠端的使用者B看。舉例來說，使用者A所持拿的目標設備110正在顯示一個有趣的數位內容（二維畫面或是立體數位物件），而且使用者A可能想要將這個數位內容透過視訊會議給遠端的使用者B看。因此，使用者A讓AR設備120拍攝這個目標設備110所顯示的畫面。受限於各種環境因素（例如解析度、色偏等），使用者B很可能無法清楚看見AR設備120拍攝的，目標設備110所顯示的內容。

因此在視訊會議（AR應用）中，目標設備110可以將正在顯示的數位內容DC與姿態資訊A_inf提供給AR設備120，而AR設備120可以拍攝目標設備110與使用者A而產生畫面（在此稱為會議畫面）。AR設備120可以在所述會議畫面中將數位內容DC疊覆於目標設備110，以產生AR會議畫面。此外，AR設備120可以基於目標設備110的姿態資訊A_inf去對應調整在AR會議畫面中數位內容DC的姿態（例如旋轉數位內容DC的方向）。AR設備120可以通過通訊網路將所述AR會議畫面傳送給遠端設備300以進行視訊會議。遠端設備300可以顯示AR會議畫面給使用者B。使用者B所看到的目標設備110正在顯示的數位內容不是AR設備120的拍攝結果，因此這個數位內容沒有解析度、色偏等問題。此外，使用者A可以旋轉目標設備110的方向，以呈現數位內容DC的不同視角給使用者B觀看。

舉例來說，基於實際設計，目標設備110提供給AR設備120的數位內容可以包括三維數位物件，而目標設備110具有至少一個姿態感測器（Attitude sensor，未繪示於圖1與圖3）以偵測目標設備110的姿態。舉例來說，姿態感測器可以包括加速度感測器（acceleration sensor）、重力感測器（gravity sensor）、陀螺儀（gyroscope）、電子羅盤（electronic compass）以及（或是）其他感測器。目標設備110可以將目標設備110的姿態所對應的姿態資訊A_inf提供給AR設備120。AR設備120可以拍攝目標設備110而產生畫面（例如會議畫面），以及在所述畫面中將三維數位物件（數位內容DC）疊覆於目標設備110。AR設備120可以基於目標設備110的姿態資訊A_inf去對應調整在所述畫面中的三維數位物件的姿態。

圖5是依照本發明的一實施例的一種目標設備110的電路方塊示意圖。在圖5所示實施例中，目標設備110包括應用處理器111、通訊電路112、顯示器113以及姿態感測器（Attitude sensor）114。姿態感測器114可以偵測目標設備110的姿態而產生姿態感測結果SA。應用處理器111耦接至通訊電路112、顯示器113與姿態感測器114。應用處理器111可以基於姿態感測結果SA產生目標設備110的姿態所對應的姿態資訊A_inf。通訊電路112可以與AR設備120建立連接，因此應用處理器111可以通過通訊電路112將數位內容DC與姿態資訊A_inf提供給AR設備120。基於應用處理器111的驅動與控制，顯示器113可以顯示標記MRK。基於實際設計，標記MRK可以包括ArUco標記、QR碼或是預先定義的任何幾何圖形。AR設備120可以拍攝顯示器113所顯示的標記MRK，以定位目標設備110在畫面中的目標位置。

圖5是依照本發明的一實施例的一種AR設備120的電路方塊示意圖。在圖5所示實施例中，AR設備120包括影像處理器121、通訊電路122、相機123以及顯示器124。影像處理器121耦接至通訊電路122、相機123與顯示器124。通訊電路122可以與目標設備110建立連接，以接收數位內容DC與姿態資訊A_inf。相機123可以拍攝目標設備110而產生畫面IMG。影像處理器121可以定位目標設備110在所述畫面IMG中的目標位置。影像處理器121可以在畫面IMG中將數位內容DC疊覆於所述目標位置，以產生疊覆後的畫面IMG’。影像處理器121還可以基於目標設備110的姿態資訊A_inf去對應調整在畫面IMG’中數位內容DC的姿態（例如旋轉數位內容DC的方向）。顯示器124耦接至影像處理器121，以接收畫面IMG’。基於影像處理器121的驅動與控制，顯示器124可以顯示經疊覆數位內容DC後的畫面IMG’。

依照不同的設計需求，上述應用處理器111以及（或是）影像處理器121的實現方式可以是硬體（hardware）、韌體（firmware）、軟體（software，即程式）或是前述三者中的多者的組合形式。以硬體形式而言，上述應用處理器111以及（或是）影像處理器121可以實現於積體電路（integrated circuit）上的邏輯電路。上述應用處理器111以及（或是）影像處理器121的相關功能可以利用硬體描述語言（hardware description languages，例如Verilog HDL或VHDL）或其他合適的編程語言來實現為硬體。舉例來說，上述應用處理器111以及（或是）影像處理器121的相關功能可以被實現於一或多個控制器、微控制器、微處理器、特殊應用積體電路（Application-specific integrated circuit, ASIC）、數位訊號處理器（digital signal processor, DSP）、場可程式邏輯閘陣列（Field Programmable Gate Array, FPGA）及/或其他處理單元中的各種邏輯區塊、模組和電路。

以軟體形式及/或韌體形式而言，上述應用處理器111以及（或是）影像處理器121的相關功能可以被實現為編程碼（programming codes）。例如，利用一般的編程語言（programming languages，例如C、C++或組合語言）或其他合適的編程語言來實現上述應用處理器111以及（或是）影像處理器121。所述編程碼可以被記錄/存放在「非臨時的電腦可讀取媒體（non-transitory computer readable medium）」中。在一些實施例中，所述非臨時的電腦可讀取媒體例如包括唯讀記憶體（Read Only Memory，ROM）、帶（tape）、碟（disk）、卡（card）、半導體記憶體、可程式設計的邏輯電路以及（或是）儲存裝置。所述儲存裝置包括硬碟（hard disk drive，HDD）、固態硬碟（Solid-state drive，SSD）或是其他儲存裝置。電腦、中央處理器（Central Processing Unit，CPU）、控制器、微控制器或微處理器可以從所述非臨時的電腦可讀取媒體中讀取並執行所述編程碼，從而實現上述應用處理器111以及（或是）影像處理器121的相關功能。而且，所述編程碼也可經由任意傳輸媒體（通信網路或廣播電波等）而提供給所述電腦（或CPU）。所述通信網路例如是網際網路（Internet）、有線通信（wired communication）網路、無線通信（wireless communication）網路或其它通信介質。

綜上所述，上述諸實施例所述AR設備120可以拍攝目標設備110而產生畫面，以進行AR應用。所述目標設備110可以感測自身的姿態，而提供姿態資訊A_inf與數位內容DC給AR設備120。在進行AR應用的過程中，AR設備120可以將目標設備110所提供的數位內容DC疊覆於目標設備110在畫面IMG中的目標位置，以及基於目標設備110的姿態資訊A_inf對應調整在所述畫面IMG’中數位內容DC的姿態（例如旋轉數位內容DC的方向）。因為數位內容DC不是被固定儲存在AR設備120中，所以AR設備120可以更彈性地呈現AR效果。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100: 擴增實境（AR）系統 110: 目標設備 111: 應用處理器 112、122: 通訊電路 113、124: 顯示器 114: 姿態感測器 120: AR設備 121: 影像處理器 123: 相機 300: 遠端設備 A、B: 使用者 A_inf: 姿態資訊 DC: 數位內容 IMG、IMG’: 畫面 MRK: 標記 S210～S260: 步驟 SA: 姿態感測結果

圖1是依照本發明的一實施例的一種擴增實境（AR）系統的電路方塊（circuit block）示意圖。圖2是依照本發明的一實施例的一種AR系統的操作方法的流程示意圖。圖3是依照本發明的一實施例的一種AR應用的情境示意圖。圖4是依照本發明的一實施例的一種目標設備的電路方塊示意圖。圖5是依照本發明的一實施例的一種AR設備的電路方塊示意圖。

S210～S260: 步驟

Claims

一種擴增實境系統，包括：一目標設備，用以感測該目標設備自身的姿態而產生一姿態資訊；以及一擴增實境設備，用以拍攝該目標設備而產生一畫面，其中該目標設備提供一數位內容與該姿態資訊給該擴增實境設備，該擴增實境設備追蹤該目標設備在該畫面中的一目標位置以進行一擴增實境應用，該擴增實境設備在該擴增實境應用中將該目標設備提供的該數位內容疊覆在該畫面中該目標設備的該目標位置，以及該擴增實境設備基於該目標設備的該姿態資訊而在該畫面中對該目標設備提供的該數位內容的姿態進行對應調整。
如請求項1所述的擴增實境系統，其中在該擴增實境應用中，該擴增實境設備通過一通訊網路將該畫面傳送給一遠端設備以進行一視訊會議。
如請求項1所述的擴增實境系統，其中該數位內容包括一三維數位物件，以及該擴增實境設備基於該姿態資訊對應調整在該畫面中該三維數位物件的姿態。
如請求項1所述的擴增實境系統，其中當該目標設備被移出該畫面時，該擴增實境設備以該目標設備被移出該畫面前該目標設備的一有效位置作為該目標位置。
如請求項1所述的擴增實境系統，其中該目標設備顯示一標記，該擴增實境設備拍攝該標記以定位在該畫面中的該目標位置，以及當該標記消失於該畫面時，該擴增實境設備以該標記消失於該畫面前該標記的一有效位置作為該目標位置。
如請求項1所述的擴增實境系統，其中該目標設備或該擴增實境設備具有一人機介面，以及當該人機介面被觸發時，該擴增實境設備以該目標設備的一當前位置固定作為該目標位置。
如請求項1所述的擴增實境系統，其中該目標設備包括：一姿態感測器，用以偵測該目標設備的姿態而產生一姿態感測結果；一通訊電路，用以與該擴增實境設備建立一連接；以及一應用處理器，耦接至該姿態感測器以及該通訊電路，其中該應用處理器基於該姿態感測結果產生該姿態資訊，以及該應用處理器通過該通訊電路將該數位內容與該姿態資訊提供給該擴增實境設備。
如請求項7所述的擴增實境系統，其中該目標設備更包括：一顯示器，耦接至該應用處理器，用以顯示一標記，其中該擴增實境設備拍攝該標記以定位該目標設備在該畫面中的該目標位置。
如請求項8所述的擴增實境系統，其中該標記包括ArUco標記。
如請求項1所述的擴增實境系統，其中該擴增實境設備包括：一通訊電路，用以與該目標設備建立一連接以接收該數位內容與該姿態資訊；一相機，用以拍攝該目標設備而產生該畫面；以及一影像處理器，耦接至該通訊電路與該相機，其中該影像處理器定位該目標設備在該畫面中的該目標位置，該影像處理器將該數位內容疊覆在該畫面中的該目標位置，以及該影像處理器基於該姿態資訊對應調整在該畫面中該數位內容的姿態。
如請求項10所述的擴增實境系統，其中該擴增實境設備更包括：一顯示器，耦接至該影像處理器，用以顯示經疊覆該數位內容後的該畫面。
如請求項1所述的擴增實境系統，其中該目標設備包括一手機，以及該擴增實境設備包括一本地端電腦。
一種擴增實境系統的操作方法，包括：由一目標設備感測該目標設備自身的姿態而產生一姿態資訊；由該目標設備提供一數位內容與該姿態資訊給一擴增實境設備；由該擴增實境設備拍攝該目標設備而產生一畫面；由該擴增實境設備追蹤該目標設備在該畫面中的一目標位置，以進行一擴增實境應用；由該擴增實境設備在該擴增實境應用中將該目標設備提供的該數位內容疊覆在該畫面中該目標設備的該目標位置；以及由該擴增實境設備基於該目標設備的該姿態資訊而在該畫面中對該目標設備提供的該數位內容的姿態進行對應調整。
如請求項13所述的操作方法，更包括：在該擴增實境應用中，由該擴增實境設備通過一通訊網路將該畫面傳送給一遠端設備以進行一視訊會議。
如請求項13所述的操作方法，其中該數位內容包括一三維數位物件，以及該擴增實境設備基於該姿態資訊對應調整在該畫面中該三維數位物件的姿態。
如請求項13所述的操作方法，更包括：當該目標設備被移出該畫面時，該擴增實境設備以該目標設備被移出該畫面前該目標設備的一有效位置作為該目標位置。
如請求項13所述的操作方法，更包括：由該目標設備顯示一標記；由該擴增實境設備拍攝該標記，以定位在該畫面中的該目標位置；以及當該標記消失於該畫面時，由該擴增實境設備以該標記消失於該畫面前該標記的一有效位置作為該目標位置。
如請求項17所述的操作方法，其中該標記包括ArUco標記。
如請求項13所述的操作方法，其中該目標設備或該擴增實境設備具有一人機介面，以及所述操作方法更包括：當該人機介面被觸發時，由該擴增實境設備以該目標設備的一當前位置固定作為該目標位置。
如請求項13所述的操作方法，其中該目標設備包括一手機，以及該擴增實境設備包括一本地端電腦。