TW202217536A

TW202217536A - 在顯示裝置上示出用於使用者互動的游標的方法和系統

Info

Publication number: TW202217536A
Application number: TW109140490A
Authority: TW
Inventors: 戴裕峰
Original assignee: 未來市股份有限公司
Priority date: 2020-10-29
Filing date: 2020-11-19
Publication date: 2022-05-01
Also published as: CN114428548A; US20220137787A1

Abstract

本發明提供在顯示裝置上示出用於使用者互動的游標的方法和系統。在方法中，決定初始化在從使用者側發出的射線投射的末端處的參考位置。決定與使用者的人體部位一起移動的目標位置。目標位置不同於參考位置。基於參考位置和目標位置決定所修改位置。參考位置、目標位置以及所修改位置位於與使用者側平行的同一平面上。所修改位置不同於目標位置。所修改位置用作為游標的當前位置。所修改位置表示當前從使用者側發出的射線投射的末端的位置。因此，游標可在延伸實境中穩定。

Description

在顯示裝置上示出用於使用者互動的游標的方法和系統

本公開是有關於一種延伸實境（extended reality，XR）中的互動，且特別是有關於一種在XR中在顯示裝置上示出用於使用者互動的當前位置的方法和系統。

如今流行用於模擬感覺、感知和/或環境的擴增實境（XR）技術，例如虛擬實境（virtual reality，VR）、擴增實境（augmented reality，AR）以及混合實境（mixed reality，MR）。前述技術可應用於多個領域中，例如遊戲、軍事訓練、醫療保健、遠端工作等。在XR中，使用者可與一個或多個物件和/或環境互動。一般來說，使用者可使用其手部或控制器來改變環境中的視野或選擇目標物件。

然而，在常規方法中，由使用者指向目標物件而在顯示裝置上示出用於使用者互動的游標的準確性可能受使用者的人體的擺動或搖動或其它因素影響。如果用於跟蹤使用者的手部或控制器的靈敏度過高，那麼游標可能由於手部不穩定而頻繁變動。另一方面，如果用於跟蹤使用者的手部或控制器的靈敏度過低，那麼游標的回應速度可能太慢且大多數時候並不準確。

很難提供高準確度及快反應速度的遊標控制。有鑑於此，本公開提供一種在顯示裝置上示出用於使用者互動的游標的方法和系統，以使得游標的位置穩定。

本公開實施例的在顯示裝置上示出用於使用者互動的游標的方法包含但不限於以下步驟：決定參考位置。在從使用者側發出的射線投射（ray cast）的末端處初始化參考位置。決定目標位置。目標位置與使用者的人體部位一起移動。目標位置不同於參考位置。基於參考位置和目標位置決定所修改位置，其中參考位置、目標位置以及所修改位置位於與使用者側平行的同一平面上。所修改位置不同於目標位置。所修改位置用作游標的當前位置，其中所修改位置表示當前從使用者側發出的射線投射的末端的位置。

本公開實施例的在顯示裝置上示出用於使用者互動的當前位置的系統包含但不限於動作感測器、記憶體以及處理器。動作感測器用於偵測使用者的人體部位的動作。記憶體用於儲存程式碼。處理器耦接動作感測器和記憶體，且載入程式碼以執行以下步驟：決定參考位置。在從使用者側發出的射線投射的末端處初始化參考位置。決定目標位置。目標位置與使用者的人體部位一起移動。目標位置不同於參考位置。基於參考位置和目標位置決定所修改位置，其中參考位置、目標位置以及所修改位置位於與使用者側平行的同一平面上。所修改位置不同於目標位置。所修改位置用作游標的當前位置，其中所修改位置表示當前從使用者側發出的射線投射的末端的位置。

基於上述，依據本公開實施例的在顯示裝置上示出用於使用者互動的游標的方法和系統，不僅有目標位置，參考位置也被用於作為決定遊標位置的參考依據。藉此，遊標可穩定並對人體部位的動作有較快的反應。

為讓本公開的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

現將詳細參考本公開的優選實施例，其範例在附圖中示出。只要可能，相同元件符號在附圖和說明中用以代表相同或相似部分。

圖1為示出根據本公開的示範性實施例中的一個的在顯示裝置上示出用於使用者互動的游標的系統100的方塊圖。參考圖1，系統100包含但不限於一個或多個動作感測器110、記憶體130以及處理器150。系統100適用於XR或其它實境模擬相關的技術。

動作感測器110可以是加速計、陀螺儀、磁力計、雷射感測器、慣性測量單元（inertial measurement unit，IMU）、紅外線（infrared ray，IR）感測器、影像感測器、深度相機，或前述感測器的任何組合。在一個實施例中，動作感測器110用於感測使用者的人體部位（例如手指、手部、腿部或手臂）的動作，以產生由動作感測器110感測的動作感測資料（例如相機影像、感測強度值等）。對於一個範例，動作感測資料包括3自由度（3-degree of freedom，3-DoF）資料，且3-DoF資料與三維（three-dimensional，3D）空間中的使用者手部的旋轉資料（例如偏航、滾動以及俯仰中的加速度）有關。對於另一範例，動作感測資料包括6自由度（6-degree of freedom，6-DoF）資料。與3-DoF資料相比，6-DoF資料進一步與三個垂直軸中的使用者手部的位移（例如在縱盪、垂蕩以及搖擺中的加速度）有關。對於另一範例，動作感測資料包括2D/3D空間中的使用者腿部的相對位置和/或位移。在一些實施例中，動作感測器110可嵌入在手持控制器或與使用者的人體部位一起活動的可穿戴設備（例如眼鏡、HMD或類似物）中。

記憶體130可以是任何類型的固定或可移動隨機存取記憶體（random-access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體、類似裝置或以上裝置的組合。記憶體130記錄程式碼、裝置配置、緩衝資料或永久性資料（例如動作感測資料、位置、容許區域、間距或加權關係），且將稍後介紹這些資料。

處理器150耦接動作感測器110和記憶體130。處理器150配置成載入儲存於記憶體130中的程式碼，以執行本公開的示範性實施例的程式。

在一些實施例中，處理器150可以是中央處理單元（central processing unit，CPU）、微處理器、微控制器、圖形處理單元（graphics processing unit，GPU）、數位信號處理（digital signal processing，DSP）晶片、現場可程式設計閘陣列（field-programmable gate array，FPGA）。處理器150的功能也可由獨立電子裝置或積體電路（integrated circuit，IC）來實施，且處理器150的操作也可由軟體來實施。

在一個實施例中，HMD或數位眼鏡（即，顯示裝置）包含動作感測器110、記憶體130以及處理器150。在一些實施例中，處理器150可能並不安置在具有動作感測器110的同一設備處。然而，分別裝備有動作感測器110和處理器150的設備可進一步包含具有相容通信技術（例如藍芽（Bluetooth）、Wi-Fi以及IR無線通訊）或實體傳輸線路的通信收發器，以彼此傳輸或接收資料。舉例來說，處理器150可安置在HMD中，而動作感測器110安置在HMD外部的控制器處。對於另一範例，處理器150可安置在計算裝置中，而動作感測器110安置在計算裝置外部。

在一些實施例中，系統100進一步包含顯示器，例如LCD、LED顯示器或OLED顯示器。

為了更好地瞭解在本公開的一個或多個實施例中提供的操作過程，在下文將舉例說明若干實施例以詳細解釋系統100的操作過程。系統100中的裝置和模組應用於以下實施例中以解釋本文中提供的在顯示裝置上示出用於使用者互動的當前位置的方法。方法的每一步驟可根據實際實施情況調整，且不應限於本文中所描述的內容。

圖2為示出根據本公開的示範性實施例中的一個的在顯示裝置上示出用於使用者互動的當前位置的方法的流程圖。參考圖2，處理器150可決定參考位置（步驟S210）。具體來說，在從使用者側發出的射線投射的末端處初始化參考位置。使用者可使用其人體部位（例如手指、手部、頭部或腿部）或由人體部位握持的控制器來瞄準XR中的目標物件。處理器150可基於由動作感測器110偵測到的使用者的人體部位的動作來決定3D空間中的人體部位的位置或控制器的位置。如果使用者手部的手勢符合用於瞄準物件的預定義手勢，由人體部位握持的控制器移動，或其它觸發條件發生，那麼將形成射線投射且所述射線投射從使用者側（例如使用者的身體部分、使用者的眼睛、動作感測器110，或HMD的一部分）發出。射線投射可穿過人體部位或控制器，且隨著直線或曲線進一步延伸。如果射線投射與XR中的允許由使用者指向的任何物件碰撞，那麼目標點將位於射線投射的末端處，其中射線投射的末端位於碰撞物件上。

舉例來說，圖3為示出根據本公開的示範性實施例中的一個的目標點的產生的示意圖。參考圖3，作為本公開的一個實施例，使用者的手部301的一個食指向上手勢符合用於瞄準物件的預定義手勢，且產生從使用者的眼睛經由使用者的手部301發出的射線投射305。目標點TP將位於射線投射305的末端處，且游標將基於目標點TP呈現於顯示器上。如果使用者移動其手部301，那麼目標點TP和游標也對應地移動。

在目標點產生且保持一定時間（例如500微秒、1秒或2秒）時，處理器150可在初始時間點處將目標點的初始位置記錄為XR中的參考位置。位置的形式可以是三個軸中的座標或其它物件的相對關係。如果目標點持續一段時間（例如1秒、3秒或5秒）並未移動，那麼處理器150可使用參考位置來表示游標的當前位置或射線投射的末端的位置。

處理器150可決定目標位置（步驟S230）。具體來說，人體部位可搖動或擺動，因此目標點的位置可在初始時間點之後的後續時間點處移出參考位置。在這一實施例中，如果目標點並未位於參考位置處，那麼目標點的位置將被稱為目標位置。也就是說，目標位置不同於參考位置。目標位置將與人體部位或由人體部位握持的控制器一起移動。舉例來說，使用者的手部從中心向右側移動，且目標位置也將從中心向右側移動。

處理器150可基於參考位置和目標位置決定所修改位置（步驟S250）。具體來說，在常規方法中，位於射線投射的末端處的游標的當前位置將被決定為目標點的目標位置。然而，僅基於人體部位的動作的游標的當前位置可能並不穩定。在這一實施例中，游標的當前位置將並不為目標點的目標位置。參考位置、目標位置以及所修改位置均位於與使用者側平行的同一平面上，且所修改位置不同於目標位置。

在一個實施例中，處理器150可基於目標位置與參考位置的加權關係決定所修改位置。具體來說，目標位置和參考位置的權重的總和為一，且目標位置的權重不為一。舉例來說，如果目標位置（位於座標(0,0)處）的權重為0.3且參考位置（位於座標(10, 10)處）的權重為0.7，那麼所修改位置將位於座標(7, 7)處。也就是說，目標位置和參考位置與對應權重的加權計算結果（即，加權關係）為所修改位置。

在一個實施例中，為計算所修改位置，處理器150可產生原始點。圖4為示出根據本公開的示範性實施例中的一個的向量V1、向量V2以及向量V3的俯視示意圖。參考圖4，形成從原始點的原始位置O到參考位置R的第一向量V1，且形成從原始位置O到目標位置A1的第二向量V2。處理器150可基於第一向量V1、第二向量V2以及第一向量V1與第二向量V2的加權關係來決定從原始位置O到目標點的所修改位置M形成的第三向量V3。第三向量的函數為：

…(1)，其中

為第一向量V1或參考位置R的權重，

為第二向量V2或目標位置A1的權重，且

。接著，基於第三向量V3決定所修改位置M。所修改位置M的函數為：

…(2)

應注意，目標位置A1、所修改位置M以及參考位置R位於同一平面。也就是說，連接在目標位置A1與參考位置R之間的直線也將穿過所修改位置M。

在一個實施例中，加權關係中的當前位置和參考位置的權重（例如，參考位置的權重

和目標位置的權重

）基於當前位置的準確性需求而變化。舉例來說，準確性需求可調適以用於鍵入鍵盤，權重

可大於權重

。對於另一範例，準確性需求可調適以用於在XR中抓取大物件，權重

可大於權重

。也就是說，準確性需求越高，權重

越大。準確性需求越低，權重

越大。

在一個實施例中，參考位置可並不固定。圖5為示出根據本公開的示範性實施例中的一個的第二位置的決定的流程圖。參考圖5，處理器150可基於參考位置的初始位置決定容許區域（步驟S510）。容許區域可以是圓形、正方形或從參考位置輻射而出的其它形狀。舉例來說，圖6為示出根據本公開的示範性實施例中的一個的容許區域TA的示意圖。參考圖6，容許區域TA為具有半徑S的圓形，且容許區域TA從目標點的參考位置P0輻射而出。

首先，參考位置為固定的。接著，處理器150可決定目標點的目標位置是否位於容許區域內（步驟S530）。舉例來說，處理器150可決定目標位置的座標是否與容許區域重疊。對於另一範例，處理器150可計算目標位置與參考位置之間的距離以及容許區域的邊緣與參考位置之間的距離，且決定哪一距離大於另一距離。

圖7為示出當前位置位於容許區域TA內的範例。參考圖7，目標位置A2和目標位置A3均位於容許區域TA內，其中半徑S大於從參考位置P0到當前位置A2或當前位置A3的距離。

在一個實施例中，如果目標點的目標位置位於容許區域內，那麼處理器150可將參考位置固定（步驟S550）。具體來說，容許區域將被視為允許部分地改變當前位置的區域。目標位置的這些變化可由搖動、擺動或使用者的人體部位的其它小幅度動作引起。如果目標位置的變化並未超出容許區域，那麼處理器150可考慮使用者仍希望指向參考位置周圍。因此，所修改位置可基於前述加權關係保持在容許區域內。

在一些實施例中，如果目標點的目標位置位於容許區域內，那麼處理器150可將所修改位置決定為參考位置。舉例來說，參考位置的權重

為一，且目標位置的權重為零。以圖7為例，與目標位置A2和目標位置A3相對應的所修改位置將為參考位置P0。

在一些實施例中，容許區域的大小和/或形狀可涉及目標點的當前位置的準確性需求，例如較小物件或較大物件的選擇。

在一個實施例中，目標點的目標位置並未位於容許區域內。如果目標位置的變化超出容許區域，那麼處理器150可考慮使用者可能不希望指向參考位置。然而，所修改位置仍然不是目標位置。替代地，參考位置可從初始位置移動，且參考位置的動作的位移和方向將與目標位置相同。也就是說，參考位置與目標位置一起移動。在目標位置僅移出容許區域時，參考位置將位於連接到初始位置和當前位置的直線上。此外，當前位置與參考位置之間存在間距。

舉例來說，圖8為示出目標位置A4並未位於容許區域TA內的範例。參考圖8，目標位置A4並未位於容許區域TA內，其中半徑S小於從參考位置的初始位置P0到目標位置A4的距離。此外，目標位置A4與參考位置R之間存在間距S2。接著，將基於目標位置和所修改參考位置決定所修改位置。

在一個實施例中，目標位置與參考位置之間的間距與參考位置與容許區域的邊緣之間的距離相同。以圖8為例，間距S2等於半徑S。在一些實施例中，間距可能不同於參考位置與容許區域的邊緣之間的距離。

在一個實施例中，間距為固定的。在另一實施例中，間距基於觸發射線投射的動作的人體部位的動作的速度而變化。舉例來說，如果人體部位/射線投射的速度相對於速度門檻值更快，那麼間距可能增大。如果速度更慢，那麼間距可能縮短。在一些實施例中，間距基於當前位置與參考位置之間的距離而變化。舉例來說，當前位置與參考位置之間的距離相對於距離門檻值更長，間距可能增大。如果距離更短，那麼間距可能縮短。

如果基於圖4到圖8的實施例中的一個或多個決定所修改位置，那麼處理器150可使用所修改位置作為游標的當前位置（步驟S270）。也就是說，當前表示射線投射的末端的位置的所修改位置是目標位置的修改。接著，游標將在顯示裝置上示出在所修改位置處而非目標位置處。

綜上所述，在本公開實施例的在顯示裝置上示出用於使用者互動的游標的方法和系統中，基於參考位置和目標位置的權重關係決定修改位置。此外，若目標位置位於容許區域之外，則參考位置將隨目標位置移動。藉此，可穩定遊標的當前位置。

雖然本公開已以實施例揭露如上，然其並非用以限定本公開，任何所屬技術領域中具有通常知識者，在不脫離本公開的精神和範圍內，當可作些許的更動與潤飾，故本公開的保護範圍當視後附的申請專利範圍所界定者為準。

100:系統 110:動作感測器 130:記憶體 150:處理器 301:手部 305:射線投射 A1、A2、A3、A4:目標位置 M:所修改位置 O:原始位置 P0、R:參考位置 S:半徑 S2:間距 S210、S230、S250、S270、S510、S530、S550:步驟 TA:容許區域 TP:目標點 V1、V2、V3:向量

圖1為示出根據本公開的示範性實施例中的一個的在顯示裝置上示出用於使用者互動的游標的系統的方塊圖。圖2為示出根據本公開的示範性實施例中的一個的在顯示裝置上示出用於使用者互動的游標的方法的流程圖。圖3為示出根據本公開的示範性實施例中的一個的目標點的產生的示意圖。圖4為示出根據本公開的示範性實施例中的一個的向量的俯視示意圖。圖5為示出根據本公開的示範性實施例中的一個的所修改位置的決定的流程圖。圖6為示出根據本公開的示範性實施例中的一個的容許區域的示意圖。圖7為示出目標位置位於容許區域內的範例。圖8為示出目標位置並未位於容許區域內的範例。

S210~S270:步驟

Claims

一種在顯示裝置上示出用於使用者互動的游標的方法，包括：決定一參考位置，其中所述參考位置初始化在從一使用者側發出的一射線投射的一末端處；決定一目標位置，其中所述目標位置與一使用者的一人體部位一起移動，且所述目標位置不同於所述參考位置；基於所述參考位置和所述目標位置決定所修改位置，其中所述參考位置、所述目標位置以及所述所修改位置位於與所述使用者側平行的同一平面上，且所述所修改位置不同於所述目標位置；以及使用所述所修改位置作為所述游標的一當前位置，其中所述所修改位置表示當前所述射線投射的所述末端的位置。
如請求項1所述的在顯示裝置上示出用於使用者互動的游標的方法，其中該基於所述參考位置和所述目標位置決定所述所修改位置的步驟包括：基於所述目標位置與所述參考位置的一加權關係決定所述所修改位置，其中所述目標位置和所述參考位置的權重的總和為一，且所述目標位置的所述權重不為一。
如請求項2所述的在顯示裝置上示出用於使用者互動的游標的方法，進一步包括：產生位於所述使用者側處的一原始點，其中形成從所述原始點的原始位置到所述參考位置的一第一向量，且形成從所述原始位置到所述目標位置的一第二向量；以及基於所述第一向量、所述第二向量以及所述加權關係決定從所述原始位置到所述所修改位置形成的一第三向量，其中基於所述第三向量決定所述所修改位置。
如請求項2所述的在顯示裝置上示出用於使用者互動的游標的方法，其中所述加權關係中的所述目標位置和所述參考位置的所述權重基於所述當前位置的準確性需求而變化。
如請求項2所述的在顯示裝置上示出用於使用者互動的游標的方法，其中基於所述參考位置和所述目標位置決定所述所修改位置的步驟包括：決定從所述參考位置輻射而出的一容許區域；以及決定所述目標位置是否位於所述容許區域內。
如請求項5所述的在顯示裝置上示出用於使用者互動的游標的方法，其中在決定所述目標位置是否位於所述容許區域內的步驟之後，所述方法進一步包括：反應於所述目標位置位於所述容許區域內，所述參考位置為固定的。
如請求項6所述的在顯示裝置上示出用於使用者互動的游標的方法，其中所述參考位置的所述權重為一，且所述目標位置的所述權重為零。
如請求項5所述的在顯示裝置上示出用於使用者互動的游標的方法，其中在決定所述目標位置是否位於所述容許區域內的步驟之後，所述方法進一步包括：反應於所述目標位置並不位於所述容許區域內，將所述參考位置與所述目標位置一起移動，其中所述目標位置與所述參考位置之間存在間距。
如請求項8所述的在顯示裝置上示出用於使用者互動的游標的方法，其中所述間距為固定的。
如請求項8所述的在顯示裝置上示出用於使用者互動的游標的方法，其中所述間距基於所述射線投射的動作的速度而變化。
如請求項8所述的在顯示裝置上示出用於使用者互動的游標的方法，其中所述間距與所述參考位置的初始位置與所述容許區域的邊緣之間的距離相同。
如請求項8所述的在顯示裝置上示出用於使用者互動的游標的方法，其中所述間距與所述參考位置的初始位置與所述容許區域的邊緣之間的距離不同。
一種在顯示裝置上示出用於使用者互動的游標的系統，包括：一動作感測器，偵測一使用者的一人體部位的動作；以及一記憶體，儲存程式碼；以及一處理器，耦接所述動作感測器和所述記憶體，且載入所述程式碼以執行：決定一參考位置，其中所述參考位置初始化在從一使用者側發出的一射線投射的一末端處；決定一目標位置，其中所述目標位置與所述使用者的所述人體部位一起移動，且所述目標位置不同於所述參考位置；基於所述參考位置和所述目標位置決定所修改位置，其中所述參考位置、所述目標位置以及所述所修改位置位於與所述使用者側平行的同一平面上，且所述所修改位置不同於所述目標位置；以及使用所述所修改位置作為所述游標的一當前位置，其中所述所修改位置表示當前所述射線投射的所述末端的位置。
如請求項13所述的在顯示裝置上示出用於使用者互動的游標的系統，其中所述處理器進一步執行：基於所述目標位置與所述參考位置的一加權關係決定所述所修改位置，其中所述目標位置和所述參考位置的權重的總和為一，且所述目標位置的所述權重不為一。
如請求項14所述的在顯示裝置上示出用於使用者互動的游標的系統，其中所述處理器進一步執行：產生位於所述使用者側處的一原始點，其中形成從所述原始點的原始位置到所述參考位置的一第一向量，且形成從所述原始位置到所述目標位置的一第二向量；基於所述第一向量、所述第二向量以及所述加權關係決定從所述原始位置到所述所修改位置形成的一第三向量，其中基於所述第三向量決定所述所修改位置。
如請求項14所述的在顯示裝置上示出用於使用者互動的游標的系統，其中所述加權關係中的所述目標位置和所述參考位置的所述權重基於所述當前位置的準確性需求而變化。
如請求項14所述的在顯示裝置上示出用於使用者互動的游標的系統，其中所述處理器進一步執行：決定從所述參考位置輻射而出的一容許區域；以及決定所述目標位置是否位於所述容許區域內。
如請求項17所述的在顯示裝置上示出用於使用者互動的游標的系統，其中所述處理器進一步執行：反應於所述目標位置位於所述容許區域內，所述參考位置為固定的。
如請求項18所述的在顯示裝置上示出用於使用者互動的游標的系統，其中所述參考位置的所述權重為一，且所述目標位置的所述權重為零。
如請求項17所述的在顯示裝置上示出用於使用者互動的游標的系統，其中所述處理器進一步執行：反應於所述當前位置並不位於所述容許區域內，將所述參考位置與所述目標位置一起移動，其中所述目標位置與所述參考位置之間存在間距。
如請求項20所述的在顯示裝置上示出用於使用者互動的游標的系統，其中所述間距為固定的。
如請求項20所述的在顯示裝置上示出用於使用者互動的游標的系統，其中所述間距基於所述人體部位的所述動作的速度而變化。
如請求項20所述的在顯示裝置上示出用於使用者互動的游標的系統，其中所述間距與所述參考位置的初始位置與所述容許區域的邊緣之間的距離相同。
如請求項20所述的在顯示裝置上示出用於使用者互動的游標的系統，其中所述間距與所述參考位置的初始位置與所述容許區域的邊緣之間的距離不同。