【當前獨家】微軟專利提出使用中心鎖定界面在AR環(huán)境中放置注釋的方法

查看引用/信息源請點擊：映維網Nweon

放置虛擬注釋

(資料圖片)

（映維網Nweon?2022年10月21日）AR增強現(xiàn)實可以將虛擬數(shù)字圖形疊加到現(xiàn)實世界視圖，從而生成仿佛虛擬和真實共存的沉浸式技術。例如，疊加虛擬數(shù)字注釋是一種常見的用例，比方說提供茶杯的生產廠商和價格等信息，在視場可視化地圖導航等等。這里的一個問題是，如何放置虛擬注釋。

在名為“Systems and methods for placing annotations in an augmented reality environment using a center-locked interface”的專利申請中，微軟就提出了一種使用中心鎖定界面在增強現(xiàn)實環(huán)境中放置注釋的系統(tǒng)和方法。

傳統(tǒng)技術支持“點擊放置”模式：用戶可以點擊屏幕的任何位置，并在點擊屏幕的位置放置注釋。但在這個過程中，當用戶嘗試放置注釋時，屏幕會被用戶的手指遮擋，從而導致注釋無意中放置在不需要的位置。

對于微軟描述的方法，用戶圖形界面 GUI顯示一個中央GUI元素，所述元素相對于計算機設備顯示環(huán)境中心鎖定。中央GUI元素與中央GUI元素所在環(huán)境的檢測表面共面。注釋可以是三維箭頭。查看環(huán)境時，將向用戶顯示指向中央GUI元素的三維箭頭的預覽。提供用戶輸入后，箭頭將放置在檢測到的表面之上。用戶可以提供額外的輸入，在放置箭頭之前，圍繞中央GUI元素旋轉三維箭頭。

通過以上描述的方式，中央GUI元素可以提供更準確的注釋體驗，因為用戶可以看到注釋的精確位置。

由于專利描述的技術允許在其設備屏幕的中心放置注釋，因此用戶必須移動其設備，以便在其預期位置放置注釋。設備的額外移動會導致設備捕獲更多關于用戶環(huán)境的可視數(shù)據。視覺數(shù)據用于映射用戶環(huán)境，并確定用于檢測用戶環(huán)境中的曲面的特征點。獲得的視覺數(shù)據越多，曲面檢測和注釋放置就越精確。

在一個實施例中，注釋引擎102配置為提供疊加在實時視圖112的GUI 114，使用戶能夠在通過實時視圖112呈現(xiàn)的環(huán)境中放置虛擬的三維注釋，從而提供增強的現(xiàn)實體驗。

三維注釋可以放置在注釋引擎102提供的三維虛擬覆蓋空間116內。三維虛擬覆蓋空間116可以包括覆蓋在實時視圖112的透明層，通過所述透明層，用戶可以在其中的各個位置放置三維注釋。

例如，注釋引擎102可以呈現(xiàn)鎖定在實時視圖112中心的中央GUI元素。當用戶在用戶環(huán)境中移動計算設備100時，中央GUI元素保持鎖定在實時查看112中心。因此，無論通過實時視圖112顯示什么，中央GUI元素都保持在實時視圖112的中心。

根據一個實施例，中央GUI組件可以是圓形十字線。圓形十字線可以包括位于中央的十字線點。十字線點表示注釋可以放置在三維虛擬覆蓋空間116內的位置。根據另一個實施例，中央GUI元素可以包括另一個形狀，例如但不限于矩形、三角形、多邊形等。

在一個實施例中，中央GUI元素可以與在接近實時視圖112中心的環(huán)境中檢測到的表面共面。例如，當用戶在用戶的環(huán)境中移動攝像頭106時，注釋引擎102可以連續(xù)檢測到位于靠近實時視圖112中心的表面。檢測到這樣的表面后，注釋引擎112可以渲染中央GUI元素，使得其與所述表面共面。

注釋是一個三維箭頭。三維箭頭最初可能顯示在三維虛擬空間116中的固定或鎖定位置，而虛擬空間疊加在實時視圖112之上。三維箭頭可能是單向的，其中箭頭指向中央GUI元素的中心。例如，三維箭頭可能指向中央GUI元素的十字線點。

三維箭頭最初可能是半透明，以便用戶可以查看三維箭頭后面的環(huán)境。三維箭頭的大小可以基于檢測到的表面和攝像頭106之間的距離。例如，檢測到的距離越遠，三維箭頭的尺寸越小。相反，檢測到的距離越近，三維箭頭的大小越大。

用戶可以通過提供用戶輸入將三維箭頭放置在檢測到的表面之上。例如，用戶可以通過顯示器108提供觸碰輸入（例如輕觸），這使得三維箭頭錨定到三維虛擬疊加空間116中與檢測到的表面相對應的位置。在放置三維箭頭時，注釋引擎102可以呈現(xiàn)不透明的三維箭頭。

例如，圖2A顯示的圖形界面用于將注釋放置在三維虛擬空間216中的第一個位置。圖2A中顯示了智能手機200的顯示器。

如圖2A所示，智能手機200的顯示器顯示由智能手機200攝像頭檢測到的環(huán)境或場景的實時視圖212。實時視圖121是實時視圖112的示例。攝像頭可以位于智能手機200的一側，與智能手機200顯示器（如圖2A所示）所在的一側相對。

如圖2A中進一步所示，GUI元素202可以在實時視圖212呈現(xiàn)。GUI組件202可以是注釋引擎102提供的GUI 114的一部分（如圖1所示）。

當激活時，GUI元素202可以啟動注釋模式，并允許用戶通過三維虛擬疊加空間216在實時視圖212放置虛擬注釋。三維虛擬重疊空間216是三維虛擬疊加空間116的一個示例，如圖1所示。可以通過通過用戶界面104接收的用戶輸入激活GUI元素202。

圖2B示出了根據示例實施例激活注釋模式時通過智能手機200顯示的圖形界面。如圖2B所示，響應于激活GUI元素202，注釋引擎102在三維虛擬疊加空間216中渲染中央GUI元素204。中央GUI元素205在實況視圖212的中心渲染并保持鎖定。

如圖2B所示，注釋引擎02渲染位于中央GUI元素206中的十字線點206。如圖2B所示，中央GUI元素204和十字線點206都與實時視圖212中的注釋引擎102檢測到的表面208共面。

如圖2B所示，注釋引擎102在三維虛擬疊加空間216中的第一位置呈現(xiàn)三維箭頭210。三維箭頭210指向中央GUI元素204的中心。在圖2B所示的示例中，中央GUI元素205的中心包括十字線點206。相應地，三維箭頭210朝向十字線點208。如圖2B中所示，三維箭頭210為半透明。因此，用戶可以看到三維箭頭210后面的對象。

如圖2C和2D所示，當用戶移動攝像頭106并將攝像頭106指向環(huán)境中的其他對象時，中央GUI元素206、十字線點208和三維箭頭210相對于實時視圖212保持中心鎖定。在圖中所示的示例中，用戶正在向右平移攝像頭106。

如圖2C所示，中央GUI元素204和十字線點206現(xiàn)在位于檢測到的表面218上方，所述表面與圖2B中的表面208具有不同的平面方向/角度。因此，生成中央GUI元素204和十字線點206，以相對于表面218共面顯示。

如圖2D所示，中央GUI元素204和十字線點206顯示在檢測到的表面220上方，所述表面與圖2C的表面218具有不同的平面方向/角度。因此，生成中央GUI元素204和十字線點206，以相對于表面220共面顯示。

放置三維箭頭后，注釋引擎102可以呈現(xiàn)另一個三維箭頭，所述箭頭最初顯示在三維虛擬空間216中的固定位置，疊加在實時視圖212，并且指向中央GUI元素的中心。這樣，用戶就可以在實時視圖212所表示的環(huán)境中放置另一個三維箭頭。

當用戶在用戶的環(huán)境中移動攝像頭106時，用戶放置的第一個三維箭頭依然錨定在通過三維虛擬疊加空間216放置第一個三維箭標的表面之上。另外，第一三維箭頭的大小和/或第一三維箭頭顯示的角度可以根據第一三維箭頭錨定到的表面和通過實時視圖212查看表面的角度之間的距離而變化。

相關專利：

Microsoft Patent | Systems and methods for placing annotations in an augmented reality environment using a center-locked interface

https://patent.nweon.com/25083

名為“Systems and methods for placing annotations in an augmented reality environment using a center-locked interface”的微軟專利申請最初在2021年3月提交，并在日前由美國專利商標局公布。

關鍵詞： 微軟專利提出使用中心鎖定界面在AR環(huán)境中放置注釋的方法