AR增強現實注冊跟蹤技術實現跟蹤定位

注冊跟蹤是增強現實的核心技術。注冊跟蹤的目的是判斷用戶所處的位置并確定添加虛擬內容在攝像機坐標下的位置。比如說，在AR輔助導航中如果想把導航箭頭“貼在”路面上，就一定要知道路面相對于自身的位置，進而將“箭頭”進行三維變換使之與真實的路面合二為一。當然，前提是需要利用物體檢測識別技術從二維圖像中尋找符合路面特征的物體。隨著計算能力的提升，注冊技術從早期將已知的二維marker放置在空間中進行位置標定，演進到在陌生環境中依靠視覺算法實現自身定位并重建環境地圖。

于認知計算

目前跟蹤定位技術的主流研究方向是SLAM(即時定位與地圖構建)，該技術根據攝像頭、慣性傳感器捕獲的視覺/運動信息，在計算自身位置的同時構建關于空間的全局地圖。SLAM技術在三十年前就已誕生，而近幾年無人車、VR/AR以及無人機等領域的火爆將SLAM技術推上風口。在SLAM算法中從二維圖片到三維空間的映射需要深度信息，解決方案包括基于雙目攝像頭的立體幾何計算以及RGB-D相機(即Kinect)的結構光方法，目前主流算法包括AndrewDavison教授等人提出的KinectFusion算法以及基于三維點云的DTAM等算法。受制于計算量，AR中應用的主要是基于稀疏點的視覺SLAM，其步驟包括圖像捕獲-特征點提取-與全局地圖比對-位姿計算-地圖更新。

圖67:SLAM技術對空間場景進行三維重建

SLAM的工作原理是:伴隨用戶在空間中的運動，可以觀察到一些相同特征點在不同時間點的三維坐標，根據坐標逆變換原理計算用戶在空間所處位置、運動軌跡，并將這些特征點作為空間場景的結構化信息存儲起來成為全局地圖。注意，這些特征點可能來自墻角、桌角等關鍵結構，隨著用戶的移動范圍擴大，全局地圖包含的場景信息愈發豐富，最終成為用戶對環境的全面感知。基于RGB-D相機的稠密深度圖與基于稀疏點的SLAM其區別在于所構建的三維地圖場景包含的信息量。RGB-D相機可以完全的構畫出場景輪廓與深度信息，稠密的點云能直接用于避障;而基于稀疏點的場景地圖則需要通過計算機技術進行聯結與抽象，輔以機器學習技術判斷出前方有障礙物，并識別出它是一面墻亦或一張桌子。在增強現實中，虛擬物體與空間場景中的坐標成一一映射關系，SLAM得出的位置信息幫助我們判斷圖像渲染的視角，對空間場景的理解使得影像投射符合物理規律(例如全局地圖顯示前方有大量障礙物，一個虛擬的地球儀不應出現在障礙物內部)。

截至目前所推出的AR/MR硬件或解決方案都采用了SLAM作為注冊跟蹤技術。微軟發布的HoloLens頭顯配備了四臺攝像頭，可以實時計算空間深度圖，進而通過其擁有的KinectFusion專利技術(本質上是基于Kinect深度圖的SLAM技術)實現精準的位置定位與跟蹤，為了應對SLAM中復雜的計算量，微軟不惜花費重金引入ASIC(專用集成電路)實現硬件加速。剛剛過去的6月聯想發布了與谷歌聯合開發的Phab2Pro手機，基于Tango的SLAM技術，該手機配備的深度攝像頭和動作追蹤攝像頭能夠對現實空間進行三維建模，為各類AR體驗奠定了硬件基礎。MagicLeap同樣借助基于視覺的稀疏點SLAM解決定位與環境感知問題。而蘋果在今年五月收購了MetaioAR，該公司早已將SLAM技術集成在其AR開發引擎中，這也意味著市面上開發的App大多借助SLAM技術提升AR體驗。

圖68:HoloLens基于SLAM將物體呈現在特定區域

圖69:Phab2Pro手機基于SLAM實現AR體驗

SLAM應用于AR領域是大勢所趨，然而現存的問題也不可忽視:1)AR終極目的是欺騙人眼，因而對局部計算精度要求苛刻，SLAM所恢復出的位置信息應避免漂移、抖動，這樣疊加的虛擬物體才能與真實場景完美融合，因此多源的信息融合技術與抖動處理有待進一步優化;2)SLAM中復雜的計算量將對移動AR設備續航提出挑戰，從算法角度精簡計算復雜度，借助異構計算平臺實現并行計算甚至定制芯片級解決方案都是可行之道。