AR增強現實物體檢測識別技術

AR與VR技術不同，AR不會把用戶同現實世界分離開來，而是要將虛擬物體和信息疊加到真實世界的場景中，起到增強現實體驗的作用。從真實世界出發，采集現實場景中的數據，根據數據對現實場景進行理解，分析場景內容，最后將處理后的信息虛實結合，渲染呈現。中間的場景理解過程，相當于告知系統在哪里對現實場景“增強”，該如何進行“增強”。而場景理解的關鍵在于識別檢測，需要識別檢測出場景中重要的目標和信息。比如用于軍事領域的AR眼鏡，就需要識別出戰場上的人和危險物體，進而標示出潛在的威脅。在AR領域，常見的物體識別檢測任務包括人臉檢測、行人/車輛檢測，生物識別、道路/建筑識別、自然場景識別等。

物體檢測和識別根本上是計算機視覺技術在AR領域的延伸，都是基于對象特征，通過有監督的學習過程達到分類或匹配的目標。根據不同的應用目標具體有兩種方案:一種是基于分類器的檢測識別，即預先將某一類對象的大量樣本數據通過機器學習的方法進行訓練，提取其標志特征，得到分類器。對于要檢測的物體，通過訓練得到分類器在云端或本地計算判斷是否屬于該類對象，并根據結果反饋不斷修正模型，提高分類的精確度。這種方案主要用于類而非個體的識別，比如在汽車輔助駕駛系統中判斷前方的物體是不是汽車或人，而不關心是哪種車或哪個人。而著名的AR應用Blippar可識別生活中的絕大部分日常用品，也采用的是基于分類的技術方案。

圖70:Blippar采用基于分類的識別方案

圖71:InfoEye可精確識別地標建筑

另一種方案是基于最佳匹配的檢測識別，即數據庫中預先保存了對象的標志特征以及標注信息，檢測過程中，通過圖像匹配算法等方法找到最相關的對象，同樣可以通過結果反饋修正算法參數提高精度。這種方案主要用于精確識別環境中的目標，比如搭載于索尼XperiaZ1的InfoEye應用可識別地標性建筑，就需要精確地根據圖像匹配出具體對象，不能僅僅告訴用戶這是一個建筑;或在AR導航系統中，需要準確識別出是否達到目的地，而不能只檢測到周圍是一棟樓房或一個操場。

盡管從原理上看并不高深復雜，但實際上物體識別檢測技術是計算機視覺領域最具挑戰性的工作之一，存在諸多問題亟待解決:1)廣義物體識別。廣義物體識別指任意環境下都能進行物體識別，而現實中存在背景、噪聲、光線、旋轉、姿態等環境因素干擾，識別率受到很大影響;2)特征提取。特征提取是機器學習的共性問題，每一類對象都有其獨有的特征，且特征確定具有較強的主觀性，要把諸多類對象的特征準確提取并一一對應是很困難的工作;3)多標簽問題。多標簽問題是指當環境中存在多個對象時將其全部識別出來，相比于單一對象，計算復雜度、識別率都面臨更嚴峻的挑戰。物體識別檢測也是制約AR推廣的技術難點之一，隨著深度學習相關算法的成熟，已形成一系列有效且可靠的識別算法，但高效率的識別檢測計算還需要在硬件結構上針對深度神經網絡大數據量的并行乘加定制計算模塊。我們認為，基于深度學習的處理器芯片將成為AR眼鏡不可缺少的重要模塊。