高德地圖首席科學家任小楓:視覺智能在高德地圖的應用_相似度

 

 

高德地圖首席科學家任小楓:視覺智能在高德地圖的應用_關鍵幀_02

 

高德地圖首席科學家任小楓:視覺智能在高德地圖的應用_嵌入式硬件_03

 

高德地圖首席科學家任小楓:視覺智能在高德地圖的應用_關鍵幀_04

 

高德地圖首席科學家任小楓:視覺智能在高德地圖的應用_關鍵幀_05

 類比理解

  • DINOv3 就像一位博物學家。他看到一張街景照片會説:“這是一個城市街道,有柏油路、紅磚建築和落葉喬木。” 他看到另一張不同地點的照片,如果語義相似,他也會給出類似的描述。
  • CosPlace 就像一位偵探。他的任務是:“忽略掉現在是冬天還是夏天,忽略掉那輛停着的車的顏色,告訴我這是不是‘主街和第一大道交匯處的東南角’。” 他專注於那些穩定、獨特的細節來精確定位。

2. 對導航任務不同階段的優化

基於上述根本差異,它們在導航流程中的不同階段表現出不同的優勢:

  • 建圖階段(關鍵幀選擇)需要“去冗餘”
  • 目標:在示教過程中,機器人會採集大量連續幀。如果全部保存,地圖會非常臃腫,且連續幀之間信息冗餘度高。
  • DINOv3的優勢:利用其強大的語義理解能力,可以判斷當前幀與上一個關鍵幀的場景語義是否發生了顯著變化。例如,從“人行道”進入“十字路口”,語義變化大,DINOv3的相似度會變低,系統就會將此幀選為新的關鍵幀。但如果只是在同一條人行道上走了10米,場景語義基本不變,DINOv3的相似度會很高,系統就不會保存這冗餘的10米內的幀。
  • 結果:用DINOv3選幀,可以得到一個緊湊、語義化的拓撲地圖,每個關鍵幀都代表一個獨特的場景節點。
  • 導航階段(位置識別)需要“高精度”
  • 目標:在重複階段,機器人需要回答一個非常具體的問題:“我當前看到的地方,對應地圖中的哪個關鍵幀?”
  • CosPlace的優勢:它是專門為這個任務而生的。它對光照變化、季節變化、視角變化、動態物體(如行人、車輛)的干擾有更強的魯棒性。它學習的正是如何排除這些干擾,抓住地點的本質特徵進行匹配。
  • 結果:用CosPlace進行實時匹配,定位精度更高、更穩定,能有效應對現實世界中不可避免的環境變化。

為什麼不能反過來或用同一個模型?

  • 為什麼不用CosPlace選關鍵幀? CosPlace對細微的地點變化過於敏感。在建圖時,它可能會因為光照的輕微波動或一輛車的駛過,就認為是一個新地點,導致生成一個過於密集、包含大量冗餘關鍵幀的地圖,浪費存儲和計算資源。
  • 為什麼不用DINOv3做實時匹配? DINOv3的語義描述符不夠“精確”。它可能會因為兩個地方看起來“像”同一個類型的路口(語義相似),就錯誤地進行匹配,而實際上它們是兩個不同的路口。這會導致機器人“認錯路”,導航失敗。

總結:協同工作的收益

GuideNav的設計體現了深刻的系統工程思想:

  1. 高效建圖:利用DINOv3的語義理解,智能篩選關鍵幀,生成輕量級地圖(~24MB/公里)。
  2. 魯棒導航:利用CosPlace的專業定位能力,確保在變化環境下也能準確找到子目標。
  3. 系統優化:這種分工使得整個系統無需昂貴傳感器,就能在嵌入式硬件(NVIDIA Jetson)上實時運行(5Hz),最終實現公里級的可靠導航。

因此,“DINOv3選幀,CosPlace存儲匹配” 的策略,並非隨意之舉,而是經過深思熟慮後,針對導航任務中“建圖”和“定位”這兩個子問題的不同需求,所選擇的最優技術路徑。它完美地結合了通用基礎模型的語義概括能力和專用模型的精準識別能力。