可以看到,啟動慧拍功能后,Mavic Air化身成為用戶的隨行攝影師,不僅能夠跟隨用戶運動而運動,還能夠理解用戶的手勢來調整拍攝角度、拍攝距離和進行拍攝動作。起飛,跟隨,控制,拍攝,降落整個過程一氣呵成,在完全脫離遙控器的情況下,用戶依然可以對Mavic Air進行靈活的操控。
根據實際評測使用中可以發現,啟動慧拍模式后,通過手掌自如地控制6米外的Mavic Air進行飛行和拍攝,如同實現了Phantom X中隔空操縱無人機,可謂相當酷炫。另外,慧拍,或許會是熱愛戶外運動的用戶的福音——在進行跑步、踢球、騎車、攀巖、滑雪等運動的時候,往往不太方便使用遙控器來操作無人機對自己進行拍攝。而在這些場景下啟動慧拍功能,這個問題就能夠在較大程度上得到解決。
PhantomX概念片中,神盾局特工主演汪可盈手勢操縱無人機飛行
「慧拍」背后的技術
Mavic Air慧拍這一功能背后,是大疆在無人機自主飛行技術上的創新和突破。這涉及到多個學科、多個層面的深入技術積累和錘煉。具體來說,包括物體檢測和跟蹤、手部手勢識別與跟蹤、肢體手勢識別、多傳感器融合定位、深度圖測距與建圖、路徑規劃、以及控制等技術,并且克服各個單點技術的缺陷,將它們有機地整合在一起。應該說,慧拍背后的技術,是大疆在計算機視覺、人工智能、機器人這顆技術樹上,點的最為全面的一次。
物體檢測與跟蹤
物體檢測,指的是找到畫面中的感興趣物體(比如行人、車輛、船只等)并框出來。目前采用的主流算法框架大都基于Faster R-CNN[1]。
物體跟蹤,指的是用戶選擇了要跟蹤的物體后,如果該物體以后移動了、姿態變化了,依然能夠將其找到并框出來。其中GOTURN[2]算法能夠達到每秒100幀以上的處理速度。
手部手勢識別與跟蹤
一般常說的手勢識別其實有兩種,一種是更關注于手部(手掌、手指關節),比如Deep Hand[3]可以識別用戶是否張開手掌,比yeah;另外一種是則更關注于肢體與手臂的相對位置,比如類似CPM[4]可以識別用戶平舉雙手、抬起單手等。從慧拍的實現方式上推測,或許是同時兼顧了上述兩種技術。另外,手勢跟蹤能夠利用上時序信息,將手勢識別的結果變得更加穩定、可靠。
多傳感器融合定位
Mavic Air上具有視覺、IMU、TOF等多種傳感器,使用VIO技術進行融合后,能夠構成足夠的冗余,當單一傳感器失效的時候,依然能夠較好地估計自己的姿態和位置。
深度圖測距與建圖
深度圖的產生方法有多種,比如可以通過TOF傳感器直接得到,也可以通過雙目立體視覺來計算得到,得到深度圖后,無人機能夠知道環境中各物體距離自身的遠近,再配合多傳感器融合定位,能夠建立三維地圖,供后續避障或者軌跡規劃使用。
軌跡規劃
軌跡規劃,指的是用戶指定某個目標地點,無人機需要結合自身定位和建好的地圖,推算出一條通往目標地點的軌跡,為了最優化路徑以及后續控制上的平滑,需要考慮滿足某些約束,比如考慮了最小化速度的導數等。
無人機控制
在軌跡規劃之后,需要通過控制算法改變無人機的飛行姿態,從而完成既定的軌跡,這部分常用的算法是PID控制算法。
在上述算法中,有不少算法需要耗費巨大的計算資源,比如物體檢測與跟蹤、手部和肢體的姿勢識別等。能在Mavic Air緊湊的機身里面濃縮集成如此高密度和高計算強度的算法,并有機整合成慧拍功能,反映出來大疆在各個相關領域的深入積累。
「空中的L3自動駕駛」——Mavic Air
大家可能會疑惑,Mavic Air又不是無人車,為何可以說是“自動駕駛”呢?其實,無人機與無人車雖然一個在天上飛,一個在地上跑,在動力系統、控制系統、硬件平臺上確實需要因地制宜。但另一方面,這兩者的內核都是要實現“無人”二字,即智能化程度要足夠高。而在無人機上的智能化,稱為自主飛行,在無人車上的智能化,稱為自動駕駛。
自動駕駛的等級一般劃分為L0~L5。L0為完全受控駕駛,即完全靠人類來駕駛;L1為駕駛輔助,一般我們常說的“ADAS”屬于這個級別,能夠具有前向碰撞提醒、車道線偏離預警等功能,具有一定的安全提醒功能;L2稱為部分自動駕駛,特斯拉使用的AutoPilot系統屬于這個級別,提供了自主巡航功能,能夠在較為簡單的路況下自動駕駛,但需要司機緊握方向盤以準備隨時接管;L3是有條件的自動駕駛,預計在今年4月開售的全新奧迪A8宣稱它是首款實現了L3的量產車型,在限速60公里的條件下,能夠在較為復雜的路況下進行自動駕駛,并允許司機雙手離開方向盤。L4與L5由于目前沒有對應的量產車型,不在這里展開。
仿照自動駕駛的分級,可以給出自主飛行的分級,如下表所示:
在表格中可以看到,啟動了慧拍功能的Mavic Air,在諸多核心技術加持下,已經能夠達到L3的自主飛行。它在特定的場景下脫離遙控器使用,可類比于在L3的自動駕駛中允許司機的雙手離開方向盤。
可以說,大疆從來沒有停止過在計算機視覺、人工智能、機器人等的技術的探索,而這些技術構成了大疆最為核心的競爭力,足以在Mavic Air上支撐起了一整套“空中自動駕駛”的解決方案——慧拍。