
香港科技大學的研究員Shaojie Shen和Li Chuhao 公布了一項新穎而有趣的創新技術,該技術使用全息增強現實硬件生成實時3D地形圖 ,并使無人機飛行員可以簡單地指出已在任何平面上方可視化的目標,virtualrealitytimes.com報道。
全息界面使用多種技術來進行渲染。為了顯示,Microsoft HoloLens耳機以彩色體素貼圖的形式生成AR內容,可以從任何角度查看。它通過自主無人機的深度攝像頭以及實時位置數據的射線廣播來進行中繼。該系統為操作員提供了實時,高度空間感的環境海拔高度和深度,并且使無人機可以很容易地從第三人稱視角看到并重新定位。
HoloLens頭戴式耳機將命令反饋給無人機,并通過將佩戴者的手勢和注視變為類似點擊的控件來確定其在全息圖內的下一個目標。隨后,自主無人機可以在移動3D地圖的同時更新到新位置。
研究人員發布了一個演示視頻,看起來更像是科幻電影中的東西,尤其是全息方面。但是,由于帶寬限制,無人機只能向增強現實界面提供3D地圖數據,而不能中繼隨附的第一手視頻。
在部署全息無人機控制系統之前,研究團隊還有一段路要走。無人機的數據最初是在室內測試空間中使用Wi-Fi共享的,但對于室外應用,一旦5G網絡超出了其當前的無人機限制階段,就有可能使用低延遲的5G蜂窩連接。
研究人員指出,第一批測試人員經常抱怨“(AR)視野非常有限”。即將推出的HoloLens 2 AR耳機將解決此問題。盡管先前對增強現實硬件不熟悉,但第一組也需要練習以更加精通3D定位,這種情況可能會蔓延到不完善的3D UI或手勢識別中。
但是,3D地圖數據將比真人視頻具有更高的帶寬效率。每秒更新10次時,它可能僅需要272MB數據。實時視頻需要1.39GB的數據才能以每秒30幀的速度傳輸第一人稱視頻圖像。將來,該團隊還旨在為最終用戶的利益合并兩種流類型,以幫助優化數據以滿足網絡的最小帶寬水平。
盡管存在這些初期問題,但全息增強現實系統仍顯示出很大的潛力。除了其新穎的視覺界面外,它還使您只需使用簡單的便攜式獨立增強現實耳機即可方便地控制遠程無人機,而不必依賴于常規且功能齊全的計算機,顯示器和操縱桿。
研究人員計劃在 定于2020年10月25 日至 29日舉行的國際智能機器人和系統會議上展示將AR與自動無人機合并的“第一步” 。