本案例由數之聯投遞并參與評選,數據猿獨家全網首發。
我國地域廣博,地質、自然條件復雜,是自然災害頻發的國家。近年來,突發災難性事件頻繁發生,嚴重威脅人民的生命和財產安全,同時,也對社會穩定造成了較大影響。因此,加強對突發事件的應急管理,是關系到國家經濟和社會發展全局以及人民群眾生命財產安全的大事。
面臨自然災害頻發、公共安全形勢嚴峻復雜等情況,迫切需要補齊信息化短板,綜合運用5G網絡、大數據、物聯網、云計算、人工智能等新技術,建設具有系統化、扁平化、立體化、智能化、人性化等特征的現代化應急救援系統。
在此背景下,四川省通信管理局、四川省應急管理廳、四川省總工會決定于2019年5月啟動“四川省5G+應急應用職業技能競賽”,該競賽旨在面向社會、企業及個人等廣泛征集5G+應急應用,凝聚全社會的能力與資源,進一步探索5G在監測預警、安全生產、消防防火、應急調度等應急場景潛在需求、業務模式和技術支撐,深入挖掘并孵化一批5G+應急特色應用。
實施時間:
項目啟動——2019年5月17日,四川省通信管理局、四川省應急管理廳、四川省總工會聯合印發川通局聯〔2019〕2號文—“關于舉辦2019年四川省5G+應急應用職業技能競賽的通知”。
選拔賽階段——2019年7月26日前,完成系統研制,并提交參賽方案。經過研判,數之聯決定聯合合作伙伴,采用基于無人機的影像實時拼接產品參賽。
決賽準備階段——2019年8月1日,數之聯參賽方案最終從47個項目中脫穎而出,以賽道第二名的好成績順利進入決賽。
決賽階段——2019年8月30日,數之聯方案—《智聯救援-5G+無人機智能應急救援解決方案》通過決賽答辯,獲得優勝獎。
面臨挑戰
工業無人機在空中搜救、應急救援等應用中具有定位精度高、續航時間長、應急決策快、環境適應性強等突出優勢。但目前在大規模災害救援的情形下,兩種主流的無人機應急監測方式均存在一定缺陷:
1、無人機搭載光電吊艙的方式雖然可以實現對現場態勢的實時直播,但只能獲取局部信息,無法為指揮人員提供災害現場的全局態勢;
2、無人機搭載正射相機的傳統航測方式,一般采用“航空攝影-像片野外控制測量-攝影測量空三加密-模型定向-地形測圖”的作業模式,成圖工序復雜、生產周期長、效率低,并且需要布設大量野外地面控制點,對于森林、山區、河流等無法涉足或找不到合適地面控制點的地區,其應用受到限制,無法真正發揮無人機遙感快速響應、靈活機動的優勢,制約了無人機在應急救援中的應用價值。
此外,目前對無人機影像的判讀也多為事后目視解譯,無法快速自動提取災情信息,同時由于缺少對氣象、地質等環境數據的融合分析,也不利于應急指揮人員開展科學高效的救援決策。
綜上所述,面向滑坡、泥石流、森林火災、洪澇等大型災害的無人機影像實時處理與智能決策分析問題亟待解決。目前基于人工智能的無人機影像實時處理及目標解譯技術還在起步階段,若獲得成功必將為該問題的解決提供直接的方法和技術支撐,為基于無人機的防災減災與應急救援研究提供有效的借鑒,并有望拓寬工業無人機的應用場景,為無人機的產業發展提供重要支撐。
無人機搭載攝像頭實時視頻直播示意圖
傳統無人機航拍與數據處理流程圖
應用場景
系統優勢
“5G+無人機智能應急救援系統”在實時性、適應性與通用性、靈活性三個方面均有明顯的優勢。
實時性
1、數據傳輸的實時性:基于新一代5G蜂窩移動通信網絡,為網聯無人機賦予了實時超高清圖傳、遠程低時延控制、永遠在線等重要能力。
2、數據處理實時性:利用基于AI、計算機視覺、WebGIS等技術的影像實時拼接與快速解譯算法模型,可以將實時回傳的影像數據準實時處理,從而實現從任務下達到決策制定全流程的實時性與自動化。
適應性與通用性
1、無人機平臺適應性:系統采用新一代純電動垂直起降固定翼無人機平臺,可掛載多類任務載荷,同時具有續航時間長(2~6小時)、飛行高度高(可達5000米)、環境適應性強(抵抗6級風)等特點,具有很強的適應性。
2、軟件系統通用性:無人機影像實時拼接系統及智能分析決策系統的輸入數據僅為航拍影像、圖像POS(定位定向)數據以及相機參數,數據格式無特殊要求,所以軟件系統具有多無人機平臺的通用性。
靈活性
1、無人機系統靈活性:系統采用新一代純電動垂直起降固定翼無人機平臺,具備多旋翼無人機垂直起降和定點環繞的優勢及固定翼無人機速度快和航時長的優勢,擁有拆卸組裝快(1分鐘內完成)、運輸攜帶便捷等特點,遇有情況可迅即投入使用。
2、軟件系統部署靈活性:在不同的工作模式下,無人機影像實時拼接及智能分析決策兩個軟件系統既可以部署在計算機硬件中作為無人機地面系統的一部分使用,也可以部署在云平臺中在線進行數據處理與分析。
應用場景
綜上所述,系統具有“態勢感知全域化、數據處理實時化、決策分析智能化”的突出優勢,可廣泛適用于各類應用場景。
●災害應急:地震、滑坡、泥石流、洪水、森林火災等大范圍災害發生時的應急決策與指揮救援。
●國土測繪:對于森林、山區、河流等無法涉足或找不到合適地面控制點的地區,實現測區整體環境的快速勘察,為航線規劃及控制點布設提供依據。
●公共安全:滿足大型會務環境巡邏,突發事件處理,邊境、敏感區域巡邏等需要。
●目標搜尋:助力人員搜救、墜機搜尋、飛機、車輛等目標搜尋工作。
●環境保護:開展秸稈焚燒點搜尋,污染源搜索等工作。
數據支持
由于比賽演示現場的條件限制,不便使用無人機進行現場飛行作業,因此現場演示數據采用2019年6月20日長寧縣雙河鎮(約1.5km)震后的無人機監測數據。無人機監測數據主要包括航拍影像、定位定向數據(Position and Orientation System, POS)以及相機參數三類。
航拍影像
共180張6000*4000分辨率的航測相片(分辨率為3cm),總容量約1.8G,文件格式為JPG。
POS數據
集動態GPS定位技術和慣性導航技術(INS)取于一體的定位定向系統(POS)應用于航空遙感,可以直接得到影像的6個外方位元素,實現直接對地目標定位,打破了傳統航空攝影測量和GPS輔助航空攝影測量必須進行空中三角測量的限制。
POS數據的文件格式為CVS
相機參數
由于每次航拍作業的相機選型存在差異,所以系統支持手動錄入相機參數。相機參數模板如下圖所示:
應用技術/實施過程
技術方案
“2019年四川省5G+應急應用職業技能競賽”的總體技術架構如下圖所示,“5G+無人機智能應急救援系統”主要屬于終端感知層和綜合應用層,其中無人機搜索監測系統為終端感知層產品,無人機影像實時拼接和智能分析決策系統屬于綜合應用層。
5G+應急應用總體技術架構
“5G+無人機智能應急救援系統”的整體業務架構如下圖所示。
5G+無人機智能應急救援系統整體業務架構
工作模式
“5G+無人機智能應急救援系統”的工作模式主要包括三種:
工作模式1:本地處理+5G發布
本模式主要針對重大自然災害發生后基礎網絡嚴重損毀的場景,以軟硬件一體的方式集成在無人機地面系統,在無人機航拍飛行過程中通過微波圖傳鏈路實時傳回航拍影像和POS數據,在本地進行實時的無人機影像拼接和智能決策分析處理,并將分析后的信息通過5G應急通訊網絡進行Web發布,從而實現遠程指揮中心對現場態勢的快速、實時感知。
本地處理+5G發布模式示意圖
工作模式2:云端處理+5G網聯無人機
本模式下,無人機終端和地面控制終端均通過5G網絡進行數據傳輸和控制指令傳輸, 5G網絡的大帶寬、低時延優勢可實現圖像實時回傳至云平臺,通過部署在云端的影像實時拼接與智能決策分析系統開展業務應用,融合AI深度學習能力,快速要素解譯實現多手段的目標鎖定及實時監控。
但本模式比較依賴無人機的新空口5G天線設備,當前相關技術及設備還處于研制初期,5G芯片和5G終端也還沒有到位,大規模的商業應用尚不成熟。
5G網聯無人機模式示意圖
工作模式3:云端處理+5G網聯地面站
本模式下,無人機搜索系統內部的圖像及控制指令傳輸依然使用微波通信鏈路,地面站通過5G通信鏈路(有線/無線)將本地數據實時發送到云端,通過部署在云端的影像實時拼接與智能決策分析系統開展業務應用。
在5G技術的應用初期,本模式是5G+無人機智能應急應用的最佳選擇,利于快速推廣實施。本模式也是本次競賽實際采用的工作模式。
5G網聯無人機地面站模式示意圖
系統組成
“5G+無人機智能應急救援系統”主要由無人機搜索監測系統、影像實時拼接系統和智能分析決策系統組成。下面重點對我公司研制的“無人機影像實時拼接系統”和“智能決策分析系統”進行介紹。
無人機影像實時拼接系統
無人機影像實時拼接系統是我公司獨立研發的全國首套基于固定翼無人機的影像實時拼接軟硬件一體化產品,可在應急現場提供從實時數據采集到數據處理分析的一站式解決方案,實現對現場態勢的實時全域感知,達到“目之所及、圖之所至”的效果。幫助用戶解決了傳統航測中內外業分離、響應周期長等問題,全面提升航測作業效率,可高效應對應急場景下快速響應、高效決策的需求。
智能分析決策系統
智能分析決策系統可自動提取圖像中的災情目標,快速統計如數量、面積等信息;同時,在融合氣象、地質等環境因素后,可輔助專家進行快速、科學的綜合指揮調度。
外部合作
外部合作伙伴主要包括:四川傲勢科技有限公司、中國電信股份有限公司四川分公司、華為技術有限公司、中國鐵塔股份有限公司資陽市分公司、成都新橙北斗智聯有限公司。
1、四川傲勢科技有限公司,負責“無人機搜索救援系統”的設計與建設,具體包括無人機平臺、地面控制站、數據鏈以及多任務載荷四部分,在大系統中屬于感知層產品。
2、中國電信股份有限公司四川分公司,負責提供競賽演示區域和演示現場所需要的5G覆蓋和網絡接入,保證無人機搜索救援系統與無人機數據處理云平臺的數據連接。
3、華為技術有限公司,負責提供華為公有云基礎平臺:網絡、計算、存儲、安全、虛機等公有云IaaS資源,并保證無人機影像實時拼接系統和智能分析決策系統的順利運行。
商業變化
“5G+無人機智能應急救援解決方案”將無人機和5G技術深度融合,結合數之聯自主研發的無人機影像實時拼接系統,將在處理自然災害、事故災難以及社會安全事件等方面發揮出重要作用,為基于無人機的防災減災與應急救援研究提供有效的借鑒,助力我國航空應急救援體系發展,有效推動“5G+無人機”防災應急產業的變革,具有巨大的產業價值。
傳統應急航測方法與基于計算機視覺的智能處理方法比較如下表所示:
備注:表中“性能比較”的數據是基于2019年6月20日長寧縣雙河鎮震后的無人機監測數據測算得到的。
案例提交企業·數之聯:
數之聯科技起航于2012年,由大數據行業領軍人物周濤領銜創立,團隊現有成員220余人。多年來,數之聯致力于成為集數據、算法、應用為一體的大數據產業生態構建者,為合作伙伴提供集頂層設計、元數據治理、分析挖掘、商業智能可視化為一體的大數據全產業鏈服務,助力企業在數字經濟浪潮中快速轉型,贏得市場先機。數之聯已與多家行業標桿企業建立長期合作伙伴關系,并于2018年10月獲得鼎興量子領投,高捷資本、銀杏谷資本、中科科創基金跟投的A+輪融資,本輪融資完成后數之聯市場估值已逾1億美元。