相信關(guān)注我們公眾號(hào)的小伙伴們對(duì)無人機(jī)探測(cè)已經(jīng)不陌生了，前面幾期的文章介紹了一些常用的無人機(jī)探測(cè)方法和基于深度學(xué)習(xí)的無人機(jī)檢測(cè)算法。我們的研究結(jié)果表明，基于視覺外觀信息，即便是目前性能最好的一些深度學(xué)習(xí)算法也很難解決極端情況下的無人機(jī)檢測(cè)這個(gè)難題。那么我們有沒有其他方法來改善這個(gè)問題呢？

基于視覺外觀信息的無人機(jī)檢測(cè)

面臨的問題

基于視覺外觀信息的無人機(jī)檢測(cè)主要不足在于以下幾個(gè)方面。

1）極端天氣情況下的檢測(cè)能力不足。光學(xué)相機(jī)能夠很準(zhǔn)確地識(shí)別無人機(jī)的外觀特征，但是在雨、雪、霧、夜等天氣情況下就無能為力了。

2）對(duì)于小目標(biāo)無人機(jī)的探測(cè)能力不足。無人機(jī)通常重量輕體積小，遠(yuǎn)距離時(shí)無人機(jī)在圖像中的成像尺寸很小?，F(xiàn)有的圖像目標(biāo)檢測(cè)網(wǎng)絡(luò)很難處理這種極小尺寸的目標(biāo)，尤其是在背景比較復(fù)雜的時(shí)候。

3）對(duì)于快速運(yùn)動(dòng)無人機(jī)的探測(cè)能力不足。當(dāng)無人機(jī)快速運(yùn)動(dòng)時(shí)，目標(biāo)在圖像中會(huì)產(chǎn)生運(yùn)動(dòng)模糊，導(dǎo)致基于目標(biāo)外觀特征的深度學(xué)習(xí)方法很難識(shí)別目標(biāo)。

4）復(fù)雜背景下的無人機(jī)探測(cè)能力不足。當(dāng)無人機(jī)位于樹林、城市建筑等復(fù)雜背景時(shí)，無人機(jī)與背景的對(duì)比度下降，僅依靠外觀信息很難發(fā)現(xiàn)目標(biāo)。

小目標(biāo)無人機(jī)[6]

復(fù)雜背景

無人機(jī)快速運(yùn)動(dòng)

極端天氣情況圖1. 基于視覺外觀特征的無人機(jī)檢測(cè)面臨的挑戰(zhàn)（向右滑動(dòng)查看下一張圖片）

綜上，我們知道只依靠外觀特征檢測(cè)無人機(jī)在現(xiàn)實(shí)場(chǎng)景中依然會(huì)面臨很多困難。不過，除了外觀特征外，無人機(jī)區(qū)別于其他物體的另一個(gè)重要特征是運(yùn)動(dòng)模式。大多數(shù)情況下，無人機(jī)會(huì)在三維空間中運(yùn)動(dòng)，這種特殊的運(yùn)動(dòng)模式是無人機(jī)區(qū)別于其他物體的重要線索。

基于運(yùn)動(dòng)信息的無人探測(cè)

當(dāng)無人機(jī)距離較遠(yuǎn)或者背景太復(fù)雜時(shí)，僅僅依靠單張圖片人眼都很難識(shí)別出無人機(jī)。但是通過對(duì)比連續(xù)多幀圖片，無人機(jī)的突然運(yùn)動(dòng)就很容易被識(shí)別出來。現(xiàn)有的基于運(yùn)動(dòng)信息的無人機(jī)檢測(cè)可以分為基于靜止相機(jī)的無人機(jī)檢測(cè)和基于運(yùn)動(dòng)相機(jī)的無人機(jī)檢測(cè)。

基于靜止相機(jī)的無人機(jī)檢測(cè)一般包括運(yùn)動(dòng)區(qū)域檢測(cè)和目標(biāo)分類兩個(gè)步驟。[1,2]通過靜止相機(jī)對(duì)空中進(jìn)行觀測(cè)，先使用背景消減和形態(tài)學(xué)操作得到運(yùn)動(dòng)目標(biāo)區(qū)域，然后使用 CNN網(wǎng)絡(luò)對(duì)目標(biāo)進(jìn)行分類的方法來檢測(cè)無人機(jī)。 

圖2. 基于靜止相機(jī)的運(yùn)動(dòng)無人機(jī)檢測(cè)流程[2]與靜止相機(jī)相比，更具挑戰(zhàn)的是在運(yùn)動(dòng)相機(jī)中檢測(cè)無人機(jī)，因?yàn)橄鄼C(jī)可能面臨大幅度和突然的運(yùn)動(dòng)，目標(biāo)無人機(jī)的形狀和視角也會(huì)有更多變化。Jing[3,4]等人提出了一個(gè)空對(duì)空無人機(jī)檢測(cè)數(shù)據(jù)集，先使用光流和透視變換對(duì)相機(jī)運(yùn)動(dòng)進(jìn)行估計(jì)，然后利用背景消減得到運(yùn)動(dòng)目標(biāo)，接下來使用深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練混合運(yùn)動(dòng)特征和外觀特征的分類器，得到候選無人機(jī)目標(biāo)。最后為了剔除候選無人機(jī)中的假陽性目標(biāo)和減少漏檢情況，作者使用了候選目標(biāo)的時(shí)序運(yùn)動(dòng)特征和卡爾曼濾波跟蹤。

圖3. 基于運(yùn)動(dòng)相機(jī)的運(yùn)動(dòng)無人機(jī)檢測(cè)流程[3]，時(shí)長(zhǎng)00:50視頻：基于運(yùn)動(dòng)相機(jī)的運(yùn)動(dòng)無人機(jī)檢測(cè)[3]

類似的，Rozantsev[5]引入了一個(gè)更具挑戰(zhàn)性的無人機(jī)和固定翼飛機(jī)數(shù)據(jù)集，作者先使用多尺度滑窗方法獲得時(shí)空?qǐng)D片序列, 然后利用CNN回歸器獲得以目標(biāo)為中心的穩(wěn)像時(shí)空?qǐng)D片序列，最后使用CNN網(wǎng)絡(luò)在每個(gè)時(shí)空序列上進(jìn)行分類來檢測(cè)無人機(jī)。更進(jìn)一步，Ashraf[6]提出使用一種兩階段基于分割的方法來提取無人機(jī)的時(shí)空注意力信息。第一階段，基于相互重疊的圖片序列，作者使用金字塔池化在卷積特征圖上獲得詳細(xì)的上下文信息，并引入注意力機(jī)制來優(yōu)化目標(biāo)位置。第二階段，作者使用運(yùn)動(dòng)邊界、目標(biāo)跟蹤、時(shí)空特征提取等方法確認(rèn)檢測(cè)結(jié)果和消除誤檢測(cè)。

上述方法在“空對(duì)空”無人機(jī)檢測(cè)上取得了不錯(cuò)的效果，但存在計(jì)算量過大，難以實(shí)時(shí)運(yùn)行等問題。此外，除了通過對(duì)圖片序列或視頻流進(jìn)行復(fù)雜的處理來識(shí)別運(yùn)動(dòng)無人機(jī)，基于事件相機(jī)等新型傳感器的運(yùn)動(dòng)目標(biāo)檢測(cè)也越來越流行[7]。這些新型傳感器能夠直接識(shí)別運(yùn)動(dòng)目標(biāo)，也為我們的研究帶來了很多新的思路。我們團(tuán)隊(duì)會(huì)在這些研究的基礎(chǔ)上，繼續(xù)推進(jìn)相關(guān)領(lǐng)域的研究，以期未來能夠在機(jī)載移動(dòng)端實(shí)現(xiàn)更加魯棒的無人機(jī)檢測(cè)。

參考文獻(xiàn)

[1] A. Schumann, L. Sommer, J. Klatte, T. Schuchert, and J. Beyerer, “Deepcross-domain flying object classification for robust uav detection,” in 2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS), 2017.

[2] U. Seidaliyeva, D. Akhmetov, L. Ilipbayeva, and E. T. Matson, “Real-time and accurate drone detection in a video with a static background,” Sensors, vol. 20, no. 14, p. 3856, 2020.

[3] Jing Li, Dong Hye Ye, Timothy Chung, Mathias Kolsch, Juan Wachs, and Charles A. Bouman, “Fast and Robust UAV to UAV Detection and Tracking from Video,” to appear in IEEE Transactions on Emerging Topics in Computing.

[4] Jing Li, Dong Hye Ye, Timothy Chung, Mathias Kolsch, Juan Wachs, Charles Bouman, “Multi-target detection and tracking from a single camera in Unmanned Aerial Vehicles (UAVs).” Intelligent Robots and Systems (IROS), 2016.

[5] A. Rozantsev, V. Lepetit, and P. V. Fua, “Detecting flying objects using a single moving camera,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, pp. 879–892, 2017.

[6] M.W.Ashraf, W.Sultani, and M.Shah, “Dogfight: Detecting drones from drones videos,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 7067–7076, 2021.

[7] Sanket, N.J., Singh, C.D., Parameshwara, C., Fermuller, C., Croon, G.D., & Aloimonos, Y. (2021). “EVPropNet: Detecting Drones By Finding Propellers For Mid-Air Landing And Following.” ArXiv, abs/2106.15045.
本文由西湖大學(xué)智能無人系統(tǒng)實(shí)驗(yàn)室博士生郭漢青原創(chuàng)，