摘要

為了防止無人機(jī)威脅公共安全，反無人機(jī)目標(biāo)跟蹤已成為工業(yè)和軍事應(yīng)用中的關(guān)鍵問題。然而，由于場(chǎng)景復(fù)雜且目標(biāo)通常較小，因此穩(wěn)定地跟蹤無人機(jī)目標(biāo)仍然是一個(gè)具有挑戰(zhàn)性的問題。在本文中，提出了一種由Siamese網(wǎng)絡(luò)和重新檢測(cè)(SiamAD)組成的新型長(zhǎng)期跟蹤架構(gòu)，以有效地在不同環(huán)境中定位無人機(jī)目標(biāo)。具體來說，利用一種新的混合注意力機(jī)制模塊來進(jìn)行更具區(qū)分性的特征表示，并將其整合到連體網(wǎng)絡(luò)中。同時(shí)，基于注意力的連體網(wǎng)絡(luò)融合了多級(jí)特征，以準(zhǔn)確跟蹤目標(biāo)。我們進(jìn)一步引入了用于檢查目標(biāo)可靠性的分層鑒別器，并使用基于鑒別器的重新檢測(cè)網(wǎng)絡(luò)來糾正跟蹤失敗。為了有效地趕上無人機(jī)的外觀變化，在長(zhǎng)期跟蹤任務(wù)中開發(fā)了模板更新策略。我們的模型在反無人機(jī)基準(zhǔn)測(cè)試中超越了許多最先進(jìn)的模型。特別是，與強(qiáng)基線SiamRPN++相比，該方法在成功率和準(zhǔn)確率上分別提高了13.7%和16.5%。

一、簡(jiǎn)介

　　由于高效和低成本的顯著優(yōu)勢(shì)，無人機(jī)在軍事、交通、物流和安全等各種應(yīng)用中獲得了新的關(guān)注。然而，無人機(jī)的非法和無規(guī)范使用也帶來了擾民民航、侵犯隱私等諸多潛在危害，可能對(duì)公共安全造成極大威脅。此外，很難對(duì)無人機(jī)進(jìn)行有效和嚴(yán)格的監(jiān)管。這種安全威脅使得反無人機(jī)系統(tǒng)成為必要。

　　目標(biāo)跟蹤是構(gòu)建反無人機(jī)系統(tǒng)的前提。使用計(jì)算機(jī)視覺算法是監(jiān)控?zé)o人機(jī)的一種現(xiàn)實(shí)解決方案，因?yàn)橐曨l圖像信號(hào)敏感、準(zhǔn)確且抗干擾。具體來說，視覺跟蹤是計(jì)算機(jī)視覺的基本任務(wù)之一。給定第一幀中對(duì)象的初始模板，跟蹤的目標(biāo)是準(zhǔn)確識(shí)別和定位連續(xù)幀中的對(duì)象。在無人機(jī)視覺目標(biāo)跟蹤的情況下，視頻場(chǎng)景復(fù)雜多變，要跟蹤的目標(biāo)小且外觀不明顯。這導(dǎo)致跟蹤器面臨許多挑戰(zhàn)，例如變形、遮擋、目標(biāo)移出視野和快速運(yùn)動(dòng)。因此，準(zhǔn)確跟蹤無人機(jī)目標(biāo)是一個(gè)必須解決的具有挑戰(zhàn)性的問題。

　　根據(jù)無人機(jī)視頻的特點(diǎn)，反無人機(jī)跟蹤可視為一項(xiàng)長(zhǎng)期跟蹤任務(wù)。從長(zhǎng)遠(yuǎn)來看，最重要的特征是跟蹤序列中的目標(biāo)可以被完全遮擋或超出視野。近年來，已經(jīng)進(jìn)行了許多嘗試來提高無人機(jī)場(chǎng)景中的性能。基于相關(guān)濾波(CF)或深度學(xué)習(xí)(DL)的傳統(tǒng)跟蹤方法已被廣泛使用。然而，模型學(xué)習(xí)能力不足或?qū)崟r(shí)性受限等不足限制了這些方法的應(yīng)用。

　　最近，基于連體網(wǎng)絡(luò)的跟蹤器取得了重大進(jìn)展，將對(duì)象跟蹤視為匹配問題。Siamese網(wǎng)絡(luò)的核心思想是學(xué)習(xí)目標(biāo)模板和搜索區(qū)域之間的一般相似性映射。這樣，跟蹤問題就可以轉(zhuǎn)化為搜索區(qū)域和目標(biāo)的相似度計(jì)算。Siamese trackers通常采用端到端訓(xùn)練的全卷積網(wǎng)絡(luò)，在準(zhǔn)確度和實(shí)時(shí)性上都取得了突出的表現(xiàn)。SiamFC是一項(xiàng)開創(chuàng)性的工作，于2016年提出并達(dá)到了58 fps的高幀率。CFNet集成了相關(guān)過濾(CF)和Siamese網(wǎng)絡(luò)，其中相關(guān)過濾被構(gòu)建為子網(wǎng)絡(luò)層。暹羅RPN介紹了基于SiamFC的區(qū)域提議網(wǎng)絡(luò)(RPN)。然而，基于連體的模型是完全離線訓(xùn)練的，模板不能在線更新，這讓他們很難趕上外觀變化。此外，盡管研究人員提出了許多模板建立和更新的方法，但這些方法僅基于目標(biāo)生成特征圖。正負(fù)樣本之間的上下文信息被完全丟棄，而一些背景特征有利于將目標(biāo)與類似干擾區(qū)分開來。即使是現(xiàn)在，在實(shí)際跟蹤場(chǎng)景中實(shí)現(xiàn)高質(zhì)量的性能仍然具有挑戰(zhàn)性。

　　長(zhǎng)期跟蹤是一項(xiàng)更復(fù)雜的任務(wù)。當(dāng)對(duì)象被嚴(yán)重遮擋甚至看不見時(shí)，跟蹤結(jié)果可能會(huì)退化為不可靠。因此，在這種情況下，檢測(cè)跟蹤和重新檢測(cè)方法變得必不可少。在設(shè)計(jì)重新檢測(cè)方法時(shí)有兩個(gè)關(guān)鍵問題：如何評(píng)估跟蹤結(jié)果的可靠性以及何時(shí)選擇更好的結(jié)果來代替原來的結(jié)果。許多長(zhǎng)期跟蹤器將相關(guān)濾波與圖像檢測(cè)方法相結(jié)合，并根據(jù)CF生成的響應(yīng)圖直接構(gòu)建跟蹤可靠性的評(píng)估標(biāo)準(zhǔn)。以前， 提出了一種使用基于連體網(wǎng)絡(luò)的全局搜索策略的檢測(cè)模塊。上述長(zhǎng)期跟蹤方法在實(shí)際應(yīng)用中更加穩(wěn)健。然而，在每一幀進(jìn)行檢測(cè)是一項(xiàng)相當(dāng)昂貴的操作。準(zhǔn)確識(shí)別跟蹤器是否出現(xiàn)故障是一個(gè)至關(guān)重要的問題;這決定了檢測(cè)算法是否可以正確激活。目前，許多方法僅基于具有手工特征的相關(guān)濾波器設(shè)計(jì)可靠性估計(jì)，未能充分利用深度學(xué)習(xí)在特征表示能力方面的優(yōu)勢(shì)。

　　受上述分析的啟發(fā)，提出了一種由Siamese網(wǎng)絡(luò)和配置了混合注意力機(jī)制和分層判別器的重新檢測(cè)模塊組成的反無人機(jī)長(zhǎng)期目標(biāo)跟蹤方法。具體來說，混合注意力模塊被訓(xùn)練以增強(qiáng)連體網(wǎng)絡(luò)的特征學(xué)習(xí)能力，以生成更具辨別力的對(duì)象表示。此外，為了解決長(zhǎng)期跟蹤中無人機(jī)目標(biāo)的重新定位和模板更新問題，我們利用層次判別器根據(jù)連體網(wǎng)絡(luò)的輸出生成目標(biāo)定位的響應(yīng)圖，并制定可靠性標(biāo)準(zhǔn)評(píng)估響應(yīng)圖的可信度。當(dāng)輸出結(jié)果表明置信度低時(shí)，算法激活重新檢測(cè)模塊并更新模板。

　　這項(xiàng)工作的主要貢獻(xiàn)總結(jié)如下：

　　(1) 引入多重混合注意力機(jī)制(MHAM)來聯(lián)合計(jì)算通道-空間注意力和自注意力，不僅可以增強(qiáng)相互依賴的通道特征和空間特征，而且可以捕獲目標(biāo)和目標(biāo)之間豐富的上下文相互依賴關(guān)系無人機(jī)跟蹤任務(wù)的背景。

　　(2)采用層次判別器(HDC)來估計(jì)跟蹤和重檢測(cè)結(jié)果的可信度，并作為檢測(cè)器和模板更新的觸發(fā)器。我們應(yīng)用檢測(cè)器和更新器來構(gòu)建一個(gè)模塊化框架來處理定位和漂移跟蹤失敗。

　　(3) 所提出的方法在反無人機(jī)基準(zhǔn)上優(yōu)于最先進(jìn)的方法。與 SiamRPN++相比，我們的框架實(shí)現(xiàn)了13.7% 的距離精度和16.5%的重疊精度，并實(shí)現(xiàn)了對(duì)其他SOTA跟蹤器的性能提升(超過5%)。

二、相關(guān)工作

　　在本節(jié)中，我們將簡(jiǎn)要討論一些經(jīng)典的相關(guān)方法，包括相關(guān)跟蹤、基于連體的跟蹤和長(zhǎng)期跟蹤。

　　2.1相關(guān)性跟蹤

　　近年來，目標(biāo)跟蹤逐漸成為計(jì)算機(jī)視覺領(lǐng)域的熱門話題，隨著目標(biāo)跟蹤技術(shù)的發(fā)展，相關(guān)濾波和Siamese網(wǎng)絡(luò)受到廣泛關(guān)注?；谙嚓P(guān)濾波器的方法通過將時(shí)域下的復(fù)雜計(jì)算轉(zhuǎn)換為頻域來顯著降低計(jì)算復(fù)雜度。將相關(guān)濾波器引入到目標(biāo)跟蹤算法中，并首次提出了MOSSE。提出CSK用循環(huán)采樣代替密集采樣，并通過對(duì)循環(huán)移位矩陣的傅里葉變換進(jìn)行對(duì)角化，提高了嶺回歸運(yùn)算的速度。通過將單通道CSK跟蹤器擴(kuò)展到多個(gè)通道來利用KCF。

　　然而，傳統(tǒng)的基于相關(guān)濾波器的方法主要采用手工制作的特征，這將它們的性能限制在更廣泛的應(yīng)用中。鑒于深度神經(jīng)網(wǎng)絡(luò)的高效特征表示能力，融合深度學(xué)習(xí)和相關(guān)濾波器引起了越來越多的關(guān)注。但是，在復(fù)雜場(chǎng)景下，它們?nèi)匀淮嬖诰鹊突蛩俣嚷膯栴}。

　　2.2基于連體的跟蹤

　　在過去的幾年里，由于其卓越的精度和速度，許多作品開始關(guān)注基于連體的追蹤器。提出了SimFC，它采用了互相關(guān)到一個(gè)完全卷積的Siamese網(wǎng)絡(luò)，并且該網(wǎng)絡(luò)是端到端訓(xùn)練的，并且能夠?qū)崟r(shí)推理。在模板分支中引入了相關(guān)過濾層，并針對(duì)翻譯生成了一個(gè)魯棒的特征圖。受Faster R-CNN的啟發(fā)，通過將RPN模塊應(yīng)用于對(duì)象跟蹤任務(wù)來展示SiamRPN。暹羅RPN將單目標(biāo)跟蹤視為一次性檢測(cè)。與SiamFC相比，它避免了多尺度特征圖的重復(fù)計(jì)算，顯著提高了尺度估計(jì)精度。在SiamRPN的基礎(chǔ)上提出了DaSiamRPN，通過數(shù)據(jù)增強(qiáng)來改善正負(fù)樣本之間的不平衡。實(shí)驗(yàn)結(jié)果表明，長(zhǎng)期跟蹤有明顯改善。為了突破淺層骨干網(wǎng)絡(luò)的限制，SiamDW和SiamRPN++采用了更深的特征提取網(wǎng)絡(luò)(ResNet50)。受到SiamRPN++成功的鼓舞，許多先進(jìn)的模型被提出。暹羅利用了無錨連體網(wǎng)絡(luò)。SiamMask將圖像分割引入基于連體的跟蹤器。然而，對(duì)于連體模型，跟蹤模板更新對(duì)于避免被干擾干擾是決定性的。最近的模型已經(jīng)開發(fā)出各種模板更新策略來解決由目標(biāo)外觀變化引起的問題。常見的解決方案是使用歷史跟蹤結(jié)果進(jìn)行加權(quán)融合。然而，對(duì)于連體跟蹤器，在具有挑戰(zhàn)性的現(xiàn)實(shí)場(chǎng)景中仍然無法獲得高質(zhì)量的性能。

　　2.3長(zhǎng)期跟蹤

　　長(zhǎng)期跟蹤是指在相對(duì)較長(zhǎng)的視頻序列中連續(xù)定位任意目標(biāo)的任務(wù)。由于目標(biāo)可能會(huì)暫時(shí)消失，關(guān)鍵問題是在一段時(shí)間不存在或跟蹤失敗后檢索目標(biāo)。因此，長(zhǎng)期跟蹤在實(shí)際應(yīng)用中具有更大的潛力。TLD將任務(wù)分解為三個(gè)階段：跟蹤、學(xué)習(xí)和檢測(cè)。在跟蹤失敗時(shí)，檢測(cè)模塊被激活以重新定位丟失的目標(biāo)。MUSTer由短期和長(zhǎng)期記憶子網(wǎng)組成。具體來說，利用集成相關(guān)濾波器作為短期跟蹤器，并采用長(zhǎng)期存儲(chǔ)來控制短期記憶。然而，必須缺乏跟蹤狀態(tài)可靠性的評(píng)估機(jī)制，每幀觸發(fā)重新檢測(cè)。LCT訓(xùn)練了一個(gè)基于DCF的跟蹤器來估計(jì)目標(biāo)位置和規(guī)模的變化，并提出了一個(gè)在線隨機(jī)蕨類植物檢測(cè)器來重新檢測(cè)丟失的目標(biāo)。開發(fā)了一種基于DCF的長(zhǎng)期跟蹤方法，該方法由檢測(cè)跟蹤和重新檢測(cè)模塊組成。

　　隨著深度學(xué)習(xí)的快速發(fā)展，許多基于深度學(xué)習(xí)的長(zhǎng)期跟蹤器被提出。SPLT和MBMD采用基于連體的跟蹤器作為回歸網(wǎng)絡(luò)。LTMU提出了一種結(jié)合SiamMASK和MDNet的短期跟蹤器，并將跟蹤結(jié)果的序列信息輸入長(zhǎng)短期記憶(LSTM)以決定是否重新檢測(cè)或更新。受到SiamRPN框架、GlobalTrack的啟發(fā)采用全局搜索策略進(jìn)行長(zhǎng)期跟蹤。然而，長(zhǎng)期反無人機(jī)跟蹤器的模型更新策略和重新檢測(cè)方法仍然相對(duì)簡(jiǎn)單。同時(shí)，很少有工作專注于固定注意力分布以獲得更強(qiáng)大的語(yǔ)義特征。在這項(xiàng)工作中，我們提出了一種混合注意力機(jī)制來進(jìn)行更具區(qū)分性的特征表示?；赟iamRPN提出了分層判別器，用于長(zhǎng)期跟蹤任務(wù)中的重新檢測(cè)和模板更新。

三、實(shí)驗(yàn)

　　3.1基準(zhǔn)

　　作為動(dòng)態(tài)環(huán)境中的高質(zhì)量基準(zhǔn)，反無人機(jī)數(shù)據(jù)集是在CVPR 2020的第一屆反無人機(jī)挑戰(zhàn)國(guó)際研討會(huì)上提出的。它由300多個(gè)視頻對(duì)(RGB和紅外)組成，并標(biāo)注了超過580k的邊界框，跨越了多次出現(xiàn)的多尺度無人機(jī)(即大型、 small and tiny)，主要來自DJI和Parrot，以保證數(shù)據(jù)的多樣性。總共有318個(gè)視頻對(duì)，其中160個(gè)被劃分為訓(xùn)練集，91個(gè)被分配給測(cè)試集，其余的被用作驗(yàn)證集。錄制的視頻包括兩種光照條件(白天和夜晚)，兩種光照模式(紅外和可見光)，以及不同的背景(建筑物、云層、樹木等);當(dāng)天拍攝的視頻片段較多。每個(gè)視頻都存儲(chǔ)在一個(gè)幀速率為25 FPS的MP4文件中。具體來說，反無人機(jī)設(shè)置了一系列挑戰(zhàn)，包括視野外、遮擋、快速運(yùn)動(dòng)、尺度變化、低照度、熱交叉和低分辨率。Anti-UAV是第一個(gè)構(gòu)建的用于捕捉社區(qū)真實(shí)動(dòng)態(tài)場(chǎng)景的反無人機(jī)基準(zhǔn)。越來越多的工作開始在具有挑戰(zhàn)性的數(shù)據(jù)集上執(zhí)行。

　　3.2. 實(shí)施細(xì)節(jié)

　　在訓(xùn)練階段，SiamRPN和YOLOv5網(wǎng)絡(luò)進(jìn)行離線訓(xùn)練。在訓(xùn)練SiamRPN時(shí)，采用三階段學(xué)習(xí)策略。Siamese網(wǎng)絡(luò)首先在YouTube-BoundingBoxes、ImageNet VID、ImageNet和COCO數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練。然后固定主干的參數(shù)，并在基礎(chǔ)結(jié)構(gòu)中引入混合注意力模塊。接下來，通過Anti-UAV重新訓(xùn)練混合注意力模塊和RPN訓(xùn)練子集。最后，整個(gè)網(wǎng)絡(luò)在Anti-UAV 上進(jìn)行端到端訓(xùn)練以優(yōu)化參數(shù)。在YOLOv5的訓(xùn)練階段，只采用反無人機(jī)訓(xùn)練集，因?yàn)闄z測(cè)算法只需要區(qū)分前景和背景。該網(wǎng)絡(luò)通過隨機(jī)梯度下降法(SGD)進(jìn)行訓(xùn)練。所提出的算法在反無人機(jī)測(cè)試子集上進(jìn)行評(píng)估，該子集包含91個(gè)RGB視頻。我們的算法與最近的9個(gè)SOTA跟蹤器進(jìn)行了比較：MDNet、SiamDW、SiamFC、SiamRPN、SiamRPN++、TransT、SiamCAR、SiamRPN++LT和CLNet。引入了兩個(gè)指標(biāo)來評(píng)估所有方法的性能：20像素閾值處的距離精度(DP)、成功圖的曲線下面積(AUC)。精度圖中的分?jǐn)?shù)被定義為中心位置誤差小于預(yù)定義閾值的幀的百分比。同時(shí)，成功圖中的分?jǐn)?shù)表示跟蹤區(qū)域和邊界幀的重疊率大于閾值的幀的百分比。在訓(xùn)練和測(cè)試階段，我們使用127像素的相同大小的補(bǔ)丁作為模板，使用255像素的補(bǔ)丁作為搜索區(qū)域。至于可靠性鑒別器，○s設(shè)置為0.8和○一個(gè)設(shè)置為0.35。所提出的框架在Pytorch中實(shí)現(xiàn)，并在NVIDIA GTX 3090 GPU上進(jìn)行了實(shí)驗(yàn)。

　　3.3與SOTA跟蹤器的比較

　　我們利用One-Pass-Evaluation (OPE)來評(píng)估我們的反無人機(jī)長(zhǎng)期跟蹤框架的有效性，并在反無人機(jī)基準(zhǔn)上與其他SOTA跟蹤器進(jìn)行比較。成功圖和距離精度圖的結(jié)果如圖8所示。其閾值為20像素的距離精度(DP)、閾值為0.5的重疊精度(OP)如表1所示。在這些跟蹤器中，我們的SiamAD在AUC(67.7%)和DP(88.4%)方面取得了最好的結(jié)果。與第二名的 SiamRPN++LT相比，SiamAD在AUC和DP上分別提高了7.3%和9.0%。此外，與基線SiamRPN++，我們的跟蹤器也取得了顯著的改進(jìn)，成功率相對(duì)提高了13.7%，準(zhǔn)確率相對(duì)提高了16.5%。值得注意的是，SiamAD 的速度達(dá)到了38.8 FPS，以滿足實(shí)時(shí)跟蹤要求。這些結(jié)果表明，所提出的多尺度特征提取網(wǎng)絡(luò)、混合注意力模塊和分層鑒別器可以協(xié)同工作以實(shí)現(xiàn)高效和準(zhǔn)確的無人機(jī)目標(biāo)跟蹤能力。

　　圖8. OPE在反無人機(jī)上的成功和精度圖。圖表顯示了我們的算法與其他SOTA跟蹤器的比較。

　　表1. 我們的方法與其他SOTA跟蹤器在反無人機(jī)基準(zhǔn)上的性能比較測(cè)試。我們的SiamAD實(shí)現(xiàn)了最高的成功率和準(zhǔn)確率。前三個(gè)值以紅色、綠色和藍(lán)色突出顯示。

　　同時(shí)，我們可以發(fā)現(xiàn)長(zhǎng)期跟蹤者更有可能獲得更高的能力。SiamRPN++LT表現(xiàn)出色，OP為78.8%，準(zhǔn)確率為79.4%，明顯高于短時(shí)跟蹤器?？傊?，我們認(rèn)為基于長(zhǎng)期跟蹤或檢測(cè)的跟蹤器在無人機(jī)跟蹤任務(wù)中更具競(jìng)爭(zhēng)力。

　　3.4基于屬性的評(píng)估

　　為了全面分析不同挑戰(zhàn)因素下的跟蹤性能，進(jìn)行了基于屬性的評(píng)估。Anti-UAV為每個(gè)視頻提供屬性注釋，以幫助識(shí)別跟蹤器在處理各種困難時(shí)的優(yōu)缺點(diǎn)。這些注釋包括視野外(OV)、遮擋(OC)、快速運(yùn)動(dòng)(FM)、尺度變化(SV)、低照度(LI)、熱交叉(TC)和低分辨率(LR)。在測(cè)試集中，OV和FM頻繁出現(xiàn)，也是無人機(jī)跟蹤過程中的難點(diǎn)任務(wù)。

　　圖9說明了不同挑戰(zhàn)因素下的跟蹤成功率和準(zhǔn)確率。正如我們所觀察到的，SiamAD在OV、SV和FM中的表現(xiàn)比其他跟蹤器要好得多。在視野外的情況下，我們提出的方法優(yōu)于 SiamRPN++LT，AUC 提高了5.2%，DP提高了4.0%。在尺度變化的情況下，與TransT相比，SiamAD在AUC和DP中實(shí)現(xiàn)了8.2%的相對(duì)增益和7.2%。性能顯著提升的原因可以總結(jié)為兩個(gè)方面：一方面，基于YOLO的單類重檢測(cè)模塊對(duì)識(shí)別出的目標(biāo)具有較高的檢測(cè)能力，在目標(biāo)丟失后能夠準(zhǔn)確地重新定位;另一方面，基于UDC的目標(biāo)模板更新方法可以顯著提高跟蹤網(wǎng)絡(luò)的精度。SiamAD還在OC和LR方面提供出色的性能。由于混合注意力模塊，增強(qiáng)了模型表達(dá)特征和抗干擾的能力。因此，跟蹤器可以更有效地處理復(fù)雜環(huán)境和無人機(jī)外觀變化帶來的困難。

　　圖9. Anti-UAV基準(zhǔn)的基于屬性的評(píng)估。成功和精度圖顯示了六個(gè)具有挑戰(zhàn)性的因素。

　　得到觸發(fā)重新檢測(cè)的次數(shù)，并記錄在表2中。在測(cè)試過程中，重新檢測(cè)模塊的激活率為9.2%。一般來說，在處理挑戰(zhàn)因素時(shí)，重新檢測(cè)被激活的概率會(huì)增加，尤其是當(dāng)無人機(jī)難以觀察時(shí)(LR、OV和OC)。這說明了響應(yīng)丟失對(duì)象進(jìn)行檢測(cè)的必要性。

　　表2. 觸發(fā)重新檢測(cè)的次數(shù)。

　　3.5定性分析

　　所提出的方法與五個(gè)最先進(jìn)的跟蹤器 MDNet、SiamRPN++LT、SiamCAR、TransT和CLNet進(jìn)行了定性比較。圖10顯示了來自反無人機(jī)基準(zhǔn)測(cè)試的八個(gè)具有挑戰(zhàn)性的視頻的結(jié)果。

　　圖10. SiamAD、MDNet、CLNet、SiamCARSiamRPN++LT和 TransT在八個(gè)具有挑戰(zhàn)性的序列上的定性評(píng)估。我們將這些視頻從上到下分別命名為：UAV-OC、UAV-OV1、UAV-OV2、UAV-FM1、UAV-FM2、UAV-LR、UAV-SV1 和 UAV-SV2(經(jīng)Ref許可轉(zhuǎn)載。)

　　遮擋(OC)。由于環(huán)境復(fù)雜多變，再加上無人機(jī)體積小，無人機(jī)物體容易長(zhǎng)時(shí)間被建筑物或植被遮擋。在UAV-OC序列中，對(duì)象在第224-262幀中完全被遮擋。當(dāng)無人機(jī)再次出現(xiàn)時(shí)，TransT和SiamAD首先定位它。盡管CLNet也可以捕獲目標(biāo)，但由于模型不更新，定位精度明顯低于其他方法。SiamRPN++LT是一個(gè)長(zhǎng)期跟蹤器，依賴于預(yù)訓(xùn)練網(wǎng)絡(luò)的魯棒性來重新檢測(cè)對(duì)象。目標(biāo)丟失后，跟蹤器可以快速重新鎖定目標(biāo)。在第753幀的第二次遮擋之后，只有SiamAD和SiamRPN++LT能夠再次捕獲目標(biāo)。

　　視野外和快速運(yùn)動(dòng)(OV & FM)。OV是無人機(jī)跟蹤任務(wù)中最具挑戰(zhàn)性的因素之一，并且方法要求在物體再次出現(xiàn)時(shí)迅速檢測(cè)到它。OV存在于UAV-OV1、UAV-OV2和UAV-FM2序列中。UAV-OV1一開始，目標(biāo)就在視野之外。這意味著跟蹤器無法訪問目標(biāo)在初始幀中的位置和外觀。因此，幾乎所有基于生成模型的方法(SiamCAR、TransT和CLNet無法跟蹤。但是，依靠模板更新機(jī)制和重新檢測(cè)模塊，SiamAD可以逐步找到目標(biāo)。在UAV-OV2和UAV-FM2序列中，目標(biāo)離開視野并在最后重新出現(xiàn)。這是跟蹤無人機(jī)時(shí)的典型案例。同樣，只有SiamRPN++LT和SiamAD可以重新定位無人機(jī)。

　　為了在物體加速時(shí)捕捉到物體，應(yīng)該應(yīng)用更大的搜索區(qū)域。然而，這可能會(huì)增加引入干擾信號(hào)的風(fēng)險(xiǎn)。在UAV-OV2和UAV-FM2序列中，無人機(jī)的運(yùn)動(dòng)和攝像機(jī)的旋轉(zhuǎn)相互疊加，這樣一種復(fù)雜的運(yùn)動(dòng)會(huì)導(dǎo)致目標(biāo)在兩個(gè)相鄰幀之間移動(dòng)超過60像素的顯著距離. 目標(biāo)與背景重疊并突然變化。在UAV-FM1、SiamRPN++和 SiamCAR由于來自相似背景的干擾，他們首先失去了他們的目標(biāo)。雖然 MDNet 采用在線更新策略來調(diào)整網(wǎng)絡(luò)參數(shù)，但錯(cuò)誤特征的引入仍然導(dǎo)致定位出現(xiàn)偏差。結(jié)合混合注意力機(jī)制和特征融合方法，SiamAD和TransT有效抑制冗余信息，增強(qiáng)特征表示的判別能力。這使得跟蹤器能夠在快速變化的背景中抵抗類似干擾的影響，有效地提高跟蹤精度。

　　低分辨率(LR)。UAV-LR在低能見度條件下展示了無人機(jī)跟蹤結(jié)果。該視頻的主要挑戰(zhàn)是低分辨率和低信噪比。由于在線更新期間引入了噪聲， MDNet效率較低。在一些簡(jiǎn)單的場(chǎng)景中，低分辨率對(duì)跟蹤結(jié)果的影響是容易克服的。然而，當(dāng)與背景雜波結(jié)合時(shí)，跟蹤邊界框很容易漂移到目標(biāo)附近的類似干擾。TransT和SiamCAR等跟蹤器在這種情況下很難獲得準(zhǔn)確的目標(biāo)表示，這使得跟蹤結(jié)果偏離了背景。例如，暹羅汽車可以間歇性地重新定位到無人機(jī)，但由于外觀變化，很快又失去了目標(biāo)。SiamAD 利用重檢測(cè)機(jī)制來解決邊界框的漂移問題。同時(shí)，引入高置信度的模板更新策略可以有效避免模板被污染。

　　尺度變化(SV)。在沒有其他挑戰(zhàn)屬性的情況下，本文測(cè)試的算法都很好地適應(yīng)了無人機(jī)的尺度變化?；?RPN的SiamCAR和SiamRPN++等算法都表現(xiàn)出良好的目標(biāo)尺度估計(jì)自適應(yīng)感知。

　　如上所述，建議的SiamAD在上述視頻中表現(xiàn)良好。其主要成就可以從以下三個(gè)方面來概括：

　　(1)雖然大多數(shù)跟蹤器在處理嚴(yán)重遮擋或視線外等挑戰(zhàn)時(shí)容易出現(xiàn)故障;SiamAD仍然取得了良好的跟蹤結(jié)果，這得益于YOLO網(wǎng)絡(luò)對(duì)跟蹤可靠性的準(zhǔn)確判斷和可靠的重新檢測(cè)結(jié)果。

　　(2)我們的SiamAD在處理背景和外觀變化的干擾方面是有效的。這是因?yàn)槲覀円肓嘶谏疃冗B體網(wǎng)絡(luò)的注意力機(jī)制和多尺度特征融合。從網(wǎng)絡(luò)中提取的特征圖可以表示豐富的語(yǔ)義信息，增強(qiáng)模型的可辨別性。

　　(3)重檢測(cè)模塊為算法更新提供了高質(zhì)量的模板，SiamAD利用所有可靠的特征生成一個(gè)信息豐富的魯棒模板。因此，我們提出的方法可以自適應(yīng)地適應(yīng)環(huán)境的變化，提高復(fù)雜場(chǎng)景中的跟蹤性能。

　　3.6消融研究

　　為了定量評(píng)估我們SiamAD的每個(gè)組件的有效性，我們對(duì)具有各種組件的Anti-UAV進(jìn)行了多次實(shí)驗(yàn)。如表3所示，與原始基礎(chǔ)跟蹤器相比，配備注意機(jī)制或重新檢測(cè)的跟蹤器顯著增強(qiáng)了性能。引入在線更新也有助于改進(jìn)模型。在以下段落中，我們將詳細(xì)描述每個(gè)部分的影響。

　　表3. 我們的反無人機(jī)基準(zhǔn)方法在成功和精度方面的消融研究。最高值以粗體突出顯示。

　　混合注意力模塊。我們?cè)赟iamese網(wǎng)絡(luò)中引入了兩個(gè)注意力模塊，即CSAM和CAM?；赟iamRPN++，我們逐步引入我們的注意力模塊，并在反無人機(jī)測(cè)試集上對(duì)其進(jìn)行驗(yàn)證。如表4所示，同時(shí)包含CSAM和CAM的模型實(shí)現(xiàn)了最佳的跟蹤性能。此外，我們發(fā)現(xiàn)CAM的引入在跟蹤成功率和準(zhǔn)確率方面有顯著提高，分別提高了3.0%和4.8%。這說明對(duì)象的前景和背景之間的關(guān)聯(lián)信息有助于增強(qiáng)特征的表示。CSAM的成功率和準(zhǔn)確率也分別提高了2.5%和2.6%，這也提高了跟蹤性能。

　　表4. 我們的方法在Anti-UAV基準(zhǔn)上使用不同注意力模塊的性能比較測(cè)試。最佳值以粗體突出顯示。

　　如圖11所示，使用我們的MHAM模塊，網(wǎng)絡(luò)的響應(yīng)圖更準(zhǔn)確地聚焦在無人機(jī)對(duì)象上。MHAM可以有效篩選目標(biāo)特征，增強(qiáng)網(wǎng)絡(luò)區(qū)分對(duì)象和干擾物的能力。

　　圖11. 響應(yīng)圖的可視化。第一欄：搜索圖片;第二列：沒有我們的MHAM模塊的響應(yīng)圖;第三列：帶有MHAM模塊的響應(yīng)圖;第四列：注意力激活圖，說明感興趣的區(qū)域。

　　用于重新檢測(cè)的可靠性鑒別器。為了證明重新檢測(cè)機(jī)制在我們的框架中的影響，我們進(jìn)行了一項(xiàng)消融研究，我們比較了有和沒有重新檢測(cè)網(wǎng)絡(luò)的跟蹤結(jié)果，實(shí)驗(yàn)數(shù)據(jù)如表 3所示。請(qǐng)注意，實(shí)驗(yàn)是使用結(jié)合了注意力模塊的連體網(wǎng)絡(luò)進(jìn)行的。結(jié)果表明，當(dāng)與重新檢測(cè)網(wǎng)絡(luò)結(jié)合使用時(shí)，AUC 增加了7.8%，DP 增加了9.8%——跟蹤有效性的顯著提高。此外，我們驗(yàn)證了可靠性判別器參數(shù)設(shè)置的影響。小號(hào)p(式(11))和APCE(式(12))被用作跟蹤結(jié)果置信度的評(píng)價(jià)指標(biāo)，然后我們選擇不同的系數(shù)組合○s和○一個(gè)(式(15))，如表5所示。我們發(fā)現(xiàn)這些系數(shù)的大值有利于跟蹤精度，但在實(shí)踐中，實(shí)時(shí)性能會(huì)變差。此外，當(dāng)我們?yōu)樗幸曨l設(shè)置相同的閾值時(shí)，該模型的性能并不是最佳的。我們解釋說，根據(jù)視頻的特性自適應(yīng)調(diào)整閾值更有利于充分利用重新檢測(cè)模塊的能力。

　　表5重檢測(cè)性能評(píng)價(jià) 使用不同的閾值來驗(yàn)證影響。最高值以粗體突出顯示。

　　為了進(jìn)一步演示重新檢測(cè)模塊如何在我們的跟蹤器上工作，我們從 Anti-UAV 中選擇了兩個(gè)典型的視頻進(jìn)行比較實(shí)驗(yàn)，即 SiamRPN++和我們的 SiamAD。我們將這兩個(gè)視頻分別命名為UAV-VIDEO1和UAV-VIDEO2，結(jié)果如圖12所示。

　　圖12. 再檢測(cè)模塊在 Anti-UAV 基準(zhǔn)上的跟蹤結(jié)果。紅色邊界框表示配置了重新檢測(cè)模塊的 SiamAD 的跟蹤結(jié)果，而白色邊界框表示沒有重新檢測(cè)的跟蹤器的結(jié)果。

　　(1)在UAV-VIDEO1中，UAV 對(duì)象受到背景建筑物的干擾。SiamRPN++無法跟蹤目標(biāo)，因?yàn)楸尘昂湍繕?biāo)的顏色難以區(qū)分。但是，我們的重新檢測(cè)模塊不受干擾源的影響，并且能夠正確定位該視頻中的目標(biāo)。

　　(2)在UAV-VIDEO2中，無人機(jī)目標(biāo)被嚴(yán)重遮擋;兩個(gè)跟蹤器同時(shí)失去目標(biāo)。當(dāng)目標(biāo)再次出現(xiàn)時(shí)，SiamRPN++無法立即捕獲目標(biāo)，但重新檢測(cè)模塊可以快速識(shí)別并重新鎖定無人機(jī)。

　　更新模板更新的鑒別器。表6顯示了不同模板更新策略的性能，以說明它們?nèi)绾斡绊戄敵?。我們比較了三種設(shè)置：不更新模板、直接從重新檢測(cè)生成新模板以及使用第 3.4 節(jié)中提到的模板更新方法。從表 3中可以看出，模板更新在提高跟蹤精度方面發(fā)揮著重要作用。而且，與直接應(yīng)用重檢測(cè)結(jié)果相比，所提出的模板更新策略保留了對(duì)象的歷史信息，生成的模板更加健壯。

　　表6. 不同模板更新策略的性能評(píng)估。最高值以粗體突出顯示。

　　3.7. 無人機(jī)跟蹤視頻的測(cè)試與分析

　　為了定量評(píng)估 SiamAD 在真實(shí)無人機(jī)跟蹤場(chǎng)景中的有效性，基于實(shí)際 UVA 視頻對(duì)該算法進(jìn)行了更多的性能測(cè)試。為了保證實(shí)驗(yàn)的準(zhǔn)確性，采集了各種規(guī)格無人機(jī)在不同應(yīng)用場(chǎng)景下的視頻。大部分測(cè)試數(shù)據(jù)為直播視頻，分辨率為1920×1280，幀率為30fps，拍攝距離約為200mm。我們提出的算法的跟蹤能力仍然可以在實(shí)際測(cè)試環(huán)境中得到證明，部分跟蹤結(jié)果如圖13所示。

　　圖13. SiamAD 應(yīng)用在真實(shí)場(chǎng)景中的跟蹤結(jié)果。

　　序列3和序列5展示了一架無人機(jī)在不斷變化的背景中。目標(biāo)快速移動(dòng)，圖像特征模糊，存在背景干擾。測(cè)試結(jié)果表明，SiamAD 能夠在復(fù)雜多變的背景中檢測(cè)目標(biāo)，并且在實(shí)際應(yīng)用中還具有抗干擾能力。在序列5中，無人機(jī)的高速運(yùn)動(dòng)導(dǎo)致跟蹤器頻繁丟失目標(biāo)。但是，重新檢測(cè)模塊的全局搜索可以彌補(bǔ)跟蹤算法的失敗。我們的 SiamAD 可以很好地處理對(duì)象尺度變化(序列 2，序列7)，還可以跟蹤小目標(biāo)(序列4))，這得益于 RPN 對(duì)邊界框的準(zhǔn)確估計(jì)。在測(cè)試過程中，存在無人機(jī)被嚴(yán)重遮擋或離開視野的情況(序列7、序列8)，但SiamAD在物體重新出現(xiàn)后可以準(zhǔn)確識(shí)別整個(gè)目標(biāo)。

　　對(duì)一些圖像樣本進(jìn)行了注釋，并創(chuàng)建了一個(gè)小型自制測(cè)試集。OPE 方法用于評(píng)估 SiamAD 的準(zhǔn)確性。成功圖和距離精度圖的結(jié)果如圖 14 所示。在這個(gè)測(cè)試集上，我們的 SiamAD 達(dá)到了56.5%的AUC分?jǐn)?shù)和 79.2% 的 DP 分?jǐn)?shù)。這證明該方法在處理更具挑戰(zhàn)性的跟蹤條件時(shí)仍能保持良好的成功率和準(zhǔn)確率。與第 4.3 節(jié)中的測(cè)試結(jié)果相比，算法在自制測(cè)試集上的性能降低。這主要是由于兩個(gè)因素。首先，與Anti-UAV相比，我們視頻的場(chǎng)景更加多樣化，無人機(jī)的運(yùn)動(dòng)和外觀變化更加劇烈。這使得所提出算法的挑戰(zhàn)更加困難。此外，重新檢測(cè)模塊是在固定數(shù)據(jù)集上訓(xùn)練的;自制測(cè)試集視頻和Anti-UAV訓(xùn)練集的分布差異很大。結(jié)果，導(dǎo)致基于全局搜索策略的檢測(cè)算法的性能下降。

四、結(jié)論

　　在本文中，提出了一種反無人機(jī)的長(zhǎng)期跟蹤框架。我們的方法是基于連體跟蹤器和重新檢測(cè)網(wǎng)絡(luò)開發(fā)的，并配備了兩個(gè)增強(qiáng)組件：一個(gè)混合注意模塊，通過三個(gè)串聯(lián)-并行注意子網(wǎng)提高注意分布擬合度，以及一個(gè)分層鑒別器，采用靈活的雙閾值策略重新檢測(cè)并精確更新當(dāng)前模板。此外，利用模板更新策略來進(jìn)一步提高跟蹤精度。擬議的工作在反無人機(jī)基準(zhǔn)測(cè)試中優(yōu)于許多最先進(jìn)的跟蹤器。我們已經(jīng)證明了我們提出的模塊的有效性，實(shí)驗(yàn)結(jié)果定性地證明了每個(gè)組件都有利于性能提升。

　　所提出的反無人機(jī)跟蹤方法一般由跟蹤器、判別器、重新檢測(cè)模塊和更新模塊組成，以使跟蹤器在各種具有挑戰(zhàn)性的情況下都能保持出色的性能。此外，該算法在實(shí)際場(chǎng)景中對(duì)無人機(jī)的跟蹤能力也非常出色。未來，現(xiàn)有框架可以進(jìn)行如下優(yōu)化。首先，可以細(xì)化重檢測(cè)模塊的搜索策略，融合檢測(cè)和跟蹤網(wǎng)絡(luò)，實(shí)現(xiàn)網(wǎng)絡(luò)參數(shù)共享，使我們的方法更加高效。此外，由于本文沒有考慮無人機(jī)的運(yùn)動(dòng)信息;可以建立基于時(shí)空相關(guān)性的動(dòng)態(tài)模型來提高跟蹤方法的魯棒性。最后，本文目前的研究很少關(guān)注LSS-target(Low Altitude，Slow Speed，Small Target)。從實(shí)際角度看，有必要針對(duì)低空小目標(biāo)跟蹤問題對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化。我們希望我們的工作將鼓勵(lì)在反無人機(jī)技術(shù)方面進(jìn)行更先進(jìn)的工作。