隨著計算機視覺和人工智能技術的飛速發(fā)展，出現(xiàn)了一種新的導航方法：視覺導航。視覺導航具有自主性好、可靠性高、成本低等優(yōu)點。近年來，隨著視覺導航概念、理論和方法的不斷更新和完善，視覺導航已成為無人機自主導航的重要研究領域之一。

視覺導航的研究最初受到巡航導彈中地形輪廓匹配制導系統(tǒng)的啟發(fā)。但是，無人機的飛行環(huán)境不一定是光照充足的理想環(huán)境。無人機在陰天或夜間飛行時，由于光線減少，相機會捕捉到低光圖像，嚴重影響圖像質量，如對比度低、能見度低等。同時，由于法律法規(guī)的限制，有人駕駛飛機白天飛行的頻率遠高于夜間，這將大大縮小無人機的飛行空間。因此，無人機最適合的飛行時間是有人駕駛飛機較少的夜晚，見圖1。因此，將低光航拍圖像轉換為高質量的正常光圖像，不僅可以提高圖像的視覺質量，還可以提高無人機在目標檢測等一些高級視覺任務中的性能、語義分割等，它還可以使無人機應用于更廣泛的領域，例如應急救援、環(huán)境監(jiān)測等。

圖1 比較了微光圖像和增強圖像的匹配結果和檢測結果

我們基于 Retinex 理論提出了一個新的全卷積網(wǎng)絡，它由兩個子網(wǎng)絡組成，Decomposition-Net (Decom-Net) 和 Enhancement-Net (Enhance-Net)。建議的低光圖像增強管道如圖 2所示。Decom-Net 將輸入圖像分解為光照和反射圖，同時抑制反射中的噪聲。

Enhance-Net以Decom-Net的輸出為輸入，增強光照圖的對比度和亮度。因此，所提出的方法可以提高低光圖像中的對比度并抑制噪聲，并獲得具有更好視覺質量的增強結果。

圖 2.低光圖像增強管道。Decom-Net 將輸入圖像分解為光照圖和反射圖，Enhance-Net 使光照圖變亮。低光圖像的反射圖和光照圖作為Enhance-Net的輸入。正常光圖像的分解不參與 Enhance-Net 訓練階段

Decom網(wǎng)絡包含八個3×3卷積層，每個卷積層的輸入和輸出特征映射大小相等，且具有步長2和一個校正線性單元（ReLU）。通過使用跳轉連接結構，i-1卷積層和i卷積層的輸出結果被組合為i+1卷積層（i=1，…，5）的輸入。Decom Net的網(wǎng)絡架構如圖3所示。

圖3 Decom-Net 的網(wǎng)絡架構

Enhanced Net包含七個卷積塊，每個卷積塊包含兩個3×3卷積層，步長為1，以保持前后特征圖的大小相同；前三個卷積塊之后是步幅卷積，以執(zhí)行下采樣；最后三個卷積塊之后是一個反卷積層，以執(zhí)行上采樣。然后，利用多尺度融合，將第七個卷積塊的輸出和最后三個反卷積層的輸出串聯(lián)起來作為下一個卷積層的輸入，這樣可以最大限度地組合上下文信息，減少特征信息的丟失。最后，通過3×3卷積層得到增強的光照圖，增強網(wǎng)絡中的每個卷積塊后面跟著一個ReLU。EnhanceNet的網(wǎng)絡架構如圖4所示。

圖4 Enhance-Net的網(wǎng)絡結構

在得到Decom網(wǎng)的分解結果和增強網(wǎng)的增強結果后，將兩個子網(wǎng)的輸出通過逐元素乘法進行組合，作為最終結果。圖5顯示了弱光圖像的整個網(wǎng)絡的分解結果。

圖5 弱光圖像分解結果的示例。（a） 是輸入圖像，（b）是由Decom Net生成的反射貼圖，（c）是由Enhanced Net生成的照明貼圖

微光圖像的退化主要體現(xiàn)在對比度低。為了更好地模擬真實的弱照明圖像，我們對正常光圖像的每個通道應用Gamma校正來改變對比度。合成微光圖像的示例如圖6所示。

圖6 合成微光圖像示例

在執(zhí)行視覺導航任務時，無人機可能會受到照明條件不足或傳感器性能不足等因素的影響，因此有必要對捕獲的微光圖像進行增強。然而，并不是所有的圖像都需要增強，因此在預處理階段必須判斷圖像是否具有弱光照條件。如圖7所示，可以通過計算每個圖像的拉普拉斯梯度函數(shù)值來設置閾值。如果小于我們設置的閾值，則圖像需要增強，如果大于閾值，則圖像不需要圖像增強處理。

圖7 不同光照條件下圖像的拉普拉斯梯度函數(shù)值

我們選擇的參考圖像是衛(wèi)星圖像，參考圖像的視距和尺寸（7200×3600）都比航空圖像大，因此我們將參考圖像分割成多個小尺寸參考圖像，并依次將航空圖像與小尺寸圖像進行匹配，這有助于減少匹配過程中的搜索時間。可視化導航管道如圖8所示。

圖8 視覺導航管道

傳統(tǒng)的方法是在CPU上運行，這將增加推理時間。我們的方法在GPU上增強每個圖像的平均時間成本比我們的競爭對手快0.11秒，這得益于我們更小的模式大?。?.85MB）和更好的網(wǎng)絡設計，如圖9所示。

圖9 合成測試圖像的視覺比較

在視覺導航實驗中，我們收集了一個包含5幅大視距衛(wèi)星圖像的數(shù)據(jù)集，每幅衛(wèi)星圖像對應10幅小視距航空圖像。我們以衛(wèi)星圖像為參考圖像，基于我們提出的視覺導航管道進行了實驗。當航空圖像為弱光圖像時，我們使用我們提出的增強方法將其轉換為高質量的正常光圖像，并與參考圖像進行匹配。圖10顯示了一些實驗結果示例。紅色框是航空影像映射到衛(wèi)星影像的區(qū)域，黃色框中的紅色點是航空影像中心點映射到衛(wèi)星影像的位置，該紅色位置的經(jīng)緯度信息是我們方法估計的無人機的當前位置。

（c）Location resulut

圖10 視覺導航的實驗結果

 除了將我們的方法應用于無人機視覺匹配導航之外，我們還希望進一步探索我們的方法在其他實際任務中的性能，例如自動駕駛等。我們在Apollo Scape數(shù)據(jù)集中使用了1121張不同角度的成對圖像。通過使用我們提出的增強方法，將弱光圖像轉換為高質量的正常光圖像，然后依次與1121幅參考圖像進行匹配。選擇匹配度最高的參考圖像，并提取參考圖像的位置作為車輛的當前位置。圖11顯示了一些自定位示例。    

圖11 自主駕駛實驗結果

實驗結果表明，該方法的增強結果具有更多的特征信息，能夠滿足圖像匹配的要求。視覺導航系統(tǒng)可以實現(xiàn)無人機在不同光照條件下的自主定位。