無人機紅外影像拼接方法研究

孫新博^1,2,3，孫芹芹⁴，李英成^1,2,3，肖金城^1,2,3

（1.自然資源部航空遙感技術重點實驗室,北京100039；

2.北京市低空遙感數(shù)據(jù)處理工程技術研究中心,北京 100039；

3.中測新圖（北京）遙感技術有限責任公司,北京 100039；

4.福建省海島與海岸帶管理技術研究重點實驗室,廈門 361013)

摘 要：針對紅外影像噪聲多、對比度低、像幅小、旋偏角大等特點，該文以無人機紅外監(jiān)測技術應用需求為背景，研究了機載紅外影像的拼接方法。首先，介紹了常用的機載紅外影像格式；接著，對紅外影像進行噪聲去除、圖像增強、畸變差改正等預處理；然后，根據(jù)是否有位姿數(shù)據(jù)，分別采用基于位姿信息和基于運動恢復結構(SFM)的紅外影像配準方法；最后，采用漸入漸出的融合方法消除影像拼接縫。通過實際飛行實驗證明了該方法的可行性，具有一定的實際應用價值。

0 引言

無人機紅外遙感是以無人機（unmanned aerial vehicle，UAV）為飛行平臺，以目標輻射和反射的紅外能量為觀測目標，獲取地物輻射特性和溫度特性的遙感技術[1]。與可見光相比，紅外波段具有全天時工作能力，其熱輻射敏感特點可在環(huán)境污染監(jiān)測、戰(zhàn)場偵察、應急救援等領域應用。由于紅外傳感器視角小、成像像素少，在實際應用中往往需要多張影像拼接形成大視場圖像。紅外影像自身就有信噪比和對比度低的特點，再加上無人機平臺穩(wěn)定性差而導致影像存在旋轉、縮放等幾何畸變，使得紅外影像的拼接存在更多的困難。文獻[2-4]首先實現(xiàn)基于位姿數(shù)據(jù)的影像粗配準，再分別采用相似性先驗、仿射變換坐標微調、稀疏全局調整等手段減少局部誤差和全局累計誤差，最終提高拼接精度。上述方法很好地實現(xiàn)了可見光影像的拼接，但不能很好地應用于紅外影像的拼接。文獻[5]針對紅外遙感圖像特點，采用各項異性濾波方法消除噪聲，并用直方圖均衡化技術提高圖像對比度，優(yōu)化ORB（orientedFAST and rotated BRIEF）特征提取算法，并利用隨機抽樣一致算法（random sample consensus，RANSAC）減少錯誤匹配，最終實現(xiàn)紅外影像拼接，該文獻最終只是選取2幅影像進行驗證，但隨著影像的增多，拼接誤差會積累，文獻并未給出處理方法。文獻[6]通過改進尺度不變特征轉換（scale invariant feature transform，SIFT）算法提高了匹配運算速度，減少了誤匹配點對，實現(xiàn)了紅外圖像的快速拼接。文獻[7]提出了一種快速高效的光束法平差策略，實現(xiàn)了畫幅掃描成像紅外系統(tǒng)實時拼接的應用需求。文獻[8]提出一種改進的SURF（speeded up robust feature）紅外圖像拼接方法，將二進制魯棒獨立算子（binary robust independentelementary features, BRISK）和Canny邊緣檢測應用于SURF紅外圖像拼接,并采用RANSAC算法剔除誤匹配的特征點，最后采用漸入漸出法消除影像拼接縫。上述方法均是采用改進的特征匹配算法實現(xiàn)紅外的拼接，但實驗數(shù)據(jù)均是近景紅外影像，與無人機的紅外影像有較大區(qū)別。

目前應急測繪尤其是森林火災對紅外航空影像的處理需求較為強烈，本文以無人機紅外影像拼接為研究對象，結合實際項目應用需求，從紅外影像的獲取、預處理、配準、融合等流程介紹無人機紅外影像拼接方法。在位姿信息未知的情況下，可利用基于運動恢復結構（structure from motion，SFM）的方法實現(xiàn)紅外影像拼接；在位姿信息已知的情況下，可基于位姿信息快速對影像進行粗配準，而后利用仿射變換對地理坐標進行調整，實現(xiàn)精配準。兩種方法可應用于不同場景，為后續(xù)目標識別、空間分析，污水監(jiān)測等應用帶來便利，具有一定的實際應用價值。

1 紅外影像獲取與預處理

1.1 影像獲取

紅外影像本質是通過目標場景的熱輻射而獲取熱輻射值的被動影像，紅外波長介于微波和可見光之間，分為近紅外、短波紅外、中波紅外、長波紅外、遠紅外，目前市場上常用機載紅外成像系統(tǒng)一般為中長波紅外。機載紅外成像設備可根據(jù)需求輸出圖像和視頻數(shù)據(jù)，圖像主要是PNG（portablenetwork graphic）、原始影像RAW格式，RAW格式是一種未經處理的圖像格式，與其他格式相比它有更寬的動態(tài)范圍和色調，允許用戶進行任意的色溫、白平衡、對比度的調整來自由地構造圖像，尤其對于紅外這種噪聲大、對比度低的影像，RAW格式給紅外影像的處理帶來了更多的自由。紅外視頻格式是傳感器內部處理器將采集到的RAW紅外數(shù)據(jù)，依次進行濾波、非均勻性校正和壓縮編碼形成的預定格式。本文所用傳感器包括大疆禪思XT熱成像相機和SCA350型雙光光電吊艙，分別可輸出RAW圖像和H264視頻數(shù)據(jù)，如圖1所示。

1.2 影像預處理

由于紅外成像傳感器自身特性以及周圍環(huán)境影響，紅外影像中包含各種噪聲，除此之外紅外影像也有對比度低、灰度分布集中和邊緣模糊的特點[9]，這些都會影響影像之間的配準精度，導致拼接失敗。另外紅外成像過程不可避免地存在非線性畸變，需要對其進行傳感器檢校及畸變差改正處理[10]。因此紅外影像的預處理工作按流程可以分為圖像格式轉換、濾波去噪、圖像增強、畸變差改正等操作。

圖像格式轉換主要是將RAW格式轉換為PNG或JPG格式，根據(jù)圖像像素分辨率以及位深結合OpenCV開源庫即可快速地實現(xiàn)紅外圖像格式轉換。紅外圖像常用的噪聲去除算法是均值濾波和中值濾波[11]，兩種濾波算法雖然簡單但存在圖像細節(jié)模糊的問題，本文采用文獻[4]提到的各向異性濾波算法進行紅外圖像噪聲去除。對比度低是紅外圖像的一個顯著特點，為了提高圖像對比度需要對其進行增強處理，常用的圖像增強[12]方法有直方圖均衡化、拉普拉斯算子、伽馬變換、指數(shù)變換、對數(shù)變換等，圖像增強方法較多，需要根據(jù)不同的應用需求選擇相應的增強方法。圖2為14bit原始影像經直方圖均衡化，再經對數(shù)變換壓縮位8 bit，提高對比度。

盡管紅外影像濾波、增強等預處理是拼接前必不可少的步驟，但在基于位姿數(shù)據(jù)的紅外影像拼接中焦距、像主點等內參信息也是必要參數(shù)，同時影像畸變對拼接精度的影響也是不可忽略的，因此在有條件的情況下，可通過張正友棋盤標定法[13]獲取準確的相機內參及畸變參數(shù)，并在拼接前對影像進行畸變差改。

2 紅外影像配準

2.1 基于位姿信息的影像配準

在紅外傳感器與無人機平臺集成過程中，可以利用慣性導航設備發(fā)送脈沖信號控制紅外傳感器采集數(shù)據(jù)或通過視頻流地理編碼[14]方法建立紅外影像與位姿信息的映射關系。針對紅外影像位姿信息已知的情況，首先將姿態(tài)信息利用文獻[15]中方法轉換為外方位角元素，結合影像內方位元素及測區(qū)高程實現(xiàn)影像的正射糾正，完成影像的粗配準。接著利用仿射尺度不變模型[3]對地理坐標進行微調，實現(xiàn)影像的精配準。該方法可快速實現(xiàn)紅外影像之間的配準，只需少量的匹配點就可建立仿射變換關系，實現(xiàn)地理坐標的調整，效果如圖3所示。

2.2 基于SFM的影像配準

計算機視覺領域的SFM能夠利用一組有序或者無序的影像恢復相機的位姿信息和場景稀疏三維結構[16]。與傳統(tǒng)的航空攝影測量流程相比，SFM不需要預先的航帶排列，通用性好且自動化程度高，其核心思想是通過特征匹配獲取多視圖影像之間的同名點，然后最小化特征點的重投影誤差來求解相機位姿和特征點的三維坐標。文獻[17]對增量式運動恢復結構和定位定姿系統(tǒng)（position and orientation system，POS）輔助光束法平差的精度進行比較，發(fā)現(xiàn)在不依賴POS數(shù)據(jù)的情況下，增量式運動恢復結構可以達到與POS輔助光束法平差相當?shù)木?。因此本文采用基于SFM的方法獲取優(yōu)化后的相機位姿信息和稀疏三維點云[18]，擬合融合平面形成影像投影平面，通過位姿信息建立影像間的變換關系，實現(xiàn)影像配準，具體流程如圖4所示。

首先將所有紅外影像兩兩匹配，選擇同名點最多的匹配作為初始像對，利用八點法[19]計算本質矩陣再由奇異值分解獲取相機位姿信息，即旋轉矩陣和平移向量，接下來利用相機的位姿信息估計特征點的空間位置，即通過三角測量計算2D特征點的三維坐標；接著根據(jù)特征匹配結果選擇新影像，利用PnP（perspective-n-point）[20]估算新影像的位姿信息并三角化計算特征點的空間坐標，緊接著使用光束法平差優(yōu)化相機位姿和三維點坐標[21]，直到所有影像添加完畢再進行全局平差；全局優(yōu)化后即可輸出所有影像的位姿信息和稀疏三維點云，根據(jù)三維點云擬合一個融合平面[22]，接著利用相機位姿信息進行影像變換，投影到擬合平面上，實現(xiàn)影像間的配準。圖5為由306張紅外影像重建的稀疏三維結構。

3 紅外影像融合

在完成了紅外影像配準之后，需要將所有影像融合成一幅影像，消除拼接縫，目前常用的融合方法有直接平均法、加權平均法、拉普拉斯融合法、漸入漸出融合法等。本文選用漸入漸出法[23]進行融合，對待融合影像和的重疊部分按照加權比重計算新的灰度值，加權公式如下：

加權值的選擇需要根據(jù)經驗確定，但融合過程中權值并不是固定不變的，而是動態(tài)分配的：靠近影像中心權值增大，靠近影像邊緣權值減小。從主觀評價效果上來看，漸入漸出法很好地實現(xiàn)了影像間的平滑過渡，效果如圖6所示。

4 實驗結果

實驗選取彩虹-4無人機搭載SCA350型雙光光電吊艙獲取的紅外視頻數(shù)據(jù)，紅外相機參數(shù)如下：焦距50 mm，工作波段為長波，像素分辨率為640像素×512像素，視場角為11°×8.2°，像元物理尺寸17 μm。光電吊艙工作模式為紅外和可見光隨意切換，為了適應可見光1080P分辨率，傳感器廠商在保持寬高比的基礎上對紅外圖像做了拉伸處理，使其高度分辨率為1080像素，寬度有效像素為1 350像素且用黑邊填充為1 920像素。本文選取其中3條航線分別采用第2節(jié)中兩種方法開展中實驗。

1）基于位姿信息的紅外影像拼接。首先利用位姿信息對每幀紅外影像進行正射糾正，再以第一條航線為基準采用SURF特征匹配計算與第二條航線影像間的仿射變換模型，接著利用變換關系對第二條及第三條航線的影像進行坐標微調，效果如下圖7所示。

2）基于SFM方法的紅外影像拼接。首先裁剪掉紅外影像黑邊，再將全部的306張影像兩兩匹配，按照2.2節(jié)方法獲取每一張紅外影像的位姿信息及三維稀疏結構，根據(jù)影像間變換關系及擬合平面完成影像配準之后再進行影像融合，最終效果如圖8所示。

從實驗結果可以看出以第一條航線為基準，分別校正其他航線，雖然拼接結果不存在全局形變，但存在明顯的局部錯位，采用第二種方法整體效果優(yōu)于第一種方法，局部錯位問題得到解決，但第二種方法的前提是紅外影像要有足夠多且正確的匹配點，這在某些場景下是很難滿足的，如大面積水體、戈壁灘等。第一種方法可以做到準實時且不需要太多的匹配點，但拼接精度難以保證。因此針對不同的數(shù)據(jù)質量及應用場景可以選擇不同的拼接方法。

5結束語

本文針對機載紅外影像噪聲多、對比度低、像幅小、旋偏角大等特點，提出了一種機載紅外影像拼接方法。首先，對紅外影像進行格式轉換、噪聲去除、圖像增強、畸變差改正等預處理；然后，根據(jù)是否有位姿數(shù)據(jù)，分別采用基于位姿信息和基于SFM的影像拼接方法；最后，采用CH-4無人機搭載的雙光光電吊艙獲取的紅外視頻數(shù)據(jù)開展實驗。基于位姿信息的拼接方法可用于準實時場景，基于SFM的方法用于事后處理場景，但本文實驗數(shù)據(jù)單一，并未比較兩種方法的魯棒性，同時基于位姿信息輔助的SFM紅外影像實時拼接算法將是下一步的研究方向。