最近因為有些重要工作需要處理，系列文章因此擱置，月底時間稍微充裕，我們繼續(xù)上一次的主題，聊一聊3D幾何語義中的邊界屬性，感興趣的同學(xué)可以回顧一下上一篇分享。

3D空間中的邊界特征線是機(jī)器視覺感知中的一種重要的特征，在形狀分析、視覺定位、網(wǎng)格簡化、柵格創(chuàng)建、非照片級的渲染和表面平滑等方面具有廣泛的應(yīng)用。根據(jù)特征線是否與視點相關(guān)聯(lián)，可以將特征線分為兩類：與視點相關(guān)的特征線和與視點無關(guān)的特征線。一般情況下，與視圖無關(guān)的特征線的計算與3D模型的拓?fù)浣Y(jié)構(gòu)有關(guān)。3D模型可以是連續(xù)的（例如參數(shù)化曲面），也可以是離散的（例如網(wǎng)格和點云）。與視點無關(guān)的特征線僅反映了3D對象的幾何屬性，而與視點有關(guān)的特征線則描述了表面幾何形狀和位置的屬性，即我們通常所理解的“輪廓”。

圖1 典型的3D模型的輪廓特征線

簡單介紹完視覺上的邊界特征線，接下來我以一個具體問題為例，介紹一個3D邊緣特征在視覺定位問題上的應(yīng)用。

應(yīng)用的背景

近年來，重工業(yè)領(lǐng)域已經(jīng)開始研究如何使用自動化的移動設(shè)備來解決生產(chǎn)力和人員安全問題，尤其是工作在室外環(huán)境下的大型作業(yè)車輛，因此迫切需要一種基于視覺的車輛定位方法。車輛在動態(tài)且非均勻的室外照明條件下運行時，周圍環(huán)境惡劣，盡管這個問題可以通過使用場景先驗知識調(diào)整相機(jī)曝光并改善圖像信息的質(zhì)量來解決，但完全基于2D圖像的感知有時候可能還是不太靠譜（PS：這里可以吐槽一下特斯拉）。隨著3D技術(shù)的普及，機(jī)器人車輛在戶外工業(yè)環(huán)境中運行需要定位，而定位器可以使用環(huán)境中的3D邊界圖來估計車輛的姿態(tài)。

在上述應(yīng)用背景的前提下，一種解決策略是將利用攝像機(jī)采集的輸入邊緣與環(huán)境中預(yù)定義3D邊界映射進(jìn)行比較，從而完成定位，因此三維空間中的幾何特征輪廓就派上了用場，為了不偏離本文的核心，只闡述涉及3D邊界的核心流程（PS:關(guān)于其他環(huán)節(jié)的實現(xiàn)，感興趣的同學(xué)可以自行學(xué)習(xí)）。

A.魚眼相機(jī)的標(biāo)定

在圖像測量過程以及機(jī)器視覺應(yīng)用中，為確定空間物體表面某點的三維幾何位置與其在圖像中對應(yīng)點之間的相互關(guān)系，必須建立相機(jī)成像的幾何模型，這些幾何模型參數(shù)就是相機(jī)參數(shù)。相機(jī)標(biāo)定實際上就是計算相機(jī)外參和內(nèi)參的過程，完成標(biāo)定后，我們便可以從2D圖像中恢復(fù)3D圖像。

·外參

·內(nèi)參

完成上述標(biāo)定過程后，采集到的實際結(jié)果如圖1所示。緊接著利用圖像處理提取出相應(yīng)目標(biāo)區(qū)域內(nèi)的2D邊界，如圖2所示。

圖1 魚眼相機(jī)視野

圖2 圖像邊界的提取

B.遮擋問題的處理

動態(tài)場景中的高效遮擋剔除可以加速渲染進(jìn)程，這項技術(shù)本來是游戲和實時圖形處理領(lǐng)域的一個方向。如果建筑物的可見部分比被遮擋的部分多，則粒子濾波器對由未知物體引起的遮擋問題更具有魯棒性。（這一結(jié)論可以參考J.Hasselgren的論文）

因此針對可能遇到的自遮擋問題，可以采用欠采樣深度緩沖區(qū)技術(shù)處理，該技術(shù)是一種的實時技術(shù)。通過這種方法可以將建筑物的表面渲染到深度緩沖區(qū)，然后只有位于前面的邊緣會通過濾波器。但這種方法也有局限性，比如深度緩沖器的分辨率會受到限制，導(dǎo)致表面與其自身邊緣無法區(qū)分的問題。為避免此問題，可以將表面和邊緣之間的偏移距離設(shè)置為大于該深度處緩沖區(qū)的分辨率。

C.3D線的提取

在完成上述兩個基礎(chǔ)問題后，為了更好的提取出建筑物的邊界，在這個環(huán)節(jié)我們采用3D Hough變換與三維點云鄰域信息分析相結(jié)合的方法。Hough變換是一種眾所周知的有效方法，用于找到匹配一組2D點的線。每條線由兩個參數(shù)ρ和θ表示，這兩個參數(shù)表示從法線的起點到該線的長度和角度。而3D數(shù)據(jù)中邊界點本身就是一種局部信息的表達(dá)，因此二者結(jié)合可以產(chǎn)生一定的效果。具體結(jié)果如圖3所示。（PS:關(guān)于這一部分的邊界提取，實際上涉及很多分割的知識，比如在這個環(huán)節(jié)實際上需要預(yù)分割出平面，只有具有足夠數(shù)量的點的平面簇類才會被考慮用于線提取）

圖3 3D邊界在場景中的映射

D.似然估計

這一環(huán)節(jié)我們需要用到粒子濾波器(particle filter)。粒子濾波器是一種使用蒙特卡羅方法(Monte Carlo method)的遞歸濾波器，透過一組具有權(quán)重的隨機(jī)樣本(稱為粒子)來表示隨機(jī)事件的后驗概率，從含有噪聲或不完整的觀測序列，估計出動力系統(tǒng)的狀態(tài)，粒子濾波器可以運用在任何狀態(tài)空間的模型上。

通過與邊緣圖像和3D邊界圖進(jìn)行比較來生成每個粒子的似然度度量。根據(jù)每個粒子的姿勢將3D邊界投影到圖像平面上，因此可以進(jìn)行直接比較。

其中，Px是對齊邊緣像素數(shù)a與可見邊緣像素總數(shù)v之間的比率，k是一個加權(quán)似然度量常數(shù)。

圖2 圖像邊界與3D映射邊界的匹配

走完上述流程，基本就完成了視圖定位的很大一部分。以上就是3D邊緣的一個應(yīng)用實例，為了更加貼合這次分享的主題，所以只給出了簡化流程，實際上每個環(huán)節(jié)都值得探究，包括后續(xù)的評價環(huán)節(jié)，感興趣的小伙伴可以探索一下。

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。