[發明專利]一種基于雙視圖三維重建的食物體積估計方法

在審

• 申請號: 201710090154.8
• 申請日: 2017-02-20
• 公開（公告）號: CN106846484A
• 公開（公告）日: 2017-06-13
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06T17/10
• 分類號: G06T17/10
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于雙視圖三維重建的食物體積估計方法，其特征在于，主要包括圖像3D重建(一)；外部校準(二)；密集重建(三)；體積估計(四)。

2.基于權利要求書1所述的圖像3D重建(一)，其特征在于，在單視圖重建中，提取相機的絕對姿態，通過形狀先驗(即，適合場景的給定形狀)獲得3D形狀；在多視圖方法中，外部校準引起場景的低分辨率稀疏重建，其中兩個圖像之間的每個點匹配產生3D點；多視圖方法中的密集重建使用所有可用像素來構建3D模型；存在對圖像進行密集重建的路徑，例如從剪影形狀，其與通過非投影對象的輪廓而獲得的體積相交，立體匹配方法更常見；密集立體匹配利用由相對相機姿態定義的約束來簡化圖像之間的一對一像素匹配；這些約束用于變換圖像對，使點對應位于同一行上，稱為整流的過程。

3.基于權利要求書1所述的外部校準(二)，其特征在于，校準包括三個步驟：顯著點匹配，相對姿態提取和尺度提取。

4.基于權利要求書3所述的顯著點匹配，其特征在于，在圖像之間的查找點匹配需要先檢測和描述突出點；第一個定義圖像的突出部分，而第二個以通用格式描述突出部分，用于比較；在兩個圖像中檢測并描述突出點，通過比較k-d樹分層搜索提供支持，搜索范例中的描述符，在兩個圖像之間匹配點對；對于兩個圖像中的每個檢測點，獲得另一圖像中的最高等級匹配，并且定向匹配集合相交，找到對稱的情況。

5.基于權利要求書3所述的相對姿態提取，其特征在于，為了提取相對姿態模型，基于隨機抽樣共識(RANSAC)的方法作為基礎，迭代細化解，在算法的每次迭代中，隨機抽樣5個匹配；利用樣本集，使用五點相對姿態模型生成器創建模型；在所有匹配上評估所生成的模型，并根據內層的比例，即內層率來評分；保存具有最大內在速率的模型，直到找到更好的速率；最佳模型的不確定率重新定義了最大迭代次數；之后算法終止，并且從匹配集合中移除異常值；使用列文伯格-馬夸爾特法(LM)優化算法對距離的總和迭代進行改進，從而得到模型；最后，通過非投影從內部匹配創建稀疏點云；通過包括局部優化和新穎的自適應閾值估計方法來修改經典的RANSAC算法；

當找到新的最佳模型時，RANSAC算法通過局部優化(LO)：從最佳模型的內點中隨機抽取10個匹配的集合以產生新的更好的模型；LO使用公式(1)的適應度函數代替不確定性率，對模型進行評分，明確地最大化了正確率計數，并最小化了離群點距離；

${\mathrm{Inlier}}_{fitness(M,D)}=\underset{p\∈D}{\Σ}Max({\mathrm{Thr}}_{inl}-dist(M,p),0)---\left(1\right)$

其中，M是模型，D是匹配集合，Thr_inl是內部閾值，dist()是對稱的極距；

為了改進這一原理，在LO中找到新的最佳模型時，使用該模型的內在集合重新開始局部優化，從而測試更多的高質量模型；

通過反向方法確定每個圖像對和每個最佳模型；通過隨機匹配現有點創建數據噪聲分布，使用該分布來找到適當的閾值并過濾掉離群值；在主循環中，為每個模型本地估計閾值，找到姿勢模型，使用相同的方法來定義全局閾值，用更好的模型更新；

為了找到給定模型的閾值，令Cdf_data:[0；∞[→[0；1]為距離到輸入匹配的累積分布函數，對于給定的內部閾值T，比率FDRB(T)＝Cdf_noise(T)/Cdf_data(T)是可以由隨機匹配產生的模型的內在的最大百分比：它是錯誤發現率的上限；該公式等價于其中，δ＝Cdf_data(T)是離群率；選擇的閾值給出最大的內在率，同時保持錯誤發現速率限制在固定值p：之下，最大噪聲污染率p設置為3％。