[發明專利]基于光場語義的個體匹配方法、裝置、設備和介質

在審

• 申請號: 201910361188.5
• 申請日: 2019-04-30
• 公開（公告）號: CN111862098A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 劉睿洋
• 申請（專利權）人: 曜科智能科技（上海）有限公司
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T7/593;G06T7/557
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 高彥

本申請提供的一種基于光場語義的個體匹配方法、裝置、設備和介質，通過獲取包含不同視角的光場圖像集；選取任一視角的光場圖像進行重對焦以形成對焦圖像集，對各對焦圖像進行語義分析得到不同個體的對焦語義分割；依據各所述對焦語義分割的結果對屬于同類的所述個體進行聚類以獲得各所述個體于不同所述對焦圖像上的深度值范圍；對其他視角下的所述光場圖像進行語義分析，以得到各視角下各對應不同所述個體的原始語義分割；依據所述深度值范圍通過重投影獲得各視角下各所述個體的對應關系。本申請獲得多視角下的語義個體對應關系，在立體匹配時將搜索范圍限制在相同的區域內，大大縮短了匹配計算時間。

技術領域

本發明涉及計算機視覺處理技術領域，特別是涉及一種基于光場語義的個體匹配方法、裝置、設備和介質。

背景技術

立體匹配多基于整張圖片進行，優化目標也僅僅考慮圖片的色彩信息。因此，在場景具有重復圖案時常會出現匹配失敗的情況，從而影響結果精度。基于深度學習的語義分析一定程度上可以幫助解決這種僅僅考慮色彩的情況下匹配失敗的情況。

語義分割是計算機視覺的基礎任務之一。該任務以二維圖像為輸入，通過視覺算法分割出圖像中不同的對象區域，并識別其中的內容(語義值)，也即，在保證圖像域連續性的同時為圖片的每個像素點確定所屬語義類別。傳統分割方法多基于條件隨機場、隨機森林等統計學方法構建分類器，深度學習之后，運用卷積神經網絡實現高效圖片分類的同時，在分割問題上也取得了重大進展。同時，隨著多視幾何的發展，越來越多的研究者將立體視覺信息融合到傳統單目視覺算法流程中，往往能夠取得更好的算法表現，但對于多幀采卻難以做到實時采集，并且多相機系統又存在同步設定等復雜的系統問題。另外，當場景中存在嚴重遮擋時，語義分割往往不能得到令人滿意的結果。

光場相機作為多視幾何的一種特殊情況，相機排布按照一定的規則進行，與多相機系統相比，光場相機可以將多視幾何與單目算法優點相結合，可以有效去除遮擋，并實現在一次曝光中收集多視角信息。

但是對于該多視角信息還存在一個問題，即難以獲得多視角下的語義個體對應關系，進而在立體匹配過程中，對每個像素尋找匹配像素時，不能有效限制其搜索范圍，因此大大增加了匹配運算的時間。

發明內容

鑒于以上所述現有技術的缺點，本申請的目的在于提供一種基于光場語義的個體匹配方法、裝置、設備和介質，以解決現有技術中難以獲得多視角下的語義個體對應關系的問題。

為實現上述目的及其他相關目的，本申請提供一種基于光場語義的個體匹配方法，所述方法包括：獲取包含不同視角的光場圖像集；選取任一視角的光場圖像進行不同深度的重對焦以形成對焦圖像集，對各對焦圖像進行語義分析得到不同個體的對焦語義分割；依據各所述對焦語義分割的結果對屬于同類的所述個體進行聚類以獲得各所述個體于不同所述對焦圖像上的深度值范圍；對其他視角下的所述光場圖像進行語義分析，以得到各視角下各對應不同所述個體的原始語義分割；依據所述對焦圖像集上各所述個體對應的所述深度值范圍通過重投影將各所述個體對應的所述對焦語義分割的結果映射到各視角下以形成映射語義分割；通過所述原始語義分割與所述映射語義分割的相似度對比獲得各視角下各所述個體的對應關系。

于本申請一實施例中，所述光場圖像集是由相機陣列對應一場景拍攝得到的多視角圖像組成。

于本申請一實施例中，所述重對焦中依據均值等分選取不同對焦深度。

于本申請一實施例中，所述對各對焦圖像進行語義分析得到不同個體的對焦語義分割的方法包括：依據目標檢測找到各所述個體，并通過邊界框對各所述個體進行語義標記與分割；計算各所述個體對應的語義置信度、及聚焦度，據以得到對應所述對焦圖像的對焦語義分割的質量分布。

于本申請一實施例中，所述依據各所述對焦語義分割的結果對屬于同類的所述個體進行聚類的方法包括：任選兩個所述個體，依據各所述個體對應的所述邊界框之間差距、及深度值之間差距粗估兩個所述個體的相似度，以判斷兩個所述個體是否屬于同類。