[發明專利]基于光場語義的圖像處理方法、計算機裝置、及存儲介質

有效

• 申請號: 201910360375.1
• 申請日: 2019-04-30
• 公開（公告）號: CN111862106B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 劉睿洋
• 申請（專利權）人: 曜科智能科技（上海）有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 高彥

本申請的基于光場語義的圖像處理方法、計算機裝置、及存儲介質，根據原始光場數據建立原始光場中一預設視角下的焦點圖像堆棧；其中，所述焦點圖像堆棧由一組不同深度的焦點圖片組成；分析焦點圖像堆棧中每個焦點圖片所包含每個實例的語義信息，以形成語義焦點圖像堆棧；根據所述語義焦點圖像堆棧中屬于同一實例在不同焦點圖片的質量，選擇其中質量最高的目標焦點圖片來代表所述實例，以形成目標焦點圖片集；將所述目標焦點圖片集中的實例的語義信息傳播至所述原始光場；本申請的方案能實現對實例語義的高效表示，提升商業應用價值。

技術領域

本申請涉及圖像處理技術領域，尤其涉及基于光場語義的圖像處理方法、計算機裝置、及存儲介質。

背景技術

圖像語義分割是計算機視覺的基礎任務之一。該任務以二維圖像為輸入，通過視覺算法分割出圖像中的對象區域，并識別其中的內容，也即，在保證圖像域連續性的同時為圖片的每個像素點確定所屬語義類別。傳統分割方法多基于條件隨機場、隨機森林等統計學方法構建分類器，深度學習之后，運用卷積神經網絡實現高效圖片分類的同時，在分割問題上也取得了重大進展。同時，隨著多視幾何的發展，越來越多的研究者將立體視覺信息融合到傳統單目視覺算法流程中。

但是，現有的圖像語義分割算法，尤其是進一步的實例分割算法(InstanceSegmentation)，其能實現對同類型的不同目標物體的區分，算法較一般的語義分割更為復雜，因此如何提升運算效率，已成為業界亟待解決的技術問題。

發明內容

鑒于以上所述現有技術的缺點，本申請的目的在于提供基于光場語義的圖像處理方法、計算機裝置、及存儲介質，通過算法優化解決現有技術的問題。

為實現上述目標及其他相關目標，本申請提供一種基于光場語義的圖像處理方法，包括：根據原始光場數據建立原始光場中一預設視角下的焦點圖像堆棧；其中，所述焦點圖像堆棧由一組不同深度的焦點圖片組成；分析焦點圖像堆棧中每個焦點圖片所包含每個實例的語義信息，以形成語義焦點圖像堆棧；根據所述語義焦點圖像堆棧中屬于同一實例在不同焦點圖片的質量，選擇其中質量最高的目標焦點圖片來代表所述實例，以形成目標焦點圖片集；將所述目標焦點圖片集中的實例的語義信息傳播至所述原始光場。

于本申請的一實施例中，所述原始光場數據是由相機陣列對應一場景在一或多個時間點同時拍攝得到的一或多個圖像組所得到的。

于本申請的一實施例中，各所述焦點圖片是在所述原始光場輸入數據所對應場景的光場模型中沿深度平均采樣得到的。

于本申請的一實施例中，所述分析焦點圖像堆棧中每個焦點圖片所包含每個實例的語義信息，包括：對應每個焦點圖片進行實例分割以得到其中每個實例的實例語義圖像區域及相應的語義置信度。

于本申請的一實施例中，所述實例分割的方法包括：Mask?R-CNN、SDS、HyperColumns、CFM、DeepSharp?Mask、MNC、ISFCN、FCIS、SIS及PAN中的任意一種。

于本申請的一實施例中，判斷不同焦點圖片中的實例屬于同一物體的方法，包括：根據每個同一實例在不同焦點圖片中邊界框之間的相似度、以及每個同一實例所在的不同焦點圖片間的深度差異，對實例所屬物體的類別進行聚類分析。

于本申請的一實施例中，所述深度差異通過高斯距離度量。

于本申請的一實施例中，所述根據所述語義焦點圖像堆棧中屬于同一實例在不同焦點圖片的質量，選擇其中質量最高的目標焦點圖片來代表所述實例，包括：獲取每個實例在每個所述焦點圖片的質量分數；其中，每個質量分數是根據每個實例語義圖像區域分別在各焦點圖片中的語義置信度和清晰度綜合評價得到的。

于本申請的一實施例中，所述清晰度中包含對所取實例語義圖像區域中像素的像素值在不同視角下差異的評價。

于本申請的一實施例中，所述不同視角包括所述預設視角同其最接近的其它視角。