[發明專利]基于單目視圖的三維重建方法與裝置

有效

• 申請號: 202010887244.1
• 申請日: 2020-08-28
• 公開（公告）號: CN112116700B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 李甲;石鼎豐;趙一凡;趙沁平
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06N3/04
• 代理公司: 北京唯智勤實知識產權代理事務所(普通合伙) 11557
• 代理人: 陳佳

1.一種基于單目視圖的三維重建方法，包括：

獲取輸入圖像；

對所述輸入圖像進行多次卷積處理，得到多層特征圖序列；

將所述多層特征圖序列中的第二層特征圖輸入至局部特征增強模塊以生成局部增強特征圖集；

響應于對所述多層特征圖序列中的最后一層特征圖進行卷積操作得到的全局特征圖，將所述全局特征圖與所述局部增強特征圖集進行融合，得到整體特征圖；

將所述整體特征圖輸入至三維部件生產器以生成具有部件級信息的三維信息；

其中，所述將所述多層特征圖序列中的第二層特征圖輸入至局部特征增強模塊以生成局部增強特征圖集，包括：

基于所述多層特征圖序列中的第二層特征圖，通過將預設滑動窗口塊進行堆疊，得到一個塊列表，

基于所述塊列表，自適應學習所述塊列表中每塊的權重，得到塊列表的權重；

基于所述塊列表的權重，選取預定數目個塊列表作為局部增強特征圖集；

其中，所述將所述整體特征圖輸入至三維部件生產器以生成具有部件級信息的三維信息，包括：

將所述整體特征圖進行重新排列，得到四維特征作為第一特征；

基于交叉熵損失公式和三維焦點損失公式，對所述第一特征進行一系列反卷積操作，得到具有部件級信息的三維信息；

其中，所述基于交叉熵損失公式和三維焦點損失公式，對所述第一特征進行一系列反卷積操作，得到具有部件級信息的三維信息，包括：

基于交叉熵損失公式，對所述第一特征進行一系列反卷積操作，得到反卷積后的三維整體信息；

基于三維焦點損失公式，約束所述三維整體信息中每個體素的具體部件類型，得到帶部件標簽的三維部件信息作為具有部件級信息的三維信息，其中，所述三維焦點損失公式為：

其中，L_foc表示三維焦點損失值，t表示體素序號，i和c表示不同的模型部件類型序號，I和C表示不同的模型部件類型數，N_t表示在第t個體素的目標部件標簽，N_ti表示在第t個體素上部件類型i出現的次數，p_tc表示第t個體素屬于第c種部件的真實概率，表示第t個位置屬于第c種部件的預測概率，γ表示超參數，λ表示損失參數，ω表示部件的總權重。

2.根據權利要求1所述的方法，其中，所述對所述輸入圖像進行多次卷積處理，得到多層特征圖序列，包括：

利用預先訓練的網絡，對所述輸入圖像進行高層特征提取，得到高層特征；

將所述高層特征進行多次卷積特征提取，得到多層特征圖序列。

3.根據權利要求2所述的方法，其中，所述響應于對所述多層特征圖序列中的最后一層特征圖進行卷積操作得到的全局特征圖，將所述全局特征圖與所述局部增強特征圖集進行融合，得到整體特征圖，包括：

將所述多層特征圖序列中的最后一層特征圖進行卷積操作，得到的全局特征圖；

利用以下公式，將所述全局特征圖與所述局部增強特征圖集進行融合，得到整體特征圖：

其中，F_en表示整體特征圖，F_c表示第二層特征圖，ξ()表示局部特征增強操作，ξ(F_c)表示對第二層特征圖進行局部增強操作得到的局部增強特征圖集，表示融合操作，δ()表示ELU激活函數，w()表示卷積操作，F_l表示多層特征圖序列中的最后一層特征圖，w(F_l)表示對多層特征圖序列中的最后一層特征圖進行卷積操作，b表示卷積操作中的偏移量，δ(w(F_l)+b)表示多層特征圖序列中的最后一層特征圖經過卷積操作后輸入至ELU激活函數得到的全局特征圖。