[發明專利]三維模型生成方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202010418882.9
• 申請日: 2020-05-18
• 公開（公告）號: CN111598111A
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 曾望;歐陽萬里;羅平;劉文韜;王曉剛
• 申請（專利權）人: 商湯集團有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/00;G06K9/62;G06N3/04;G06T17/00;G06T17/20
• 代理公司: 北京中知法苑知識產權代理有限公司 11226
• 代理人: 李明;趙吉陽

1.一種三維模型生成方法，其特征在于，包括：

基于預先訓練好的第一神經網絡，確定待處理圖像的全局特征向量、局部特征圖以及語義特征圖，所述語義特征圖中任一第一特征點的特征值包括所述第一特征點在語義空間中的語義坐標；

基于所述語義特征圖中的第一特征點，將所述局部特征圖中與所述第一特征點對應的第二特征點轉換到語義空間中，形成語義特征點，所述語義特征點構成語義局部特征圖；

基于所述語義局部特征圖、所述全局特征向量、以及預先訓練好的第二神經網絡，生成所述待處理圖像對應的位置圖；所述位置圖中包括所述待處理圖像中的目標對象的各個位置點的語義坐標和三維位置坐標；

基于所述位置圖，生成所述目標對象對應的三維模型。

2.根據權利要求1所述的方法，其特征在于，所述第一特征點的語義坐標包括該第一特征點在所述語義空間中不同坐標方向上的坐標值；

所述第一特征點的特征值還包括該第一特征點屬于所述目標對象的概率。

3.根據權利要求2所述的方法，其特征在于，所述基于預先訓練好的第一神經網絡，確定所述待處理圖像的全局特征向量、局部特征圖以及語義特征圖，包括：

對所述待處理圖像進行下采樣處理，得到中間特征圖；

基于所述中間特征圖，確定所述全局特征向量和所述局部特征圖；

對所述局部特征圖進行特征提取，得到所述語義特征圖。

4.根據權利要求3所述的方法，其特征在于，基于所述中間特征圖，確定所述全局特征向量和所述局部特征圖，包括：

對所述中間特征圖進行池化處理和全連接處理，得到所述待處理圖像對應的所述全局特征向量；以及，對所述中間特征圖進行上采樣處理，得到所述待處理圖像對應的局部特征圖。

5.根據權利要求1～4任一所述的方法，其特征在于，所述基于所述語義特征圖中的第一特征點，將所述局部特征圖中與該第一特征點對應的第二特征點轉換到語義空間中，形成語義特征點，所述語義特征點構成語義局部特征圖，包括：

基于所述語義特征圖中第一特征點對應的語義坐標，確定該第一特征點在預先生成的對象語義圖中的目標位置點；所述對象語義圖中包括三維預設對象的多個位置點以及所述多個位置點的語義坐標；

將所述對象語義圖中所述目標位置點的特征值更新為該目標位置點在所述局部特征圖中對應位置處的特征值，得到所述語義局部特征圖。

6.根據權利要求1～5任一所述的方法，其特征在于，所述基于所述語義局部特征圖、所述全局特征向量、以及預先訓練好的第二神經網絡，生成所述待處理圖像對應的位置圖，包括：

基于所述全局特征向量，生成全局特征圖；

將所述語義圖像特征圖、所述全局特征圖、以及預先生成的參考對象在語義空間中的參考位置圖進行串聯，得到串聯特征圖；

將所述串聯特征圖輸入到所述第二神經網絡中，得到所述待處理圖像對應的位置圖。

7.根據權利要求6所述的方法，其特征在于，所述基于所述全局特征向量，生成全局特征圖，包括：

將所述全局特征向量進行多次復制，并將復制之后的全局特征向量進行拼接，拼接后的特征向量構成所述全局特征圖，所述全局特征圖的尺寸與所述局部特征圖的尺寸相同。

8.根據權利要求1～7任一所述的方法，其特征在于，基于所述位置圖，生成所述目標對象對應的三維模型，包括：

基于所述位置圖中位置點的語義坐標，對所述位置圖中的位置點進行采樣，得到各個采樣點；

基于各個采樣點對應的三維位置坐標，生成所述目標對象對應的三維模型。

9.根據權利要求8所述的方法，其特征在于，所述基于所述位置圖中位置點的語義坐標，對所述位置圖中的位置點進行采樣，得到各個采樣點，包括：

根據預先設置的參考采樣點的參考語義坐標，從所述位置圖中篩選出對應的語義坐標與所述參考語義坐標相同的位置點，并將篩選出的位置點作為采樣點。