[發明專利]圖像處理方法、裝置和電子設備

在審

• 申請號: 202110262483.2
• 申請日: 2021-03-09
• 公開（公告）號: CN113034570A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 王光偉
• 申請（專利權）人: 北京字跳網絡技術有限公司
• 主分類號: G06T7/60
• 分類號: G06T7/60;G06N3/08
• 代理公司: 泰和泰律師事務所 51219
• 代理人: 祝海燕

1.一種圖像處理方法，其特征在于，包括：

獲取待處理圖像，從所述待處理圖像中提取用于表征目標對象的像素點集合，其中，所述待處理圖像中呈現有所述目標對象，所述目標對象包括至少一個面；

確定所述目標對象的至少一個面中每個面的初始法向量；

基于所述至少一個面中每個面的初始法向量、所述待處理圖像和所述像素點集合，確定所述至少一個面中每個面中的像素點的最終法向量；

利用所述至少一個面中每個面中的像素點的最終法向量，對所述待處理圖像中呈現的所述目標對象所在區域進行處理。

2.根據權利要求1所述的方法，其特征在于，所述基于所述至少一個面中每個面的初始法向量、所述待處理圖像和所述像素點集合，確定所述至少一個面中每個面中的像素點的最終法向量，包括：

基于所述至少一個面中每個面的初始法向量、所述待處理圖像和所述像素點集合，確定所述至少一個面中每個面中的像素點的法向量殘差；

利用所述至少一個面中每個面的初始法向量和每個面中的像素點的法向量殘差，確定所述至少一個面中每個面中的像素點的最終法向量。

3.根據權利要求1所述的方法，其特征在于，所述目標對象為地面；以及

所述確定所述目標對象的至少一個面中每個面的初始法向量，包括：

獲取目標電子設備在采集所述待處理圖像時慣性測量單元測量出的重力方向，將所述重力方向確定為地面的初始法向量，其中，所述目標電子設備為采集到所述待處理圖像的電子設備。

4.根據權利要求1所述的方法，其特征在于，所述確定所述目標對象的至少一個面中每個面的初始法向量，包括：

將所述待處理圖像和所述像素點集合輸入預先訓練的方位角預測模型中，得到目標方位角，將所述目標方位角確定為所述目標對象的目標面的初始法向量，其中，所述目標方位角為所述目標對象的目標面與采集到所述待處理圖像的電子設備的屏幕所在平面之間的夾角；

將所述目標方位角、所述待處理圖像和所述像素點集合輸入預先訓練的方位角分類模型中，得到方位角分類結果，其中，所述方位角分類結果用于表征所述待處理圖像中呈現的所述目標對象的其他面相對于所述目標面的旋轉角度；

針對所述其他面中的每個面，利用所述目標方位角和該面相對于所述目標面的旋轉角度，確定該面對應的方位角，將該面對應的方位角確定為該面的初始法向量。

5.根據權利要求2所述的方法，其特征在于，所述基于所述至少一個面中每個面的初始法向量、所述待處理圖像和所述像素點集合，確定所述至少一個面中每個面中的像素點的法向量殘差，包括：

將所述至少一個面中每個面的初始法向量、所述待處理圖像和所述像素點集合輸入預先訓練的法向量殘差預測模型中，得到所述至少一個面中每個面中的像素點的法向量殘差。

6.根據權利要求4所述的方法，其特征在于，所述方位角預測模型是通過如下方式訓練得到的：

獲取第一樣本集合，其中，第一樣本包括樣本圖像、樣本像素點集合，以及與樣本圖像和樣本像素點集合對應的樣本方位角，樣本像素點集合為樣本圖像中用于表征樣本對象的像素點集合；

基于第一樣本集合執行以下訓練步驟：將第一樣本集合中的至少一個第一樣本的樣本圖像和樣本像素點集合輸入第一初始神經網絡，得到所述至少一個第一樣本中的每個第一樣本對應的方位角；將所述至少一個第一樣本中的每個第一樣本對應的方位角與對應的樣本方位角進行比較；根據比較結果確定第一初始神經網絡是否達到預設的第一優化目標；若第一初始神經網絡達到所述第一優化目標，將第一初始神經網絡確定為訓練完成的方位角預測模型。

7.根據權利要求6所述的方法，其特征在于，訓練得到所述方位角預測模型的步驟還包括：

若第一初始神經網絡未達到所述第一優化目標，調整第一初始神經網絡的網絡參數，以及使用未用過的樣本組成第一樣本集合，使用調整后的第一初始神經網絡作為第一初始神經網絡，繼續執行所述訓練步驟。