[發明專利]圖像處理方法、裝置、電子設備、對弈機器人及存儲介質

在審

• 申請號: 202210475305.2
• 申請日: 2022-04-29
• 公開（公告）號: CN114782534A
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 吳華棟;高鳴岐;張展鵬;成慧
• 申請（專利權）人: 深圳市商湯科技有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06N3/08;G06K9/62;G06V10/774;G06V10/82;G06V10/764
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 劉暉銘;徐川

1.一種圖像處理方法，其特征在于，所述方法包括：

獲取第一圖像，所述第一圖像表示國際象棋的棋盤和各棋子的圖像；

利用神經網絡對所述第一圖像進行處理，確定所述第一圖像中每個棋子的屬性數據，所述屬性數據包括檢測框、棋子類別和棋子的旋轉角度；所述神經網絡是根據樣本圖像集和標注信息訓練得到的；所述樣本圖像集中的每個圖像表示所述棋盤和各棋子的樣本圖像；所述標注信息包括所述樣本圖像中棋子的標注的屬性數據；

根據所述每個棋子的檢測框在所述第一圖像中的位置、以及所述每個棋子的棋子類別，生成決策信息，所述決策信息用于指示所述棋盤中的待移動棋子、以及所述第一圖像中所述待移動棋子的目的位置；

根據所述待移動棋子的旋轉角度，確定所述待移動棋子的抓取角度；

控制機械臂以所述抓取角度抓取所述待移動棋子，并將所述待移動棋子移動至所述目的位置。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

在所述第一圖像是圖像采集設備采集的圖像的情況下，確定所述圖像采集設備的相機坐標系與機械臂的基座坐標系的第一變換關系；

所述控制機械臂以所述抓取角度抓取所述待移動棋子，并將所述待移動棋子移動至所述目的位置，包括：

根據所述待移動棋子的檢測框在所述第一圖像中的位置、以及所述第一變換關系，確定所述基座坐標系中所述待移動棋子的起點位置；

根據所述目的位置、以及所述第一變換關系，確定所述基座坐標系中所述待移動棋子的終點位置；

控制所述機械臂在所述起點位置按照所述抓取角度抓取所述待移動棋子，并在所述終點位置放置所述待移動棋子。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

在所述第一圖像是雙目相機采集的圖像的情況下，獲取所述第一圖像中各擺棋位置的深度信息；

所述控制機械臂以所述抓取角度抓取所述待移動棋子，并將所述待移動棋子移動至所述目的位置，包括：

根據所述待移動棋子的檢測框在所述第一圖像中的位置、以及所述待移動棋子所處在的擺棋位置的深度信息，確定三維空間坐標系中所述待移動棋子的起點位置；

根據所述目的位置、以及所述目的位置所處在的擺棋位置的深度信息，確定所述三維空間坐標系中所述待移動棋子的終點位置；

控制所述機械臂在所述起點位置按照所述抓取角度抓取所述待移動棋子，并在所述終點位置放置所述待移動棋子。

4.根據權利要求1至3任一項所述的方法，其特征在于，所述方法還包括：

在圖像采集設備的至少一個拍攝位姿中，確定每個拍攝位姿對應的第二變換關系，其中，拍攝位姿包括圖像采集設備拍攝所述棋盤的拍攝角度和拍攝位置，所述第二變換關系表示圖像坐標系和棋盤坐標系之間的變換關系；

所述根據所述每個棋子的檢測框在所述第一圖像中的位置、以及所述每個棋子的棋子類別，生成決策信息，包括：

響應于第一圖像是所述圖像采集設備處于第一拍攝位姿采集的圖像，且所述第一拍攝位姿為所述至少一個拍攝位姿中的拍攝位姿，根據所述第一圖像中每個棋子的檢測框的位置、以及所述第一拍攝位姿對應的第二變換關系，確定所述每個棋子在所述棋盤坐標系中的位置；

根據所述每個棋子在所述棋盤坐標系中的位置和所述每個棋子的棋子類別，生成所述決策信息。

5.根據權利要求4所述的方法，其特征在于，所述根據所述每個棋子在所述棋盤坐標系中的位置和所述每個棋子的棋子類別，生成所述決策信息，包括：

根據所述每個棋子在所述棋盤坐標系中的位置和所述每個棋子的棋子類別，確定所述棋盤中的棋子分布信息；

根據所述棋子分布信息和所述國際象棋的對弈規則，確定所述待移動棋子和所述待移動棋子的行棋策略；

根據所述待移動棋子和所述待移動棋子的行棋策略，生成所述決策信息。

6.根據權利要求4或5所述的方法，其特征在于，所述確定每個拍攝位姿對應的第二變換關系，包括：

針對所述每個拍攝位姿，通過對所述圖像采集設備和所述棋盤進行標定，確定所述圖像采集設備的成像平面與所述棋盤的平面之間的單應性矩陣；

將所述單應性矩陣確定為所述第二變換關系。