[發明專利]攝像機獲取的琴鍵圖像的偏移判斷方法、系統、介質及裝置

有效

• 申請號: 202010219260.3
• 申請日: 2020-03-25
• 公開（公告）號: CN111445453B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 許楠;劉曉露;孫旭;喻瑋
• 申請（專利權）人: 森蘭信息科技（上海）有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/41;G06T7/70
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 徐秋平

1.一種攝像機獲取的琴鍵圖像的偏移判斷方法，其特征在于，應用于鋼琴系統，所述鋼琴系統包括在鋼琴琴鍵的側前方傾斜設置的顯示器，在所述鋼琴琴鍵的上方設置能夠同時拍攝到所述鋼琴琴鍵和所述顯示器的攝像機；包括以下步驟：

預設目標圖像上的采樣點坐標與顯示圖像的像素坐標的轉換公式；其中，所述目標圖像為期望得到的攝像機拍攝圖像；

基于所述轉換公式和目標圖像上的定位標記的采樣點坐標獲取顯示圖像的定位標記的像素坐標，基于所述顯示圖像的定位標記的像素坐標生成至少兩個定位標記并顯示于所述顯示器；

通過攝像機獲取包含鋼琴琴鍵和所述顯示器的拍攝圖像，并獲取所述拍攝圖像的定位標記的屏幕坐標{m_i}i＝1,2,…,n，計算獲得所述拍攝圖像的定位標記的屏幕坐標

{m_i}i＝1,2,…,n的平移誤差T_error、縮放誤差S_error、視圖平面方向誤差R_error，通過所述平移誤差T_error、縮放誤差S_error、視圖平面方向誤差R_error判斷攝像機獲取的琴鍵圖像是否偏移。

2.根據權利要求1所述的攝像機獲取的琴鍵圖像的偏移判斷方法，其特征在于，所述轉換公式為：

其中：

p_t：目標圖像上的采樣點坐標，

p_s：顯示圖像的像素坐標，

T_s：顯示器貼圖紋理矩陣，

M_s：將顯示器局部坐標轉換到全局坐標的變換矩陣，

M_c：攝像機視圖矩陣，

M_proj：攝像機透視投影矩陣，

T_view：目標圖像在屏幕上的貼圖紋理矩陣。

3.根據權利要求1所述的攝像機獲取的琴鍵圖像的偏移判斷方法，其特征在于，通過以下公式計算所述平移誤差T_error、所述縮放誤差S_error和所述視圖平面方向誤差R_error：

其中，m_std為標準標記重心，d_std為標準測距，V_std為標準方向向量。

4.根據權利要求1所述的攝像機獲取的琴鍵圖像的偏移判斷方法，其特征在于，所述定位標記為ArUco?Marker。

5.一種攝像機獲取的琴鍵圖像的偏移判斷系統，其特征在于，應用于鋼琴系統，所述鋼琴系統包括在鋼琴琴鍵的側前方傾斜設置的顯示器，在所述鋼琴琴鍵的上方設置能夠同時拍攝到所述鋼琴琴鍵和所述顯示器的攝像機；所述攝像機獲取的琴鍵圖像的偏移判斷系統包括：預設模塊、顯示模塊和判斷模塊；

所述預設模塊用于預設目標圖像上的采樣點坐標與顯示圖像的像素坐標的轉換公式；其中，所述目標圖像為期望得到的攝像機拍攝圖像；

所述顯示模塊用于基于所述轉換公式和目標圖像上的定位標記的采樣點坐標獲取顯示圖像的定位標記的像素坐標，基于所述顯示圖像的定位標記的像素坐標生成至少兩個定位標記并顯示于所述顯示器；

所述判斷模塊用于通過攝像機獲取包含鋼琴琴鍵和所述顯示器的拍攝圖像，并獲取所述拍攝圖像的定位標記的屏幕坐標{m_i}i＝1,2,…,n，計算獲得所述拍攝圖像的定位標記的屏幕坐標{m_i}i＝1,2,…,n的平移誤差T_error、縮放誤差S_error、視圖平面方向誤差R_error，通過所述平移誤差T_error、縮放誤差S_error、視圖平面方向誤差R_error判斷攝像機獲取的琴鍵圖像是否偏移。