[發明專利]圖像至音樂旋律的轉換方法、裝置與計算機可讀存儲介質

有效

• 申請號: 201810428277.2
• 申請日: 2018-05-07
• 公開（公告）號: CN108805171B
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 鄧立邦
• 申請（專利權）人: 廣東數相智能科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T7/90;G10H1/00
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 麥小嬋;郝傳鑫

1.一種圖像至音樂旋律的轉換方法，其特征在于，包括：

獲取目標圖像中各像素點的HSB值，并根據所述HSB值對所述目標圖像的各像素點進行顏色聚類處理，獲得所述目標圖像對應的顏色聚類圖像；

對所述顏色聚類圖像中的各色塊進行歸一化處理，獲得所述目標圖像對應的發音點圖像；

將所述發音點圖像映射到預先建立的網格中，建立所述發音點圖像中各發音點與所述網格中各音階的映射關系；

根據所述映射關系，沿所述網格的設定方向提取所述發音點圖像中發音點對應的音階，生成所述目標圖像對應的旋律；

其中，所述獲取目標圖像中各像素點的HSB值，并根據所述HSB值對所述目標圖像的各像素點進行顏色聚類處理，獲得所述目標圖像對應的顏色聚類圖像，具體包括：

獲取目標圖像中各像素點的HSB值；

根據所述目標圖像中各像素點的HSB值，獲取所述目標圖像中色相距離超過第一閾值的像素點，并獲得多個顏色突變區域；

計算所述顏色突變區域內HSB值的差值小于第二閾值的相鄰像素點的色相平均值，并將所述相鄰像素點聚合成對應于所述色相平均值的色塊；

當所述顏色突變區域內相鄰像素點的色相距離為零時，根據聚合后的色塊，生成所述顏色聚類圖像；

所述對所述顏色聚類圖像中的各色塊進行歸一化處理，獲得所述目標圖像對應的發音點圖像，具體包括：

獲取所述顏色聚類圖像中面積最小的色塊，并將所述面積最小的色塊設置為發音點；

將所述顏色聚類圖像中的其他色塊調整為與所述面積最小的色塊對應的發音點的整數倍；

根據所述顏色聚類圖像中各色塊對應的發音點，生成所述發音點圖像。

2.如權利要求1所述的圖像至音樂旋律的轉換方法，其特征在于，所述將所述發音點圖像映射到預先建立的網格中，建立所述發音點圖像中各發音點與所述網格中各音階的映射關系，具體包括：

根據所述發音點的面積以及預設比例，設置方格面積并建立所述網格；其中，所述網格的每一行對應一個音階，所述網格的每一列對應一個時間點；

將所述發音點圖像中各發音點映射到所述網格中；

當發音點分布在所述網格的網格線上時，分別計算所述發音點在相接于所述網格線的相鄰方格中的面積占比，并將所述發音點分配到所述發音點在相鄰方格中面積占比較大的一個方格中；

根據所述發音點圖像中各發音點在所述網格中的位置以及所述網格中每行對應的音階，建立所述發音點圖像中各發音點與所述網格中各音階的映射關系。

3.如權利要求2所述的圖像至音樂旋律的轉換方法，其特征在于，所述根據所述映射關系，沿所述網格的設定方向提取所述發音點圖像中發音點對應的音階，生成所述目標圖像對應的旋律，具體包括：

所述設定方向為所述網格每列對應的時間點形成的時間軸方向；

根據所述映射關系，按照所述網格對應的時間軸方向提取所述發音點圖像中發音點對應的音階；

當多個發音點位于所述網格中的任意一行相鄰的方格中時，將所述多個發音點調整為所述任意一行對應的音階的長音；

按照所述時間軸方向，提取所述發音點圖像中發音點對應的時間點；

根據所述發音點圖像中發音點對應的音階以及時間點，生成所述目標圖像對應的旋律。

4.如權利要求3所述的圖像至音樂旋律的轉換方法，其特征在于，所述根據所述映射關系，沿所述網格的設定方向提取所述發音點圖像中發音點對應的音階，生成所述目標圖像對應的旋律，之后還包括：

調整所述網格每一行對應的音階，重新建立所述發音點圖像中各發音點與所述網格中各音階的映射關系并重新生成所述目標圖像對應的旋律，共獲得所述目標圖像對應的N首旋律；

分別將所述目標圖像對應的N首旋律轉換為波形圖，共獲得N個波形圖；

分別計算任意一個所述波形圖與預存在波形圖模板數據庫中的多個模板波形圖的相似度，并提取任意一個所述波形圖相對于所述多個模板波形圖的相似度的最大值，作為任意一個所述波形圖的參考值；

從所述N個波形圖中提取最大參考值對應的波形圖；

提取所述最大參考值對應的波形圖對應的旋律作為所述目標圖像的目標旋律。