[發(fā)明專利]基于時(shí)空濾波和聯(lián)合空間Kmeans的手指運(yùn)動(dòng)檢測與定位方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710231824.3
• 申請(qǐng)日: 2017-04-10
• 公開（公告）號(hào): CN107180224B
• 公開（公告）日: 2020-06-19
• 發(fā)明（設(shè)計(jì)）人: 韋崗;梁舒;馬碧云;李增
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 何淑珍

1.基于時(shí)空濾波和聯(lián)合空間自適應(yīng)Kmeans的手指運(yùn)動(dòng)檢測與定位方法，其特征在于該方法通過貼標(biāo)簽和拍攝視頻模塊、運(yùn)動(dòng)目標(biāo)檢測模塊和運(yùn)動(dòng)目標(biāo)定位模塊實(shí)現(xiàn)；

所述貼標(biāo)簽和拍攝視頻模塊用于生成后續(xù)模塊處理的視頻文件，包括：首先將演奏者手指貼上除黑、白外的十種不同顏色的標(biāo)簽，然后在演奏者正常彈奏鋼琴的同時(shí)將演奏過程拍攝成視頻；

所述運(yùn)動(dòng)目標(biāo)檢測模塊用于運(yùn)動(dòng)目標(biāo)檢測，具體實(shí)現(xiàn)步驟包括：

步驟1、空域?yàn)V波，包括以下步驟：

1.1搜索運(yùn)動(dòng)目標(biāo)區(qū)域：當(dāng)前輸入視頻幀與背景圖像進(jìn)行空間域逐像素點(diǎn)比較來搜索運(yùn)動(dòng)目標(biāo)區(qū)域；

1.2確定前景和后景：運(yùn)動(dòng)目標(biāo)區(qū)域置為當(dāng)前視頻輸入幀相應(yīng)位置的像素點(diǎn)，后景區(qū)域的像素點(diǎn)置為白，在RGB空間中，白為(255，255，255)；

1.3反饋前景和后景：將前景即運(yùn)動(dòng)目標(biāo)區(qū)域和后景反饋用于下一幀的背景更新；

步驟2、動(dòng)態(tài)背景更新，包括以下步驟：

2.1空域?yàn)V波結(jié)果反饋：將上一次空域?yàn)V波結(jié)果反饋指導(dǎo)動(dòng)態(tài)背景更新，判斷當(dāng)前輸入視頻幀是否為第2幀圖像，若當(dāng)前輸入幀是第2幀，背景不更新，直接以第一幀圖像作為背景；若當(dāng)前輸入幀非第2幀，則進(jìn)行下一步操作；

2.2空域重組：時(shí)域帶通濾波結(jié)果和時(shí)域低通濾波結(jié)果在前景即手指運(yùn)動(dòng)位置和后景位置進(jìn)行空域重組完成背景更新；

步驟3：提取標(biāo)簽，包括以下步驟：

3.1去除膚色：將RGB空間轉(zhuǎn)換至YCrCb空間，判斷坐標(biāo)(Cr，Cb)是否在膚色橢圓模型內(nèi)，若某像素點(diǎn)在膚色橢圓模型內(nèi)，則將該像素點(diǎn)置為白；

3.2去除陰影：將RGB空間轉(zhuǎn)換至HSV空間，對(duì)V分量直方圖進(jìn)行帶通濾波；

3.3判斷標(biāo)簽：在HSV空間，計(jì)算S分量的前景平均閾值，將提取的運(yùn)動(dòng)目標(biāo)中S分量小于前景飽和度平均閾值的像素點(diǎn)置為白；

所述運(yùn)動(dòng)目標(biāo)定位模塊用于定位運(yùn)動(dòng)目標(biāo)，采用聯(lián)合空間自適應(yīng)Kmeans實(shí)現(xiàn)，具體實(shí)現(xiàn)步驟包括：

步驟1、聯(lián)合空間自適應(yīng)Kmeans，包括以下步驟：

1.1統(tǒng)計(jì)R、G、B直方圖特性：將運(yùn)動(dòng)目標(biāo)檢測結(jié)果R、G、B三個(gè)分量直方圖進(jìn)行低通濾波，自適應(yīng)判斷直方圖波峰；

1.2自適應(yīng)決定聚類數(shù)目K：取R、G、B直方圖最大波峰個(gè)數(shù)來作為聯(lián)合空間自適應(yīng)Kmeans的聚類數(shù)目；

1.3自適應(yīng)聚類初始化：利用R、G、B直方圖波峰位置來初始化聚類中心；

1.4迭代直至收斂：重復(fù)下列操作，直至收斂：(a)分別計(jì)算K個(gè)類的類中心；第k類的類中心是第k類中5維觀測(R，G，B，x，y)向量的均值向量，1≤k≤K；(b)將每個(gè)觀測分配到距離最近的類中心所在的類中；所述距離最近采用歐式距離來確定；

步驟2：隨機(jī)擾動(dòng)和模擬退火，包括以下步驟：

2.1計(jì)算每一類的5維擾動(dòng)半徑：取每一類的類中心距該類所有點(diǎn)中最遠(yuǎn)的距離作為擾動(dòng)半徑r_K，r_K為五維矢量，K為聚類數(shù)目；

2.2隨機(jī)擾動(dòng)：取-1～1之間的隨機(jī)數(shù)random₀，將類中心進(jìn)行r_K*random₀的擾動(dòng)；將類中心擾動(dòng)后的結(jié)果作為新的初始化類中心，重新進(jìn)行聯(lián)合空間自適應(yīng)Kmeans，計(jì)算新的目標(biāo)函數(shù)J’與當(dāng)前目標(biāo)函數(shù)J的差值ΔJ＝J'-J；若ΔJ＜0，則接受新解作為當(dāng)前解，并更新擾動(dòng)半徑，進(jìn)入步驟3；否則進(jìn)入步驟2.3；

2.3模擬退火：將參與擾動(dòng)的隨機(jī)數(shù)修正為random₀*a^-t，其中a為退火速度，a1，t為退火次數(shù)，繼續(xù)進(jìn)行2.1和2.2的操作；

步驟3：指法識(shí)別，包括以下步驟：

3.1運(yùn)動(dòng)目標(biāo)定位：通過聯(lián)合空間自適應(yīng)Kmeans聚類中心的坐標(biāo)，確定每一視頻幀手指在鍵盤上的相應(yīng)位置從而獲得指法；

3.2指法輸出：將每一視頻幀的指法統(tǒng)一保存在csv文件中用于后續(xù)的指法學(xué)習(xí)和研究。