[發(fā)明專利]一種基于雙深度相機(jī)的腧穴定位方法

在審

• 申請?zhí)枺?/td>: 201911105661.X
• 申請日: 2019-11-13
• 公開（公告）號: CN110930374A
• 公開（公告）日: 2020-03-27
• 發(fā)明（設(shè)計(jì)）人: 孫漢旭;王聰;夏小武;吳冬
• 申請（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/13;G06T7/73;G06T7/80;G06T7/90
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提供了一種基于雙深度相機(jī)的腧穴定位方法，借助機(jī)器視覺及圖像處理技術(shù)對腧穴進(jìn)行準(zhǔn)確三維定位。該方法包括：利用標(biāo)定后的全局相機(jī)對人體進(jìn)行分割，確定目標(biāo)腧穴所在肢體區(qū)域；在對應(yīng)區(qū)域上方利用手眼相機(jī)獲取肢體圖像，對不同肢體部位采用不同腧穴定位方法；手部等特征復(fù)雜部位，基于openpose深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行關(guān)鍵點(diǎn)檢測，得到關(guān)鍵點(diǎn)后結(jié)合指寸法確定腧穴位置；手臂等較規(guī)則部位，對圖像進(jìn)行膚色檢測、邊緣檢測、拐點(diǎn)檢測等獲取關(guān)鍵點(diǎn)，并結(jié)合骨度分寸法進(jìn)行腧穴定位；然后利用深度相機(jī)結(jié)構(gòu)光對目標(biāo)腧穴進(jìn)行深度估計(jì)，并輸出腧穴三維坐標(biāo)。本發(fā)明實(shí)施例提供的技術(shù)方案，可以實(shí)現(xiàn)人體腧穴的自動定位，為針灸機(jī)器人提供精確的目標(biāo)腧穴位置。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于雙深度相機(jī)的腧穴定位方法。

背景技術(shù)

無論國內(nèi)國外，自動取穴的相關(guān)技術(shù)還不成熟，多數(shù)在研究階段，而臨床應(yīng)用的實(shí)例幾乎沒有。腧穴識別還存在只是對局部腧穴的識別、腧穴識別不夠準(zhǔn)確、只能夠?qū)o止的人體進(jìn)行腧穴識別等不足。

另外在針灸治療過程中一般需要沿一條經(jīng)脈依次將其上的腧穴進(jìn)行刺激治療，而經(jīng)脈分布很廣大部分都是從手部到頭部或者從頭部到腳部，因此很難用一種方法智能識別一條經(jīng)絡(luò)上的全部腧穴。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提供了一種基于雙深度相機(jī)的腧穴定位方法，能夠?qū)崿F(xiàn)人體腧穴的自動定位，并且達(dá)到定位精確的效果。

本發(fā)明實(shí)施例提供了一種基于雙深度相機(jī)的腧穴定位方法，包括如下步驟：

使用全局相機(jī)獲取人體圖像并進(jìn)行骨架提取、姿態(tài)匹配，確定目標(biāo)腧穴所在肢體區(qū)域；

使用手眼相機(jī)依次獲取目標(biāo)腧穴所在肢體圖像，并判斷肢體類別；

對于手部圖像，采用基于openpose深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行手部關(guān)鍵點(diǎn)檢測，將得到的關(guān)鍵點(diǎn)位置信息結(jié)合指寸法確定手部腧穴位置；

對于手臂圖像，對圖像進(jìn)行預(yù)處理、拐點(diǎn)檢測等圖像處理技術(shù)后獲取關(guān)鍵點(diǎn)，并結(jié)合骨度分寸法進(jìn)行腧穴定位；

利用深度相機(jī)對所述腧穴進(jìn)行深度估計(jì)，并輸出腧穴三維坐標(biāo)。

上述方法中，所述依據(jù)所述全局相機(jī)獲取人體圖像并進(jìn)行骨架提取、姿態(tài)匹配確定目標(biāo)腧穴所在肢體區(qū)域，具體為：

全局相機(jī)獲取到的人體全身圖像，根據(jù)深度數(shù)據(jù)將人體與環(huán)境分割，并通過Kinect骨骼追蹤技術(shù)獲取20個人體關(guān)節(jié)節(jié)點(diǎn)，完成骨架提取；

獲取骨架后對骨骼數(shù)據(jù)進(jìn)行特征提取，并根據(jù)骨架序列的角度特征進(jìn)行標(biāo)準(zhǔn)姿態(tài)匹配，輔助肢體位置的確定；

根據(jù)腧穴所在的肢體位置，結(jié)合骨骼點(diǎn)坐標(biāo)信息計(jì)算出手眼相機(jī)需要到達(dá)的位置。

上述方法中，所述依據(jù)所述使用手眼相機(jī)依次獲取目標(biāo)腧穴所在肢體圖像，并判斷肢體類別，具體為：

根據(jù)上述全局深度相機(jī)確定出手眼相機(jī)需要到達(dá)的位置坐標(biāo)后，由機(jī)械臂帶動手眼相機(jī)運(yùn)動到指定位置，并根據(jù)模板判斷肢體類別。

上述方法中，所述依據(jù)所述對于手部圖像，采用基于openpose深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行手部關(guān)鍵點(diǎn)檢測，將得到的關(guān)鍵點(diǎn)位置信息結(jié)合指寸法確定手部腧穴位置，具體為：

輸入為手部圖像，輸出結(jié)果是22個矩陣，每個矩陣代表某個特定關(guān)鍵點(diǎn)的位置；

本發(fā)明采用中指指寸法，即以被取穴者的中指中節(jié)橈側(cè)兩端紋頭之間的距離作為1寸。

上述方法中，所述依據(jù)所述對于手臂圖像，對圖像進(jìn)行預(yù)處理、拐點(diǎn)檢測等圖像處理技術(shù)后獲取關(guān)鍵點(diǎn)，并結(jié)合骨度分寸法進(jìn)行腧穴定位，具體為：

圖像預(yù)處理包含，對所述圖像膚色檢測、二值化處理、濾波、開運(yùn)算；