[發(fā)明專(zhuān)利]一種基于特征融合的疼痛強(qiáng)度評(píng)估方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010034499.3
• 申請(qǐng)日: 2020-01-14
• 公開(kāi)（公告）號(hào): CN113191171B
• 公開(kāi)（公告）日: 2022-06-17
• 發(fā)明（設(shè)計(jì)）人: 卿粼波;黃義波;何小海;滕奇志;王露
• 申請(qǐng)（專(zhuān)利權(quán)）人: 四川大學(xué)
• 主分類(lèi)號(hào): G06V40/16
• 分類(lèi)號(hào): G06V40/16;G06K9/62;G06N3/04;G06V10/80
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明提供了一種基于特征融合的疼痛強(qiáng)度評(píng)估方法，主要涉及利用三維卷積神經(jīng)網(wǎng)絡(luò)(3D CNN)和二維卷積神經(jīng)網(wǎng)絡(luò)(2D CNN)對(duì)人臉圖像數(shù)據(jù)進(jìn)行疼痛強(qiáng)度回歸。該方法包括：對(duì)原始數(shù)據(jù)集中的人臉數(shù)據(jù)進(jìn)行仿射變換，得到固定形狀且不含背景信息的圖像數(shù)據(jù)。再利用3D CNN對(duì)圖像序列中的動(dòng)態(tài)時(shí)序特征進(jìn)行提取，同時(shí)利用2D CNN對(duì)圖像中的靜態(tài)空間特征進(jìn)行提取，之后將兩種方式提取到的特征通過(guò)特征圖拼接的方式融合起來(lái)作為后續(xù)3D CNN的輸入，最后通過(guò)回歸的方式預(yù)測(cè)疼痛強(qiáng)度。本發(fā)明充分發(fā)揮深度學(xué)習(xí)的優(yōu)勢(shì)，利用不同維度的卷積神經(jīng)網(wǎng)絡(luò)分別提取輸入數(shù)據(jù)的動(dòng)態(tài)時(shí)序信息以及靜態(tài)空間信息，提高疼痛強(qiáng)度回歸的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)領(lǐng)域中的疼痛強(qiáng)度評(píng)估問(wèn)題，尤其是涉及一種基于特征融合的疼痛強(qiáng)度評(píng)估方法。

背景技術(shù)

視覺(jué)傳感器數(shù)據(jù)的出現(xiàn)給許多領(lǐng)域帶來(lái)了機(jī)遇。特別是在臨床醫(yī)學(xué)領(lǐng)域，通過(guò)對(duì)視覺(jué)傳感圖像數(shù)據(jù)的分析，可以獲得患者的健康狀態(tài)信息，為相關(guān)原型系統(tǒng)設(shè)計(jì)提供科學(xué)依據(jù)。通過(guò)采用深度學(xué)習(xí)的方法從視覺(jué)傳感圖像數(shù)據(jù)中估計(jì)患者的疼痛強(qiáng)度，可以為醫(yī)護(hù)人員提供患者疼痛強(qiáng)度的定量值。

疼痛強(qiáng)度評(píng)估作為計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究?jī)?nèi)容，受到了國(guó)內(nèi)外研究者的廣泛關(guān)注，且疼痛強(qiáng)度評(píng)估也是面部情緒識(shí)別的重要組成部分，有極大的研究?jī)r(jià)值。目前，深度學(xué)習(xí)的最新進(jìn)展為處理大量醫(yī)學(xué)視覺(jué)傳感數(shù)據(jù)提供了機(jī)會(huì)。通過(guò)利用深度學(xué)習(xí)的方法對(duì)視覺(jué)傳感器采集到的患者圖像數(shù)據(jù)進(jìn)行分析，可以為構(gòu)建相應(yīng)的智能系統(tǒng)提供基礎(chǔ)。而現(xiàn)有的疼痛強(qiáng)度評(píng)估數(shù)據(jù)集都是從患者的面部表情獲取的視頻序列。因此，本專(zhuān)利采用動(dòng)態(tài)視頻序列對(duì)患者的面部疼痛強(qiáng)度進(jìn)行評(píng)估。

深度學(xué)習(xí)(Deep Learning)是近年來(lái)備受關(guān)注的研究領(lǐng)域，它將多個(gè)抽象的數(shù)據(jù)處理層組合構(gòu)成計(jì)算模型代替?zhèn)鹘y(tǒng)的人工選擇特征的方法，讓機(jī)器自主地學(xué)習(xí)數(shù)據(jù)樣本的特征，有效避免人工選擇特征的缺陷。并且與人工選擇特征相比，深度學(xué)習(xí)方法利用大量的數(shù)據(jù)來(lái)學(xué)習(xí)特征，能夠描述數(shù)據(jù)的特征信息進(jìn)行更為豐富的描述。簡(jiǎn)言之，深度學(xué)習(xí)不管在識(shí)別時(shí)間還是準(zhǔn)確度上，與傳統(tǒng)方法相比都有了很大的提高。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于特征融合的疼痛強(qiáng)度評(píng)估方法，引入深度學(xué)習(xí)中的三維卷積神經(jīng)網(wǎng)絡(luò)(3D CNN)和二維卷積神經(jīng)網(wǎng)絡(luò)(2D CNN)，分別提取輸入數(shù)據(jù)的動(dòng)態(tài)時(shí)序特征以及靜態(tài)空間特征，再對(duì)兩種方式提取的特征進(jìn)行融合。有效解決目前淺層學(xué)習(xí)的參數(shù)調(diào)整困難、準(zhǔn)確率不高等問(wèn)題。

為了方便說(shuō)明，首先引入如下概念：

二維卷積神經(jīng)網(wǎng)絡(luò)(2-Dimentional Convolutional Neural Network,2D CNN)：受視覺(jué)神經(jīng)機(jī)制的啟發(fā)而設(shè)計(jì)，是一種多層前饋神經(jīng)網(wǎng)絡(luò)，每層由多個(gè)二維平面組成，平面上的每個(gè)神經(jīng)元獨(dú)立工作，卷積神經(jīng)網(wǎng)絡(luò)主要包括特征提取層和特征映射層。主要用于單張圖像的特征提取。

三維卷積神經(jīng)網(wǎng)絡(luò)(3-Dimentional Convolutional Neural Network,3D CNN)：與二維卷積神經(jīng)網(wǎng)絡(luò)相似，主要用于圖像序列的特征提取。

特征圖(Feature Map)：輸入數(shù)據(jù)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)之后會(huì)生成一個(gè)多維的輸出，這個(gè)輸出叫做特征圖。

特征融合：將2D CNN提取到的靜態(tài)空間特征與3D CNN提取到的動(dòng)態(tài)時(shí)序特征通過(guò)特征圖拼接的方式融合起來(lái)。

本發(fā)明具體采用如下技術(shù)方案：

提出了基于特征融合的疼痛強(qiáng)度評(píng)估方法，該方法的主要特征在于：

a.將原始圖像數(shù)據(jù)進(jìn)行仿射變換并裁剪，得到不含背景信息的面部圖像序列；

b.將上述a中獲得的面部圖像序列以16幀為一個(gè)樣本輸入3D CNN提取圖像序列中的時(shí)序特征，并將該樣本的最后一幀輸入2D CNN提取圖像的靜態(tài)空間特征；