[發(fā)明專(zhuān)利]一種基于深度神經(jīng)網(wǎng)絡(luò)的新生兒疼痛表情識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710497593.0
• 申請(qǐng)日: 2017-06-27
• 公開(kāi)（公告）號(hào): CN107392109A
• 公開(kāi)（公告）日: 2017-11-24
• 發(fā)明（設(shè)計(jì)）人: 盧官明;洪強(qiáng);李曉南;閆靜杰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京郵電大學(xué)
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 南京經(jīng)緯專(zhuān)利商標(biāo)代理有限公司32200
• 代理人: 田凌濤

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于深度神經(jīng)網(wǎng)絡(luò)的新生兒疼痛表情識(shí)別方法，屬于機(jī)器學(xué)習(xí)與模式識(shí)別技術(shù)領(lǐng)域。

背景技術(shù)

國(guó)際疼痛協(xié)會(huì)(International Association for the Study of Pain)將疼痛定義為：“一種不愉快的感覺(jué)和伴有實(shí)際或潛在的組織損傷的情緒體驗(yàn)，屬于主觀性感覺(jué)”。但新生兒無(wú)法描述疼痛的能力，因此，國(guó)際疼痛研究協(xié)會(huì)又增加了“無(wú)交流能力卻不能否定一個(gè)個(gè)體有疼痛體驗(yàn)和需要適當(dāng)緩解疼痛的可能性。”新生兒出生后都具有感知疼痛的能力，在醫(yī)療過(guò)程中對(duì)新生兒采取的一些醫(yī)療操作會(huì)引起新生兒的疼痛。比如各種穿刺、注射、局部感染、手術(shù)、環(huán)境、護(hù)理因素、產(chǎn)傷、疾病本身等都會(huì)造成新生兒疼痛。而這些疼痛感會(huì)引起新生兒的機(jī)體全身反應(yīng)，包括呼吸影響、心血管不穩(wěn)定，造成厭惡接觸、喂養(yǎng)困難、影響其與父母的關(guān)系，對(duì)神經(jīng)元和腦組織信號(hào)傳遞產(chǎn)生永久的損傷，甚至導(dǎo)致未來(lái)發(fā)育不良等其他負(fù)面影響。

疼痛評(píng)估是控制疼痛的重要一環(huán)，是否需要進(jìn)行疼痛治療的干預(yù)以及評(píng)價(jià)治療的效果如何，關(guān)鍵均在于對(duì)疼痛的準(zhǔn)確評(píng)估。在常用的新生兒疼痛評(píng)估工具中，疼痛引起的蹙眉、擠眼、鼻唇溝加深、張口等“面部表情”被認(rèn)為是最可靠的疼痛監(jiān)測(cè)指標(biāo)。

但目前國(guó)際上對(duì)新生兒疼痛的評(píng)估都是由受過(guò)專(zhuān)門(mén)訓(xùn)練并熟悉各項(xiàng)評(píng)估技術(shù)指標(biāo)的醫(yī)護(hù)人員進(jìn)行人工評(píng)估，這帶來(lái)了一些實(shí)際問(wèn)題，如需要花費(fèi)大量的時(shí)間精力，而且評(píng)估結(jié)果往往受個(gè)人的經(jīng)驗(yàn)及情緒等主觀因素的影響，不能客觀反映新生兒疼痛程度。因此，開(kāi)發(fā)一種客觀、快速、有效的新生兒疼痛自動(dòng)評(píng)估系統(tǒng)，對(duì)醫(yī)護(hù)人員及時(shí)采取相應(yīng)的鎮(zhèn)痛措施以減輕新生兒的疼痛具有非常重要的意義和價(jià)值。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種基于深度神經(jīng)網(wǎng)絡(luò)的新生兒疼痛表情識(shí)別方法，引入卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)，能夠提高在面部受遮擋、姿態(tài)傾斜、光照變化等復(fù)雜情況下的識(shí)別率和魯棒性。

本發(fā)明為了解決上述技術(shù)問(wèn)題采用以下技術(shù)方案：本發(fā)明設(shè)計(jì)了一種基于深度神經(jīng)網(wǎng)絡(luò)的新生兒疼痛表情識(shí)別方法，包括如下步驟：

步驟A.采集新生兒分別對(duì)應(yīng)預(yù)設(shè)各個(gè)疼痛程度等級(jí)的各個(gè)樣本疼痛等級(jí)表情視頻，并進(jìn)入步驟B；

步驟B.分別針對(duì)各個(gè)樣本疼痛等級(jí)表情視頻，具體針對(duì)樣本疼痛等級(jí)表情視頻進(jìn)行剪輯，獲得各個(gè)表情圖像幀，進(jìn)而獲得各個(gè)樣本疼痛等級(jí)表情視頻分別所對(duì)應(yīng)的各組樣本表情圖像幀，并統(tǒng)一各組樣本表情圖像幀的幀長(zhǎng)度T，以及統(tǒng)一所有表情圖像幀的分辨率m×n，然后進(jìn)入步驟C；

步驟C.構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)，并將卷積神經(jīng)網(wǎng)絡(luò)的輸出端與長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的輸入端相連接，由卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)組建深度神經(jīng)網(wǎng)絡(luò)，然后進(jìn)入步驟D；

步驟D.采用各組樣本表情圖像幀，以及分別所對(duì)應(yīng)的疼痛程度等級(jí)作為訓(xùn)練樣本，針對(duì)所組建的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得對(duì)應(yīng)于新生兒表情識(shí)別的深度神經(jīng)網(wǎng)絡(luò)，然后進(jìn)入步驟E；

步驟E.采集新生兒實(shí)際表情視頻，并進(jìn)行圖像幀調(diào)整，然后采用對(duì)應(yīng)于新生兒表情識(shí)別的深度神經(jīng)網(wǎng)絡(luò)，針對(duì)新生兒實(shí)際表情視頻進(jìn)行識(shí)別，獲得所對(duì)應(yīng)的疼痛程度等級(jí)。

作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述預(yù)設(shè)各個(gè)疼痛程度等級(jí)包括新生兒平靜狀態(tài)、新生兒啼哭狀態(tài)，以及因致通性操作所導(dǎo)致的新生兒輕度疼痛狀態(tài)、新生兒劇烈疼痛狀態(tài)。

作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述步驟D中，采用各組樣本表情圖像幀，以及分別所對(duì)應(yīng)的疼痛程度等級(jí)作為訓(xùn)練樣本，通過(guò)BPTT算法針對(duì)所組建的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述步驟C中構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)由輸入開(kāi)始，依次包括第一層卷積層、第二層池化層、第三層卷積層、第四層池化層、第五層卷積層、第六層池化層、第七層卷積層和第八層全連接層。

作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述卷積神經(jīng)網(wǎng)絡(luò)由輸入開(kāi)始，依次所包括各個(gè)層如下：

第一層卷積層，采用l₁個(gè)k₁×k₁卷積核針對(duì)分辨率為m×n的表情圖像幀進(jìn)行卷積操作，獲得l₁個(gè)分辨率為m₁×n₁的特征圖，其中，s₁表示本層卷積核的卷積步長(zhǎng)，INT(·)表示取整函數(shù)；