[發(fā)明專利]基于神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)識(shí)別實(shí)物鏡下技能訓(xùn)練評(píng)價(jià)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011591147.4
• 申請(qǐng)日: 2020-12-29
• 公開（公告）號(hào): CN112734704B
• 公開（公告）日: 2023-05-16
• 發(fā)明（設(shè)計(jì)）人: 劉英偉
• 申請(qǐng)（專利權(quán)）人: 上海索驗(yàn)智能科技有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06V10/764;G06V10/766;G06V10/82;G06N3/0464;G06N3/08;G09B9/00
• 代理公司: 北京天盾知識(shí)產(chǎn)權(quán)代理有限公司 11421
• 代理人: 孫倩倩

本發(fā)明公開了一種基于神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)識(shí)別實(shí)物鏡下技能訓(xùn)練評(píng)價(jià)方法，其包括：采用基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法來對(duì)訓(xùn)練場(chǎng)景中的物體進(jìn)行識(shí)別，得到多個(gè)物體、多個(gè)物體的包圍框坐標(biāo)和對(duì)應(yīng)的物體類別，即將訓(xùn)練場(chǎng)景拆解；技能訓(xùn)練時(shí)，根據(jù)訓(xùn)練場(chǎng)景首次輸入的圖像定位訓(xùn)練場(chǎng)景中需要評(píng)分的物體，根據(jù)需要評(píng)分的物體識(shí)別對(duì)應(yīng)的物體類別，根據(jù)物體類別判斷執(zhí)行對(duì)應(yīng)的訓(xùn)練類別；持續(xù)追蹤已經(jīng)定位出來的每一個(gè)物體并且檢測(cè)狀態(tài)變化；當(dāng)檢測(cè)到物體的狀態(tài)發(fā)生變化的時(shí)候，根據(jù)訓(xùn)練類別設(shè)定的規(guī)則對(duì)物體的變化狀態(tài)進(jìn)行評(píng)分，即當(dāng)前操作的情況評(píng)分。本發(fā)明能夠快速有效的得到訓(xùn)練操作評(píng)價(jià)，快速提升技能。

技術(shù)領(lǐng)域

本發(fā)明涉及腹腔鏡手術(shù)技術(shù)領(lǐng)域，具體涉及一種基于神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)識(shí)別實(shí)物鏡下技能訓(xùn)練評(píng)價(jià)方法。

背景技術(shù)

腹腔鏡手術(shù)是一門新發(fā)展起來的微創(chuàng)方法，是未來手術(shù)方法發(fā)展的一個(gè)必然趨勢(shì)。隨著工業(yè)制造技術(shù)的突飛猛進(jìn)，相關(guān)學(xué)科的融合為開展新技術(shù)、新方法奠定了堅(jiān)定的基礎(chǔ)，加上醫(yī)生越來越嫻熟的操作，使得許多過去的開放性手術(shù)現(xiàn)在已被腔內(nèi)手術(shù)取而代之，大大增加了手術(shù)選擇機(jī)會(huì)。

為了保障手術(shù)質(zhì)量，醫(yī)生需要經(jīng)過大量的理論學(xué)習(xí)和模擬訓(xùn)練才能夠進(jìn)行臨床手術(shù)操作，現(xiàn)有腹腔鏡手術(shù)在技能培訓(xùn)階段，通常使用實(shí)物訓(xùn)練箱或者動(dòng)物實(shí)驗(yàn)進(jìn)行練習(xí)，之后在臨床手術(shù)中實(shí)踐學(xué)習(xí)。

但是訓(xùn)練箱方法只能夠?qū)τ?xùn)練結(jié)果作出有效評(píng)價(jià)，對(duì)于訓(xùn)練過程只能夠憑借自身經(jīng)驗(yàn)或者老師指導(dǎo)操作評(píng)價(jià)，動(dòng)物實(shí)驗(yàn)則耗費(fèi)人力物力較多，不易經(jīng)常開展，不適合作為日常訓(xùn)練方法，因此上述兩種訓(xùn)練方法極大限制了醫(yī)生在技能培訓(xùn)階段的提升，并且也大大增加了臨床實(shí)踐學(xué)習(xí)的時(shí)間。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是提供一種基于神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)識(shí)別實(shí)物鏡下技能訓(xùn)練評(píng)價(jià)方法，能夠快速有效的得到訓(xùn)練操作評(píng)價(jià)，快速提升技能。

為了解決上述技術(shù)問題，本發(fā)明提供了一種基于神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)識(shí)別實(shí)物鏡下技能訓(xùn)練評(píng)價(jià)方法，其包括：

采用基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法來對(duì)訓(xùn)練場(chǎng)景中的物體進(jìn)行識(shí)別，訓(xùn)練場(chǎng)景為單幀圖像輸入，通過多個(gè)卷積層、池化層和yolo回歸層識(shí)別出多個(gè)物體、多個(gè)物體的包圍框坐標(biāo)和對(duì)應(yīng)的物體類別，即將訓(xùn)練場(chǎng)景拆解；

技能訓(xùn)練時(shí)，根據(jù)訓(xùn)練場(chǎng)景首次輸入的圖像定位訓(xùn)練場(chǎng)景中需要評(píng)分的物體，根據(jù)需要評(píng)分的物體識(shí)別對(duì)應(yīng)的物體類別，根據(jù)物體類別判斷執(zhí)行對(duì)應(yīng)的訓(xùn)練類別；

持續(xù)追蹤已經(jīng)定位出來的每一個(gè)物體并且檢測(cè)狀態(tài)變化；

當(dāng)檢測(cè)到物體的狀態(tài)發(fā)生變化的時(shí)候，根據(jù)訓(xùn)練類別設(shè)定的規(guī)則對(duì)物體的變化狀態(tài)進(jìn)行評(píng)分，即當(dāng)前操作的情況評(píng)分。

進(jìn)一步地，神經(jīng)網(wǎng)絡(luò)采用darknet框架構(gòu)建。

進(jìn)一步地，機(jī)器通過大量已經(jīng)標(biāo)記好的各種物體進(jìn)行識(shí)別學(xué)習(xí)，采用Yolo-v3算法從圖像的像素輸出識(shí)別出的物體、物體數(shù)量和物體類別，算法使用隨機(jī)梯度下降的優(yōu)化方式進(jìn)行學(xué)習(xí)訓(xùn)練，同時(shí)在學(xué)習(xí)訓(xùn)練用的數(shù)據(jù)中引入噪聲。

進(jìn)一步地，使用相關(guān)濾波法來追蹤所有已經(jīng)被識(shí)別出的物體以及物體接下來的所有運(yùn)動(dòng)。

進(jìn)一步地，對(duì)于已經(jīng)被識(shí)別出的物體即有了第一幀的圖像，根據(jù)物體的位置構(gòu)造出物體的回歸目標(biāo)圖用來計(jì)算出濾波模板的值，計(jì)算過程中模板和回歸響應(yīng)圖做循環(huán)卷積，其中轉(zhuǎn)換到傅里葉頻域計(jì)算，將卷積簡(jiǎn)化成點(diǎn)積操作，最后使用卷積模板和下一幀的圖形進(jìn)行卷積操作得到新的響應(yīng)圖，選擇其中響應(yīng)值最大的點(diǎn)就是物體移動(dòng)的下一幀圖像中的位置。

本發(fā)明的有益效果：

通過基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)對(duì)物體的識(shí)別，通過識(shí)別能夠快速定義訓(xùn)練場(chǎng)景，并且通過識(shí)別還能夠追蹤物體的移動(dòng)情況，根據(jù)移動(dòng)情況以及訓(xùn)練場(chǎng)景的規(guī)則，可以實(shí)時(shí)得到操作者每個(gè)操作步驟的評(píng)價(jià)，通過操作評(píng)價(jià)能夠讓整個(gè)技能訓(xùn)練過程得到分解，使得醫(yī)生能夠認(rèn)識(shí)到某些步驟方面的不足，從而快速提升自己的技能。