[發(fā)明專利]一種基于深度學(xué)習(xí)的斑馬魚空間姿態(tài)與心臟位置估計(jì)方法

在審

• 申請?zhí)枺?/td>: 202011438007.3
• 申請日: 2020-12-10
• 公開（公告）號: CN112418171A
• 公開（公告）日: 2021-02-26
• 發(fā)明（設(shè)計(jì)）人: 樊啟高;趙然;時(shí)帥;張鵬松;黃文濤
• 申請（專利權(quán)）人: 江南大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/40;G06K9/62;G06N3/04
• 代理公司: 無錫華源專利商標(biāo)事務(wù)所(普通合伙) 32228
• 代理人: 聶啟新

本發(fā)明公開了一種基于深度學(xué)習(xí)的斑馬魚空間姿態(tài)與心臟位置估計(jì)方法，涉及圖像識別處理領(lǐng)域，該方法包括：獲取斑馬魚幼魚采樣圖像制作數(shù)據(jù)集，對斑馬魚幼魚采樣圖像進(jìn)行關(guān)鍵點(diǎn)標(biāo)注，構(gòu)建多層卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集并進(jìn)一步計(jì)算，達(dá)到自動化識別在顯微鏡視野中斑馬魚幼魚的姿態(tài)，通過幀差法對斑馬魚待測圖像進(jìn)行逐幀比較，通過檢測斑馬魚心臟的細(xì)微變化，得到斑馬魚心臟的具體位置。該方法成本較低，操作簡單，能夠有效提高準(zhǔn)確率，解決了傳統(tǒng)注射方法中由操作人員人為判斷引起的操作誤差。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像識別處理領(lǐng)域，尤其是一種基于深度學(xué)習(xí)的斑馬魚空間姿態(tài)與心臟位置估計(jì)方法。

背景技術(shù)

斑馬魚是一種熱帶淡水硬骨魚，是目前世界上重要的模式動物之一。其繁殖速度極快，可以為研究節(jié)省大量時(shí)間。其胚胎以及幼魚期間通體透明，可以便于觀察體內(nèi)的器官發(fā)育情況。且斑馬魚的基因組在測序后，結(jié)果與人類的基因有著很高的相似度。這使得斑馬魚在多種學(xué)科及研究領(lǐng)域均具備極高的研究價(jià)值，也使斑馬魚成為近幾十年生物醫(yī)學(xué)等領(lǐng)域最受歡迎的研究模型之一。

在斑馬魚的研究實(shí)驗(yàn)中，注射是最常用的一項(xiàng)技術(shù)。傳統(tǒng)的注射技術(shù)一般是通過人工尋找斑馬魚的心臟進(jìn)行注射操作，需要事先對操作人員進(jìn)行一系列培訓(xùn)，費(fèi)時(shí)費(fèi)力，且實(shí)際操作中存在多種環(huán)境因素影響，導(dǎo)致注射成功率偏低，且容易引入外界污染，因此如何確定斑馬魚的心臟位置是研究實(shí)驗(yàn)的關(guān)鍵。

發(fā)明內(nèi)容

本發(fā)明人針對上述問題及技術(shù)需求，提出了一種基于深度學(xué)習(xí)的斑馬魚空間姿態(tài)與心臟位置估計(jì)方法，解決了傳統(tǒng)注射方法中由操作人員人為判斷心臟位置引起的操作誤差。

本發(fā)明的技術(shù)方案如下：

一種基于深度學(xué)習(xí)的斑馬魚空間姿態(tài)與心臟位置估計(jì)方法，包括如下步驟：

獲取斑馬魚幼魚采樣圖像，建立斑馬魚的深度學(xué)習(xí)數(shù)據(jù)集；

建立多層卷積神經(jīng)網(wǎng)絡(luò)，用深度學(xué)習(xí)數(shù)據(jù)集對多層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練優(yōu)化，得到斑馬魚幼魚的最優(yōu)深度學(xué)習(xí)算法模型；

獲取斑馬魚幼魚待測圖像并輸入至最優(yōu)深度學(xué)習(xí)算法模型，得到實(shí)時(shí)狀態(tài)下的待測斑馬魚幼魚的關(guān)鍵點(diǎn)坐標(biāo)，關(guān)鍵點(diǎn)包括頭、尾、雙眼、身體凹陷點(diǎn)和魚鰾；

根據(jù)各個(gè)關(guān)鍵點(diǎn)坐標(biāo)確定待測斑馬魚幼魚的心臟區(qū)域，通過幀差法檢測心臟區(qū)域，根據(jù)待測斑馬魚幼魚的心臟跳動檢測出待測斑馬魚幼魚心臟的準(zhǔn)確位置。

其進(jìn)一步的技術(shù)方案為，獲取斑馬魚幼魚采樣圖像，建立斑馬魚的深度學(xué)習(xí)數(shù)據(jù)集，包括：

使用MS-222對斑馬魚幼魚進(jìn)行麻醉處理，將麻醉后的斑馬魚幼魚放在顯微鏡下，利用顯微鏡下的CCD相機(jī)進(jìn)行拍攝得到斑馬魚幼魚采樣圖像，并建立斑馬魚的深度學(xué)習(xí)數(shù)據(jù)集；使用labelme標(biāo)注工具對斑馬魚幼魚采樣圖像的各個(gè)關(guān)鍵點(diǎn)進(jìn)行標(biāo)注；將所有標(biāo)注后的斑馬魚幼魚采樣圖像隨機(jī)劃分為數(shù)據(jù)集對應(yīng)的訓(xùn)練集以及測試集。

其進(jìn)一步的技術(shù)方案為，用深度學(xué)習(xí)數(shù)據(jù)集對多層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練優(yōu)化，得到斑馬魚幼魚的最優(yōu)深度學(xué)習(xí)算法模型，包括：

訓(xùn)練采用pytorch進(jìn)行開發(fā)，并采用NVIDIA GPU對訓(xùn)練進(jìn)行加速，訓(xùn)練集訓(xùn)練完成后，用測試集對訓(xùn)練結(jié)果進(jìn)行測試，通過調(diào)節(jié)學(xué)習(xí)率以及損失函數(shù)得出最優(yōu)深度學(xué)習(xí)算法模型。

其進(jìn)一步的技術(shù)方案為，多層卷積神經(jīng)網(wǎng)絡(luò)為CPM網(wǎng)絡(luò)，CPM網(wǎng)絡(luò)包括六個(gè)階段，六個(gè)階段順次相連，則獲取斑馬魚幼魚待測圖像并輸入至最優(yōu)深度學(xué)習(xí)算法模型，得到實(shí)時(shí)狀態(tài)下的待測斑馬魚幼魚的關(guān)鍵點(diǎn)，包括：

對斑馬魚幼魚待測圖像進(jìn)行縮放得到尺寸變換后的斑馬魚幼魚待測圖像；尺寸變換后的斑馬魚幼魚待測圖像依次經(jīng)過CPM網(wǎng)絡(luò)的六個(gè)階段后輸出實(shí)時(shí)狀態(tài)下的待測斑馬魚幼魚的關(guān)鍵點(diǎn)；

其中，第一階段包括依次相連的第一卷積網(wǎng)絡(luò)、卷積核為1的卷積層以及卷積層輸出的第一階段置信圖；