[發(fā)明專利]基于雙目視覺的吞咽檢測方法及裝置、設(shè)備、存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202210128951.1
• 申請日: 2022-02-11
• 公開（公告）號: CN114515395B
• 公開（公告）日: 2022-11-29
• 發(fā)明（設(shè)計）人: 李驥;王勝資;章亞男;朱志鵬;倪曉晨
• 申請（專利權(quán)）人: 復(fù)旦大學(xué)附屬眼耳鼻喉科醫(yī)院
• 主分類號: A61N5/10
• 分類號: A61N5/10;A61B5/00;A61B5/11
• 代理公司: 上海熠澗知識產(chǎn)權(quán)代理有限公司 31442
• 代理人: 何靜生

1.一種基于雙目視覺的吞咽檢測方法，其特征在于，包括：

在患者吞咽過程中，獲取患者的連續(xù)多幀圖像對，每幀所述圖像對包含第一喉部圖像和第二喉部圖像，所述第一喉部圖像和第二喉部圖像中均包含粘貼于患者喉部的標記；

通過識別所述第一喉部圖像和所述第二喉部圖像中所述標記的特征得到每幀所述圖像對的三維喉部特征，所述三維喉部特征包含喉部關(guān)鍵點三維位置；

根據(jù)所述多幀圖像對的所述喉部關(guān)鍵點三維位置，獲得患者的喉部運動數(shù)據(jù)；

根據(jù)所述患者的喉部運動數(shù)據(jù)，獲得所述患者的吞咽數(shù)據(jù)；

所述通過識別所述第一喉部圖像和所述第二喉部圖像中所述標記的特征得到每幀所述圖像對的三維喉部特征，包括：

從當前幀圖像對的第一喉部圖像中提取所述標記的第一邊緣特征；

從所述當前幀圖像對的第二喉部圖像中提取所述標記的第二邊緣特征；

根據(jù)所述第一邊緣特征與所述第二邊緣特征，獲得當前幀圖像對的匹配特征點對；

利用所述匹配特征點對執(zhí)行點云重建，以得到當前幀圖像對的三維喉部特征。

2.根據(jù)權(quán)利要求1所述的吞咽檢測方法，其特征在于，所述標記為細條狀貼紙，所述細條形貼紙粘貼于患者喉部皮膚表面時所述細條形貼紙的形態(tài)與喉部甲狀腺軟骨皮膚表面呈現(xiàn)的形態(tài)一致。

3.根據(jù)權(quán)利要求1所述的吞咽檢測方法，其特征在于，所述根據(jù)所述第一邊緣特征與所述第二邊緣特征，獲得當前幀圖像對的匹配特征點對，包括：

在所述第二邊緣特征中，為所述第一邊緣特征中每個像素點尋找匹配像素點，以獲得第一容器和第二容器，所述第一容器包含第一像素點，所述第一像素點為所述第一邊緣特征中能夠在第二邊緣特征中尋找到匹配像素點的像素點，所述第二容器包含第二像素點，所述第二像素點為所述第一像素點在第二邊緣特征中的匹配像素點；

在所述第一邊緣特征中，為所述第二容器中的每個所述第二像素點尋找匹配像素點，以獲得第三容器，所述第三容器包含第三像素點，所述第三像素點為所述第二像素點在所述第一邊緣特征中的匹配像素點；

依序逐個對比所述第一容器中的第一像素點與所述第三容器中的第三像素點；

所述第一容器中的每個第一像素點與第三容器中相同序號的第三像素點相同時，以所述第一容器中的所述第一像素點和所述第二容器中的第二像素點作為所述匹配特征點對。

4.根據(jù)權(quán)利要求3所述的吞咽檢測方法，其特征在于，所述尋找匹配像素點的步驟基于如下的評價函數(shù)執(zhí)行：

其中，I₁為包含所述第一邊緣特征的圖像，I₂為包含所述第二邊緣特征的圖像，(u,v)為I₁中的一個像素點，以(u,v)為中心在I₁中取鄰域作為I₁的模板，根據(jù)I₁的模板選擇I₂的模板，W為所述模板的代號，M是所述模板所占像素個數(shù)，(x,y)表示預(yù)先確定的I₂中模板相對于I₁中模板的偏移量，表示I₁中模板區(qū)域的均值，表示I₂中模板區(qū)域的均值，(u₀，v₀)表示I₁中的另一個像素點，k為預(yù)先設(shè)定的比例參數(shù)，S(x,y)表示評價值，評價值最小時達到最佳匹配。

5.根據(jù)權(quán)利要求1所述的吞咽檢測方法，其特征在于，

所述喉部關(guān)鍵點為喉部突出點；

所述方法還包括：從所述三維喉部特征中提取所述喉部突出點的三維位置。

6.根據(jù)權(quán)利要求5所述的吞咽檢測方法，其特征在于，所述喉部突出點的三維位置為所述三維喉部特征中喉部前后運動方向坐標值最大的像素點的三維位置。