[發(fā)明專利]基于語義和圖像識(shí)別的心電信息提取方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011001748.5
• 申請(qǐng)日: 2020-09-22
• 公開（公告）號(hào): CN111931717B
• 公開（公告）日: 2021-01-26
• 發(fā)明（設(shè)計(jì)）人: 宋青原;王健宗;吳天博;程寧
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06F40/30;G06N3/08;G06N3/04
• 代理公司: 深圳市精英專利事務(wù)所 44242
• 代理人: 李翔宇

1.一種基于語義和圖像識(shí)別的心電信息提取方法，其特征在于，包括：

接收用戶端上傳的文本描述信息；

判斷所述文本描述信息中是否包括預(yù)設(shè)的關(guān)鍵詞；

若所述文本描述信息中包括所述關(guān)鍵詞，獲取所述文本描述信息以作為當(dāng)前待識(shí)別文本信息；

若所述文本描述信息中不包括所述關(guān)鍵詞，調(diào)用預(yù)先存儲(chǔ)的引導(dǎo)問題集發(fā)送至用戶端；

接收用戶端根據(jù)所述引導(dǎo)問題集對(duì)應(yīng)發(fā)送的回復(fù)文本信息以作為當(dāng)前待識(shí)別文本信息；

對(duì)所述當(dāng)前待識(shí)別文本信息進(jìn)行語義識(shí)別，以得到與所述當(dāng)前待識(shí)別文本信息對(duì)應(yīng)的語義向量；

接收上傳的心電圖影像，調(diào)用預(yù)先訓(xùn)練的基于注意力機(jī)制的Res2Net分類網(wǎng)絡(luò)，將所述心電圖影像根據(jù)所述基于注意力機(jī)制的Res2Net分類網(wǎng)絡(luò)進(jìn)行分類，得到對(duì)應(yīng)的輸出向量；以及

調(diào)用預(yù)先訓(xùn)練的Light GBM模型，將所述語義向量及所述輸出向量輸入至所述LightGBM模型進(jìn)行分類，得到對(duì)應(yīng)的分類結(jié)果；

其中，所述引導(dǎo)問題集中包括多個(gè)引導(dǎo)問題以用于引導(dǎo)用戶回復(fù)有效信息；

所述回復(fù)文本信息通過服務(wù)器與用戶端基于所述引導(dǎo)問題集的多輪對(duì)話得到。

2.根據(jù)權(quán)利要求1所述的基于語義和圖像識(shí)別的心電信息提取方法，其特征在于，所述對(duì)所述當(dāng)前待識(shí)別文本信息進(jìn)行語義識(shí)別，以得到與所述當(dāng)前待識(shí)別文本信息對(duì)應(yīng)的語義向量，包括：

調(diào)用預(yù)先訓(xùn)練的BERT模型，將所述當(dāng)前待識(shí)別文本信息通過所述BERT模型進(jìn)行關(guān)鍵詞提取，得到與所述當(dāng)前待識(shí)別文本信息對(duì)應(yīng)的文本關(guān)鍵詞集；其中，所述BERT模型表示Transformers模型的雙向編碼器表示模型；

將所述文本關(guān)鍵詞集中各文本關(guān)鍵詞進(jìn)行獨(dú)熱編碼，得到各文本關(guān)鍵詞分別對(duì)應(yīng)的詞向量；

根據(jù)各文本關(guān)鍵詞分別對(duì)應(yīng)的詞向量以及各文本關(guān)鍵詞分別對(duì)應(yīng)的權(quán)重值，計(jì)算得到與所述當(dāng)前待識(shí)別文本對(duì)應(yīng)的語義向量。

3.根據(jù)權(quán)利要求1所述的基于語義和圖像識(shí)別的心電信息提取方法，其特征在于，所述接收上傳的心電圖影像，調(diào)用預(yù)先訓(xùn)練的基于注意力機(jī)制的Res2Net分類網(wǎng)絡(luò)，將所述心電圖影像根據(jù)所述基于注意力機(jī)制的Res2Net分類網(wǎng)絡(luò)進(jìn)行分類，得到對(duì)應(yīng)的輸出向量之前，還包括：

將用于獲取心電圖影像的提示信息發(fā)送至用戶端或智能心電儀；

接收用戶端或智能心電儀根據(jù)所述提示信息發(fā)送的心電圖影像。

4.根據(jù)權(quán)利要求1所述的基于語義和圖像識(shí)別的心電信息提取方法，其特征在于，所述調(diào)用預(yù)先訓(xùn)練的基于注意力機(jī)制的Res2Net分類網(wǎng)絡(luò)，將所述心電圖影像根據(jù)所述基于注意力機(jī)制的Res2Net分類網(wǎng)絡(luò)進(jìn)行分類，得到對(duì)應(yīng)的輸出向量，包括：

獲取所述心電圖影像對(duì)應(yīng)的像素矩陣；

將所述像素矩陣作為所述基于注意力機(jī)制的Res2Net分類網(wǎng)絡(luò)中Res2Net網(wǎng)絡(luò)的輸入進(jìn)行運(yùn)算，得到形態(tài)特征向量；

將所述形態(tài)特征向量作為所述基于注意力機(jī)制的Res2Net分類網(wǎng)絡(luò)中注意力機(jī)制結(jié)構(gòu)進(jìn)行運(yùn)算，得到輸出向量。

5.根據(jù)權(quán)利要求4所述的基于語義和圖像識(shí)別的心電信息提取方法，其特征在于，所述將所述像素矩陣作為所述基于注意力機(jī)制的Res2Net分類網(wǎng)絡(luò)中Res2Net網(wǎng)絡(luò)的輸入進(jìn)行運(yùn)算，得到形態(tài)特征向量，包括：

將所述像素矩陣輸入至所述Res2Net網(wǎng)絡(luò)中依次卷積、在多層殘差結(jié)構(gòu)進(jìn)行恒等映射、池化及全連接，得到形態(tài)特征向量。

6.根據(jù)權(quán)利要求1所述的基于語義和圖像識(shí)別的心電信息提取方法，其特征在于，所述將所述語義向量及所述輸出向量輸入至所述Light GBM模型進(jìn)行分類，得到對(duì)應(yīng)的分類結(jié)果，包括：

將所述語義向量及所述輸出向量進(jìn)行獨(dú)立特征合并，得到圖文特征向量；

將所述圖文特征向量通過所述Light GBM模型中基于直方圖的決策進(jìn)行分類，得到對(duì)應(yīng)的分類結(jié)果。