[發(fā)明專利]一種基于舌頭圖像檢索的處方推薦方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011433472.8
• 申請(qǐng)日: 2020-12-09
• 公開（公告）號(hào): CN112652373B
• 公開（公告）日: 2022-10-25
• 發(fā)明（設(shè)計(jì)）人: 文貴華;馬榮興
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G16H20/10
• 分類號(hào): G16H20/10;G06V40/10;G06V10/74;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 何淑珍;江裕強(qiáng)

1.一種基于舌頭圖像檢索的處方推薦方法，其特征在于，包括以下步驟：

S1、服務(wù)端分析數(shù)據(jù)庫(kù)的處方信息，對(duì)處方進(jìn)行向量化表示，具體包括以下步驟：

S11、整理數(shù)據(jù)庫(kù)記錄，排除不符合中醫(yī)規(guī)范、錄入錯(cuò)誤的處方；

S12、分別對(duì)每一味藥材的劑量進(jìn)行標(biāo)準(zhǔn)化處理，將每一味藥材的劑量壓縮到同一范圍，排除量綱的干擾；

S13、將數(shù)據(jù)庫(kù)的每條處方都表示成維度為H的處方向量T，處方向量T的第i個(gè)元素T_i＝M+C_i，C_i表示處方中的第i味藥材使用的標(biāo)準(zhǔn)化劑量,M為超參數(shù)，H為數(shù)據(jù)庫(kù)中的總藥材數(shù)目；

S2、依據(jù)處方的向量表示，訓(xùn)練獲得舌頭圖片的特征提取器；

舌頭圖片的特征提取器為：選擇在ImageNet預(yù)訓(xùn)練過的圖像分類網(wǎng)絡(luò)，將其最后一層的分類器替換為輸出維度為D的全連接層FC；這部分即是特征提取器BONE；在特征提取器BONE之后，增加一個(gè)輸入維度為D、輸出維度為H的全連接神經(jīng)網(wǎng)絡(luò)MLP用于預(yù)測(cè)舌頭圖片的處方向量O，特征提取器BONE輸出的特征維度D為512，用于預(yù)測(cè)處方向量的全連接神經(jīng)網(wǎng)絡(luò)MLP設(shè)定為包含兩個(gè)全連接層，第一個(gè)全連接層的輸入維度為D、輸出維度為D,第二個(gè)全連接層的輸入維度為D、輸出維度為H.其中預(yù)測(cè)的處方向量的維度H即為數(shù)據(jù)庫(kù)中的藥材總數(shù)為634；

訓(xùn)練是一個(gè)重復(fù)迭代的過程，每次迭代具體包括：隨機(jī)抽取兩張舌頭圖片作為一對(duì)，按圖像分類網(wǎng)絡(luò)BONE的標(biāo)準(zhǔn)化方式對(duì)這兩張圖片進(jìn)行標(biāo)準(zhǔn)化；使用圖像分類網(wǎng)絡(luò)BONE分別提取這兩張舌頭圖片特征向量獲得兩個(gè)特征向量V₁,V₂；將V₁,V₂輸入到全連接神經(jīng)網(wǎng)絡(luò)MLP中，獲得預(yù)測(cè)的處方向量O₁,O₂；通過兩個(gè)優(yōu)化損失使用誤差反向傳播算法來(lái)調(diào)整BONE及MLP的參數(shù)；

具體的優(yōu)化包括以下步驟：

1)對(duì)于隨機(jī)抽取的每一張舌頭圖片，最小化舌頭圖片的預(yù)測(cè)處方向量O與對(duì)應(yīng)的真實(shí)處方向量T之間的差別；

2)對(duì)于隨機(jī)抽取的一對(duì)舌頭圖片，最小化預(yù)測(cè)的特征相似度S與兩者的真實(shí)處方相似度L的差別；

使用Adam優(yōu)化器來(lái)優(yōu)化兩個(gè)優(yōu)化損失L_p,L_r，其學(xué)習(xí)率設(shè)置為0.003；損失函數(shù)L_p用于最小化預(yù)測(cè)處方向量O與真實(shí)處方向量T之間的誤差；損失函數(shù)L_r用于最小化使用特征相似度和使用處方向量相似度進(jìn)行排序的排序結(jié)果的差別，L_p的計(jì)算公式為：

損失函數(shù)L_r的計(jì)算公式為：

L_r＝(1-L)log(1+exp(α(S+β)))+Llog(1+exp(-α(S+β)))

超參數(shù)α、β分別設(shè)置為10和0.5.總的優(yōu)化目標(biāo)為L(zhǎng)_total＝L_p+L_r；

S3、使用特征提取器，預(yù)提取數(shù)據(jù)庫(kù)各舌頭圖片的特征向量；

S4、客戶端提交待查詢的舌頭圖片；

S5、服務(wù)端使用特征提取器，提取查詢舌頭圖片的特征向量；

S6、服務(wù)端使用相似度計(jì)算模塊，計(jì)算查詢舌頭圖片與數(shù)據(jù)庫(kù)各舌頭圖片的特征相似度；計(jì)算兩張舌頭圖片之間的特征相似度S和兩者對(duì)應(yīng)的處方相似度L，特征向量之間的相似度S通過相似度計(jì)算模塊計(jì)算，使用向量的內(nèi)積來(lái)計(jì)算，真實(shí)處方T之間的相似度L使用處方向量的余弦相似度計(jì)算，其中，任意兩個(gè)向量x和y的內(nèi)積的計(jì)算公式為：

兩個(gè)特征向量V_i、V_j的特征相似度S為兩者的內(nèi)積V_i,V_j，兩個(gè)處方向量T_i、T_j的相似度計(jì)算公式為：

S7、服務(wù)端使用處方推薦模塊，依據(jù)S6計(jì)算得到的特征相似度進(jìn)行排序，將相似度較高的K張舌頭圖片對(duì)應(yīng)的處方返回給客戶端。

2.根據(jù)權(quán)利要求1所述的一種基于舌頭圖像檢索的處方推薦方法，其特征在于，步驟S1的處方的向量化表示包括處方使用的藥材及其劑量信息。