[發明專利]短文本分類方法、裝置、設備及存儲介質

在審

• 申請號: 202110840579.2
• 申請日: 2021-07-25
• 公開（公告）號: CN113704396A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 陳挺安;黃玉嬌;董溫俊;何文秀;毛科技;郝鵬翼;龍海霞
• 申請（專利權）人: 浙江工業大學之江學院
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州鼎乎專利代理事務所(普通合伙) 33377
• 代理人: 黃楠

本申請提供了一種短文本分類方法、裝置、設備及存儲介質，涉及文本識別技術領域，該方法包括：獲取預設的訓練集和驗證集，對標準語句進行預處理并進行編碼，輸入模型進行識別，得到權重，將權重輸入到全連接層，得到歸一化輸出，得到與每個標準語句的語義類別的近似概率，將近似概率最大的類別作為預測類別輸出。本申請實施例充分考慮當前詞的上下文語義信息，再引入Attention機制層來計算每個詞向量應分配的權重概率，進而捕獲到相對重要的文本信息，利用Softmax函數對全連接層的輸出進行歸一化，得到近似概率值，并選取概率最大的作為預測類別輸出，能夠有效對短文本進行語義識別，自動對病歷表進行篩選識別，節約醫護人員工作時間，提高效率。

技術領域

本申請涉及文本識別技術領域，具體而言，本申請涉及一種短文本分類方法、裝置、設備及存儲介質。

背景技術

近些年來，隨著中國醫院信息化建設及中國醫療信息化的快速發展，中文電子健康醫療數據急劇增加，且大多呈現是非結構化文本。為大量、便捷地提取結構化文本用于臨床試驗，通過自然語言處理和機器學習的方法并依據臨床試驗篩選標準進行文本分類。

臨床試驗是指通過人體志愿者也稱為受試者進行的科學研究，根據試驗目的等不同，受試者可能是患者或健康志愿者。篩選標準是臨床試驗負責人擬定的鑒定受試者是否滿足某項臨床試驗的主要指標，分為入組標準和排出標準，一般為無規則的自由文本形式。臨床試驗的受試者招募一般是通過人工比較病歷記錄表和臨床試驗篩選標準完成，這種方式費時費力且效率低下。因此，通過現有的一些自然語言處理技術來進行對臨床試驗篩選標準進行分類具有重要的意義。

發明內容

本申請的目的旨在至少能解決上述的技術缺陷之一，特別是現有技術受試者招募一般是通過人工比較病歷記錄表和臨床試驗篩選標準完成，這種方式費時費力且效率低下的技術問題。

第一方面，提供了一種短文本分類方法，包括：

獲取預設的訓練集和驗證集，所述訓練集和所述驗證集中的每一個數據都包含預先設定的多種篩選標準語義類別和中文臨床試驗篩選標準的標準語句；

對所述標準語句進行預處理，去除標點符號、特殊符號，并對所述標準語句進行分詞和刪除停用詞；

將分詞出的每個詞進行編碼，形成二進制向量；

將所述二進制向量作為ERNIE文本語義模型的輸入，得到所述ERNIE文本語義模型的輸出；

將所述ERNIE文本語義模型的輸出作為雙向長短期記憶網絡層的輸入，加入注意力機制層計算每一個所述雙向長短期記憶網絡層輸出向量的權重，得到不同特征的重要程度；

將所述權重輸入到全連接層，得到歸一化輸出，得到與每個所述標準語句的語義類別的近似概率，將所述近似概率最大的類別作為預測類別輸出。

作為本申請一種可能的實施方式，在該實施方式中，所述將所述二進制向量作為ERNIE文本語義模型的輸入，得到所述ERNIE文本語義模型的輸出，包括：

為所述二級制向量添加用于任務分類的分隔符，形成詞向量；

將所述詞向量輸入到第一Encoder層，并將所述第一Encoder層的輸出結果作為第二Encoder層的輸入，得到所述ERNIE文本語義模型的輸出，其中，每層所述Encoder層都采用self-attention和feed-word network。

作為本申請一種可能的實施方式，在該實施方式中，所述將所述ERNIE文本語義模型的輸出作為雙向長短期記憶網絡層的輸入，包括：

所述雙向長短期記憶網絡層包括前向LSTM和后向LSTM，每個所述LSTM都包括輸入門、輸出門以及遺忘門；

采用如下公式計算所述雙向長短期記憶網絡層的輸出向量：