[發明專利]一種基于深度學習的評價文本生成方法

在審

• 申請號: 202211513490.6
• 申請日: 2022-11-29
• 公開（公告）號: CN115759066A
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 林潔瑜;熊煒;郭婷;關欽月;張軒昂;徐小琴;熊志;楊明;黃大煒
• 申請（專利權）人: 國網湖北省電力有限公司經濟技術研究院
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06F16/36;G06F17/16;G06N3/0464;G06N3/08
• 代理公司: 武漢市首臻知識產權代理有限公司 42229
• 代理人: 章輝

1.一種基于深度學習的評價文本生成方法，其特征在于，該方法包括以下步驟：

S1、利用自然語言處理工具HanLP對評審文本進行編碼并形成詞向量；

S2、通過K-Bert神經網絡搭建訓練網絡模型；

S3、改善訓練網絡模型特性并對詞向量進行訓練；

S4、利用BLUE、ROUGE校核訓練網絡模型的準確性，并獲得訓練網絡模型的最佳參數設置；

S5、將設計文本輸入校核后的訓練網絡模型以生成評價文本。

2.根據權利要求1所述的一種基于深度學習的評價文本生成方法，其特征在于：步驟S1具體包括以下步驟：

S11、利用正則匹配將評審文本按章、節標題進行切分，生成多個子文件并編號，從多個子文件中篩選出需要進行評價的章節所在的子文件，并將這些子文件儲存；

S12、利用scikit-learn對評審文本進行聚類分析，對文本進行清洗，得到與評審指標相關的單句；

S13、利用自然語言處理工具HanLP對錯誤文本和評價文本進行分詞標注，并轉化為詞向量；

S14、將評審指標所組成的詞向量序列作為輸入，將評語所組成的詞向量序列作為輸出。

3.根據權利要求2所述的一種基于深度學習的評價文本生成方法，其特征在于：步驟S13中，對于文本中沒有對應評價的語句，建造一個評語以填補其完整性。

4.根據權利要求3所述的一種基于深度學習的評價文本生成方法，其特征在于：步驟S2具體包括以下步驟：

S21、搭建知識層，該層將詞組轉化為知識圖譜適配的知識樹句構形式，其輸入為一個集合s＝{w₀，w₁，w₂，...，w_n}，其中，w_n為詞向量，輸出為一個知識樹t＝{w₀，w₁，...w_i{(r_i0，w_i0)，...，(r_ik，w_ik)}，...，w_n}，其中，r_ik代表w_i和w_k之間的句法關系，w_ik代表與w_i相關條件下的w_k，輸入到輸出包括兩個流程；

(1)知識問答

所有的命名實體從集合K篩選到集合S：

E＝K-Query(s，K)

其中，E＝{(w_i，r_i0，w_i0)，...，(w_i，r_ik，w_ik)}為三元集合；

(2)知識注入

將K-Query的結果E映射到集合S的對應位置，以獲得知識樹t：

t＝K-Inject(s，E)

S22、搭建嵌入層，該層使得知識樹轉化為嵌入表征，嵌入表征分為記號嵌入、位置嵌入和片段嵌入三個部分，記號嵌入將詞匯轉化為維度為H的嵌入向量，片段嵌入通過添加標記對輸入進行斷句；

S23、搭建可見層，該層通過一個矩陣M限制每一個輸入之間的可見性：

其中，w_i和w_j為輸入的標記，i和j分別代表w_i和w_j在詞表中的位置，代表w_i與w_j在同一分支中，代表w_i與w_j不在同一分支中；

S24、搭建遮罩轉換層，該層作為復合自注意力機制層，限制自注意力的區域，得到范式化輸入的格式；

通過矩陣M中的句子結構信息，使用自遮罩-注意力機制：

Qⁱ⁺¹，Kⁱ⁺¹，Vⁱ⁺¹＝hⁱW_q，hⁱW_k，hⁱW_v

hⁱ⁺¹＝Sⁱ⁺¹Vⁱ⁺¹

其中，Qⁱ⁺¹為第i+1層的Qeury向量，即查詢該向量與其它詞向量的相關度；Kⁱ⁺¹為第i+1層的Key向量，該向量與Query向量一一對應，給詞向量的相關度評分；Vⁱ⁺¹為第i+1層的Value向量，即該詞向量的值；W_q、W_k和W_v是可訓練的模型參數，hⁱ為第i個遮罩自注意力區塊的狀態參數，Sⁱ⁺¹為softmax函數的求解值，d_k為Query向量與Key向量的方差，M為可見層計算的可見矩陣。