[發明專利]一種基于循環注意力機制的文檔快速掃描定性方法

有效

• 申請號: 201711350432.5
• 申請日: 2017-12-15
• 公開（公告）號: CN108170736B
• 公開（公告）日: 2020-05-05
• 發明（設計）人: 楊維永;張寧;馬超;劉凱樂;何軍;賴業寧;季葉飛;朱進;從正海;朱世順;郭靚;林學峰
• 申請（專利權）人: 南瑞集團有限公司;國家電網公司;南京信息工程大學;國網江蘇省電力有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

1.一種基于循環注意力機制的文檔快速掃描定性方法，其特征在于，包括以下步驟：

(1)獲取訓練數據集，擬定訓練數據集中的文檔的標簽；

(2)在預處理階段，將文檔分成句子，再對句子進行分詞，然后對每一個詞使用word2vec詞向量訓練模型轉化為詞向量，由此將句子轉化成一個由詞向量組成的矩陣，從而將整個文檔轉換為詞向量矩陣；

(3)將詞向量矩陣輸入文檔檢測模型，所述文檔檢測模型包括卷積神經網絡模塊、最大池化模塊和循環神經網絡模塊，具體步驟為：

31)隨機選取一個位置t，利用一個一維的卷積神經網絡提取位置t的句子的每個詞的語義信息特征，再經過最大池化降維，輸出每個句子的特征向量；

32)將每個句子的特征向量和上個時間步驟輸出的隱含狀態h_t-1一起輸入到循環神經網絡中進行編碼，然后輸出當前時間的隱含狀態h_t；

33)將循環神經網絡輸出的隱含狀態h_t輸入到一個強化學習模塊，輸出對下一個位置的索引預測L_t+1；

34)找到下一個位置t+1，將位置t+1的句子輸入到一個一維的卷積神經網絡，提取每個詞的特征，隨后經過最大池化降維得到特征向量，然后，再將上一步輸出的位置索引預測L_t+1與特征向量通過一個RELU修正線性單元模塊進行線性加和，再輸入到循環神經網絡之中；

35)循環神經網絡運行到最后一步時，輸出的隱含狀態輸入到一個分類器，輸出整篇文檔的標簽分布概率P；

(4)利用回報函數得出回報值reward,具體處理流程為：

a)步驟(3)中輸出的標簽分布概率P為一組和為1的數組，數組中較大的概率值所對應的下標即為預測的文檔標簽,同時輸出含有預測的文檔標簽的句子，作為代表文檔特征的句子；

b)將步驟a)中得到的預測的文檔標簽與步驟(1)中的文檔的標簽作比對，如果相同則回報值reward的值為1，不同則回報值reward的值為0；

(5)訓練循環神經網絡，優化文檔檢測模型參數，訓練優化的目標是最優化目標函數，最小化代價函數，代價函數包括分類的代價函數和強化學習的代價函數，具體步驟為：

(51)分類的代價函數為交叉熵函數：利用一組已知標簽的樣本調整分類器的參數，使代價函數即交叉熵函數最小，利用預測的文檔的標簽和步驟(1)中文檔的標簽，計算出交叉熵C，其中，x表示樣本，n表示樣本的總數，y為期望的輸出，即文檔的標簽值，a為神經元實際輸出，即預測的文檔標簽值，訓練時將交叉熵對權重的偏導數反向傳播，更新文檔檢測模型參數；

(52)強化學習的代價函數為L(θ)＝logπ(a|s,θ)·(R-b),其中π(a|s)為神經網絡擬合的策略，θ為參數；logπ(a|s,θ)是在狀態s下輸出動作a的概率的對數似然，用以表示智能體的策略，b為基線baseline，R為回報值reward；再利用自適應矩估計Adam優化器反向更新文檔檢測模型參數，優化強化學習的代價函數，使代價函數最小化，回報值reward最大化；

(6)獲取測試數據集，擬定測試數據集中的文檔的標簽，測試文檔檢測模型準確率。

2.根據權利要求1所述的基于循環注意力機制的文檔快速掃描定性方法，其特征在于，步驟(3)中卷積神經網絡的卷積核個數為256。

3.根據權利要求1所述的基于循環注意力機制的文檔快速掃描定性方法，其特征在于，訓練文檔檢測模型時，設置步數step為100000步，樣本總數為1000，每一個分批處理mini_batch的樣本數量為10，訓練開始時的學習率learning rate為10^-3，設置衰減因子λ，在每一次訓練完全部樣本之后，學習率learning rate按照衰減因子λ衰減，隨著訓練進行，最后學習率learning rate變為10^-4。

4.根據權利要求1所述的基于循環注意力機制的文檔快速掃描定性方法，其特征在于，步驟(6)中，將得出的預測的文檔標簽與測試數據集中的文檔的標簽對比，如果相同則回報值reward為1，測試一系列文檔之后得出回報值reward的加和，再除以文檔數量，得到整個測試文檔的分類準確率。