[發明專利]藏文文本摘要生成方法和系統

在審

• 申請號: 202010622638.4
• 申請日: 2020-07-01
• 公開（公告）號: CN111984782A
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 閆曉東;李維
• 申請（專利權）人: 中央民族大學
• 主分類號: G06F16/34
• 分類號: G06F16/34;G06F16/35;G06F40/205;G06F40/289;G06N3/04
• 代理公司: 北京久誠知識產權代理事務所(特殊普通合伙) 11542
• 代理人: 翟麗紅

1.一種藏文文本摘要生成方法，其特征在于，包括以下步驟：

獲取待生成摘要的藏文文本；

對所述藏文文本進行預處理；

基于預設的摘要模型和預處理后的藏文文本獲取藏文文本的理解式文本摘要；其中：所述預設的摘要模型包括雙層的雙向GRU神經網絡模塊和編碼-解碼模塊；編碼-解碼模塊的編碼端添加注意力機制，解碼端添加指針網絡。

2.如權利要1所述的藏文文本摘要生成方法，其特征在于，所述預處理包括：

采用CRF的方法對藏文文本進行分詞，過濾掉停用詞，建立詞表；

并按照藏文邊陲符號進行分句，得到子句。

3.如權利要求1任一所述的藏文文本摘要生成方法，其特征在于，所述預設的預設的摘要模型的構建過程包括：

獲取訓練所需的藏文文本集；

對藏文文本集進行預處理，得到初始子句；

基于TextRank算法對預處理后的藏文文本集進行標記處理，獲取模型訓練子句；

將模型訓練子句輸入到摘要模型，對摘要模型進行訓練。

4.如權利要求3所述的藏文文本摘要生成方法，其特征在于，所述基于TextRank算法對預處理后的藏文文本集進行標記處理，獲取模型訓練子句，包括：

將每個初始子句作為節點添加到拓撲圖G＝(V,E)中；其中，G表示一個無向圖；V為頂點的集合，表示藏文文本中集的初始子句；E為邊的集合，表示初始子句之間的關系；

采用Wordv2ec和fasttext兩種不同的詞向量模型，將初始子句映射到高維詞庫中表示成向量形式，根據詞向量文件將每一個初始子句轉化為句向量，初始子句的向量表示是所有相同維數的詞向量的平均值，邊表示初始子句之間的相似性，公式如下：

WS(S_i,S_j)＝cos(S_i1...S_in,S_j1...S_jn)

其中：

WS(S_i,S_j)表示詞的相似度；

S_i和S_j表示詞向量；

cos表示詞之間的余弦距離；

n表示詞向量維度的大??；

迭代算法直至收斂，計算公式如下：

WS(V_i)表示的就是任一詞V_i的權重；

d表示基尼系數；

W_ij表示節點V_i，V_j之間邊的權重；

In(V_i)為指向節點V_i的節點集合；

Out(V_i)為點V_i指向的節點集合；

將每一個節點與其相連的節點計算相似度，并計算相似度在其相連節點中所占的比重進而迭代；

按照將每一個詞的向量疊加取平均，得到句子向量，進而迭代得到藏文文本集中每一個初始子句的權重；根據權重由高到低進行排序，再根據如下公式重新計算權重最高的前k個初始子句的權重，選取最新權重值為前n個句子作為模型訓練子句，其中nk：

X_i＝(X₁f₁+X₂f₂+...X_kf_k)/n

其中：

X_i表示句子i的最新權重值；

f₁+f₂+...+f_k＝n，f1，f2，…，f_k叫做權；

X₁到X_k-1表示該初始子句與其他權重高的k-1個初始子句的相似度；

X_k表示該初始子句與主題句的相似度；

f₁到f_k表示加權的權值，其中f₁到f_k-1表示的是懲罰系數，起到權重降低的效果，f_k表示與主題句的相似度，起到權重提高的效果。