[發明專利]基于實時學習的融合型詞義嵌入方法

有效

• 申請號: 201910839702.1
• 申請日: 2019-09-06
• 公開（公告）號: CN110705274B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 桂盛霖;方丹
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F16/35
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 周劉英

1.基于實時學習的融合型詞義嵌入方法，其特征在于，包括下列步驟：

步驟1：設置神經網絡語言模型；

所述神經網絡語言模型的網絡結構包括輸入層、投影層；

其中，輸入層，用于獲取當前詞k在預置的詞向量矩陣V中的對應向量V(k)；

投影層，用于對當前詞k進行判斷，若其為單義詞，則做恒等投影，投影層輸出X(k)＝V(k)；若其為多義詞，則通過基于實時學習的詞義識別算法getCenter(k,h)獲取其對應的詞義向量C(k,h)，投影層輸出X(k)＝C(k,h)，其中h表示當前詞k的環境向量；

步驟2：基于預設的訓練樣本集對步驟1構建的神經網絡語言模型進行神經網絡學習訓練；當滿足預設的訓練需求時，停止并保存訓練好的神經網絡語言模型；

步驟3：將待進行詞義嵌入處理的詞輸入訓練好的神經網絡語言模型，基于其投影輸出得到當前待進行詞義嵌入處理的詞的詞義向量；

基于實時學習的詞義識別算法getCenter(k,h)的具體處理過程為：

判斷表示聚類中心集合的集合O中是否存在多義詞k對應的聚類中心，若不存在任何對應聚類中心，則為多義詞k生成新的聚類中心，并將環境向量h添加至該新的聚類中心中；

若存在對應多義詞k的聚類中心，則分別計算環境向量h與各對應的聚類中心的距離，并將查找環境向量h與各對應的聚類中心的距離的最小值，記為min(L)，若min(L)小于最小距離閾值δ，則生成新的對應多義詞k的聚類中心并將環境向量h添加到該新生成的聚類中心中；否則將環境向量h并入min(L)對應的聚類中心，得到新的聚類中心其中O_ki表示min(L)對應的聚類中心；

基于環境向量h所在的聚類中心對應的詞義向量C_ki得到詞義向量C(k,h)。

2.如權利要求1所述的方法，其特征在于，步驟2中，在訓練時，在神經網絡語言模型增加輸出層，采用哈夫曼Huffman樹結構，以預置的詞典D中的詞匯作為Huffman樹的葉子節點，Huffman樹中的非葉子節點表示神經網絡的參數，用于輸出在投影層輸出X(k)下出現待預測詞g的概率。