[發明專利]模型優化方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202011386291.4
• 申請日: 2020-12-01
• 公開（公告）號: CN114580377A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 郭穎美;龍定坤;徐光偉;謝朋峻;王瀟斌;黃非
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F40/295;G06F16/35;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京智信四方知識產權代理有限公司 11519
• 代理人: 呂雁葭;宋海龍

本公開提供了一種模型優化方法、裝置、電子設備及可讀存儲介質，所述方法包括：使用預測模型獲取多個訓練實例各自在標簽集合上的預測概率分布，所述訓練實例包括實體對和所述實體對所在的上下文；根據所述多個訓練實例各自在標簽集合上的預測概率分布，獲取所述多個訓練實例各自在標簽集合上的偽概率分布；使用所述多個訓練實例各自在標簽集合上的偽概率分布和所述多個訓練實例各自的初始標簽優化所述預測模型，以更新所述多個訓練實例各自在標簽集合上的預測概率分布。

技術領域

本公開涉及計算機技術領域，具體涉及一種模型優化方法、裝置、電子設備及可讀存儲介質。

背景技術

關系抽取任務的目標是給定實體對和實體對所在的上下文，基于預先設定的標簽集合，預測實體對所具有的關系。比如對于“北京”和“中國”這一實體對，句子“北京是中國的首都”表達了它們之間“/地區/國家/首都”的關系。關系抽取作為信息抽取的重要子任務，可以被應用于很多下游任務中，比如知識圖譜的構建與擴展，問答系統，搜索引擎等。目前主要采用有監督的學習方法進行關系抽?。簩㈥P系抽取任務當做分類問題，根據訓練數據設計有效的特征，從而學習各種分類模型，然后使用訓練好的分類器預測關系。但是，該方法需要大量的人工標注訓練語料，而語料標注工作通常非常耗時耗力。為了打破有監督學習中人工標注數據的局限性，提出了遠程監督算法，該算法的核心思想是將文本與大規模知識圖譜進行實體對齊，利用知識圖譜已有的實體間關系對文本進行標注。雖然遠程監督標注方法非常高效，理論上可以構造無限多的標注數據，但是基于遠程監督方法標注的數據通常含有大量噪音，這些噪音標注會對模型的效果帶來一定的影響。因此，降低噪音數據對模型的負面影響，對提升模型的效果有著重要的意義。

發明內容

為了解決相關技術中的問題，本公開實施例提供一種模型優化方法、裝置、電子設備及可讀存儲介質。

第一方面，本公開實施例中提供了一種模型優化方法。

具體地，所述模型優化方法，包括：

使用預測模型獲取多個訓練實例各自在標簽集合上的預測概率分布，所述訓練實例包括實體對和所述實體對所在的上下文；

根據所述多個訓練實例各自在標簽集合上的預測概率分布，獲取所述多個訓練實例各自在標簽集合上的偽概率分布；

使用所述多個訓練實例各自在標簽集合上的偽概率分布和所述多個訓練實例各自的初始標簽優化所述預測模型，以更新所述多個訓練實例各自在標簽集合上的預測概率分布。

結合第一方面，本公開在第一方面的第一種實現方式中，所述獲取多個訓練實例各自在標簽集合上的預測概率分布，包括：

獲取所述訓練實例的向量表示；

將所述訓練實例的向量表示輸入到以softmax為激活函數的全連接層進行非線性變換，得到所述訓練實例在標簽集合上的預測概率分布。

結合第一方面的第一種實現方式，本公開在第一方面的第二種實現方式中，所述獲取所述訓練實例的向量表示，包括：

獲取所述訓練實例的向量列表，所述向量列表包括所述訓練實例中各個詞的詞向量和所述詞相對于所述訓練實例中的實體的位置向量；

對所述訓練實例的向量列表進行特征提取，得到特征提取結果；

將所述特征提取結果以所述實體的位置為界限進行最大池化，得到池化結果；

根據所述池化結果得到所述訓練實例的向量表示。

結合第一方面的第二種實現方式，本公開在第一方面的第三種實現方式中：

所述對所述訓練實例的向量列表進行特征提取，得到特征提取結果，包括：將所述向量列表輸入卷積神經網絡，所述卷積神經網絡輸出所述特征提取結果；