[發(fā)明專利]一種模型訓(xùn)練方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110633482.4
• 申請(qǐng)日: 2021-06-07
• 公開（公告）號(hào): CN115510932A
• 公開（公告）日: 2022-12-23
• 發(fā)明（設(shè)計(jì)）人: 劉寵;李峰剛;朱林波
• 申請(qǐng)（專利權(quán)）人: 中移（成都）信息通信科技有限公司;中國(guó)移動(dòng)通信集團(tuán)有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06F16/36;G06F40/40
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 姚文嫻;張穎玲

本申請(qǐng)?zhí)峁┮环N模型訓(xùn)練方法、裝置、電子設(shè)備和計(jì)算機(jī)存儲(chǔ)介質(zhì)，該方法應(yīng)用于知識(shí)圖譜技術(shù)領(lǐng)域，該方法包括：獲取原始數(shù)據(jù)集，從原始數(shù)據(jù)集中提取知識(shí)圖譜；對(duì)知識(shí)圖譜進(jìn)行預(yù)處理，得到翻譯類模型的訓(xùn)練集；將訓(xùn)練集輸入至翻譯類模型中進(jìn)行訓(xùn)練，在翻譯類模型的每次迭代過程中，確定翻譯類模型的離散度；根據(jù)離散度，確定翻譯類模型的損失值，基于翻譯類模型的損失值，對(duì)翻譯類模型的參數(shù)進(jìn)行調(diào)整。如此，基于翻譯類模型的損失值，降低翻譯類模型的離散度，可以增加知識(shí)圖譜中各實(shí)體以及關(guān)系向量的離散程度；進(jìn)而，解決因?yàn)閷?shí)體數(shù)量與關(guān)系數(shù)量的比例不匹配所造成的模型表達(dá)能力下降、準(zhǔn)確率低的問題，確保翻譯類模型在落地項(xiàng)目中的性能。

技術(shù)領(lǐng)域

本申請(qǐng)涉及知識(shí)圖譜技術(shù)領(lǐng)域，尤其涉及一種模型訓(xùn)練方法、裝置、電子設(shè)備和計(jì)算機(jī)存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)的發(fā)展，人們無(wú)時(shí)無(wú)刻不在產(chǎn)生著大量的數(shù)據(jù)，原始的數(shù)據(jù)存放形式無(wú)法對(duì)數(shù)據(jù)產(chǎn)生有效利用，知識(shí)圖譜的出現(xiàn)大大加強(qiáng)了數(shù)據(jù)的利用效率，增強(qiáng)了搜索引擎的工作效率。在科研領(lǐng)域中，常將數(shù)據(jù)轉(zhuǎn)化為計(jì)算機(jī)可以理解的語(yǔ)言進(jìn)行計(jì)算，早期以符號(hào)作為數(shù)據(jù)的表示方式，如今，使用向量作為數(shù)據(jù)的表示方式，通過一定的算法模型將文本、圖像、聲音等轉(zhuǎn)化為向量的形式，方便計(jì)算機(jī)識(shí)別以及計(jì)算。知識(shí)圖譜的表示學(xué)習(xí)有著廣泛的應(yīng)用，常用在信息檢索、智能推薦與智能問答系統(tǒng)中。知識(shí)圖譜的表示學(xué)習(xí)方法有幾種代表類模型，如翻譯模型、距離模型、能量模型、雙線性模型、張量神經(jīng)網(wǎng)絡(luò)模型、矩陣分解模型。其中，較為常用的是翻譯模型，這類模型主要利用的是向量空間中的平移不變性，將知識(shí)庫(kù)G＝(E，R，S)中的知識(shí)三元組(h,r,t)，表示為頭實(shí)體h，經(jīng)過關(guān)系r，到尾實(shí)體t的翻譯，即做向量加法，盡可能使得

相關(guān)技術(shù)中，對(duì)于各類翻譯模型以及其變體模型，由于存在訓(xùn)練數(shù)據(jù)集差異大，即，實(shí)體數(shù)量與關(guān)系數(shù)量的比例較高的情況，會(huì)導(dǎo)致模型訓(xùn)練結(jié)束后，實(shí)體的向量化表示在向量空間中的空間距離過于接近，使得模型表達(dá)能力下降，降低模型的準(zhǔn)確率。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N模型訓(xùn)練方法、裝置、電子設(shè)備和計(jì)算機(jī)存儲(chǔ)介質(zhì)；可以解決相關(guān)技術(shù)中由于實(shí)體數(shù)量與關(guān)系數(shù)量的比例較高所導(dǎo)致的模型表達(dá)能力下降、準(zhǔn)確率低的問題。

本申請(qǐng)的技術(shù)方案是這樣實(shí)現(xiàn)的：

本申請(qǐng)?zhí)峁┝艘环N模型訓(xùn)練方法，所述方法包括：

獲取原始數(shù)據(jù)集，從所述原始數(shù)據(jù)集中提取知識(shí)圖譜；對(duì)所述知識(shí)圖譜進(jìn)行預(yù)處理，得到翻譯類模型的訓(xùn)練集；

將所述訓(xùn)練集輸入至所述翻譯類模型中進(jìn)行訓(xùn)練，在所述翻譯類模型的每次迭代過程中，確定所述翻譯類模型的離散度；

根據(jù)所述離散度，確定所述翻譯類模型的損失值，基于所述翻譯類模型的損失值，對(duì)所述翻譯類模型的參數(shù)進(jìn)行調(diào)整。

在一些實(shí)施例中，所述訓(xùn)練集包括多個(gè)實(shí)體和多個(gè)實(shí)體之間的關(guān)系；所述在所述翻譯類模型的每次迭代過程中，確定所述翻譯類模型的離散度，包括：

在所述翻譯類模型的每次迭代過程中，對(duì)所述多個(gè)實(shí)體之間的關(guān)系進(jìn)行聚類，確定不同關(guān)系類之間的空間距離以及相同關(guān)系類中實(shí)體之間的空間距離；

根據(jù)所述不同關(guān)系類之間的空間距離以及相同關(guān)系類中實(shí)體之間的空間距離，確定所述翻譯類模型的離散度。

在一些實(shí)施例中，所述根據(jù)所述離散度，確定所述翻譯類模型的損失值，包括：

根據(jù)所述翻譯類模型在每次迭代過程中的離散度的取值，確定對(duì)應(yīng)的損失函數(shù)；

使用所述損失函數(shù)，確定所述翻譯類模型在每次迭代過程中的損失值。

在一些實(shí)施例中，所述方法還包括：

若確定所述翻譯類模型在本次迭代過程的離散度小于或等于設(shè)定閾值，且相鄰迭代過程中翻譯類模型的離散度的變化值小于設(shè)定值，則確定所述翻譯類模型訓(xùn)練完成；所述相鄰迭代過程包括所述本次迭代過程。