[發(fā)明專(zhuān)利]標(biāo)題生成方法、訓(xùn)練方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010989342.6
• 申請(qǐng)日: 2020-09-18
• 公開(kāi)（公告）號(hào): CN112149408B
• 公開(kāi)（公告）日: 2022-11-08
• 發(fā)明（設(shè)計(jì)）人: 郝卓琳
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京有竹居網(wǎng)絡(luò)技術(shù)有限公司
• 主分類(lèi)號(hào): G06F40/258
• 分類(lèi)號(hào): G06F40/258;G06F40/242;G06F40/216;G06N3/08
• 代理公司: 北京中知法苑知識(shí)產(chǎn)權(quán)代理有限公司 11226
• 代理人: 李明

1.一種標(biāo)題生成方法，其特征在于，包括：

獲取為目標(biāo)標(biāo)題設(shè)置的關(guān)鍵詞句,其中，所述關(guān)鍵詞句包括：關(guān)鍵詞或關(guān)鍵語(yǔ)句；

將所述關(guān)鍵詞句作為概率預(yù)測(cè)模型的輸入?yún)?shù)，利用所述概率預(yù)測(cè)模型得到目標(biāo)字典中的各個(gè)字符在所述關(guān)鍵詞句兩側(cè)的各預(yù)設(shè)位置上的概率，其中，各所述預(yù)設(shè)位置為設(shè)置在所述關(guān)鍵詞句兩側(cè)的各字符位置；

根據(jù)所述概率，從所述目標(biāo)字典中選擇出目標(biāo)字符；

根據(jù)所述目標(biāo)字符和所述關(guān)鍵詞句的位置關(guān)系，生成所述目標(biāo)標(biāo)題，其中，所述目標(biāo)標(biāo)題包括所述關(guān)鍵詞句。

2.如權(quán)利要求1所述的方法，其特征在于，所述將所述關(guān)鍵詞句作為概率預(yù)測(cè)模型的輸入?yún)?shù)，利用所述概率預(yù)測(cè)模型得到目標(biāo)字典中的各個(gè)字符在所述關(guān)鍵詞句兩側(cè)的各預(yù)設(shè)位置上的概率，包括：

對(duì)所述關(guān)鍵詞句進(jìn)行切字處理，得到所述關(guān)鍵詞句包括的各個(gè)字符；

查詢(xún)所述關(guān)鍵詞句包括的各個(gè)字符在所述目標(biāo)字典中對(duì)應(yīng)的第一身份標(biāo)識(shí)ID；

將所述第一ID作為輸入?yún)?shù)輸入到transformer模型，得到所述目標(biāo)字典中的各個(gè)字符在所述關(guān)鍵詞句兩側(cè)的各預(yù)設(shè)位置上的概率。

3.如權(quán)利要求1所述的方法，其特征在于，根據(jù)所述概率，從所述目標(biāo)字典中選擇出目標(biāo)字符，包括：

根據(jù)各所述預(yù)設(shè)位置在所述目標(biāo)標(biāo)題中與所述關(guān)鍵詞句由小到大的間距順序，從所述目標(biāo)字典中依次確定所述目標(biāo)字符；

其中，所述目標(biāo)標(biāo)題中與所述關(guān)鍵詞句間距最小的目標(biāo)字符依據(jù)概率采樣，以及所述關(guān)鍵詞句中與所述間距最小的目標(biāo)字符相鄰的字符的語(yǔ)義確定，所述目標(biāo)標(biāo)題中的其他目標(biāo)字符依據(jù)概率采樣，以及與該目標(biāo)字符相鄰的所述目標(biāo)標(biāo)題中已確定的字符的語(yǔ)義確定。

4.如權(quán)利要求1所述的方法，其特征在于，所述概率預(yù)測(cè)模型是通過(guò)使用元素對(duì)應(yīng)的樣本標(biāo)題和該元素作為訓(xùn)練樣本進(jìn)行訓(xùn)練后得到的，其中，所述元素為一元組至N元組包括的元素，一元組包括的元素為所述樣本標(biāo)題包括的各個(gè)詞語(yǔ)，二元組包括的元素為所述樣本標(biāo)題包括的各個(gè)詞語(yǔ)中相鄰的兩個(gè)詞語(yǔ)構(gòu)成的語(yǔ)句，三元組包括的元素為所述樣本標(biāo)題包括的各個(gè)詞語(yǔ)中相鄰的三個(gè)詞語(yǔ)構(gòu)成的語(yǔ)句，以此類(lèi)推，N等于所述樣本標(biāo)題包括的詞語(yǔ)的數(shù)量，一元組至N元組是通過(guò)對(duì)所述樣本標(biāo)題進(jìn)行切詞處理后，由得到的各個(gè)詞語(yǔ)構(gòu)建的。

5.如權(quán)利要求4所述的方法，其特征在于，所述概率預(yù)測(cè)模型是通過(guò)所述元素包括的各第一字符在所述目標(biāo)字典中對(duì)應(yīng)的第二ID，以及所述樣本標(biāo)題包括各第二字符在所述目標(biāo)字典中對(duì)應(yīng)的第三ID進(jìn)行訓(xùn)練后得到的。

6.如權(quán)利要求5所述的方法，其特征在于，所述概率預(yù)測(cè)模型的第一損失值的變化范圍位于預(yù)設(shè)范圍內(nèi)，其中，第二損失值是將所述第二ID作為輸入?yún)?shù)輸入到所述概率預(yù)測(cè)模型中得到的輸出矩陣與所述第三ID對(duì)應(yīng)的矩陣之間的損失值，當(dāng)所述第二損失值不位于所述預(yù)設(shè)范圍內(nèi)時(shí)，將所述第二損失值作為輸入?yún)?shù)輸入到指定的反響轉(zhuǎn)播算法中，使用攜帶有輸入?yún)?shù)的反向傳播算法對(duì)所述概率預(yù)測(cè)模型中的參數(shù)進(jìn)行調(diào)整，直至得到所述第一損失值。

7.一種用于標(biāo)題生成的概率預(yù)測(cè)模型訓(xùn)練方法，其特征在于，所述概率預(yù)測(cè)模型用于得到目標(biāo)字典中的各個(gè)字符在目標(biāo)詞語(yǔ)兩側(cè)的各預(yù)設(shè)位置上的概率，所述方法包括：

對(duì)于獲取到的每個(gè)樣本標(biāo)題，對(duì)該樣本標(biāo)題進(jìn)行切詞處理，得到該樣本標(biāo)題包括的各個(gè)詞語(yǔ)，其中，該樣本標(biāo)題中包括的任一標(biāo)點(diǎn)符號(hào)作為一個(gè)詞語(yǔ)；

使用該樣本標(biāo)題包括的各個(gè)詞語(yǔ)構(gòu)建N個(gè)元組，其中，N等于該樣本標(biāo)題包括的詞語(yǔ)的數(shù)量，所述N個(gè)元組中的一元組包括的元素為該樣本標(biāo)題包括的各個(gè)詞語(yǔ)，所述N個(gè)元組中的二元組包括的元素為該樣本標(biāo)題包括的各個(gè)詞語(yǔ)中相鄰的兩個(gè)詞語(yǔ)構(gòu)成的語(yǔ)句，所述N個(gè)元組中的三元組包括的元素為該樣本標(biāo)題包括的各個(gè)詞語(yǔ)中相鄰的三個(gè)詞語(yǔ)構(gòu)成的語(yǔ)句，以此類(lèi)推；

對(duì)于每個(gè)元素，將該元素對(duì)應(yīng)的樣本標(biāo)題和該元素作為訓(xùn)練樣本對(duì)所述概率預(yù)測(cè)模型進(jìn)行訓(xùn)練。