[發(fā)明專利]一種基于合成數(shù)據(jù)的知識對話跨域?qū)W習(xí)方法

有效

• 申請?zhí)枺?/td>: 202110763112.2
• 申請日: 2021-07-06
• 公開（公告）號: CN113626566B
• 公開（公告）日: 2023-07-18
• 發(fā)明（設(shè)計）人: 魏凱敏;林健成;張繼連;劉志全;馮丙文
• 申請（專利權(quán)）人: 暨南大學(xué)
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/211;G06F40/295;G06N3/0455;G06N3/08
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 詹麗紅

1.一種基于合成數(shù)據(jù)的知識對話跨域?qū)W習(xí)方法，該方法針對包括問答、閑聊、災(zāi)難性遺忘、只存在不匹配對話語料在內(nèi)的四種場景，通過構(gòu)建合成數(shù)據(jù)實現(xiàn)結(jié)構(gòu)化知識對話系統(tǒng)跨領(lǐng)域?qū)W習(xí)，其特征在于，該方法針對不同場景的實現(xiàn)過程如下，

(1)針對問答的場景進(jìn)行跨域?qū)W習(xí)的步驟如下：

S11、人工預(yù)設(shè)置模板；

S12、對于任一條新領(lǐng)域的知識三元組(Entity,Attr,Value)，分別代入上述模板的位置，得到一條合成數(shù)據(jù)，其中，Entity代表現(xiàn)實世界的一個特定實體，Attr表示實體所具備的屬性，Value為該屬性的具體數(shù)值；

S13、重復(fù)步驟S11、步驟S12直至新領(lǐng)域的知識全部被構(gòu)建成對應(yīng)的合成數(shù)據(jù)；

(2)針對閑聊的場景進(jìn)行跨域?qū)W習(xí)的步驟如下：

S21、使用DialoGPT對話模型在大規(guī)模的對話語料上進(jìn)行預(yù)訓(xùn)練；

S22、對于任一條新領(lǐng)域的知識三元組{Entity,Attr,Value}，按照Entity聚合，得到多個分組G；

S23、對于同一組內(nèi)，以“你能跟我說說{Entity}嗎？”，“可以呀”為多輪對話的開始；

S24、隨機(jī)產(chǎn)生一個隨機(jī)數(shù)p，0＝p＝1；

S25、若步驟S24中產(chǎn)生的隨機(jī)數(shù)p0.5，則使用DialoGPT對話模型進(jìn)行S3提及的開展多輪對話進(jìn)行續(xù)寫；

S26、若步驟S24中產(chǎn)生的隨機(jī)數(shù)p0.5，則使用模板開展多輪對話進(jìn)行續(xù)寫；

S27、重復(fù)步驟S24～S26，直到該組對話中的每一個知識三元組{Entity,Attr,Value}都被覆蓋使用，生成對應(yīng)的合成數(shù)據(jù)；

S28、重復(fù)步驟S22～S27，直到新領(lǐng)域的所有知識都被覆蓋；

(3)針對災(zāi)難性遺忘的場景進(jìn)行跨域?qū)W習(xí)的步驟如下：

S31、對于N條需要進(jìn)行學(xué)習(xí)的新領(lǐng)域知識，使用模板構(gòu)造成N條對話合成數(shù)據(jù)；

S32、從舊領(lǐng)域的知識中隨機(jī)抽取N條知識及其對話語料；

S33、對步驟S32中抽取的N條知識，使用模板構(gòu)造成N條對話合成數(shù)據(jù)；

S34、將步驟S31、S32和S33中抽取的對話語料和合成數(shù)據(jù)混合在一起構(gòu)成一個新的數(shù)據(jù)集；

(4)針對只存在不匹配對話語料的場景進(jìn)行合成數(shù)據(jù)的構(gòu)造的步驟如下：

S41、將在社交網(wǎng)絡(luò)采集的對話語料，其中對話上下文的內(nèi)容標(biāo)記為context，對應(yīng)的對話回復(fù)標(biāo)記為response，然后對response部分進(jìn)行分詞，并使用工具建立倒排索引，得到數(shù)據(jù)庫D；

S42、并在步驟S41中構(gòu)建的的數(shù)據(jù)集中，使用BERT模型進(jìn)行預(yù)訓(xùn)練；

S43、對于N條需要進(jìn)行學(xué)習(xí)的新領(lǐng)域知識及若干對應(yīng)的短句，使用結(jié)巴分詞工具進(jìn)行分詞；

S44、將分詞結(jié)果和知識三元組(Entity,Attr,Value)中的value作為關(guān)鍵詞，在數(shù)據(jù)庫D中進(jìn)行檢索，返回相關(guān)度得分前50位的對話上下文；

S45、對檢索出來的對話上下文進(jìn)行過濾；

S46、使用步驟S42中經(jīng)過訓(xùn)練的BERT進(jìn)行打分，將得分最高的context和步驟S43中對應(yīng)的短句，構(gòu)成合成數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的一種基于合成數(shù)據(jù)的知識對話跨域?qū)W習(xí)方法，其特征在于，所述場景為問答時，人工預(yù)設(shè)置的模板為:“你知道{Entity}的{Attr}嗎？”，“知道呀，是{Value}”；其中Entiy、Attr、Value為知識三元組(Entity,Attr,Value)對應(yīng)的填充位置。

3.根據(jù)權(quán)利要求1所述的一種基于合成數(shù)據(jù)的知識對話跨域?qū)W習(xí)方法，其特征在于，所述場景為閑聊時，DialogGPT模型中使用公開數(shù)據(jù)集LCCC進(jìn)行訓(xùn)練；

所述DialogGPT模型包括12層transformer結(jié)構(gòu)，每一層transformer結(jié)構(gòu)包括12個head，768維度的hidden?state；

DialogGPT模型的損失函數(shù)為：

-log?P(y_n|y₀,y₁……y_n-1,C)

其中C為對話語料中的上下文，y₀～y_n-1是回復(fù)中已經(jīng)生成的字符，y_n為當(dāng)前需要生成的字符。