[發(fā)明專利]一種數(shù)據(jù)處理方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110229162.2
• 申請(qǐng)日: 2021-03-02
• 公開（公告）號(hào): CN112949280B
• 公開（公告）日: 2023-07-07
• 發(fā)明（設(shè)計(jì)）人: 吳婷;薄濤;張思宇;劉金財(cái);于向麗
• 申請(qǐng)（專利權(quán)）人: 中國聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司
• 主分類號(hào): G06F40/194
• 分類號(hào): G06F40/194;G06F40/35;G06N3/02
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 余娜;黃健

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

生成多個(gè)待對(duì)比文本之間的差異集；所述待對(duì)比文本為不同場(chǎng)景和地址的用戶提出的不同知識(shí)差異性問題；

確定所述差異集中的文本是否命中預(yù)設(shè)的關(guān)鍵詞；所述預(yù)設(shè)的關(guān)鍵詞為從運(yùn)營商詞庫中預(yù)先指定的關(guān)鍵詞；

在所述差異集中存在命中所述關(guān)鍵詞的目標(biāo)文本時(shí)，利用預(yù)先訓(xùn)練得到的習(xí)慣性語言補(bǔ)全模型對(duì)所述目標(biāo)文本進(jìn)行語句補(bǔ)全，得到對(duì)比結(jié)果語句集；所述對(duì)比結(jié)果語句集是指將差異集中命中預(yù)設(shè)關(guān)鍵詞的目標(biāo)文本進(jìn)行語句補(bǔ)全后生成的結(jié)果語句集合；

輸出所述對(duì)比結(jié)果語句集中的合理語句；所述合理語句為待對(duì)比文本所提出問題的合理回答；

所述習(xí)慣性語言補(bǔ)全模型是根據(jù)運(yùn)營商詞庫訓(xùn)練得到的；所述習(xí)慣性語言補(bǔ)全模型用于輸出符合所述運(yùn)營商的業(yè)務(wù)習(xí)慣的語句；

所述利用預(yù)先訓(xùn)練得到的習(xí)慣性語言補(bǔ)全模型對(duì)所述目標(biāo)文本進(jìn)行語句補(bǔ)全，包括：

針對(duì)所述目標(biāo)文本所命中的目標(biāo)關(guān)鍵詞，利用所述習(xí)慣性語言補(bǔ)全模型結(jié)合自然語言語法延伸所述目標(biāo)關(guān)鍵詞的上下文，并進(jìn)行關(guān)聯(lián)性詞語提??；所述目標(biāo)關(guān)鍵詞位于運(yùn)營商詞庫中；

以及，利用所述習(xí)慣性語言補(bǔ)全模型將提取出的所述關(guān)聯(lián)性詞語組合成語句。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述輸出所述對(duì)比結(jié)果語句集中的合理語句，包括：

利用預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)語言模型對(duì)所述對(duì)比結(jié)果語句集中的語句進(jìn)行打分，并將所述對(duì)比結(jié)果語句集中的得分高于閾值的語句作為所述合理語句進(jìn)行輸出。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述輸出所述對(duì)比結(jié)果語句集中的合理語句，包括：

利用預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)語言模型對(duì)所述對(duì)比結(jié)果語句集中的語句進(jìn)行打分，并將所述對(duì)比結(jié)果語句集中的得分最高的語句作為所述合理語句進(jìn)行輸出。

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)語言模型是根據(jù)運(yùn)營商詞庫訓(xùn)練得到的，所述神經(jīng)網(wǎng)絡(luò)語言模型中，與所述運(yùn)營商詞庫相似度越高的文本得分越高。

5.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述生成多個(gè)待對(duì)比文本之間的差異集，包括：

接收用戶輸入的所述多個(gè)待對(duì)比文本；

利用差異算法Myers根據(jù)語義匹配確定所述多個(gè)待對(duì)比文本的差異，得到所述差異集。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述接收用戶輸入的所述多個(gè)待對(duì)比文本，包括：

在客戶系統(tǒng)的用戶界面中接收用戶輸入的所述多個(gè)待對(duì)比文本。

7.一種數(shù)據(jù)處理裝置，其特征在于，包括：

處理單元，用于生成多個(gè)待對(duì)比文本之間的差異集；所述待對(duì)比文本為不同場(chǎng)景和地址的用戶提出的不同知識(shí)差異性問題；

所述處理單元，還用于確定所述差異集中的文本是否命中預(yù)設(shè)的關(guān)鍵詞；所述預(yù)設(shè)的關(guān)鍵詞為從運(yùn)營商詞庫中預(yù)先指定的關(guān)鍵詞；

所述處理單元，還用于在所述差異集中存在命中所述關(guān)鍵詞的目標(biāo)文本時(shí)，利用預(yù)先訓(xùn)練得到的習(xí)慣性語言補(bǔ)全模型對(duì)所述目標(biāo)文本進(jìn)行語句補(bǔ)全，得到對(duì)比結(jié)果語句集；所述對(duì)比結(jié)果語句集是指將差異集中命中預(yù)設(shè)關(guān)鍵詞的目標(biāo)文本進(jìn)行語句補(bǔ)全后生成的結(jié)果語句集合；

所述處理單元，還用于輸出所述對(duì)比結(jié)果語句集中的合理語句；所述合理語句為待對(duì)比文本所提出問題的合理回答；

所述習(xí)慣性語言補(bǔ)全模型是根據(jù)運(yùn)營商詞庫訓(xùn)練得到的；所述習(xí)慣性語言補(bǔ)全模型用于輸出符合所述運(yùn)營商的業(yè)務(wù)習(xí)慣的語句；

所述處理單元，在所述利用預(yù)先訓(xùn)練得到的習(xí)慣性語言補(bǔ)全模型對(duì)所述目標(biāo)文本進(jìn)行語句補(bǔ)全時(shí)，具體用于：

針對(duì)所述目標(biāo)文本所命中的目標(biāo)關(guān)鍵詞，利用所述習(xí)慣性語言補(bǔ)全模型結(jié)合自然語言語法延伸所述目標(biāo)關(guān)鍵詞的上下文，并進(jìn)行關(guān)聯(lián)性詞語提??；所述目標(biāo)關(guān)鍵詞位于運(yùn)營商詞庫中；

以及，利用所述習(xí)慣性語言補(bǔ)全模型將提取出的所述關(guān)聯(lián)性詞語組合成語句。