[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置和用于數(shù)據(jù)處理的裝置

在審

• 申請?zhí)枺?/td>: 201910046779.3
• 申請日: 2019-01-18
• 公開（公告）號: CN111460836A
• 公開（公告）日: 2020-07-28
• 發(fā)明（設(shè)計(jì)）人: 馮靜靜;周纖
• 申請（專利權(quán)）人: 北京搜狗科技發(fā)展有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/284
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 莎日娜

1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：

確定源語言文本對應(yīng)的目標(biāo)語言文本；

若所述目標(biāo)語言文本中存在符合替換條件的目標(biāo)分詞，則將所述目標(biāo)分詞替換為目標(biāo)預(yù)置詞，以得到替換后目標(biāo)語言文本；

輸出所述替換后目標(biāo)語言文本。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定所述目標(biāo)語言文本中存在符合替換條件的目標(biāo)分詞，包括：

對所述目標(biāo)語言文本進(jìn)行分詞，以得到所述目標(biāo)語言文本對應(yīng)的分詞序列；

根據(jù)所述分詞序列中分詞對應(yīng)的語義、以及預(yù)置詞庫中預(yù)置詞對應(yīng)的語義，判斷所述預(yù)置詞庫中是否存在與所述分詞序列中分詞的語義相關(guān)的候選預(yù)置詞，若存在，且所述候選預(yù)置詞的使用次數(shù)超過第一閾值，則確定所述目標(biāo)語言文本中存在符合替換條件的目標(biāo)分詞；其中，所述預(yù)置詞庫中包括預(yù)置詞、以及預(yù)置詞的使用次數(shù)；

確定所述使用次數(shù)超過第一閾值的候選預(yù)置詞為目標(biāo)預(yù)置詞，以及確定所述分詞序列中與所述目標(biāo)預(yù)置詞的語義相關(guān)的分詞為目標(biāo)分詞。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述確定所述使用次數(shù)超過第一閾值的候選預(yù)置詞為目標(biāo)預(yù)置詞，包括：

若所述使用次數(shù)超過第一閾值的候選預(yù)置詞的個(gè)數(shù)大于1，則從所述使用次數(shù)超過第一閾值的候選預(yù)置詞中，確定使用次數(shù)最多的候選預(yù)置詞為目標(biāo)預(yù)置詞；或者

若存在多個(gè)使用次數(shù)相同、且使用次數(shù)超過第一閾值的候選預(yù)置詞，則從所述多個(gè)使用次數(shù)相同、且使用次數(shù)超過第一閾值的候選預(yù)置詞中，確定字符數(shù)最短的候選預(yù)置詞為目標(biāo)預(yù)置詞。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)置詞庫中包括分詞、預(yù)置詞、以及語義關(guān)系值之間的映射關(guān)系，所述判斷所述預(yù)置詞庫中是否存在與所述分詞序列中分詞的語義相關(guān)的候選預(yù)置詞，包括：

根據(jù)所述分詞序列中的分詞，查詢所述預(yù)置詞庫中的映射關(guān)系，以得到與所述分詞序列中的分詞相匹配的目標(biāo)映射關(guān)系；

若所述目標(biāo)映射關(guān)系中的語義關(guān)系值超過第二閾值，則確定所述預(yù)置詞庫中存在與所述分詞序列中分詞的語義相關(guān)的候選預(yù)置詞，且確定所述目標(biāo)映射關(guān)系中的預(yù)置詞為候選預(yù)置詞。

5.根據(jù)權(quán)利要求2至4中任一所述的方法，其特征在于，所述預(yù)置詞庫為根據(jù)用戶在即時(shí)通信應(yīng)用中輸入的歷史詞、以及所述歷史詞的輸入次數(shù)得到。

6.根據(jù)權(quán)利要求1至4中任一所述的方法，其特征在于，所述源語言文本為根據(jù)即時(shí)通訊應(yīng)用中獲取的即時(shí)通訊消息所得到。

7.根據(jù)權(quán)利要求1至4中任一所述的方法，其特征在于，所述替換條件包括：

所述目標(biāo)分詞的語義與所述目標(biāo)預(yù)置詞的語義相關(guān)，且所述目標(biāo)預(yù)置詞的使用次數(shù)超過第一閾值；和/或

所述目標(biāo)分詞的語義與所述目標(biāo)預(yù)置詞的語義相關(guān)，且所述目標(biāo)預(yù)置詞與所述輸入環(huán)境的關(guān)聯(lián)系數(shù)大于所述目標(biāo)分詞與所述輸入環(huán)境的關(guān)聯(lián)系數(shù)。

8.一種數(shù)據(jù)處理裝置，其特征在于，包括：

確定模塊，用于確定源語言文本對應(yīng)的目標(biāo)語言文本；

替換模塊，用于在所述目標(biāo)語言文本中存在符合替換條件的目標(biāo)分詞的情況下，將所述目標(biāo)分詞替換為目標(biāo)預(yù)置詞，以得到替換后目標(biāo)語言文本；

輸出模塊，用于輸出所述替換后目標(biāo)語言文本。

9.一種用于數(shù)據(jù)處理的裝置，其特征在于，包括有存儲(chǔ)器，以及一個(gè)或者一個(gè)以上的程序，其中一個(gè)或者一個(gè)以上程序存儲(chǔ)于存儲(chǔ)器中，且經(jīng)配置以由一個(gè)或者一個(gè)以上處理器執(zhí)行所述一個(gè)或者一個(gè)以上程序包含用于進(jìn)行以下操作的指令：

確定源語言文本對應(yīng)的目標(biāo)語言文本；

若所述目標(biāo)語言文本中存在符合替換條件的目標(biāo)分詞，則將所述目標(biāo)分詞替換為目標(biāo)預(yù)置詞，以得到替換后目標(biāo)語言文本；

輸出所述替換后目標(biāo)語言文本。

10.一種機(jī)器可讀介質(zhì)，其上存儲(chǔ)有指令，當(dāng)由一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得裝置執(zhí)行如權(quán)利要求1至7中一個(gè)或多個(gè)所述的數(shù)據(jù)處理方法。