[發(fā)明專利]一種文本數(shù)據(jù)確定方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010201540.1
• 申請(qǐng)日: 2020-03-20
• 公開（公告）號(hào): CN113495954A
• 公開（公告）日: 2021-10-12
• 發(fā)明（設(shè)計(jì)）人: 周凱
• 申請(qǐng)（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F16/335
• 分類號(hào): G06F16/335
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 張效榮;王志遠(yuǎn)

1.一種文本數(shù)據(jù)確定方法，其特征在于，包括：

獲取文本數(shù)據(jù)；

根據(jù)關(guān)鍵詞條對(duì)所述文本數(shù)據(jù)進(jìn)行過濾得到備選文本數(shù)據(jù)；

根據(jù)存儲(chǔ)設(shè)備中的歷史文本數(shù)據(jù)對(duì)所述備選文本數(shù)據(jù)進(jìn)行相似性去重，以確定目標(biāo)文本數(shù)據(jù)；

為每個(gè)目標(biāo)文本數(shù)據(jù)分配一個(gè)存儲(chǔ)序號(hào)，根據(jù)所述存儲(chǔ)序號(hào)和目標(biāo)文本數(shù)據(jù)的類型確定目標(biāo)文本對(duì)應(yīng)的標(biāo)識(shí)碼，將所述目標(biāo)文本數(shù)據(jù)置入存儲(chǔ)設(shè)備。

2.根據(jù)權(quán)利要求1所述的文本數(shù)據(jù)確定方法，其特征在于，在所述根據(jù)關(guān)鍵詞條對(duì)所述文本數(shù)據(jù)進(jìn)行過濾得到備選文本數(shù)據(jù)的步驟之前，所述文本數(shù)據(jù)確定方法還包括：根據(jù)文本數(shù)據(jù)的類型和標(biāo)題進(jìn)行相同文本數(shù)據(jù)去重。

3.根據(jù)權(quán)利要求2所述的文本數(shù)據(jù)確定方法，其特征在于，所述根據(jù)文本數(shù)據(jù)的類型和標(biāo)題進(jìn)行相同文本數(shù)據(jù)去重的步驟包括：根據(jù)取值算法對(duì)同一類型的文本數(shù)據(jù)的標(biāo)題進(jìn)行取值得到同一類型的文本數(shù)據(jù)對(duì)應(yīng)的鍵值，根據(jù)所述鍵值進(jìn)行相同文本數(shù)據(jù)的去重。

4.根據(jù)權(quán)利要求1所述的文本數(shù)據(jù)確定方法，其特征在于，所述根據(jù)存儲(chǔ)設(shè)備中的歷史文本數(shù)據(jù)對(duì)所述備選文本數(shù)據(jù)進(jìn)行相似性去重，以確定目標(biāo)文本數(shù)據(jù)的步驟包括：根據(jù)分詞算法對(duì)所述備選文本數(shù)據(jù)進(jìn)行分詞處理后獲取所述備選文本數(shù)據(jù)對(duì)應(yīng)的特征向量，根據(jù)所述備選文本數(shù)據(jù)對(duì)應(yīng)的特征向量和歷史文本數(shù)據(jù)對(duì)應(yīng)的特征向量進(jìn)行相似度計(jì)算，根據(jù)相似度計(jì)算結(jié)果進(jìn)行去重，以確定目標(biāo)文本數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的文本數(shù)據(jù)確定方法，其特征在于，所述根據(jù)所述備選文本數(shù)據(jù)對(duì)應(yīng)的特征向量和歷史文本數(shù)據(jù)對(duì)應(yīng)的特征向量進(jìn)行相似度計(jì)算的步驟包括：配置單次計(jì)算數(shù)量，根據(jù)所述備選文本數(shù)據(jù)對(duì)應(yīng)的特征向量和單次計(jì)算數(shù)量的歷史文本數(shù)據(jù)對(duì)應(yīng)的特征向量進(jìn)行相似度計(jì)算。

6.根據(jù)權(quán)利要求1所述的文本數(shù)據(jù)確定方法，其特征在于，在將所述目標(biāo)文本數(shù)據(jù)置入存儲(chǔ)設(shè)備的步驟之后，所述文本數(shù)據(jù)確定方法還包括：向訂閱部門發(fā)送更新通知，以使得訂閱部門接收所述更新通知后，根據(jù)所述標(biāo)識(shí)碼和關(guān)鍵詞條指示的文本數(shù)據(jù)類型從所述存儲(chǔ)設(shè)備中提取相應(yīng)的目標(biāo)文本數(shù)據(jù)，其中，所述關(guān)鍵詞條由訂閱部門進(jìn)行設(shè)定。

7.一種文本數(shù)據(jù)確定裝置，其特征在于，包括：

文本數(shù)據(jù)獲取模塊，用于獲取文本數(shù)據(jù)；

過濾模塊，用于根據(jù)關(guān)鍵詞條對(duì)所述文本數(shù)據(jù)進(jìn)行過濾得到備選文本數(shù)據(jù)；

目標(biāo)文本數(shù)據(jù)確定模塊，用于根據(jù)存儲(chǔ)設(shè)備中的歷史文本數(shù)據(jù)對(duì)所述備選文本數(shù)據(jù)進(jìn)行相似性去重，以確定目標(biāo)文本數(shù)據(jù)；

存儲(chǔ)模塊，用于為每個(gè)目標(biāo)文本數(shù)據(jù)分配一個(gè)存儲(chǔ)序號(hào)，根據(jù)所述存儲(chǔ)序號(hào)和目標(biāo)文本數(shù)據(jù)的類型確定目標(biāo)文本對(duì)應(yīng)的標(biāo)識(shí)碼，將所述目標(biāo)文本數(shù)據(jù)置入存儲(chǔ)設(shè)備。

8.根據(jù)權(quán)利要求7所述的文本數(shù)據(jù)確定裝置，其特征在于，所述文本數(shù)據(jù)確定裝置還包括去重模塊，在所述根據(jù)關(guān)鍵詞條對(duì)所述文本數(shù)據(jù)進(jìn)行過濾得到備選文本數(shù)據(jù)的步驟之前，所述去重模塊用于：根據(jù)文本數(shù)據(jù)的類型和標(biāo)題進(jìn)行相同文本數(shù)據(jù)去重。

9.一種電子設(shè)備，其特征在于，包括：

一個(gè)或多個(gè)處理器；

存儲(chǔ)裝置，用于存儲(chǔ)一個(gè)或多個(gè)程序，

當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)如權(quán)利要求1-6中任一所述的方法。

10.一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-6中任一所述的方法。