[發明專利]文本批量處理方法、系統、終端設備及計算機存儲介質

在審

• 申請號: 202011471868.1
• 申請日: 2020-12-14
• 公開（公告）號: CN112528673A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 蔡一欣;許翀;張溶芳;李堃
• 申請（專利權）人: 中國聯合網絡通信集團有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/289;G06F40/284;G06F40/216;G06F40/194;G06F16/35;G06F16/31
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 羅建民;杜丹丹

1.一種文本批量處理方法，其特征在于，包括：

創建文本語義數據庫，所述文本語義數據庫中包括若干分區；

在接收到若干待處理文本后，將所述若干待處理文本分別匹配到相應的分區中；以及，

分別對每個分區中的待處理文本進行批量處理。

2.根據權利要求1所述的方法，其特征在于，所述創建文本語義數據庫，包括：

獲取若干源文本數據；

分別對所述若干源文本數據進行預處理，得到各源文本數據的特征向量；

基于各源文本數據的特征向量劃分若干分區；

分別將各源文本數據的特征向量導入到各自對應的分區中；以及，

基于導入了相應源文本數據的特征向量的若干分區創建文本語義數據庫。

3.根據權利要求2所述的方法，其特征在于，所述分別對所述源文本數據進行預處理，得到各源文本數據的特征向量，包括：

分別對所述若干源文本數據進行文本分詞；

分別對經過文本分詞的若干源文本數據進行詞頻分析，得到各源文本數據的詞頻分析結果；以及，

基于各源文本數據的詞頻分析結果，生成各源文本數據的特征向量。

4.根據權利要求2所述的方法，其特征在于，所述將所述若干待處理文本分別匹配到相應的分區中，包括：

分別對所述若干待處理文本進行預處理，得到各待處理文本的特征向量；

計算每個待處理文本的特征向量分別與各源文本數據的特征向量之間的相似度，得到每個待處理文本的相似度結果；以及，

基于所述每個待處理文本的相似度結果，將所述若干待處理文本分別匹配到與其相似度最高的源文本數據的特征向量對應的分區中。

5.根據權利要求4所述的方法，其特征在于，所述計算每個待處理文本的特征向量分別與各源文本數據的特征向量之間的相似度，包括：

將所述若干待處理文本的特征向量與所述若干源文本數據的特征向量作為數據集，針對所述數據集利用FCM聚類算法計算每個待處理文本的特征向量分別與各源文本數據的特征向量之間的相似度。

6.一種文本批量處理系統，其特征在于，包括：

創建模塊，其設置為創建文本語義數據庫，所述文本語義數據庫中包括若干分區；

匹配模塊，其設置為在接收到若干待處理文本后，將所述若干待處理文本匹配到相應的分區中；以及，

處理模塊，其設置為分別對每個分區中的待處理文本進行批量處理。

7.根據權利要求6所述的系統，其特征在于，所述創建模塊，包括：

獲取單元，其設置為獲取若干源文本數據；

預處理單元，其設置為分別對所述若干源文本數據進行預處理，得到各源文本數據的特征向量；

分區單元，其設置為基于各源文本數據的特征向量劃分若干分區；

導入單元，其設置為分別將各源文本數據的特征向量導入到各自對應的分區中；以及，

創建單元，其設置為基于導入了相應源文本數據的特征向量的若干分區創建文本語義數據庫。

8.根據權利要求7所述的系統，其特征在于，所述預處理單元，包括：

分詞子單元，其設置為分別對所述若干源文本數據進行文本分詞；

分析子單元，其設置為分別對經過文本分詞的若干源文本數據進行詞頻分析，得到各源文本數據的詞頻分析結果；以及，

生成子單元，其設置為基于各源文本數據的詞頻分析結果，生成各源文本數據的特征向量。

9.一種終端設備，其特征在于，包括存儲器和處理器，所述存儲器中存儲有計算機程序，當所述處理器運行所述存儲器存儲的計算機程序時，所述處理器執行根據權利要求1至5中任一項所述的文本批量處理方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時，所述處理器執行根據權利要求1至5中任一項所述的文本批量處理方法。