[發明專利]一種文本信息的處理方法、裝置及設備

有效

• 申請號: 202210088375.2
• 申請日: 2022-01-26
• 公開（公告）號: CN114118085B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 梁矗;鄭鐵樵;張博
• 申請（專利權）人: 云智慧（北京）科技有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F16/35;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種文本信息的處理方法，其特征在于，所述方法包括：

獲取文本信息的句向量模型和詞向量；

根據所述句向量模型和詞向量，確定第一參數矩陣和第一詞表；

對所述第一參數矩陣進行乘積量化處理，得到量化編碼矩陣；

對所述第一詞表進行壓縮處理，得到壓縮詞表；

根據所述量化編碼矩陣和所述壓縮詞表，對所述文本信息進行處理，得到處理結果；

其中，對所述第一參數矩陣進行乘積量化處理，得到量化編碼矩陣，包括：

獲取第一參數矩陣的維度和壓縮參數；

根據所述維度和壓縮參數，對第一參數矩陣的維度進行劃分，得到至少兩個子空間；

對所述子空間進行聚類處理，得到所述子空間對應的類中心；

根據所述類中心，生成量化編碼矩陣；

其中，對所述第一詞表進行壓縮處理，得到壓縮詞表，包括：

從所述第一詞表中篩選出滿足預設條件的詞表子集作為壓縮詞表，其中，所述預設條件為；

其中，W_s為標號為s的單詞，S為第一詞表的子集，K為詞表大小，P為單詞文檔頻率矩陣，P_1s為選取的詞表中第s個詞，在第1個文檔中出現的次數，s.t.表示使滿足的條件。

2.根據權利要求1所述的文本信息的處理方法，其特征在于，根據所述句向量模型和詞向量，確定第一參數矩陣和第一詞表，包括：

根據所述句向量模型和詞向量，得到所述句向量模型的損失函數；

通過所述損失函數，確定第一參數矩陣和第一詞表。

3.根據權利要求2所述的文本信息的處理方法，其特征在于，所述損失函數為；其中，loss為損失函數，x₁:t是句向量模型的句子中t個詞向量，y_n為句子的標簽，A為第一詞表，B為第一參數矩陣，n為句子的數量。

4.根據權利要求1所述的文本信息的處理方法，其特征在于，根據所述量化編碼矩陣和所述壓縮詞表，對所述文本信息進行處理，得到處理結果，包括：

根據所述量化編碼矩陣和所述壓縮詞表，對文本信息的句向量模型進行重新訓練，得到目標句向量模型；

基于所述目標句向量模型，對文本信息進行處理，得到處理結果。

5.一種文本信息的處理裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取文本信息的句向量模型和詞向量；

處理模塊，用于根據所述句向量模型和詞向量，確定第一參數矩陣和第一詞表；對所述第一參數矩陣進行乘積量化處理，得到量化編碼矩陣；對所述第一詞表進行壓縮處理，得到壓縮詞表；根據所述量化編碼矩陣和所述壓縮詞表，對所述文本信息進行處理，得到處理結果；

其中，對所述第一參數矩陣進行乘積量化處理，得到量化編碼矩陣，包括：

獲取第一參數矩陣的維度和壓縮參數；

根據所述維度和壓縮參數，對第一參數矩陣的維度進行劃分，得到至少兩個子空間；

對所述子空間進行聚類處理，得到所述子空間對應的類中心；

根據所述類中心，生成量化編碼矩陣；

其中，對所述第一詞表進行壓縮處理，得到壓縮詞表，包括：

從所述第一詞表中篩選出滿足預設條件的詞表子集作為壓縮詞表，其中，所述預設條件為；

其中，W_s為標號為s的單詞，S為第一詞表的子集，K為詞表大小，P為單詞文檔頻率矩陣，P_1s為選取的詞表中第s個詞，在第1個文檔中出現的次數，s.t.表示使滿足的條件。

6.一種計算設備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；

所述存儲器用于存放至少一可執行指令，所述可執行指令使所述處理器執行如權利要求1-4中任一項所述的方法對應的操作。

7.一種計算機可讀存儲介質，其特征在于，存儲有指令，所述指令在計算機上運行時，使得計算機執行如權利要求1至4任一項所述的方法。