[發(fā)明專利]文本處理方法及裝置、計算機(jī)設(shè)備、存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010920127.0
• 申請日: 2020-09-04
• 公開（公告）號: CN112231471B
• 公開（公告）日: 2022-06-07
• 發(fā)明（設(shè)計）人: 俞子軒
• 申請（專利權(quán)）人: 大箴（杭州）科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/284
• 代理公司: 北京中強(qiáng)智尚知識產(chǎn)權(quán)代理有限公司 11448
• 代理人: 黃耀威;賈依嬌

1.一種文本處理方法，其特征在于，包括：

對目標(biāo)文本進(jìn)行分詞操作，行成多個語句向量，其中，所述目標(biāo)文本包括多個子文本，每個子文本對應(yīng)一個語句向量；

構(gòu)建所述多個語句向量的數(shù)據(jù)集，其中，所述數(shù)據(jù)集中的每個樣本點(diǎn)對應(yīng)一個語句向量；

根據(jù)并行化k中值模型將所述數(shù)據(jù)集中的樣本點(diǎn)分為預(yù)設(shè)值個簇，并確定各個簇的質(zhì)心；

確定距離每個質(zhì)心最近的樣本點(diǎn)，并根據(jù)所述樣本點(diǎn)輸出對應(yīng)的子文本；

所述根據(jù)并行化k中值模型將所述數(shù)據(jù)集中的樣本點(diǎn)分為預(yù)設(shè)值個簇，并確定各個簇的質(zhì)心，包括：

步驟a1、通過將所述數(shù)據(jù)集輸入k中值模型，并設(shè)定所述預(yù)設(shè)值的初始值為K，其中，K表示大于1的自然數(shù)；

步驟b1、從所述數(shù)據(jù)集中選取K個第一質(zhì)心，并根據(jù)所述數(shù)據(jù)集中的第一樣本點(diǎn)與所述第一質(zhì)心的中位數(shù)確定各個第一樣本點(diǎn)所屬的第一K簇類，其中，所述第一樣本點(diǎn)表示所述數(shù)據(jù)集中除所述第一質(zhì)心之外的樣本點(diǎn)；

步驟c1、計算第一簇中所有樣本點(diǎn)的中位數(shù)，將所述中位數(shù)對應(yīng)的樣本點(diǎn)確定為所述第一簇的第二質(zhì)心，其中，所述第一簇為所述第一K簇類中任一簇類；

步驟d1、計算所述數(shù)據(jù)集中除K個第二質(zhì)心之外的第二樣本點(diǎn)到所述第二質(zhì)心的距離，以確定各個第二樣本點(diǎn)所屬的第二K簇類；

迭代執(zhí)行上述步驟c1，d1，直到第N次確定的第N質(zhì)心與第N-1次確定的第N-1質(zhì)心相同，則確定各個目標(biāo)簇以及各個目標(biāo)簇對應(yīng)的質(zhì)心。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對目標(biāo)文本進(jìn)行分詞操作，行成多個語句向量，包括：

將所述目標(biāo)文本轉(zhuǎn)換為子文本長度固定的多個字符串序列，其中，每個子文本對應(yīng)一個字符串序列；

基于預(yù)設(shè)詞典將各個字符串序列映射為目標(biāo)語句向量，其中，所述預(yù)設(shè)詞典中的單詞通過詞向量表示；

對各個目標(biāo)語句向量進(jìn)行壓縮，得到所述多個語句向量，其中，每個語句向量表示一個預(yù)設(shè)維數(shù)的數(shù)組。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，將所述目標(biāo)文本轉(zhuǎn)換為子文本長度固定的多個字符串序列包括：

對第一子文本進(jìn)行分詞，得到分詞集合，其中，所述第一子文本為所述目標(biāo)文本中的任一子文本，若所述第一子文本的子文本長度小于預(yù)設(shè)長度，則使用預(yù)設(shè)單詞在所述分詞集合的末端進(jìn)行填充；

將所述分詞集合與預(yù)設(shè)詞組進(jìn)行匹配，其中，所述預(yù)設(shè)詞組用于表征單詞與序列之間的映射關(guān)系；

若在所述預(yù)設(shè)詞組中匹配到所述第一子文本中包含的第一單詞，則使用所述第一單詞對應(yīng)的序列替換所述第一單詞；若在所述預(yù)設(shè)詞組中未匹配到所述第一子文本中包含的第二單詞，則使用預(yù)設(shè)字符串替換所述第二單詞，其中，所述第一單詞和所述第二單詞為所述第一子文本中任一單詞；

根據(jù)匹配結(jié)果生成所述多個字符串序列。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

計算所述目標(biāo)簇中任一樣本點(diǎn)距離所述目標(biāo)簇的質(zhì)心的距離的平均值P1，計算所述各個質(zhì)心的中位數(shù)O，并計算所述各個質(zhì)心到所述中位數(shù)O的距離的平均值P2；

計算所述P1與所述P2的比值，記為M；

將所述M與閾值進(jìn)行比較；

若所述M小于所述閾值，則確定所述K為所述預(yù)設(shè)值；否則，循環(huán)執(zhí)行上述并行化k中值模型的相應(yīng)步驟。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，從所述數(shù)據(jù)集中選取K個第一質(zhì)心，并根據(jù)所述數(shù)據(jù)集中的第一樣本點(diǎn)與所述第一質(zhì)心的中位數(shù)確定各個第一樣本點(diǎn)所屬的第一K簇類，其中，所述第一樣本點(diǎn)表示所述數(shù)據(jù)集中除所述第一質(zhì)心之外的樣本點(diǎn)，包括以下步驟：

步驟a2、從所述數(shù)據(jù)集的樣本點(diǎn)中隨機(jī)選取一個質(zhì)點(diǎn)，作為質(zhì)心K1；

步驟b2、遍歷所述數(shù)據(jù)集，選取距離所述質(zhì)心K1最遠(yuǎn)的質(zhì)點(diǎn)，作為質(zhì)心K2；

步驟c2、迭代執(zhí)行上述步驟b2的操作，直到選取K個質(zhì)心；

步驟d2、計算所述數(shù)據(jù)集中任一樣本點(diǎn)到所述K個質(zhì)心的多個中位數(shù)；

步驟e2、從所述多個中位數(shù)中選擇最小值時對應(yīng)的目標(biāo)質(zhì)心，并將所述最小值對應(yīng)的樣本點(diǎn)確定為所述目標(biāo)質(zhì)心對應(yīng)的簇類中的樣本點(diǎn)。