[發(fā)明專(zhuān)利]一種文本聚類(lèi)系統(tǒng)、方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010947082.6
• 申請(qǐng)日: 2020-09-10
• 公開(kāi)（公告）號(hào): CN114168729A
• 公開(kāi)（公告）日: 2022-03-11
• 發(fā)明（設(shè)計(jì)）人: 段新宇;秦善夫;盧棟才;王喆鋒;懷寶興;袁晶
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華為云計(jì)算技術(shù)有限公司
• 主分類(lèi)號(hào): G06F16/35
• 分類(lèi)號(hào): G06F16/35
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 常忠良

本申請(qǐng)?zhí)峁┝艘环N文本聚類(lèi)系統(tǒng)，包括聚類(lèi)裝置以及交互裝置。其中，聚類(lèi)裝置，用于對(duì)多個(gè)文本進(jìn)行聚類(lèi)，得到初始聚類(lèi)結(jié)果，而交互裝置可以呈現(xiàn)從聚類(lèi)裝置獲取的初始聚類(lèi)結(jié)果，并響應(yīng)針對(duì)初始聚類(lèi)結(jié)果中第一部分的調(diào)整操作，得到第一聚類(lèi)結(jié)果；聚類(lèi)裝置還根據(jù)針對(duì)于該第一部分的調(diào)整操作，將初始聚類(lèi)結(jié)果中的第二部分更新為第二聚類(lèi)結(jié)果。如此，不僅實(shí)現(xiàn)了調(diào)整后的聚類(lèi)結(jié)果符合用戶(hù)的預(yù)期，而且，用戶(hù)是直接對(duì)聚類(lèi)結(jié)果進(jìn)行調(diào)整，無(wú)需根據(jù)聚類(lèi)錯(cuò)誤分析如何調(diào)整聚類(lèi)算法的模型參數(shù)，以此可以縮短優(yōu)化聚類(lèi)結(jié)果的耗時(shí)，從而可以提高整個(gè)文本聚類(lèi)過(guò)程的效率。此外，本申請(qǐng)還提供了一種文本聚類(lèi)方法、裝置、設(shè)備及介質(zhì)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種文本聚類(lèi)系統(tǒng)、方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著信息技術(shù)的發(fā)展，互聯(lián)網(wǎng)累計(jì)了大量的文本數(shù)據(jù)。文本聚類(lèi)技術(shù)，通過(guò)對(duì)文本信息進(jìn)行有效的組織、摘要和導(dǎo)航，將語(yǔ)義相似度較大的文本匯聚為一簇，以此可以從海量文本數(shù)據(jù)中挖掘出有效信息。

在文本聚類(lèi)過(guò)程中，可以采用交互式聚類(lèi)的方式提高文本聚類(lèi)的準(zhǔn)確率。具體的，聚類(lèi)算法在給出聚類(lèi)結(jié)果后，用戶(hù)可以捕捉該聚類(lèi)結(jié)果中所存在的聚類(lèi)錯(cuò)誤，并基于所捕捉到的聚類(lèi)錯(cuò)誤調(diào)整聚類(lèi)算法的模型參數(shù)，以便于聚類(lèi)算法基于調(diào)整后的模型重新執(zhí)行文本聚類(lèi)過(guò)程。如此，基于用戶(hù)對(duì)模型參數(shù)的多次調(diào)整，最終可以使得聚類(lèi)算法所輸出的聚類(lèi)結(jié)果的準(zhǔn)確率能夠滿(mǎn)足用戶(hù)的要求。

但是，基于用戶(hù)調(diào)整聚類(lèi)算法的模型參數(shù)來(lái)優(yōu)化聚類(lèi)算法輸出的聚類(lèi)結(jié)果，這使得整個(gè)文本聚類(lèi)過(guò)程的耗時(shí)較高，文本聚類(lèi)效率較低。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝艘环N基于協(xié)同架構(gòu)的文本聚類(lèi)系統(tǒng)，通過(guò)對(duì)用戶(hù)未調(diào)整的聚類(lèi)結(jié)果進(jìn)行自動(dòng)調(diào)整，提高文本聚類(lèi)的效率。本申請(qǐng)還提供了對(duì)應(yīng)的方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)以及計(jì)算機(jī)程序產(chǎn)品。

第一方面，本申請(qǐng)?zhí)峁┝艘环N文本聚類(lèi)系統(tǒng)，其包括聚類(lèi)裝置以及交互裝置。其中，聚類(lèi)裝置，用于對(duì)多個(gè)文本進(jìn)行聚類(lèi)，得到初始聚類(lèi)結(jié)果，而交互裝置可以呈現(xiàn)從聚類(lèi)裝置獲取的初始聚類(lèi)結(jié)果，并響應(yīng)用戶(hù)針對(duì)初始聚類(lèi)結(jié)果中第一部分的調(diào)整操作，得到第一聚類(lèi)結(jié)果，相應(yīng)的，聚類(lèi)裝置還可以根據(jù)針對(duì)于該第一部分的調(diào)整操作，將初始聚類(lèi)結(jié)果中的第二部分更新為第二聚類(lèi)結(jié)果，以實(shí)現(xiàn)對(duì)初始聚類(lèi)結(jié)果的優(yōu)化。由于在修正聚類(lèi)結(jié)果的過(guò)程中，用戶(hù)可以對(duì)部分聚類(lèi)結(jié)果進(jìn)行調(diào)整，并由聚類(lèi)裝置根據(jù)用戶(hù)的調(diào)整操作，對(duì)剩余的聚類(lèi)結(jié)果進(jìn)行自動(dòng)調(diào)整，這不僅實(shí)現(xiàn)了調(diào)整后的聚類(lèi)結(jié)果符合用戶(hù)的預(yù)期，而且，用戶(hù)是直接對(duì)聚類(lèi)結(jié)果進(jìn)行調(diào)整，無(wú)需根據(jù)聚類(lèi)錯(cuò)誤分析如何調(diào)整聚類(lèi)算法的模型參數(shù)，以此可以縮短優(yōu)化聚類(lèi)結(jié)果的耗時(shí)，從而可以提高整個(gè)文本聚類(lèi)過(guò)程的效率。同時(shí)，相比于用戶(hù)通過(guò)調(diào)整模型參數(shù)的方式來(lái)優(yōu)化聚類(lèi)結(jié)果，用戶(hù)直接對(duì)聚類(lèi)結(jié)果進(jìn)行調(diào)整，不僅可以降低對(duì)于用戶(hù)的技術(shù)水平要求，而且，可以聚類(lèi)結(jié)果的優(yōu)化效果通常更符合用戶(hù)的預(yù)期。

結(jié)合第一方面，在第一方面的第一種可能的實(shí)施方式中，聚類(lèi)裝置，還可以用于對(duì)聚類(lèi)得到初始聚類(lèi)結(jié)果的過(guò)程中涉及的中間信息進(jìn)行記錄，并根據(jù)該中間信息以及調(diào)整操作將初始聚類(lèi)結(jié)果中的第二部分更新為第二聚類(lèi)結(jié)果。如此，聚類(lèi)裝置在自動(dòng)調(diào)整初始聚類(lèi)結(jié)果中的第二部分聚類(lèi)結(jié)果時(shí)，無(wú)需重新計(jì)算所有信息，如文本之間的相似度等，而是可以是復(fù)用之前聚類(lèi)得到初始聚類(lèi)結(jié)果的過(guò)程中所計(jì)算出的中間信息，從而不僅可以降低重新進(jìn)行文本聚類(lèi)所需的計(jì)算量，而且，也可以有效提高文本聚類(lèi)效率。

結(jié)合第一方面的第一種實(shí)施方式，在第一方面的第二種可能的實(shí)施方式中，該中間信息可以包括多個(gè)文本中單詞之間的相似度、文本之間的相似度、單詞的權(quán)重值以及單詞屬性的定義等信息中的任意一種或多種。實(shí)際應(yīng)用中，中間信息還可以包括其它信息，如經(jīng)過(guò)預(yù)處理后的文本、單詞在文本中的詞序等信息，本申請(qǐng)中對(duì)記錄的中間信息并不進(jìn)行限定。