[發(fā)明專利]一種文本集合相似性的可視化方法和裝置

有效

• 申請?zhí)枺?/td>: 201310022589.0
• 申請日: 2013-01-22
• 公開（公告）號: CN103077157A
• 公開（公告）日: 2013-05-01
• 發(fā)明（設(shè)計(jì)）人: 唐家渝;孫茂松;劉知遠(yuǎn)
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06F17/21
• 分類號: G06F17/21
• 代理公司: 西安智大知識產(chǎn)權(quán)代理事務(wù)所 61215
• 代理人: 賈玉健

1.一種文本集合相似性的可視化方法，其特征在于，所述方法包括：?

對文本集合進(jìn)行預(yù)處理，以得到文本集合的特征詞及特征詞的權(quán)重；?

對文本集合的相似度進(jìn)行計(jì)算；?

對文本集合的相似性進(jìn)行可視化。?

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)處理包括：?

將文本集合中的句子切分成詞；去除停用詞得到文本集合的特征詞；并通過出現(xiàn)頻次計(jì)算得到特征詞的權(quán)重。?

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對文本集合的相似度進(jìn)行計(jì)算，具體包括：?

構(gòu)建用于文本集合相似度計(jì)算的模型；利用構(gòu)建出的相似度計(jì)算模型和通過預(yù)處理得到的文本集合的特征詞及其權(quán)重，計(jì)算文本集合的相似度。?

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述模型使用康奈爾大學(xué)計(jì)算機(jī)系開發(fā)的SVM^rank工具包進(jìn)行構(gòu)建，采用兩個文本集合的含權(quán)重特征詞組的余弦相似度、共同特征詞個數(shù)、共同特征詞個數(shù)分別與兩個特征詞組的大小比值這4個特征作為構(gòu)建參數(shù)，然后，利用SVM^rank工具包計(jì)算出兩組特征詞的相似度v，文本集合的相似度?。

5.根據(jù)權(quán)利要求1至4任一權(quán)利要求所述的方法，其特征在于，所述對文本集合的相似性進(jìn)行可視化包括：?

計(jì)算特征詞在圖形展示中布局信息；利用計(jì)算出的布局信息圖形化展示文本集合的相似性。?

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述圖形化展示的視覺特點(diǎn)為：?

特征詞整體分布呈橢圓形，字體越大，位置越靠近原點(diǎn)；共同特征詞以顏?色1表示，字體大小與特征詞的權(quán)重以及文本集合A與B的相似度大小相關(guān)，并且比非共同特征詞字體大，以突顯共同特征詞；文本集合A的非共同特征詞以顏色2表示，字體大小與特征詞的權(quán)重相關(guān)；文本集合B的非共同特征詞以顏色3表示，字體大小與特征詞的權(quán)重相關(guān)；文本集合A和B的非共同特征詞的邊界，在保證圖形輪廓規(guī)則性的基礎(chǔ)上，與非共同特征詞組的大小相關(guān)。?

7.一種文本集合相似性的可視化裝置，其特征在于，所述裝置包括：?

預(yù)處理模塊，用于將待可視化的原始數(shù)據(jù)進(jìn)行預(yù)處理，獲得文本集合的特征詞及特征詞的權(quán)重；?

文本相似性計(jì)算模塊，用于計(jì)算文本集合的相似度；?

可視化模塊，用于利用上述結(jié)果數(shù)據(jù)進(jìn)行信息可視化，呈現(xiàn)出文本集合的相似性。?

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述預(yù)處理模塊包括：?

分詞單元，用于將文本集合進(jìn)行分詞并去掉停用詞，獲得獨(dú)立的特征詞組；?

詞語權(quán)重計(jì)算單元，用于計(jì)算文本集合的特征詞的權(quán)重。?

9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述文本相似性計(jì)算模塊包括：?

計(jì)算模型構(gòu)建單元，用于通過標(biāo)注的文本語料構(gòu)建用于文本集合相似度計(jì)算的模型；?

計(jì)算單元，用于利用構(gòu)建出的相似度計(jì)算模型和通過預(yù)處理模塊得到的文本集合特征詞及權(quán)重，計(jì)算文本集合的相似度。?

10.根據(jù)權(quán)利要求7至9任一權(quán)利要求所述的裝置，其特征在于，所述可視化模塊包括：?

布局計(jì)算單元，用于計(jì)算出每個特征詞在圖形展示中的布局信息；?

圖形界面單元，用于利用計(jì)算出的布局信息生成圖片，并顯示在瀏覽設(shè)備中。?

11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，布局計(jì)算單元計(jì)算出的布?局信息特點(diǎn)包括：?

特征詞整體分布呈橢圓形，字體越大，位置越靠近原點(diǎn)；共同特征詞以顏色1表示，字體大小與特征詞的權(quán)重以及文本集合A與B的相似度大小相關(guān)，并且比非共同特征詞字體大，以突顯共同特征詞；文本集合A的非共同特征詞以顏色2表示，字體大小與特征詞的權(quán)重相關(guān)；文本集合B的非共同特征詞以顏色3表示，字體大小與特征詞的權(quán)重相關(guān)；文本集合A和B的非共同特征詞的邊界，在保證圖形輪廓規(guī)則性的基礎(chǔ)上，與非共同特征詞組的大小相關(guān)。?