[發(fā)明專利]一種融入句法結(jié)構(gòu)信息的主題挖掘方法、存儲(chǔ)介質(zhì)及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111498143.6
• 申請日: 2021-12-09
• 公開（公告）號(hào): CN114491013A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 劉洪濤;趙洪慷
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F16/31;G06F40/211;G06F40/268;G06F40/289
• 代理公司: 重慶市恒信知識(shí)產(chǎn)權(quán)代理有限公司 50102
• 代理人: 陳棟梁

1.一種融入句法結(jié)構(gòu)信息的主題挖掘方法，其特征在于，包括以下步驟：

獲取社交文本數(shù)據(jù)集，利用依存句法結(jié)構(gòu)對社交文本數(shù)據(jù)集的二元詞匯關(guān)系期望值進(jìn)行計(jì)算；

將二元詞匯關(guān)系的期望值輸入到二元詞匯信息構(gòu)建的主題挖掘模型中，所述主題挖掘模型采用隱含狄利克雷分布DP-BTM模型；對待挖掘文本的詞語進(jìn)行采樣分析，來確定主題詞語分布集合；

給出具體的主題分布結(jié)果和主題下詞語的分布結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種融入句法結(jié)構(gòu)信息的主題挖掘方法，其特征在于，所述社交文本數(shù)據(jù)集的二元詞匯關(guān)系信息具體包括：|B|個(gè)二元詞關(guān)系的期望值和L個(gè)詞語；其中上述二元關(guān)系期望值包含兩個(gè)單詞和一個(gè)關(guān)系期望值，期望值由句法結(jié)構(gòu)信息樹包含的二元關(guān)系計(jì)算所得，其詞語是由待挖掘的短文本中出現(xiàn)的單詞構(gòu)成的，句法結(jié)構(gòu)信息樹由依存句法工具分析實(shí)現(xiàn)，|B|、L為正整數(shù)；當(dāng)?shù)玫酱黝}挖掘的短文本時(shí)，計(jì)算其中出現(xiàn)的二元詞匯關(guān)系期望值。

3.根據(jù)權(quán)利要求2所述的一種融入句法結(jié)構(gòu)信息的主題挖掘方法，其特征在于，所述利用依存句法分析工具獲得句子中出現(xiàn)的依存關(guān)系，具體包括：

S11、一個(gè)短文本d_i中包含多個(gè)句子S，以句子為單位進(jìn)行分割，對句子進(jìn)行分詞操作獲得單詞集合W，為單詞進(jìn)行詞性標(biāo)注，并使用依存算法工具獲得單詞之間存在的句法結(jié)構(gòu)信息；句法結(jié)構(gòu)信息中包含有多個(gè)由中心詞word_s、從屬詞word_d和關(guān)系r組成的三元組合，篩選剔除掉其中word_s、word_d均是同一詞的組合；

S12將節(jié)點(diǎn)中在句法結(jié)構(gòu)信息中僅有做為中心詞出現(xiàn)的單詞節(jié)點(diǎn)掛載到Root節(jié)點(diǎn)下，生成句法結(jié)構(gòu)信息樹；

S13統(tǒng)計(jì)句法結(jié)構(gòu)信息樹中出現(xiàn)的二元關(guān)系，分別為：親子關(guān)系，兄弟關(guān)系，叔侄關(guān)系和無特殊關(guān)系；

S14在分別統(tǒng)計(jì)樹中出現(xiàn)的二元關(guān)系之后，以短文本d_i為單位，將其包含的所有句子s_j的句法結(jié)構(gòu)信息樹中統(tǒng)計(jì)的二元關(guān)系進(jìn)行整合統(tǒng)計(jì)；

S15計(jì)算二元詞匯b在文檔d_i中的期望值；

S16重復(fù)S11-S15步驟對所有文檔d中的二元詞匯b關(guān)系進(jìn)行期望值計(jì)算；

S16根據(jù)S16的結(jié)果最后word_i和word_j在短文本數(shù)據(jù)集中D的期望值。

4.根據(jù)權(quán)利要求3所述的一種融入句法結(jié)構(gòu)信息的主題挖掘方法，其特征在于，所述S15計(jì)算二元詞匯b在文檔d_i中的期望值，具體公式為：

p_k為b所涉及的單詞word_s和word_e單詞之間關(guān)系k出現(xiàn)在文檔d_i下的概率，

其中為步驟S13中敘述的四種二元關(guān)系在文檔d_i出現(xiàn)次數(shù)的總和，當(dāng)k依次取s，b，u，n時(shí)l依次取3，2，1，0，即親子關(guān)系，兄弟關(guān)系，叔侄關(guān)系和無特殊關(guān)系對應(yīng)的權(quán)重分配為(1+γ)³，(1+γ)²，(1+γ)¹，(1+γ)⁰；

其在文檔d_i下二元詞匯b的關(guān)系期望值為