[發(fā)明專利]依存句法樹(shù)構(gòu)建系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811617007.2
• 申請(qǐng)日: 2018-12-27
• 公開(kāi)（公告）號(hào): CN109710937A
• 公開(kāi)（公告）日: 2019-05-03
• 發(fā)明（設(shè)計(jì)）人: 石進(jìn);韓進(jìn);金鵬
• 申請(qǐng)（專利權(quán)）人: 南京大學(xué)
• 主分類號(hào): G06F17/27
• 分類號(hào): G06F17/27
• 代理公司: 南京中高專利代理有限公司 32333
• 代理人: 祝進(jìn)

本發(fā)明涉及語(yǔ)境核心詞提取領(lǐng)域，具體為一種基于語(yǔ)境的依存句法樹(shù)構(gòu)建系統(tǒng)，其包括：獲取模塊，獲取句子；切分模塊，通過(guò)核心詞判斷將句子切分形成片段序列；語(yǔ)境歸屬模塊，判斷片段序列之間的中間詞的歸屬語(yǔ)境；最小語(yǔ)境集合模塊，去除單個(gè)詞的語(yǔ)境，以獲得最小語(yǔ)境集合；以及構(gòu)建依存句法樹(shù)模塊，基于最小語(yǔ)境集合構(gòu)建依存句法樹(shù)。實(shí)現(xiàn)了基于最小語(yǔ)境進(jìn)行依存句法樹(shù)的構(gòu)建。

技術(shù)領(lǐng)域

本發(fā)明涉及語(yǔ)境核心詞提取領(lǐng)域，具體為一種基于語(yǔ)境的依存句法樹(shù)構(gòu)建系統(tǒng)。

背景技術(shù)

關(guān)鍵詞提取領(lǐng)域有很多的研究成果，主要可以分為基于統(tǒng)計(jì)的方法、基于機(jī)器學(xué)習(xí)的方法與基于語(yǔ)義的方法。在基于語(yǔ)義相關(guān)性的關(guān)鍵詞提取算法，通過(guò)詞共現(xiàn)信息計(jì)算短語(yǔ)之間的語(yǔ)義相關(guān)度，將文件描繪成一個(gè)相關(guān)度圖。基于語(yǔ)義分析的關(guān)鍵詞提取方法雖然比前兩種方法提取的關(guān)鍵詞質(zhì)量更高，但還存在著詞義消歧的問(wèn)題，難以獲得最小語(yǔ)境。

基于上述技術(shù)問(wèn)題，需要設(shè)計(jì)一種新的基于語(yǔ)境的依存句法樹(shù)構(gòu)建系統(tǒng)。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于語(yǔ)境的依存句法樹(shù)構(gòu)建系統(tǒng)。

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于語(yǔ)境的依存句法樹(shù)構(gòu)建系統(tǒng)，包括：

獲取模塊，獲取句子；

切分模塊，通過(guò)核心詞判斷將句子切分形成片段序列；

語(yǔ)境歸屬模塊，判斷片段序列之間的中間詞的歸屬語(yǔ)境；

最小語(yǔ)境集合模塊，去除單個(gè)詞的語(yǔ)境，以獲得最小語(yǔ)境集合；以及

構(gòu)建依存句法樹(shù)模塊，基于最小語(yǔ)境集合構(gòu)建依存句法樹(shù)。

進(jìn)一步，所述獲取模塊適于獲取句子，即

初始化詞字典，針對(duì)訓(xùn)練文本集中每個(gè)文本D，將文本D拆分成句子集合S。

進(jìn)一步，所述切分模塊適于通過(guò)核心詞判斷將句子切分形成片段序列，即基于熵對(duì)比的語(yǔ)境核心詞判斷算法將句子切分形成片段序列，即

遍歷句子集合S，將其中每一個(gè)句子拆分成n個(gè)詞形成詞集合W_S；

針對(duì)詞集合W_S中每個(gè)詞w_i，i∈n計(jì)算其與詞集合中任一詞的共現(xiàn)次數(shù)；

查找詞字典中詞w_i，將詞w_i與詞集合W_S中的其它詞w_j，j∈n按<w_j，count>累加；

針對(duì)詞字典，進(jìn)行遍歷，求出每個(gè)詞w_i的語(yǔ)境共現(xiàn)頻率向量V_i，即將所有與詞w_i具有共現(xiàn)關(guān)系的詞，基于公式：其中w_j∈W_S且w_j≠w_i，m∈n，m＝n-1，獲得語(yǔ)境共現(xiàn)頻率向量V_i；

式中為其它詞w_j的共現(xiàn)頻率，為其它詞w_j和詞w_i的共現(xiàn)次數(shù)；

基于公式計(jì)算出每個(gè)詞w_i的語(yǔ)境共現(xiàn)熵值H(V_i)，完成整個(gè)文本的訓(xùn)練；

針對(duì)文本集進(jìn)行文本分類處理后得到的文本分類集中任一句子集合S，將其拆分成詞集合W_S，遍歷其中每個(gè)詞w_i，根據(jù)詞字典中詞w_i對(duì)應(yīng)的熵，逐一比較各詞的語(yǔ)境共現(xiàn)熵值，具有最大語(yǔ)境共現(xiàn)熵值的詞即為核心詞；