[發明專利]一種建立審計專業詞庫的方法及設備

在審

• 申請號: 202110797261.0
• 申請日: 2021-07-14
• 公開（公告）號: CN113536787A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 王秋琳;鄭略省;呂世雷;張萍;莊莉;梁懿
• 申請（專利權）人: 福建億榕信息技術有限公司;國網信息通信產業集團有限公司;國網信通億力科技有限責任公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/237
• 代理公司: 福州科揚專利事務所(普通合伙) 35001
• 代理人: 李曉芬

本發明涉及一種建立審計專業詞庫的方法，包括如下步驟：獲取審計相關文檔；對所述審計相關文檔進行預處理；根據非審計專業詞庫，對預處理后的審計相關文檔進行分詞并去除停用詞，得到若干個獨立詞；通過2?gram分詞算法，對若干個獨立詞進行拼接，得到若干個拼接詞；分別計算各所述拼接詞的詞頻、自由度；預設第一閾值、第二閾值；將詞頻超過第一閾值且自由度超過第二閾值的拼接詞作為新詞存入審計專業詞庫。

技術領域

本發明涉及一種建立審計專業詞庫的方法，屬于自然語言處理領域。

背景技術

領域詞語的抽取算法大致分為以下三類：

(1)基于規則的抽取方法：根據詞語的自身組成結構和詞語外部上下文聯系等建立相應的規則，并利用模式匹配來抽取領域詞匯。

(2)基于統計學方法：賴于詞頻度、似然比、假設檢驗和互信息等，對單獨的領域詞匯和低頻領域詞匯的識別效果并不是很理想。

(3)基于統計和規則結合的方法：鑒于兩種方法的不足，融合兩種方法的優點進行抽取算法的。這種方法可以分為以下三類：規則作為統計方法中的一個過濾步驟；在統計方法中融入具體的規則；利用上下文的“規則”信息進行統計。許多統計算法都是使用組建一個過濾規則模板來過濾掉不合格的術語組合，而且實踐證明這種方式是簡單可行的。

目前,沒有面向審計領域的較為通用且全面的審計專業詞庫。

發明內容

為了解決上述現有技術中存在的問題，本發明提供一種，本發明的技術方案如下：

技術方案一：

一種建立審計專業詞庫的方法，包括如下步驟：

S1、獲取審計相關文檔；

S2、對所述審計相關文檔進行預處理；

S3、根據非審計專業詞庫，對預處理后的審計相關文檔進行分詞并去除停用詞，得到若干個獨立詞；

S4、通過2-gram分詞算法，對若干個獨立詞進行拼接，得到若干個拼接詞；

S5、分別計算各所述拼接詞的詞頻、自由度；

S6、預設第一閾值、第二閾值；將詞頻超過第一閾值且自由度超過第二閾值的拼接詞作為新詞存入審計專業詞庫。

進一步的，步驟S6還包括，通過人工進一步審核新詞；將通過審核的新詞存入審計專業詞庫。

進一步的，步驟S6還包括，將詞頻不超過第一閾值或自由度不超過第二閾值的拼接詞作為停用詞存入非審計專業詞庫。

進一步的，所述預處理具體為：使用POI工具或Tika工具，將非結構化文檔轉換為結構化文檔。

進一步的，步驟S5中，計算拼接詞的自由度的具體步驟為:

預設第三閾值；計算所述拼接詞內部的互信息；

計算互信息大于第三閾值的拼接詞的自由度：

預設第四閾值；

計算互信息大于第三閾值的拼接詞的左鄰居信息熵，若所述左鄰居信息熵不超過第四閾值，則繼續向左擴展計算下一左鄰居信息熵，直至達到最左邊界處或一左鄰居信息熵超過第四閾值，記該超過第四閾值的左鄰居信息熵為第一標度值；

計算所有含有第一標度值的拼接詞的右鄰居信息熵，若所述右鄰居信息熵不超過第四閾值，則繼續向右擴展計算下一右鄰居信息熵；直至達到最右邊界處或右鄰居信息熵超過第四閾值，記該超過第四閾值的右鄰居信息熵為第二標度值；

取第一標度值、第二標度值中的較小者為對應拼接詞的自由度。

技術方案二：