[發明專利]基于機器學習的變量自動分類方法及系統

在審

• 申請號: 202011272803.4
• 申請日: 2020-11-13
• 公開（公告）號: CN112381143A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 魏強;孫向學;張上亞;王臣亮;張學敬;翟迪;馬靜靜;郁峰
• 申請（專利權）人: 長城計算機軟件與系統有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F40/289;G06F16/215;G06N20/00
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 吳佳

本發明公開了一種基于機器學習的變量自動分類方法及系統，涉及信息處理技術領域。該方法包括：獲取待處理的報表，提取報表的文本信息；從本文對象中提取文本信息，利用預設的分詞算法將文本信息拆分成詞語，從詞語中提取變量特征詞；從詞性識別對象中提取變量特征詞，將提取的變量特征詞與變量詞庫中的變量進行比較，形成用于抽取特征詞的分類規則；根據分類規則將變量特征詞抽取到對應的變量塊中。本發明提供的變量自動分類方法基于機器學習實現，適用于統計類報表的變量自動分類，實現了利用機器學習創建變量自動分類的方法，可以解決在數據統計過程中繁瑣復雜的變量識別工作。

技術領域

本發明涉及信息處理技術領域，尤其涉及一種基于機器學習的變量自動分類方法及系統。

背景技術

目前，對統計類報表的數據理整時，多采用人功能實識別主賓欄內文本文字，區分主賓欄內變量是指標或分組項的方法。而用程序識別變量錯誤率較高，需要人工校驗，并且對人員業務水平要求較高，也經常出現人工識別錯誤等問題。

發明內容

本發明所要解決的技術問題是針對現有技術的不足，提供一種基于機器學習的變量自動分類方法及系統。

本發明解決上述技術問題的技術方案如下：

一種基于機器學習的變量自動分類方法，包括：

獲取待處理的報表，提取所述報表的文本信息，將識別出的文本信息存儲在文本對象中；

從所述本文對象中提取所述文本信息，利用預設的分詞算法將所述文本信息拆分成詞語，從所述詞語中提取變量特征詞，將提取出的變量特征詞存儲在詞性識別對象中；

從所述詞性識別對象中提取所述變量特征詞，將提取的所述變量特征詞與變量詞庫中的變量進行比較，形成用于抽取特征詞的分類規則；

根據所述分類規則將所述變量特征詞抽取到對應的變量塊中。

本發明提供的變量自動分類方法基于機器學習實現，適用于統計類報表的變量自動分類，通過對報表的文本信息進行提取，然后分別依次進行詞性識別和特征抽取，然后與變量詞庫中的變量進行比較，構建分類規則，再根據分類規則進行自動分類，實現了利用機器學習創建變量自動分類的方法，可以解決在數據統計過程中繁瑣復雜的變量識別工作。

進一步地，本發明還可以進行如下改進：

獲取待處理的報表，提取所述報表的文本信息，將識別出的文本信息存儲在文本對象中，具體包括：

獲取待處理的報表，識別所述報表中全部的填報內容區域，識別每個單元格內的數據并判斷每個單元格內數據的數據類型，將識別出的數據和數據類型存儲在文本對象中。

采用上述進一步方案的有益效果是：通過對填報內容區域進行識別處理，能夠便于開展后續對于數據的詞性識別和特征提取等步驟，從而提高分類的精度。

進一步地，本發明還可以進行如下改進：

從所述本文對象中提取所述文本信息，利用預設的分詞算法將所述文本信息拆分成詞語，從所述詞語中提取變量特征詞，將提取出的變量特征詞存儲在詞性識別對象中，具體包括：

從所述本文對象中提取所述文本信息，利用預設的分詞算法將所述文本信息拆分成詞語，確定每個詞語是名詞、動詞、形容詞或虛詞，如果是虛詞，則剔除對應的詞語，將剩余的詞語作為變量特征詞，將提取出的變量特征詞存儲在詞性識別對象中。

采用上述進一步方案的有益效果是：如果將虛詞作為特征詞，將會帶來很大噪音，從而直接降低后續變量分類的效率和準確率。因此，在提取變量特征時，剔除這些對分類用處較小的虛詞，使用實詞等對于變量分類的表現力較強的詞，能夠進一步提高后續變量分類的效率和準確率。

進一步地，本發明還可以進行如下改進：