[發明專利]基于機器學習的變量自動分類方法及系統

在審

• 申請號: 202011272803.4
• 申請日: 2020-11-13
• 公開（公告）號: CN112381143A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 魏強;孫向學;張上亞;王臣亮;張學敬;翟迪;馬靜靜;郁峰
• 申請（專利權）人: 長城計算機軟件與系統有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F40/289;G06F16/215;G06N20/00
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 吳佳

1.一種基于機器學習的變量自動分類方法，其特征在于，包括：

獲取待處理的報表，提取所述報表的文本信息，將識別出的文本信息存儲在文本對象中；

從所述本文對象中提取所述文本信息，利用預設的分詞算法將所述文本信息拆分成詞語，從所述詞語中提取變量特征詞，將提取出的變量特征詞存儲在詞性識別對象中；

從所述詞性識別對象中提取所述變量特征詞，將提取的所述變量特征詞與變量詞庫中的變量進行比較，形成用于抽取特征詞的分類規則；

根據所述分類規則將所述變量特征詞抽取到對應的變量塊中。

2.根據權利要求1所述的基于機器學習的變量自動分類方法，其特征在于，獲取待處理的報表，提取所述報表的文本信息，將識別出的文本信息存儲在文本對象中，具體包括：

獲取待處理的報表，識別所述報表中全部的填報內容區域，識別每個單元格內的數據并判斷每個單元格內數據的數據類型，將識別出的數據和數據類型存儲在文本對象中。

3.根據權利要求1所述的基于機器學習的變量自動分類方法，其特征在于，從所述本文對象中提取所述文本信息，利用預設的分詞算法將所述文本信息拆分成詞語，從所述詞語中提取變量特征詞，將提取出的變量特征詞存儲在詞性識別對象中，具體包括：

從所述本文對象中提取所述文本信息，利用預設的分詞算法將所述文本信息拆分成詞語，確定每個詞語是名詞、動詞、形容詞或虛詞，如果是虛詞，則剔除對應的詞語，將剩余的詞語作為變量特征詞，將提取出的變量特征詞存儲在詞性識別對象中。

4.根據權利要求1所述的基于機器學習的變量自動分類方法，其特征在于，根據所述分類規則將所述變量特征詞抽取到對應的變量塊中，具體包括：

當所述變量特征詞為地區或編碼時，添加到代碼塊中；

當所述變量特征詞為分組時，添加到分組塊中；

當所述變量特征詞為計量單位時，添加到計量單位塊中；

當所述變量特征詞為指標時，添加到計量指標塊中。

5.根據權利要求1至4中任一項所述的基于機器學習的變量自動分類方法，其特征在于，還包括：

所述變量詞庫根據預設清洗規則清洗每個所述變量塊中的重復記錄，構建標準的變量詞庫。

6.一種基于機器學習的變量自動分類系統，其特征在于，包括：

獲取單元，用于獲取待處理的報表，提取所述報表的文本信息，將識別出的文本信息存儲在文本對象中；

識別單元，用于從所述本文對象中提取所述文本信息，利用預設的分詞算法將所述文本信息拆分成詞語，從所述詞語中提取變量特征詞，將提取出的變量特征詞存儲在詞性識別對象中；

匹配單元，用于從所述詞性識別對象中提取所述變量特征詞，將提取的所述變量特征詞與變量詞庫中的變量進行比較，形成用于抽取特征詞的分類規則；

分類單元，用于根據所述分類規則將所述變量特征詞抽取到對應的變量塊中。

7.根據權利要求6所述的基于機器學習的變量自動分類系統，其特征在于，所述獲取單元具體用于獲取待處理的報表，識別所述報表中全部的填報內容區域，識別每個單元格內的數據并判斷每個單元格內數據的數據類型，將識別出的數據和數據類型存儲在文本對象中。

8.根據權利要求6所述的基于機器學習的變量自動分類系統，其特征在于，所述識別單元具體用于從所述本文對象中提取所述文本信息，利用預設的分詞算法將所述文本信息拆分成詞語，確定每個詞語是名詞、動詞、形容詞或虛詞，如果是虛詞，則剔除對應的詞語，將剩余的詞語作為變量特征詞，將提取出的變量特征詞存儲在詞性識別對象中。

9.根據權利要求6所述的基于機器學習的變量自動分類系統，其特征在于，所述分類單元具體用于：

當所述變量特征詞為地區或編碼時，添加到代碼塊中；

當所述變量特征詞為分組時，添加到分組塊中；

當所述變量特征詞為計量單位時，添加到計量單位塊中；

當所述變量特征詞為指標時，添加到計量指標塊中。

10.根據權利要求6至9中任一項所述的基于機器學習的變量自動分類系統，其特征在于，還包括：

清洗單元，用于使所述變量詞庫根據預設清洗規則清洗每個所述變量塊中的重復記錄，構建標準的變量詞庫。