[發明專利]數據采集方法及數據采集系統

在審

• 申請號: 201711229307.9
• 申請日: 2017-11-29
• 公開（公告）號: CN107992567A
• 公開（公告）日: 2018-05-04
• 發明（設計）人: 劉抒平;張仁
• 申請（專利權）人: 北京天健通泰科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京創遇知識產權代理有限公司11577
• 代理人: 李芙蓉,馮建基

技術領域

本發明涉及計算機技術領域，具體涉及一種數據采集方法及數據采集系統。

背景技術

文本和Excel中的數據是企業軟件非常重要的數據來源，但同時文本和Excel的特點是不利于對其中的數據進行利用和分析，將文本和Excel的數據轉化為數據庫的結構化數據，是一種非常切實有效的利用和分析數據的手段，目前常用方法是：獲得一個具體的文本或Excel文件，根據所需要采集的數據來建立相應的數據庫表，然后使用程序讀取該文本或Excel文件中需要采集的數據保存到相應的數據庫表中。

對于上述方法，一方面如果有多種格式類型的文本或Excel文件，就需要對每種類型開發一套程序，現實情況中，我們往往會面對幾十、甚至上百種，或是更多不同格式的文本或Excel文件，這樣的話，開發程序的工作量是巨大的。另一方面，如果文本或Excel文件的格式改變了，就需要修改原有的程序，程序的可適應性就很差。

發明內容

本發明的目的在于提供一種數據采集方法及數據采集系統，可以從多種格式的文本或Excel中采集數據。

為實現上述目的，本發明的技術方案提供了一種數據采集方法，包括：

獲取表結構信息，并根據所述表結構信息建立數據庫表，所述數據庫表包括用于存儲頭信息數據的信息表以及用于存儲二維表數據的數據表；

獲取待取數據文件的取數范圍信息，所述取數范圍信息包括頭信息數據的取數范圍和二維表數據的取數范圍；

獲取信息表取數規則和二維表取數規則；

根據所述頭信息數據的取數范圍以及所述信息表取數規則從待取數據文件采集頭信息數據，并將采集的頭信息數據存儲至所述信息表，根據所述二維表數據的取數范圍以及所述二維表取數規則從待取數據文件采集二維表數據，并將采集的二維表數據存儲至所述數據表。

進一步地，所述待取數據文件為文本文件或Excel文件。

進一步地，所述待取數據文件為文本文件，所述二維表數據的取數范圍包括行結束標識信息、列間標識信息以及要取數據所在單元格的位置信息。

進一步地，所述待取數據文件為Excel文件，所述二維表數據的取數范圍包括要取數據所在的sheet頁信息以及要取數據所在單元格的位置信息。

為實現上述目的，本發明的技術方案還提供了一種數據采集系統，包括：

構建模塊，用于獲取表結構信息，并根據所述表結構信息建立數據庫表，所述數據庫表包括用于存儲頭信息數據的信息表以及用于存儲二維表數據的數據表；

第一獲取模塊，用于獲取待取數據文件的取數范圍信息，所述取數范圍信息包括頭信息數據的取數范圍和二維表數據的取數范圍；

第二獲取模塊，用于獲取信息表取數規則和二維表取數規則；

采集模塊，用于根據所述頭信息數據的取數范圍以及所述信息表取數規則從待取數據文件采集頭信息數據，并將采集的頭信息數據存儲至所述信息表，以及根據所述二維表數據的取數范圍以及所述二維表取數規則從待取數據文件采集二維表數據，并將采集的二維表數據存儲至所述數據表。

進一步地，所述待取數據文件為文本文件或Excel文件。

進一步地，所述待取數據文件為文本文件，所述二維表數據的取數范圍包括行結束標識信息、列間標識信息以及要取數據所在單元格的位置信息。

進一步地，所述待取數據文件為Excel文件，所述二維表數據的取數范圍包括要取數據所在的sheet頁信息以及要取數據所在單元格的位置信息。

本發明提供的數據采集方法，可以從多種格式的文本或Excel中采集數據，對格式的適應性只需要進行相應的配置即可，進而可以大大的節省了程序的開發量和極大提高了程序的可適應性。

附圖說明

圖1是本發明實施方式提供的一種數據采集方法的流程圖；

圖2是本發明實施方式提供的一種文本數據樣例示意圖；

圖3是根據圖2所示的文本數據樣例建立的數據表的示意圖；

圖4是本發明實施方式提供的一種Excel數據樣例示意圖；

圖5是本發明實施方式提供的另一種Excel數據樣例示意圖。

具體實施方式

下面結合附圖和實施例，對本發明的具體實施方式作進一步詳細描述。以下實施例用于說明本發明，但不用來限制本發明的范圍。

參見圖1，圖1是本發明實施方式提供的一種數據采集方法的流程圖，該數據采集方法包括：