[發明專利]一種多源異構數據采集方法

有效

• 申請號: 202010713819.8
• 申請日: 2020-07-23
• 公開（公告）號: CN111737529B
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 張春林;李利軍;李春青;常江波;尚雪松
• 申請（專利權）人: 北京東方通科技股份有限公司;北京東方通軟件有限公司;北京微智信業科技有限公司;北京泰策科技有限公司
• 主分類號: G06F16/90
• 分類號: G06F16/90;G06F40/253
• 代理公司: 北京冠和權律師事務所 11399
• 代理人: 安琪

本發明提供了一種多源異構數據采集方法。包括：建立關鍵詞表；獲取各數據源采集內容，并創建對應的采集語法；根據所述采集語法，建立數據采集規則；將所述數據采集規則關聯到所述關鍵詞表對應關鍵詞上。本發明有益效果為：通過構建數據源的關鍵詞表，提高了數據采集的全面性。通過構建采集語法，本發明基于抽象語法樹，并通過自定義反射規則進行確定采集語法，因此，采集語法靈活多變，因為是自定義的反射規則，因此符合數據采集的要求。本發明根據采集語法構建數據的采集規則，使得數據采集能夠動態采集。本發明通過將數據采集規則關聯到關鍵詞表的關鍵詞上，使得數據采集更加全面、動態更新的方式使得規則漏洞更好，采集的數據更加準確。

技術領域

本發明涉及數據采集技術領域，特別涉及一種多源異構數據采集方法。

背景技術

目前，隨著互聯網技術的快速發展，企業、政府、各種組織和團體從自身數據采集的需求出發，需要采集各種不同數據源的數據。例如：在制造領域，采集生產、采購、銷售訂單、服務、財務數據，在政府領域，采集工商、稅務、人力資源、民政數據；在電信領域，采集網絡服務、話費系統、客戶服務系統數據，通過采集各個生產環節的數據形成數據資產供分析使用。

但是，現有技術中通過綜合數據處理和分析的系統進行數據調取、采集時，因為對接的數據源比較多，數據源的區分辨別技術比較低，因為采集數據多需要人工輔助，導致數據采集費時費力，而且數據采集的智能化低，數據采集的準確性和全面性較低。

發明內容

本發明提供種多源異構數據采集方法，用以解決數據采集費時費力的情況。

一種多源異構數據采集方法，其特征在于，包括：

建立關鍵詞表；

獲取各數據源采集內容，并創建對應的采集語法；

根據所述采集語法，建立數據采集規則；

將所述數據采集規則關聯到所述關鍵詞表對應的關鍵詞上進行多源異構的數據采集。

作為本發明的一種實施例：所述建立關鍵詞表，包括：

獲取所述多源異構數據的數據源，確定數據源關鍵詞；

獲取所述多源異構數據的數據內容的類型特征，確定類型特征關鍵詞；

根據所述數據源關鍵詞和類型特征關鍵詞，確定所述數據源關鍵詞和類型特征關鍵詞的鄰近詞，將所述鄰近詞作為補充詞；

根據所述數據源關鍵詞、類型特征關鍵詞和補充詞，建立三維異構的關鍵詞表。

作為本發明的一種實施例：所述建立關鍵詞表，還包括：

所述建立關鍵詞表，還包括：

對所述關鍵詞表中的關鍵詞進行預處理；

根據所述預處理，確定所述關鍵詞的詞性；

基于所述詞性對所述關鍵詞進行劃分，確定劃分字符；

基于關鍵詞預設長度篩選算法對劃分字符后的關鍵詞進行計算，確定劃分字符后的關鍵詞的長度；

將所述劃分字符后的關鍵詞的長度與預設的理想長度進行比較，確定所述劃分字符后的關鍵詞的長度和理想長度的差異度；

基于所述差異度，通過預設的差異度閥值刪除差異較大的關鍵詞，并在刪除差異較大的關鍵詞后，確定關鍵詞表。

作為本發明的一種實施例：所述基于關鍵詞預設長度篩選算法對所述劃分字符進行計算，確定所述關鍵詞的長度，包括：

所述基于關鍵詞預設長度篩選算法對劃分字符后的關鍵詞進行計算，確定所述劃分字符后的關鍵詞的長度，包括：