[發明專利]一種基于人工輔助的數據源采集方法、裝置及設備

在審

• 申請號: 201811299511.2
• 申請日: 2018-10-30
• 公開（公告）號: CN109299181A
• 公開（公告）日: 2019-02-01
• 發明（設計）人: 楊小龍
• 申請（專利權）人: 鄭州市景安網絡科技股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本發明公開了一種基于人工輔助的數據源采集方法，能夠在確定待采集的數據源之后，判斷是否存在預先為該數據源設置的采集規則，在存在采集規則時直接獲取采集規則，而不存在采集規則時，生成提示信息以提醒用戶為該數據源設置采集規則，最后調用預設采集程序根據采集規則對數據源進行采集。可見，該方法預先為數據源設置了采集規則，在采集之前先通過查詢預先設置的內容或者通過人工介入確定待采集數據源的采集規則，避免了由于數據源的不同而重構采集程序的過程，提高了采集效率，還提高了采集程序的兼容性和靈活性。此外，本發明還提供了一種基于人工輔助的數據源采集裝置、設備計算機可讀存儲介質，其作用與上述方法相對應。

技術領域

本發明涉及數據源識別采集領域，特別涉及一種基于人工輔助的數據源采集方法、裝置、設備及計算機可讀存儲介質。

背景技術

我們知道，在進行數據源采集的時候，因為數據源可能是未知的，因此數據源格式可能多樣化，為了更好的對數據源進行采集，往往需要在采集之前對數據源進行格式識別。

然而，傳統的識別程序往往只能識別已知或者是已經寫入系統的數據源格式，不能很好的兼容新的數據源，每次遇到新的數據源需要重構程序或者方法，這使得程序的處理效率變得較低，程序的靈活性受到了限制。

發明內容

本發明的目的是提供一種基于人工輔助的數據源采集方法、裝置、設備及計算機可讀存儲介質，用以解決傳統的識別程序只能識別已知或者是已經寫入系統的數據源格式，因此遇到新的數據源時往往需要重構程序或者方法，使得程序的處理效率較低，且限制了程序靈活性的問題。

為解決上述技術問題，本發明提供了一種基于人工輔助的數據源采集方法，包括：

確定待采集的數據源；

判斷是否存在預先為所述數據源設置的采集規則；

若存在預先為所述數據源設置的采集規則，則獲取所述采集規則；

若不存在預先為所述數據源設置的采集規則，則生成提示信息以提醒用戶為所述數據源設置采集規則；

調用預設采集程序根據所述采集規則對所述數據源進行采集。

其中，所述確定待采集的數據源包括：

確定待采集的數據源的標識信息；

所述判斷是否存在預先為所述數據源設置的采集規則包括：

根據所述標識信息，判斷是否存在預先為所述數據源設置的采集規則。

其中，所述根據所述標識信息，判斷是否存在預先為所述數據源設置的采集規則包括：

遍歷識別庫，判斷所述識別庫中是否存在所述標識信息，其中，所述識別庫為預先設置的，所述識別庫保存有數據源的標識信息，還保存有與所述標識信息對應的采集規則；

若所述識別庫中存在所述標識信息，則判斷所述識別庫中是否存在與所述標識信息對應的采集規則。

其中，在所述生成提示信息以提醒用戶為所述數據源設置采集規則之后，還包括：

將用戶為所述標識信息的數據源設置的采集規則保存到所述識別庫中。

其中，所述數據源包括以下數據類型中的任意一項或任意組合：文本、圖片、視頻、以及音頻。

其中，所述采集規則包括采集位置和/或采集順序。

相應的，本發明還提供了一種基于人工輔助的數據源采集裝置，包括：

數據源確定模塊：用于確定待采集的數據源；

判斷模塊：用于判斷是否存在預先為所述數據源設置的采集規則；