[發明專利]基于人工智能的數據掃描方法、裝置、計算機設備及介質

在審

• 申請號: 202011594079.7
• 申請日: 2020-12-29
• 公開（公告）號: CN112749354A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 曹飛
• 申請（專利權）人: 深圳賽安特技術服務有限公司
• 主分類號: G06F16/955
• 分類號: G06F16/955;G06F16/957
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 遲珊珊

本發明涉及人工智能技術領域，提供一種基于人工智能的數據掃描方法、裝置、計算機設備及介質，包括：在接收到數據的掃描指令后，利用數據落庫延時識別模型識別所述數據的落庫延時時長；根據所述數據的落庫延時時長標記數據庫中的數據掃描范圍；獲取網絡質量，并根據所述網絡質量對所述數據掃描范圍內的數據進行分頁，得到多頁數據；計算每頁數據的哈希值并確定所述哈希值為對應頁的分頁ID；對所述分頁ID進行排序并按照排序后的順序對所述多頁數據進行分頁掃描。本發明能夠提高數據的掃描效率。

技術領域

本發明涉及人工智能技術領域，具體涉及一種基于人工智能的數據掃描方法、裝置、計算機設備及介質。

背景技術

隨著社交網絡、物聯網等技術的發展，數據以指數的速率在不斷的增長，眾多生產內容與元素已實現數據化存儲與傳輸，數據規模的增大對數據的檢索也提出了更高的要求，數據掃描的時間越長，數據檢索的效率越低，數據掃描的時間越短，數據檢索的效率越高。

然而，發明人在實現本發明的過程中發現，由于沒有記錄數據庫掃描已經執行的位置，一旦數據掃描的過程被中斷，則需要從數據庫的第一條數據重新執行數據掃描，如此不僅導致數據掃描效率低下，還需消耗大量的服務器資源；此外，數據落庫存在一定的延時，因此，容易造成數據掃描遺漏。

發明內容

鑒于以上內容，有必要提出一種基于人工智能的數據掃描方法、裝置、計算機設備及介質，能夠提高數據的掃描效率。

本發明的第一方面提供一種基于人工智能的數據掃描方法，所述方法包括：

在接收到數據的掃描指令后，利用數據落庫延時識別模型識別所述數據的落庫延時時長；

根據所述數據的落庫延時時長標記數據庫中的數據掃描范圍；

獲取網絡質量，并根據所述網絡質量對所述數據掃描范圍內的數據進行分頁，得到多頁數據；

計算每頁數據的哈希值并確定所述哈希值為對應頁的分頁ID；

對所述分頁ID進行排序并按照排序后的順序對所述多頁數據進行分頁掃描。

根據本發明的一個可選的實施例，所述利用數據落庫延時識別模型識別所述數據的落庫延時時長包括：

確定所述數據的業務標識；

計算所述數據的接收時長及計算所述數據的數據總量；

輸入所述業務標識、所述接收時長及所述數據總量至所述數據落庫延時識別模型中進行識別得到所述掃描延時時長。

根據本發明的一個可選的實施例，所述根據所述數據的落庫延時時長標記數據庫中的數據掃描范圍包括：

確定所述數據的開始接收時間；

根據所述開始接收時間及所述落庫延時時長確定所述數據的結束接收時間；

標記所述數據庫中與所述開始接收時間對應的第一掃描標識符，及標記所述數據庫中與所述結束接收時間對應的第二掃描標識符；

根據所述第一掃描標識符及所述第二掃描標識符確定數據庫中的數據掃描范圍。

根據本發明的一個可選的實施例，所述根據所述網絡質量對所述數據掃描范圍內的數據進行分頁，得到多頁數據包括：

采用預先設置的分頁流控閾值作為第一個分頁流控閾值，并從所述數據掃描范圍內讀取所述第一個分頁流控閾值對應的數據，作為所述第一分頁數據；

匹配所述網絡質量與多個網絡質量范圍；

當所述網絡質量與第一網絡質量范圍匹配時，將所述上一個分頁流控閾值降低第一預設幅度，得到下一個分頁流控閾值，并從所述數據掃描范圍內讀取所述下一個分頁流控閾值對應的數據，作為下一分頁數據；或