[發明專利]一種離線數據的采集方法、裝置、設備及存儲介質

有效

• 申請號: 202010096971.6
• 申請日: 2020-02-17
• 公開（公告）號: CN111324653B
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 宋大偉;丁靜
• 申請（專利權）人: 蘇州億歌網絡科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種離線數據的采集方法、裝置、設備及存儲介質。方法包括：將離線數據進行拆分獲得多份離線數據組，其中，每一份離線數據組小于第一預設容量；將每一份離線數據組進行類型轉換獲得轉換后的離線數據組，其中，轉換后的離線數據組符合目標數據庫的存儲類型要求；將每一份轉換后的離線數據組進行合并獲得采集數據。本實施方式中通過將大容量離線數據進行拆分處理，可以減輕數據的處理壓力，避免了由于處理的數據量太大而造成的系統崩潰，并且對拆分的每一份離線數據組轉換成符合目標數據庫存儲類型要求的數據，而無需開發人員重復編碼進行轉換，減少了人力消耗，從而滿足了用戶對離線數據采集的需求。

技術領域

本發明實施例涉及數據處理技術領域，尤其涉及一種離線數據的采集方法、裝置、設備及存儲介質。

背景技術

目前行業積累了大量數據，數據的容量、種類和變化都在急劇增加，并且在進行數據處理時，為了提高數據處理的速度通常采用批處理方式進行處理。

發明人發現現有技術中至少存在如下問題：現有獲取的技術中所采用的批處理方式通常由于數據量太大而造成系統崩潰，另外所獲取的離線數據的數據格式還會存在不符合實際數據庫的存儲類型，還需要人工對獲取的數據通過編譯轉換成與實際數據庫匹配的數據類型，因此現有的離線數據采集方式不僅存在系統崩潰的風險還需要耗費大量的人力，從而不能滿足用戶的實際需求。

發明內容

本發明實施例提供了一種離線數據的采集方法、裝置、設備及存儲介質。以實現對離線數據的有效采集。

第一方面，本發明實施例提供了一種離線數據的采集方法，包括：

將離線數據進行拆分獲得多份離線數據組，其中，每一份所述離線數據組小于第一預設容量；

將每一份所述離線數據組進行類型轉換獲得轉換后的離線數據組，其中，所述轉換后的離線數據組符合目標數據庫的存儲類型要求；

將每一份所述轉換后的離線數據組進行合并獲得采集數據。

第二方面，本發明實施例提供了一種離線數據的采集裝置，包括：

離線數據組獲得模塊，用于將離線數據進行拆分獲得多份離線數據組，其中，每一份所述離線數據組小于第一預設容量；

離線數據組轉換模塊，用于將每一份所述離線數據組進行類型轉換獲得轉換后的離線數據組，其中，所述轉換后的離線數據組符合目標數據庫的存儲類型要求；

采集數據獲取模塊，用于將每一份所述轉換后的離線數據組進行合并獲得采集數據。

第三方面，本發明實施例提供了一種設備，設備包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序；

當一個或多個程序被一個或多個處理器執行，使得一個或多個處理器實現本發明任意實施例中的方法。

第四方面，本發明實施例還提供了一種計算機存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如本發明任意實施例的方法。

本發明實施例的技術方案，通過將大容量離線數據進行拆分處理，可以減輕數據的處理壓力，避免了由于處理的數據量太大而造成的系統崩潰，并且對拆分的每一份離線數據組轉換成符合目標數據庫存儲類型要求的數據，而無需開發人員重復編碼進行轉換，減少了人力消耗，從而滿足了用戶對離線數據采集的需求。

附圖說明

為了更清楚地說明本發明實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，應當理解，以下附圖僅示出了本發明的某些實施例，因此不應被看作是對范圍的限定，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。