[發(fā)明專利]一種離線數(shù)據(jù)的采集方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010096971.6
• 申請(qǐng)日: 2020-02-17
• 公開（公告）號(hào): CN111324653B
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計(jì)）人: 宋大偉;丁靜
• 申請(qǐng)（專利權(quán)）人: 蘇州億歌網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種離線數(shù)據(jù)的采集方法，其特征在于，包括：

將離線數(shù)據(jù)進(jìn)行拆分獲得多份離線數(shù)據(jù)組，其中，每一份所述離線數(shù)據(jù)組小于第一預(yù)設(shè)容量；

將每一份所述離線數(shù)據(jù)組進(jìn)行類型轉(zhuǎn)換獲得轉(zhuǎn)換后的離線數(shù)據(jù)組，其中，所述轉(zhuǎn)換后的離線數(shù)據(jù)組符合目標(biāo)數(shù)據(jù)庫的存儲(chǔ)類型要求；

將每一份所述轉(zhuǎn)換后的離線數(shù)據(jù)組進(jìn)行合并獲得采集數(shù)據(jù)；

其中，每一份所述離線數(shù)據(jù)組中的數(shù)據(jù)類型相同；

所述將離線數(shù)據(jù)進(jìn)行拆分獲得多份離線數(shù)據(jù)組之前，還包括：

確定所述離線數(shù)據(jù)大于第二預(yù)設(shè)容量，其中，所述第二預(yù)設(shè)容量大于所述第一預(yù)設(shè)容量；

將所述離線數(shù)據(jù)進(jìn)行攔截；

所述將每一份所述離線數(shù)據(jù)組進(jìn)行類型轉(zhuǎn)換獲得轉(zhuǎn)換后的離線數(shù)據(jù)組，包括：

獲取數(shù)據(jù)庫配置列表，其中，所述數(shù)據(jù)庫配置列表中包含每份所述離線數(shù)據(jù)組所對(duì)應(yīng)的轉(zhuǎn)換方式；

根據(jù)所述數(shù)據(jù)庫配置列表將每一份所述離線數(shù)據(jù)組進(jìn)行類型轉(zhuǎn)換獲得所述轉(zhuǎn)換后的離線數(shù)據(jù)組；

所述獲取數(shù)據(jù)庫配置列表之前，還包括：

采用清洗工具將每一份所述離線數(shù)據(jù)組進(jìn)行清洗；

所述根據(jù)所述數(shù)據(jù)庫配置列表將每一份所述離線數(shù)據(jù)組進(jìn)行類型轉(zhuǎn)換獲得所述轉(zhuǎn)換后的離線數(shù)據(jù)組，具體包括：

根據(jù)所述數(shù)據(jù)庫配置列表將每一份清洗后的所述離線數(shù)據(jù)組進(jìn)行類型轉(zhuǎn)換獲得所述轉(zhuǎn)換后的離線數(shù)據(jù)組。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將每一份所述轉(zhuǎn)換后的離線數(shù)據(jù)組進(jìn)行合并獲得采集數(shù)據(jù)之后，還包括：

對(duì)所述采集數(shù)據(jù)進(jìn)行質(zhì)量檢測(cè)；

在確定所述采集數(shù)據(jù)符合所述目標(biāo)數(shù)據(jù)庫的標(biāo)準(zhǔn)時(shí)，將所述采集數(shù)據(jù)加載到所述目標(biāo)數(shù)據(jù)庫中。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述采集數(shù)據(jù)加載到所述目標(biāo)數(shù)據(jù)庫中之后，還包括：

根據(jù)所述目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)加載結(jié)果對(duì)日志表進(jìn)行更新，其中，所述日志表用于實(shí)時(shí)記錄所述目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)變化。

4.一種離線數(shù)據(jù)的采集裝置，其特征在于，包括：

離線數(shù)據(jù)組獲得模塊，用于將離線數(shù)據(jù)進(jìn)行拆分獲得多份離線數(shù)據(jù)組，其中，每一份所述離線數(shù)據(jù)組小于第一預(yù)設(shè)容量；

離線數(shù)據(jù)組轉(zhuǎn)換模塊，用于將每一份所述離線數(shù)據(jù)組進(jìn)行類型轉(zhuǎn)換獲得轉(zhuǎn)換后的離線數(shù)據(jù)組，其中，所述轉(zhuǎn)換后的離線數(shù)據(jù)組符合目標(biāo)數(shù)據(jù)庫的存儲(chǔ)類型要求；

采集數(shù)據(jù)獲取模塊，用于將每一份所述轉(zhuǎn)換后的離線數(shù)據(jù)組進(jìn)行合并獲得采集數(shù)據(jù)；

每一份所述離線數(shù)據(jù)組中的數(shù)據(jù)類型相同；

所述將離線數(shù)據(jù)進(jìn)行拆分獲得多份離線數(shù)據(jù)組之前，還包括：

確定所述離線數(shù)據(jù)大于第二預(yù)設(shè)容量，其中，所述第二預(yù)設(shè)容量大于所述第一預(yù)設(shè)容量；

將所述離線數(shù)據(jù)進(jìn)行攔截；

所述將每一份所述離線數(shù)據(jù)組進(jìn)行類型轉(zhuǎn)換獲得轉(zhuǎn)換后的離線數(shù)據(jù)組，包括：

獲取數(shù)據(jù)庫配置列表，其中，所述數(shù)據(jù)庫配置列表中包含每份所述離線數(shù)據(jù)組所對(duì)應(yīng)的轉(zhuǎn)換方式；

根據(jù)所述數(shù)據(jù)庫配置列表將每一份所述離線數(shù)據(jù)組進(jìn)行類型轉(zhuǎn)換獲得所述轉(zhuǎn)換后的離線數(shù)據(jù)組；

所述獲取數(shù)據(jù)庫配置列表之前，還包括：

采用清洗工具將每一份所述離線數(shù)據(jù)組進(jìn)行清洗；

所述根據(jù)所述數(shù)據(jù)庫配置列表將每一份所述離線數(shù)據(jù)組進(jìn)行類型轉(zhuǎn)換獲得所述轉(zhuǎn)換后的離線數(shù)據(jù)組，具體包括：

根據(jù)所述數(shù)據(jù)庫配置列表將每一份清洗后的所述離線數(shù)據(jù)組進(jìn)行類型轉(zhuǎn)換獲得所述轉(zhuǎn)換后的離線數(shù)據(jù)組。

5.一種設(shè)備，其特征在于，所述設(shè)備包括：

一個(gè)或多個(gè)處理器；

存儲(chǔ)裝置，用于存儲(chǔ)一個(gè)或多個(gè)程序；

當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)如權(quán)利要求1-3中任一所述的方法。

6.一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-3中任一所述的方法。