[發(fā)明專利]數(shù)據(jù)抽取方法及裝置

有效

• 申請?zhí)枺?/td>: 201811628810.6
• 申請日: 2018-12-28
• 公開（公告）號: CN109710679B
• 公開（公告）日: 2021-03-23
• 發(fā)明（設(shè)計(jì)）人: 李仁君
• 申請（專利權(quán)）人: 北京曠視科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/2455
• 代理公司: 北京超凡志成知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11371
• 代理人: 李強(qiáng)

1.一種數(shù)據(jù)抽取方法，其特征在于，包括：

獲取待抽取數(shù)據(jù)的總體描述信息，所述待抽取數(shù)據(jù)保存在源系統(tǒng)中；

根據(jù)所述總體描述信息將所述待抽取數(shù)據(jù)劃分為多個分片，每個分片對應(yīng)有分片描述信息；

按照分片進(jìn)行數(shù)據(jù)抽取，每次抽取執(zhí)行如下步驟：

根據(jù)所述分片描述信息從所述源系統(tǒng)中獲取對應(yīng)的分片，并將所述分片緩存至內(nèi)存中；

將緩存的分片存儲至目標(biāo)系統(tǒng)中；

其中，所述根據(jù)所述總體描述信息將所述待抽取數(shù)據(jù)劃分為多個分片之后，所述方法還包括：

將每個分片的分片描述信息緩存至第一隊(duì)列；

所述根據(jù)所述分片描述信息從所述源系統(tǒng)中獲取對應(yīng)的分片，并將獲取的分片緩存至內(nèi)存中，包括：

任務(wù)管理線程在確定第二隊(duì)列還能夠緩存新的分片時，從所述第一隊(duì)列中取出所述分片描述信息，并控制分片獲取線程執(zhí)行以下步驟：根據(jù)所述分片描述信息從所述源系統(tǒng)中獲取對應(yīng)的分片，并將獲取的分片緩存至所述第二隊(duì)列；其中，所述第二隊(duì)列為內(nèi)存中的隊(duì)列，每個分片由一個分片獲取線程負(fù)責(zé)獲取。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)抽取方法，其特征在于，所述將緩存的分片存儲至目標(biāo)系統(tǒng)中，包括：

對緩存的分片中的數(shù)據(jù)進(jìn)行轉(zhuǎn)換和/或過濾，并將處理后的分片存儲至所述目標(biāo)系統(tǒng)中。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)抽取方法，其特征在于，所述將緩存的分片存儲至目標(biāo)系統(tǒng)中，包括：

所述任務(wù)管理線程在確定存在可用的任務(wù)執(zhí)行線程時，從所述第二隊(duì)列中取出分片，將取出的分片緩存至任務(wù)監(jiān)控線程的第三隊(duì)列，并控制所述任務(wù)監(jiān)控線程執(zhí)行以下步驟：從所述第三隊(duì)列中取出緩存的分片中的數(shù)據(jù)并控制所述任務(wù)執(zhí)行線程將取出的數(shù)據(jù)存儲至所述目標(biāo)系統(tǒng)中；其中，所述第三隊(duì)列為內(nèi)存中的隊(duì)列，每個從所述第二隊(duì)列中取出的分片由一個任務(wù)監(jiān)控線程負(fù)責(zé)存儲，執(zhí)行中的全部任務(wù)監(jiān)控線程共用預(yù)設(shè)數(shù)量的所述任務(wù)執(zhí)行線程。

4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)抽取方法，其特征在于，所述任務(wù)管理線程在確定存在可用的任務(wù)執(zhí)行線程時，從所述第二隊(duì)列中取出分片，將取出的分片緩存至任務(wù)監(jiān)控線程的第三隊(duì)列，并控制所述任務(wù)監(jiān)控線程執(zhí)行，包括：

所述任務(wù)管理線程在確定存在可用的任務(wù)執(zhí)行線程，且確定執(zhí)行中的每個任務(wù)監(jiān)控線程的第三隊(duì)列均為空時，從所述第二隊(duì)列中取出分片，將取出的分片緩存至任務(wù)監(jiān)控線程的第三隊(duì)列，并控制所述任務(wù)監(jiān)控線程執(zhí)行。

5.根據(jù)權(quán)利要求3所述的數(shù)據(jù)抽取方法，其特征在于，所述方法還包括：

所述任務(wù)執(zhí)行線程在每存儲一條數(shù)據(jù)后，將該條數(shù)據(jù)的數(shù)據(jù)執(zhí)行狀態(tài)發(fā)送至所述任務(wù)監(jiān)控線程，所述數(shù)據(jù)執(zhí)行狀態(tài)用于表征該條數(shù)據(jù)是否存儲成功；

所述任務(wù)監(jiān)控線程根據(jù)接收到的至少一個數(shù)據(jù)執(zhí)行狀態(tài)，確定在負(fù)責(zé)存儲的分片的抽過程取中的分片執(zhí)行狀態(tài)；

根據(jù)至少一個分片執(zhí)行狀態(tài)，確定在所述待抽取數(shù)據(jù)的抽取過程中的任務(wù)執(zhí)行狀態(tài)。

6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)抽取方法，其特征在于，所述任務(wù)監(jiān)控線程根據(jù)接收到的至少一個數(shù)據(jù)執(zhí)行狀態(tài)，確定在負(fù)責(zé)存儲的分片的抽取過程中的分片執(zhí)行狀態(tài)，包括：

所述任務(wù)監(jiān)控線程在確定接收到的任一數(shù)據(jù)執(zhí)行狀態(tài)為執(zhí)行失敗或超時未收到數(shù)據(jù)執(zhí)行狀態(tài)時，確定所述分片執(zhí)行狀態(tài)為執(zhí)行失敗；

所述根據(jù)至少一個分片執(zhí)行狀態(tài)，確定在所述待抽取數(shù)據(jù)的抽取過程中的任務(wù)執(zhí)行狀態(tài)，包括：

在確定任一分片執(zhí)行狀態(tài)為執(zhí)行失敗或超時未收到分片執(zhí)行狀態(tài)時，確定所述任務(wù)執(zhí)行狀態(tài)為執(zhí)行失敗。

7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)抽取方法，其特征在于，所述方法還包括：

所述任務(wù)監(jiān)控線程在確定接收到的任一數(shù)據(jù)執(zhí)行狀態(tài)為執(zhí)行失敗或超時未收到數(shù)據(jù)執(zhí)行狀態(tài)時，控制所述任務(wù)執(zhí)行線終止執(zhí)行所述負(fù)責(zé)存儲的分片中的數(shù)據(jù)的存儲操作。

8.根據(jù)權(quán)利要求6所述的數(shù)據(jù)抽取方法，其特征在于，所述方法還包括：

在確定任一分片執(zhí)行狀態(tài)為執(zhí)行失敗或超時未收到分片執(zhí)行狀態(tài)時，將分片執(zhí)行狀態(tài)為執(zhí)行失敗或超時未收到分片執(zhí)行狀態(tài)的分片的分片描述信息緩存至所述第一隊(duì)列，嘗試重新抽取所述分片中的數(shù)據(jù)。