[發(fā)明專利]一種大批量同質(zhì)數(shù)據(jù)的批量入庫方法

在審

• 申請?zhí)枺?/td>: 202010741725.1
• 申請日: 2020-07-29
• 公開（公告）號: CN111858638A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 李詩華;任海軍;徐榮華;王文軍;羅海強(qiáng)
• 申請（專利權(quán)）人: 上海真蘭儀表科技股份有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23
• 代理公司: 上海海貝律師事務(wù)所 31301
• 代理人: 宋振宇

1.一種大批量同質(zhì)數(shù)據(jù)的批量入庫方法，其特征在于包括如下步驟：

S1，針對每張表創(chuàng)建存儲線程，并為其建立對應(yīng)的存庫隊(duì)列，對于所有的需要入庫的表準(zhǔn)備預(yù)編譯的插入和更新命令；

S2，當(dāng)收到需要入庫的數(shù)據(jù)時，取出入庫數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)記錄實(shí)體；

S3，將數(shù)據(jù)記錄實(shí)體加入對應(yīng)的存庫隊(duì)列；

S4，存儲線程從對應(yīng)的存庫隊(duì)列取出相應(yīng)的數(shù)據(jù)記錄實(shí)體，對其中字段類型進(jìn)行匹配，加入對應(yīng)的插入或者刪除預(yù)編譯隊(duì)列；

S5，預(yù)編譯隊(duì)列中數(shù)據(jù)記錄數(shù)超過配置值時提交批處理命令，進(jìn)入步驟S7；

S6，當(dāng)預(yù)編譯隊(duì)列中數(shù)據(jù)記錄數(shù)不為0且等待時間大于配置值時提交批處理命令；

S7，提交批處理命令；

S8，判斷執(zhí)行是否成功，如果成功則做存庫成功對應(yīng)的處理；

S9，命令執(zhí)行失敗，則將批量提交的數(shù)據(jù)記錄拆為單條提交；

S10，對于每一條單獨(dú)提交的數(shù)據(jù)記錄，如果保存成功則做存庫成功對應(yīng)的處理，如果保存失敗，則做存庫失敗對應(yīng)處理。