[發(fā)明專利]基于分布式的唯一類型數(shù)據(jù)供數(shù)方法

在審

• 申請?zhí)枺?/td>: 202211023554.4
• 申請日: 2022-08-25
• 公開（公告）號: CN115407938A
• 公開（公告）日: 2022-11-29
• 發(fā)明（設(shè)計）人: 張寶金;柴明旭;田建文;孟保旺;邵軍
• 申請（專利權(quán)）人: 北京捷科智誠科技有限公司;江蘇潤和軟件股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 南京眾聯(lián)專利代理有限公司 32206
• 代理人: 葉涓涓

1.基于分布式的唯一類型數(shù)據(jù)供數(shù)方法，其特征在于，包括如下步驟：

Step1：上傳參數(shù)文件；

Step2：在運行腳本中編寫代碼，代碼中對應(yīng)的參數(shù)，并啟動分布式執(zhí)行機；執(zhí)行機能夠預(yù)緩存一定批次數(shù)數(shù)據(jù)包，當在數(shù)據(jù)消費的過程中，執(zhí)行機上預(yù)緩存的數(shù)據(jù)包不足所述批次數(shù)時，執(zhí)行機自動向數(shù)據(jù)控制端索取下一批數(shù)據(jù)；

Step3：啟動數(shù)據(jù)控制端和數(shù)據(jù)生產(chǎn)端；數(shù)據(jù)控制端用于參數(shù)文件讀取的總體控制，并在某個數(shù)據(jù)生產(chǎn)端空閑時按序分發(fā)下一個參數(shù)文件，向指定的數(shù)據(jù)生產(chǎn)端索取數(shù)據(jù)后進行緩存，并返回給執(zhí)行機一定批次的數(shù)據(jù)；數(shù)據(jù)生產(chǎn)端用于根據(jù)數(shù)據(jù)控制端分發(fā)的文件做數(shù)據(jù)讀取，并將讀取的數(shù)據(jù)拆分成多個批次的隊列數(shù)據(jù)，等待數(shù)據(jù)控制端的調(diào)用獲取；

Step4：當接收到執(zhí)行機的索取指令時，數(shù)據(jù)控制端將相應(yīng)參數(shù)目錄內(nèi)的文件按序逐個分發(fā)給對應(yīng)的數(shù)據(jù)生產(chǎn)端，各數(shù)據(jù)生產(chǎn)端同時讀取文件的數(shù)據(jù)到各自進程的高性能隊列上，并進行數(shù)據(jù)封裝獲得若干數(shù)據(jù)包；當數(shù)據(jù)生產(chǎn)端的數(shù)據(jù)已經(jīng)全部傳輸至數(shù)據(jù)控制端時，則數(shù)據(jù)控制端向該數(shù)據(jù)生產(chǎn)端分發(fā)下一個參數(shù)文件，數(shù)據(jù)生產(chǎn)端繼續(xù)讀取數(shù)據(jù)并存入到緩存隊列中，進行數(shù)據(jù)封裝獲得若干數(shù)據(jù)包；

Step5：數(shù)據(jù)控制端依次從各數(shù)據(jù)生產(chǎn)端索取指定批次的數(shù)據(jù)包，緩存在數(shù)據(jù)控制端，并將數(shù)據(jù)分發(fā)給各臺執(zhí)行機，當各臺執(zhí)行機都緩存足量批次數(shù)據(jù)后，則數(shù)據(jù)控制端停止向執(zhí)行機發(fā)送；

Step6：執(zhí)行機開始運行，執(zhí)行機的緩存數(shù)據(jù)包數(shù)減少，執(zhí)行機向?qū)?yīng)的數(shù)據(jù)控制端索取下一批次數(shù)據(jù)，數(shù)據(jù)控制端直接從自身的緩存隊列中找到下一批次的數(shù)據(jù)包，并返回給執(zhí)行機；當數(shù)據(jù)控制端緩存的數(shù)據(jù)不足指定批次數(shù)時，觸發(fā)數(shù)據(jù)生產(chǎn)端的數(shù)據(jù)傳輸至數(shù)據(jù)控制端；Step7：當數(shù)據(jù)控制端識別到參數(shù)文件讀取到最后一個文件時，并在控制端沒有數(shù)據(jù)返回給執(zhí)行機時，將數(shù)據(jù)讀取完畢信號傳輸至執(zhí)行機，停止執(zhí)行機的數(shù)據(jù)索取；

Step8：數(shù)據(jù)控制端停止新數(shù)據(jù)提供，隨著執(zhí)行機的執(zhí)行，執(zhí)行及緩存的批次數(shù)據(jù)逐漸耗盡，停止執(zhí)行機線程。

2.根據(jù)權(quán)利要求1所述的基于分布式的唯一類型數(shù)據(jù)供數(shù)方法，其特征在于，所述Step1中，限制上傳參數(shù)文件大小，當上傳參數(shù)文件超出限制的大小時先將參數(shù)文件拆分成多個限制大小以內(nèi)的文件進行上傳。

3.根據(jù)權(quán)利要求1所述的基于分布式的唯一類型數(shù)據(jù)供數(shù)方法，其特征在于，所述Step1中，預(yù)先設(shè)置上傳參數(shù)文件的讀取順序。

4.根據(jù)權(quán)利要求1所述的基于分布式的唯一類型數(shù)據(jù)供數(shù)方法，其特征在于，所述Step2中，每個執(zhí)行機具有唯一的標識。

5.根據(jù)權(quán)利要求1所述的基于分布式的唯一類型數(shù)據(jù)供數(shù)方法，其特征在于，所述Step4中，數(shù)據(jù)封裝的過程為：預(yù)先設(shè)定單個數(shù)據(jù)包容納的數(shù)據(jù)量上限，并據(jù)此對數(shù)據(jù)進行分割后封裝成數(shù)據(jù)包，使得每個數(shù)據(jù)包內(nèi)容納的數(shù)據(jù)量不超過上限值。