[發(fā)明專利]基于分布式的唯一類型數據供數方法

在審

• 申請?zhí)枺?/td>: 202211023554.4
• 申請日: 2022-08-25
• 公開（公告）號: CN115407938A
• 公開（公告）日: 2022-11-29
• 發(fā)明（設計）人: 張寶金;柴明旭;田建文;孟保旺;邵軍
• 申請（專利權）人: 北京捷科智誠科技有限公司;江蘇潤和軟件股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 南京眾聯(lián)專利代理有限公司 32206
• 代理人: 葉涓涓

1.基于分布式的唯一類型數據供數方法，其特征在于，包括如下步驟：

Step1：上傳參數文件；

Step2：在運行腳本中編寫代碼，代碼中對應的參數，并啟動分布式執(zhí)行機；執(zhí)行機能夠預緩存一定批次數數據包，當在數據消費的過程中，執(zhí)行機上預緩存的數據包不足所述批次數時，執(zhí)行機自動向數據控制端索取下一批數據；

Step3：啟動數據控制端和數據生產端；數據控制端用于參數文件讀取的總體控制，并在某個數據生產端空閑時按序分發(fā)下一個參數文件，向指定的數據生產端索取數據后進行緩存，并返回給執(zhí)行機一定批次的數據；數據生產端用于根據數據控制端分發(fā)的文件做數據讀取，并將讀取的數據拆分成多個批次的隊列數據，等待數據控制端的調用獲取；

Step4：當接收到執(zhí)行機的索取指令時，數據控制端將相應參數目錄內的文件按序逐個分發(fā)給對應的數據生產端，各數據生產端同時讀取文件的數據到各自進程的高性能隊列上，并進行數據封裝獲得若干數據包；當數據生產端的數據已經全部傳輸至數據控制端時，則數據控制端向該數據生產端分發(fā)下一個參數文件，數據生產端繼續(xù)讀取數據并存入到緩存隊列中，進行數據封裝獲得若干數據包；

Step5：數據控制端依次從各數據生產端索取指定批次的數據包，緩存在數據控制端，并將數據分發(fā)給各臺執(zhí)行機，當各臺執(zhí)行機都緩存足量批次數據后，則數據控制端停止向執(zhí)行機發(fā)送；

Step6：執(zhí)行機開始運行，執(zhí)行機的緩存數據包數減少，執(zhí)行機向對應的數據控制端索取下一批次數據，數據控制端直接從自身的緩存隊列中找到下一批次的數據包，并返回給執(zhí)行機；當數據控制端緩存的數據不足指定批次數時，觸發(fā)數據生產端的數據傳輸至數據控制端；Step7：當數據控制端識別到參數文件讀取到最后一個文件時，并在控制端沒有數據返回給執(zhí)行機時，將數據讀取完畢信號傳輸至執(zhí)行機，停止執(zhí)行機的數據索取；

Step8：數據控制端停止新數據提供，隨著執(zhí)行機的執(zhí)行，執(zhí)行及緩存的批次數據逐漸耗盡，停止執(zhí)行機線程。

2.根據權利要求1所述的基于分布式的唯一類型數據供數方法，其特征在于，所述Step1中，限制上傳參數文件大小，當上傳參數文件超出限制的大小時先將參數文件拆分成多個限制大小以內的文件進行上傳。

3.根據權利要求1所述的基于分布式的唯一類型數據供數方法，其特征在于，所述Step1中，預先設置上傳參數文件的讀取順序。

4.根據權利要求1所述的基于分布式的唯一類型數據供數方法，其特征在于，所述Step2中，每個執(zhí)行機具有唯一的標識。

5.根據權利要求1所述的基于分布式的唯一類型數據供數方法，其特征在于，所述Step4中，數據封裝的過程為：預先設定單個數據包容納的數據量上限，并據此對數據進行分割后封裝成數據包，使得每個數據包內容納的數據量不超過上限值。