[發明專利]基于分布式的唯一類型數據供數方法

在審

• 申請號: 202211023554.4
• 申請日: 2022-08-25
• 公開（公告）號: CN115407938A
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 張寶金;柴明旭;田建文;孟保旺;邵軍
• 申請（專利權）人: 北京捷科智誠科技有限公司;江蘇潤和軟件股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 葉涓涓

本發明提供一種基于分布式的唯一類型數據供數方法，屬于軟件技術領域，結合高性能隊列實現分布式文件讀取，采用環形進程進行文件分派、讀取和輪轉數據消費。本發明采用多級緩存和分布式處理方式，有效提升讀取效率。本發明按照指定配置提前預讀模式緩存數據批次，使得執行機能夠直接獲取數據，無需進行等待，提升整體效率，能夠解決中心數據讀取弊端，并避免了使用大文件讀取造成的內存溢出問題。

技術領域

本發明屬于軟件技術領域，具體涉及一種基于分布式的唯一類型數據供數方法。

背景技術

由于參數文件讀取在分布式系統供數體系中有唯一性要求，傳統方式是采用中心處理程序讀取文件內的數據，并做數據分發。但由于單個服務器磁盤讀寫存在瓶頸，明顯影響供數的效率。隨著技術的發展以及固態硬盤的廣泛應用，在一定程度上提升了磁盤讀寫效率。但面對更大的數據消費需求時，現有技術依然無法滿足要求。此外，當讀取大文件時，如果一次性讀取整個文件，勢必造成內存溢出。

發明內容

為解決上述問題，本發明公開了一種基于分布式的唯一類型數據供數方法。

為達到上述目的，本發明的技術方案如下：

基于分布式的唯一類型數據供數方法，包括如下步驟：

Step1：上傳參數文件；

Step2：在運行腳本中編寫代碼，代碼中對應的參數，并啟動分布式執行機；執行機能夠預緩存一定批次數數據包，當在數據消費的過程中，執行機上預緩存的數據包不足所述批次數時，執行機自動向數據控制端索取下一批數據；

Step3：啟動數據控制端和數據生產端；數據控制端用于參數文件讀取的總體控制，并在某個數據生產端空閑時按序分發下一個參數文件，向指定的數據生產端索取數據后進行緩存，并返回給執行機一定批次的數據；數據生產端用于根據數據控制端分發的文件做數據讀取，并將讀取的數據拆分成多個批次的隊列數據，等待數據控制端的調用獲?。?/p>

Step4：當接收到執行機的索取指令時，數據控制端將相應參數目錄內的文件按序逐個分發給對應的數據生產端，各數據生產端同時讀取文件的數據到各自進程的高性能隊列上，并進行數據封裝獲得若干數據包；當數據生產端的數據已經全部傳輸至數據控制端時，則數據控制端向該數據生產端分發下一個參數文件，數據生產端繼續讀取數據并存入到緩存隊列中，進行數據封裝獲得若干數據包；

Step5：數據控制端依次從各數據生產端索取指定批次的數據包，緩存在數據控制端，并將數據分發給各臺執行機，當各臺執行機都緩存足量批次數據后，則數據控制端停止向執行機發送；

Step6：執行機開始運行，執行機的緩存數據包數減少，執行機向對應的數據控制端索取下一批次數據，數據控制端直接從自身的緩存隊列中找到下一批次的數據包，并返回給執行機；當數據控制端緩存的數據不足指定批次數時，觸發數據生產端的數據傳輸至數據控制端；

Step7：當數據控制端識別到參數文件讀取到最后一個文件時，并在控制端沒有數據返回給執行機時，將數據讀取完畢信號傳輸至執行機，停止執行機的數據索取；

Step8：數據控制端停止新數據提供，隨著執行機的執行，執行及緩存的批次數據逐漸耗盡，停止執行機線程。

進一步的，所述Step1中，限制上傳參數文件大小，當上傳參數文件超出限制的大小時先將參數文件拆分成多個限制大小以內的文件進行上傳。

進一步的，所述Step1中，預先設置上傳參數文件的讀取順序。

進一步的，所述Step2中，每個執行機具有唯一的標識。

進一步的，所述Step4中，數據封裝的過程為：預先設定單個數據包容納的數據量上限，并據此對數據進行分割后封裝成數據包，使得每個數據包內容納的數據量不超過上限值。