[發(fā)明專利]基于分布式的唯一類型數(shù)據(jù)供數(shù)方法在審
| 申請?zhí)枺?/td> | 202211023554.4 | 申請日: | 2022-08-25 |
| 公開(公告)號: | CN115407938A | 公開(公告)日: | 2022-11-29 |
| 發(fā)明(設(shè)計)人: | 張寶金;柴明旭;田建文;孟保旺;邵軍 | 申請(專利權(quán))人: | 北京捷科智誠科技有限公司;江蘇潤和軟件股份有限公司 |
| 主分類號: | G06F3/06 | 分類號: | G06F3/06 |
| 代理公司: | 南京眾聯(lián)專利代理有限公司 32206 | 代理人: | 葉涓涓 |
| 地址: | 100000 北京市海淀區(qū)*** | 國省代碼: | 北京;11 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 基于 分布式 唯一 類型 數(shù)據(jù) 方法 | ||
1.基于分布式的唯一類型數(shù)據(jù)供數(shù)方法,其特征在于,包括如下步驟:
Step1:上傳參數(shù)文件;
Step2:在運行腳本中編寫代碼,代碼中對應(yīng)的參數(shù),并啟動分布式執(zhí)行機;執(zhí)行機能夠預(yù)緩存一定批次數(shù)數(shù)據(jù)包,當在數(shù)據(jù)消費的過程中,執(zhí)行機上預(yù)緩存的數(shù)據(jù)包不足所述批次數(shù)時,執(zhí)行機自動向數(shù)據(jù)控制端索取下一批數(shù)據(jù);
Step3:啟動數(shù)據(jù)控制端和數(shù)據(jù)生產(chǎn)端;數(shù)據(jù)控制端用于參數(shù)文件讀取的總體控制,并在某個數(shù)據(jù)生產(chǎn)端空閑時按序分發(fā)下一個參數(shù)文件,向指定的數(shù)據(jù)生產(chǎn)端索取數(shù)據(jù)后進行緩存,并返回給執(zhí)行機一定批次的數(shù)據(jù);數(shù)據(jù)生產(chǎn)端用于根據(jù)數(shù)據(jù)控制端分發(fā)的文件做數(shù)據(jù)讀取,并將讀取的數(shù)據(jù)拆分成多個批次的隊列數(shù)據(jù),等待數(shù)據(jù)控制端的調(diào)用獲取;
Step4:當接收到執(zhí)行機的索取指令時,數(shù)據(jù)控制端將相應(yīng)參數(shù)目錄內(nèi)的文件按序逐個分發(fā)給對應(yīng)的數(shù)據(jù)生產(chǎn)端,各數(shù)據(jù)生產(chǎn)端同時讀取文件的數(shù)據(jù)到各自進程的高性能隊列上,并進行數(shù)據(jù)封裝獲得若干數(shù)據(jù)包;當數(shù)據(jù)生產(chǎn)端的數(shù)據(jù)已經(jīng)全部傳輸至數(shù)據(jù)控制端時,則數(shù)據(jù)控制端向該數(shù)據(jù)生產(chǎn)端分發(fā)下一個參數(shù)文件,數(shù)據(jù)生產(chǎn)端繼續(xù)讀取數(shù)據(jù)并存入到緩存隊列中,進行數(shù)據(jù)封裝獲得若干數(shù)據(jù)包;
Step5:數(shù)據(jù)控制端依次從各數(shù)據(jù)生產(chǎn)端索取指定批次的數(shù)據(jù)包,緩存在數(shù)據(jù)控制端,并將數(shù)據(jù)分發(fā)給各臺執(zhí)行機,當各臺執(zhí)行機都緩存足量批次數(shù)據(jù)后,則數(shù)據(jù)控制端停止向執(zhí)行機發(fā)送;
Step6:執(zhí)行機開始運行,執(zhí)行機的緩存數(shù)據(jù)包數(shù)減少,執(zhí)行機向?qū)?yīng)的數(shù)據(jù)控制端索取下一批次數(shù)據(jù),數(shù)據(jù)控制端直接從自身的緩存隊列中找到下一批次的數(shù)據(jù)包,并返回給執(zhí)行機;當數(shù)據(jù)控制端緩存的數(shù)據(jù)不足指定批次數(shù)時,觸發(fā)數(shù)據(jù)生產(chǎn)端的數(shù)據(jù)傳輸至數(shù)據(jù)控制端;Step7:當數(shù)據(jù)控制端識別到參數(shù)文件讀取到最后一個文件時,并在控制端沒有數(shù)據(jù)返回給執(zhí)行機時,將數(shù)據(jù)讀取完畢信號傳輸至執(zhí)行機,停止執(zhí)行機的數(shù)據(jù)索取;
Step8:數(shù)據(jù)控制端停止新數(shù)據(jù)提供,隨著執(zhí)行機的執(zhí)行,執(zhí)行及緩存的批次數(shù)據(jù)逐漸耗盡,停止執(zhí)行機線程。
2.根據(jù)權(quán)利要求1所述的基于分布式的唯一類型數(shù)據(jù)供數(shù)方法,其特征在于,所述Step1中,限制上傳參數(shù)文件大小,當上傳參數(shù)文件超出限制的大小時先將參數(shù)文件拆分成多個限制大小以內(nèi)的文件進行上傳。
3.根據(jù)權(quán)利要求1所述的基于分布式的唯一類型數(shù)據(jù)供數(shù)方法,其特征在于,所述Step1中,預(yù)先設(shè)置上傳參數(shù)文件的讀取順序。
4.根據(jù)權(quán)利要求1所述的基于分布式的唯一類型數(shù)據(jù)供數(shù)方法,其特征在于,所述Step2中,每個執(zhí)行機具有唯一的標識。
5.根據(jù)權(quán)利要求1所述的基于分布式的唯一類型數(shù)據(jù)供數(shù)方法,其特征在于,所述Step4中,數(shù)據(jù)封裝的過程為:預(yù)先設(shè)定單個數(shù)據(jù)包容納的數(shù)據(jù)量上限,并據(jù)此對數(shù)據(jù)進行分割后封裝成數(shù)據(jù)包,使得每個數(shù)據(jù)包內(nèi)容納的數(shù)據(jù)量不超過上限值。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京捷科智誠科技有限公司;江蘇潤和軟件股份有限公司,未經(jīng)北京捷科智誠科技有限公司;江蘇潤和軟件股份有限公司許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202211023554.4/1.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 同類專利
- 專利分類
G06F 電數(shù)字數(shù)據(jù)處理
G06F3-00 用于將所要處理的數(shù)據(jù)轉(zhuǎn)變成為計算機能夠處理的形式的輸入裝置;用于將數(shù)據(jù)從處理機傳送到輸出設(shè)備的輸出裝置,例如,接口裝置
G06F3-01 .用于用戶和計算機之間交互的輸入裝置或輸入和輸出組合裝置
G06F3-05 .在規(guī)定的時間間隔上,利用模擬量取樣的數(shù)字輸入
G06F3-06 .來自記錄載體的數(shù)字輸入,或者到記錄載體上去的數(shù)字輸出
G06F3-09 .到打字機上去的數(shù)字輸出
G06F3-12 .到打印裝置上去的數(shù)字輸出





