[發明專利]一種數據的并行處理方法、裝置、電子設備及可讀介質在審
| 申請號: | 201811313713.8 | 申請日: | 2018-11-06 |
| 公開(公告)號: | CN109408214A | 公開(公告)日: | 2019-03-01 |
| 發明(設計)人: | 李博洋 | 申請(專利權)人: | 北京字節跳動網絡技術有限公司 |
| 主分類號: | G06F9/48 | 分類號: | G06F9/48 |
| 代理公司: | 北京品源專利代理有限公司 11332 | 代理人: | 孟金喆 |
| 地址: | 100080 北京市石景山區*** | 國省代碼: | 北京;11 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 數據處理 并行處理 電子設備 可讀介質 主線程 子線程 線程 數據處理結果 數據處理效率 任務結果 分發 創建 保證 | ||
1.一種數據的并行處理方法,其特征在于,包括:
當主線程接收到數據處理任務時,創建至少兩個子線程;
將所述數據處理任務切分,并分發至所述至少兩個子線程進行數據處理;
待所有子線程數據處理完成,接收所有子線程提交的數據處理結果;
提交主線程接收到的數據處理任務結果。
2.根據權利要求1所述的方法,其特征在于,待所有子線程數據處理完成,接收所有子線程提交的數據處理結果,包括:
待所有子線程數據處理完成,判斷是否存在子線程數據處理結果為失敗;
若不存在,則接收所有子線程提交的數據處理結果。
3.根據權利要求2所述的方法,其特征在于,在判斷是否存在子線程數據處理結果為失敗之后,所述方法還包括:
若存在,則向所有子線程發送數據處理回滾指令,用于指示所有子線程重新進行數據處理。
4.根據權利要求2所述的方法,其特征在于,待所有子線程數據處理完成,判斷是否存在子線程數據處理結果為失敗,包括:
待所有子線程數據處理完成,判斷全局變量中是否被改寫為有子線程的數據處理失敗結果;其中,所述全局變量用于若子線程數據處理結果為失敗,記錄子線程的數據處理失敗結果;
根據判斷結果,確定是否存在子線程數據處理結果為失敗。
5.根據權利要求1所述的方法,其特征在于,在將所述數據處理任務切分,并分發至所述至少兩個子線程進行數據處理之后,所述方法還包括:
將主線程的工作狀態切換為等待狀態。
6.根據權利要求1所述的方法,其特征在于,在所有子線程數據處理完成之前,所述方法還包括:
若子線程數據處理完成,則將子線程的工作狀態切換為等待狀態。
7.根據權利要求6所述的方法,其特征在于,在若子線程數據處理完成,則將子線程的工作狀態切換為等待狀態之后,所述方法還包括:
若子線程的工作狀態切換為等待狀態,并調整計數器的計數結果;
根據所述計數器的計數結果,確定所有子線程數據處理是否均完成。
8.一種數據的并行處理裝置,其特征在于,包括:
子線程創建模塊,用于當主線程接收到數據處理任務時,創建至少兩個子線程;
數據處理任務切分模塊,用于將所述數據處理任務切分,并分發至所述至少兩個子線程進行數據處理;
子線程結果提交模塊,用于待所有子線程數據處理完成,接收所有子線程提交的數據處理結果;
主線程結果提交模塊,用于提交主線程接收到的數據處理任務結果。
9.一種計算機可讀存儲介質,其上存儲有計算機程序,其特征在于,該程序被處理器執行時實現如權利要求1-7中任一項所述的數據的并行處理方法。
10.一種電子設備,包括存儲器,處理器及存儲在存儲器上并可在處理器運行的計算機程序,其特征在于,所述處理器執行所述計算機程序時實現如權利要求1-7中任一項所述的數據的并行處理方法。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于北京字節跳動網絡技術有限公司,未經北京字節跳動網絡技術有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201811313713.8/1.html,轉載請聲明來源鉆瓜專利網。
- 上一篇:協同任務處理方法、系統及存儲介質
- 下一篇:一種計算節點的任務調度方法和裝置





