[發明專利]一種算法數據處理的同步方法及裝置

有效

• 申請號: 201410550488.5
• 申請日: 2014-10-16
• 公開（公告）號: CN104391751B
• 公開（公告）日: 2017-11-03
• 發明（設計）人: 李鳳華;李莉;李暉;耿魁;史國振
• 申請（專利權）人: 廣州天寧信息技術有限公司;廣州科元信息技術有限公司
• 主分類號: G06F9/52
• 分類號: G06F9/52
• 代理公司: 北京安信方達知識產權代理有限公司11262
• 代理人: 李紅爽,栗若木

技術領域

本發明涉及計算機和信息安全領域，尤其涉及一種算法數據處理的同步方法及裝置。

背景技術

云計算環境下海量高并發數據的高速傳輸與處理需求，要求數據處理芯片或各種應用服務器、密碼服務器等數據處理設備支持多種算法處理，且每種算法有多個算法核實現。由于不同業務的數據流在進入數據處理芯片、設備或系統時，其順序往往是隨機的，常常存在數據流交叉處理的現象，對于數據之間存在前后依賴關系的數據處理算法或處理模式，同一數據流前序數據的運算狀態會影響后序數據的運算結果，此時必須考慮如何保證數據處理間前后次序的同步(本文的同步是指協同步調，按預定的先后次序進行運行，即前序數據先處理完成后，再處理后序數據)。另外，不同的數據處理算法，其執行時間也可能存在不同，為了提高處理效率，數據進入的次序和返回的次序就存在不一致，此時也必須考慮數據間的同步與重組。

發明內容

本發明要解決的技術問題是進行算法數據處理時如何實現不同數據流交叉并行處理時的同步。

為了解決上述問題，本發明提供了一種算法數據處理的同步方法，包括：

S101、同步分轉控制模塊對未判斷過的作業包逐個進行下述操作：判斷該作業包包頭中的算法狀態索引號是否已處于同步正在處理隊列中；如果是則將該作業包的算法狀態索引號作為一個條目保存到同步阻塞隊列中；如果不是則將該作業包的算法狀態索引號作為一個條目保存到同步正在處理隊列中，根據該作業包的地址獲取該作業包后進行步驟S102；

S102、算法處理模塊根據所獲取的作業包包頭中的算法標識，采用相應的算法對該作業包進行處理，處理完成后進行步驟S103；

S103、阻塞查詢模塊在所述同步阻塞隊列中查詢處理完成的作業包的算法狀態索引號，如果查詢不到，則從所述同步正在處理隊列中刪除該算法狀態索引號；如果能查詢到一個條目，則以該條目作為查詢到的條目；如果能查詢到多個條目，則將在數據流中位置最前的作業包對應的條目作為查詢到的條目；獲取所查詢到的條目對應的地址，并從所述同步阻塞隊列中刪除該查詢到的條目，根據所獲取的地址獲取作業包后進行步驟S102。

可選地，所述輸入作業包緩沖區為一個或多個；所述同步分轉控制模塊為一個或多個；所述阻塞查詢模塊為一個或多個；所述同步正在處理隊列為一個或多個；所述同步阻塞隊列為一個或多個。

可選地，所述步驟S101還包括：

當作業包的算法狀態索引號已處于同步正在處理隊列中時將該作業包移動到同步待處理作業包緩沖區，將該作業包的地址更新為在同步待處理作業包緩沖區中的地址；

所述同步待處理作業包緩沖區為一個或多個。

可選地，所述步驟S102后還包括：

將處理完成的作業包的算法狀態索引號保存到同步已處理隊列；

步驟S103中，所述阻塞查詢模塊在所述同步阻塞隊列中查詢處理完成的作業包的算法狀態索引號的步驟包括：

所述阻塞查詢模塊從所述同步已處理隊列中提取作業包的算法狀態索引號，并查詢此算法狀態索引號是否存在于所述同步阻塞隊列中；

所述同步已處理隊列為一個或多個。

可選地，所述步驟S101中，所述同步分轉控制模塊從輸入作業包緩沖區獲取所述未判斷過的作業包；所述算法處理模塊包括算法分轉子模塊、算法預處理子模塊、算法運算子模塊和算法反饋子模塊；

所述步驟S102包括：

所述算法分轉子模塊根據所獲取的作業包包頭中的算法標識，按照預定策略將作業包分配到相應的算法預處理隊列中；

所述算法預處理子模塊依次對所述算法預處理隊列中的各作業包進行以下處理：根據作業包的算法狀態索引號，從算法狀態存儲區中獲取該作業包的算法狀態索引號對應地址上的中間狀態數據，并根據作業包包頭中的所屬算法標識和算法核號，生成處理命令作業包和處理數據作業包送到相應的算法運算子模塊進行處理；

所述算法反饋子模塊將算法運算子模塊處理完成的作業包返回給相應的算法應用進程，將處理完成的作業包的算法狀態索引號添加至同步已處理隊列中；并將運算產生的中間狀態數據保存在所述算法狀態存儲區中所述處理完成的作業包的算法狀態索引號對應的地址。

可選地，所述步驟S101前還包括：

算法分轉模塊從輸入作業包緩沖區讀取作業包，根據預定策略放入相應的算法預處理隊列；

所述步驟S101中，所述同步分轉控制模塊從所述算法預處理隊列中獲取所述未判斷過的作業包；