[發明專利]一種數據處理方法及裝置、存儲介質、電子裝置

有效

• 申請號: 202010079996.5
• 申請日: 2020-02-04
• 公開（公告）號: CN111338787B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 孫志亮;周偉
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/54
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 江舟

本發明提供了一種數據處理方法及裝置、存儲介質、電子裝置，該方法包括：接收第N個線程節點發送的第一目標數據，其中，第N個線程節點用于從第一預設隊列中獲取第一目標數據，N是大于或等于1的自然數；利用線程池中的第一線程對第一目標數據進行處理，得到第二目標數據；將第二目標數據發送至第二預設隊列中，其中，第二預設隊列用于存儲第二目標數據；接收第N+1個線程節點發送的第二目標數據，其中，第N+1個線程節點用于從第二預設隊列中獲取第二目標數據；基于第一線程的狀態對第二目標數據進行處理，得到第三目標數據。通過本發明，解決了數據處理效率低的問題，達到提高數據處理效率的效果。

技術領域

本發明涉及計算機領域，具體而言，涉及一種數據處理方法及裝置、存儲介質、電子裝置。

背景技術

目前對數據并發處理的技術方案采用多線程處理數據的方法。將待處理數據進行分組，創建多個線程讀取分組后的數據，數據存儲在公共隊列，從公共隊列中取數據進行數據處理。

現有技術中，通過公共數據發送隊列緩存待發送數據，數據處理能力有限，同時對公共隊列的頻繁競爭訪問造成資源浪費。

發明內容

本發明實施例提供了一種數據處理方法及裝置、存儲介質、電子裝置，以至少解決相關技術中數據處理效率低的問題。

根據本發明的一個實施例，提供了一種數據處理方法，包括：接收第N個線程節點發送的第一目標數據，其中，上述第N個線程節點用于從第一預設隊列中獲取上述第一目標數據，上述N是大于或等于1的自然數；利用線程池中的第一線程對上述第一目標數據進行處理，得到第二目標數據；將上述第二目標數據發送至第二預設隊列中，其中，上述第二預設隊列用于存儲上述第二目標數據；接收上述第N+1個線程節點發送的上述第二目標數據，其中，上述第N+1個線程節點用于從上述第二預設隊列中獲取上述第二目標數據；基于上述第一線程的狀態對上述第二目標數據進行處理，得到第三目標數據。

根據本發明的另一個實施例，提供了一種數據處理裝置，包括：第一接收模塊，用于接收第N個線程節點發送的第一目標數據，其中，上述第N個線程節點用于從第一預設隊列中獲取上述第一目標數據，上述N是大于或等于1的自然數；第一確定模塊，用于利用線程池中的第一線程對上述第一目標數據進行處理，得到第二目標數據；第一發送模塊，用于將上述第二目標數據發送至第二預設隊列中，其中，上述第二預設隊列用于存儲上述第二目標數據；第二接收模塊，用于接收上述第N+1個線程節點發送的上述第二目標數據，其中，上述第N+1個線程節點用于從上述第二預設隊列中獲取上述第二目標數據；第二確定模塊，用于基于上述第一線程的狀態對上述第二目標數據進行處理，得到第三目標數據。

可選地，上述裝置還包括：第三確定模塊，用于接收第N個線程節點發送的第一目標數據之前，對獲取的待處理數據進行分片，得到M個數據，其中，上述M是大于或等于1的自然數；第一保存模塊，用于通過第N-1個線程節點將上述M個數據依次保存至上述第一預設隊列中；第四確定模塊，用于將上述M個數據中第K個數據確定為上述第一目標數據，其中，上述K是小于或等于上述M的自然數。

可選地，上述第一確定模塊，包括：第一創建單元，用于在上述線程池中的任務隊列中創建用于對上述第一目標數據進行處理的第一待執行任務；第二創建單元，用于在上述線程池中創建上述第一線程；第一確定單元，用于通過上述第一線程執行上述第一待執行任務，以得到上述第二目標數據。

可選地，第二確定模塊，包括：第二確定單元，用于在上述第一線程處于空閑狀態的情況下，利用上述第一線程對上述第二目標數據進行處理，得到上述第三目標數據。

可選地，第二確定模塊，包括：第三創建單元，用于在上述第一線程處于空閑狀態的情況下，在上述線程池中的任務隊列中創建用于對上述第二目標數據進行處理的第二待執行任務；第三確定單元，用于通過上述第一線程執行上述第二待執行任務，以得到上述第三目標數據。