[發(fā)明專利]多線程數(shù)據(jù)無鎖處理方法、裝置及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110341793.3
• 申請(qǐng)日: 2021-03-30
• 公開（公告）號(hào): CN113051057A
• 公開（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 何全安
• 申請(qǐng)（專利權(quán)）人: 聯(lián)想（北京）有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 劉樂

本申請(qǐng)?zhí)峁┮环N多線程數(shù)據(jù)無鎖處理方法、裝置及電子設(shè)備，對(duì)于一組生產(chǎn)線程和消費(fèi)線程創(chuàng)建一個(gè)消息隊(duì)列，基于該消息隊(duì)列生產(chǎn)線程/消費(fèi)線程無需等待其它并發(fā)的線程即可快速對(duì)消息隊(duì)列進(jìn)行數(shù)據(jù)緩存/數(shù)據(jù)掃描，只要隊(duì)列未滿/未為空，一次操作即成功。由此可以實(shí)現(xiàn)多線程并發(fā)操作時(shí)的隊(duì)列完全無鎖，減少CPU資源的浪費(fèi)，提高系統(tǒng)性能。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，更具體地說，涉及一種多線程數(shù)據(jù)無鎖處理方法、裝置及電子設(shè)備。

背景技術(shù)

伴隨著大數(shù)據(jù)的快速增長(zhǎng)，需求也變得越來越復(fù)雜而多樣，多線程并發(fā)傳輸、計(jì)算、處理和存儲(chǔ)已經(jīng)成為基本要求。多線程并發(fā)必然會(huì)產(chǎn)生資源競(jìng)爭(zhēng)的問題。

傳統(tǒng)上解決資源競(jìng)爭(zhēng)是使用線程鎖等對(duì)臨界資源進(jìn)行保護(hù)，但是線程鎖等會(huì)引起CPU資源搶占等待，造成整個(gè)系統(tǒng)的處理能力下降，從而提升了整個(gè)系統(tǒng)的硬件成本。

發(fā)明內(nèi)容

有鑒于此，為解決上述問題，本申請(qǐng)?zhí)峁┮环N多線程數(shù)據(jù)無鎖處理方法、裝置及電子設(shè)備，技術(shù)方案如下：

本申請(qǐng)一方面提供一種多線程數(shù)據(jù)無鎖處理方法，包括：

創(chuàng)建多個(gè)消息隊(duì)列，每個(gè)消息隊(duì)列對(duì)應(yīng)一組生產(chǎn)線程和消費(fèi)線程；

目標(biāo)生產(chǎn)線程運(yùn)行時(shí)，將其數(shù)據(jù)緩存至與其對(duì)應(yīng)的消息隊(duì)列中；

目標(biāo)消費(fèi)線程運(yùn)行時(shí)，掃描與其對(duì)應(yīng)的消息隊(duì)列中的數(shù)據(jù)。

優(yōu)選的，所述創(chuàng)建多個(gè)消息隊(duì)列，包括：

獲得線程配置信息，所述線程配置信息中生產(chǎn)線程的數(shù)量n與消費(fèi)線程的數(shù)量m相等或不等，n與m均為大于等于1的整數(shù)；

創(chuàng)建矩陣隊(duì)列，所述矩陣隊(duì)列的陣元數(shù)量為n*m，一個(gè)陣元為一個(gè)消息隊(duì)列，一個(gè)生產(chǎn)線程對(duì)應(yīng)i個(gè)消息隊(duì)列，一個(gè)消費(fèi)線程對(duì)應(yīng)j個(gè)消息隊(duì)列，且1≤i≤m、1≤j≤n。

優(yōu)選的，所述掃描與其對(duì)應(yīng)的消息隊(duì)列中的數(shù)據(jù)，包括：

獲得與其對(duì)應(yīng)的各消息隊(duì)列的權(quán)重因子，所述權(quán)重因子能夠表征所屬消息隊(duì)列被掃描的優(yōu)先級(jí)；

按照權(quán)重因子所表征的優(yōu)先級(jí)，依次掃描與其對(duì)應(yīng)的各消息隊(duì)列中的數(shù)據(jù)。

優(yōu)選的，所述獲得與其對(duì)應(yīng)的各消息隊(duì)列的權(quán)重因子，包括：

獲得與其對(duì)應(yīng)的各消息隊(duì)列的屬性信息；

根據(jù)屬性信息計(jì)算所屬消息隊(duì)列的權(quán)重因子。

優(yōu)選的，所述屬性信息包括數(shù)據(jù)量和當(dāng)前距離上次被掃描的掃描時(shí)長(zhǎng)，所述數(shù)據(jù)量和所述掃描時(shí)長(zhǎng)均與所述權(quán)重因子成正比。

優(yōu)選的，若n＝m，則一個(gè)生產(chǎn)線程唯一對(duì)應(yīng)所述矩陣隊(duì)列中的一個(gè)消息隊(duì)列、一個(gè)消費(fèi)線程唯一對(duì)應(yīng)所述矩陣隊(duì)列中的一個(gè)消息隊(duì)列。

優(yōu)選的，所述消息隊(duì)列中包含數(shù)據(jù)內(nèi)存隊(duì)列和空閑內(nèi)存隊(duì)列，所述空閑內(nèi)存隊(duì)列的內(nèi)存塊是從通用內(nèi)存帶獲得的；

相應(yīng)的，所述將其數(shù)據(jù)緩存至與其對(duì)應(yīng)的消息隊(duì)列中，包括：

針對(duì)與其對(duì)應(yīng)的每個(gè)消息隊(duì)列，從該消息隊(duì)列的空閑內(nèi)存隊(duì)列中獲得第一可用內(nèi)存塊，并將其數(shù)據(jù)寫入所述第一可用內(nèi)存塊后，將所述第一可用內(nèi)存塊掛載至該消息隊(duì)列的數(shù)據(jù)內(nèi)存隊(duì)列中；

相應(yīng)的，所述掃描與其對(duì)應(yīng)的消息隊(duì)列中的數(shù)據(jù)，包括：

針對(duì)與其對(duì)應(yīng)的每個(gè)消息隊(duì)列，從該消息隊(duì)列的數(shù)據(jù)內(nèi)存隊(duì)列中獲得第二可用內(nèi)存塊，并對(duì)所述可用內(nèi)存塊掃描結(jié)束后，將釋放內(nèi)存的所述第二可用內(nèi)存塊掛載至該消息隊(duì)列的空閑內(nèi)存隊(duì)列中。

優(yōu)選的，釋放內(nèi)存的方式，包括：

獲得未釋放內(nèi)存的歷史可用內(nèi)存塊和所述第二可用內(nèi)存塊的累計(jì)數(shù)據(jù)量；