[發(fā)明專利]一種實現信息接收后分發(fā)的流水線并行計算的方法

在審

• 申請?zhí)枺?/td>: 201310051251.8
• 申請日: 2013-02-16
• 公開（公告）號: CN103995689A
• 公開（公告）日: 2014-08-20
• 發(fā)明（設計）人: 王群;吳剛
• 申請（專利權）人: 長沙中興軟創(chuàng)軟件有限公司
• 主分類號: G06F9/38
• 分類號: G06F9/38
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發(fā)明涉及云計算領域，尤其涉及一種實現信息接收后分發(fā)的流水線并行計算的方法。

背景技術

在現在這個信息爆炸的時代，大量的海量數據處理軟件與平臺涌現。傳統(tǒng)的集中式和客戶/服務器數據庫系統(tǒng)的能力不足以支持海量數據庫的查詢和海量事務的處理，難以適應迅速增長的應用要求，同樣我們也在進行海量數據處理平臺的研發(fā)過程中，遇到了大量的挑戰(zhàn)。在為多家大型電信運營商提供信令分析的服務過程中，要求我們需要在極短的時間內，依據信令中蘊藏的信息，同時統(tǒng)計與分析客戶所關心的大量KPI（關鍵績效指標）。其中為了充分利用現有多核、多線程的主機并行性能。在同一份信息將要被多個處理程序處理的情況下，采用流水線思路，使得多個處理程序在不對原始信息進行拷貝與不進行加鎖的處理平臺上，實現高性能的并行處理。

當前并行信息分發(fā)技術，要么采用復制后分別并行處理的思路，其將充分利用多核主機的處理能力，使多個處理程序能在物理CPU（中央處理器）上進行相互不干擾的并行處理；要么采用帶計數器的共享指針進行待處理海量信息共享，模擬獨立復制并行處理效果。在信息被最后一個處理程序處理完畢后，負責將其刪除。

以上現有技術存在以下缺點：

1、對于獨立復制后的并行處理技術的使用，經測試發(fā)現對大量信息的復制本身將會帶來極大的性能開銷。在具體的信令分析與統(tǒng)計項目中，一般復制數量超過5份之后其將成為處理平臺的瓶頸；

2、共享指針進行并行處理，由于信息在最后一個處理程序完成處理后對其進行刪除，若此時有兩個處理程序同時完成，則需要對共享指針的計數器進行加鎖狀態(tài)下的競竟，而加鎖競爭則是妨礙實現處理并行的重要原因。

發(fā)明內容

針對上述缺點，本發(fā)明提供一種實現信息接收后分發(fā)的流水線并行計算的方法。該技術實現方案可以避免對原始信息的拷貝與銷毀時的加鎖串行，很好的解決信息需要被大量處理程序同時處理的要求，實現高效并行。

為達到上述目的，本發(fā)明采用如下技術方案：

一種實現信息接收后分發(fā)的流水線并行計算的方法，包括下列步驟：a)?輸入的海量待處理信息經過無鎖緩存隊列處理；b)?處理后的信息經本單元內的單元處理邏輯器讀取；c)讀取完畢后的信息分發(fā)至下一個同樣需要該信息的處理單元，類似的可根據信息處理需要，在此“接收后分發(fā)”鏈中安排若干個處理單元；d)?最終處理完的信息被銷毀。

本發(fā)明的一種實現信息接收后分發(fā)的流水線并行計算的方法，其處理單元是具備獨立作業(yè)能力的線程或線程組。

本發(fā)明的一種實現信息接收后分發(fā)的流水線并行計算的方法，其每個處理單元由一個無鎖的緩存隊列和單元處理邏輯構成。

本發(fā)明的一種實現信息接收后分發(fā)的流水線并行計算的方法，其處理單元間吞吐率存在固有差異的，使用拆分策略實現并行平衡。

本發(fā)明的一種實現信息接收后分發(fā)的流水線并行計算的方法，其拆分策略為若業(yè)務無合并要求的進行純隨機拆分；若業(yè)務有合并要求的，按業(yè)務關鍵字進行hash取模拆分。

與現有技術相比，本發(fā)明的有益效果是將在處理程序無加鎖情況下，在同一進程空間中、在物理線程數范圍內，增加處理單元程序時，系統(tǒng)總體處理能力具有良好的線性增長特性。對于存在吞吐率差異的處理單元，使用拆分機制可以很好的避免流水線中瓶頸出現。若使用不同進程空間或在不同主機上，本發(fā)明將非常容易實現大數據處理追求的MPP（海量并行處理）模式。

附圖說明

圖1是信息單元處理輸出流程圖。

圖2是本發(fā)明的處理流程邏輯結構圖。

具體實施方式

下面通過具體實施例對本發(fā)明作進一步說明。顯然，所描述的實施例僅僅是本發(fā)明的一部分實施例，而不是全部的實施例。基于本發(fā)明的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

數據業(yè)務分析通過基于本發(fā)明的平臺程序，可承載大量業(yè)務處理單元程序，進行海量實時處理。在大規(guī)模部署，進行信息固定時間窗口分組統(tǒng)計的情況下，經由以下步驟：a)?輸入的海量待處理信息經過無鎖緩存隊列處理；b)?處理后的信息經本單元內的單元處理邏輯器讀取；c)讀取完畢后的信息分發(fā)至下一個同樣需要該信息的處理單元，類似的可根據信息處理需要，在此“接收后分發(fā)”鏈中安排若干個處理單元；d)?最終處理完的信息被銷毀。