[發明專利]一種利用多線程快速分析處理和分發數據的方法

在審

• 申請號: 201710941400.6
• 申請日: 2017-10-11
• 公開（公告）號: CN107544855A
• 公開（公告）日: 2018-01-05
• 發明（設計）人: 祁建;楊銘;孔陳祥;施文波;戴文杰
• 申請（專利權）人: 江蘇電力信息技術有限公司;國網江蘇省電力公司
• 主分類號: G06F9/54
• 分類號: G06F9/54
• 代理公司: 南京匯盛專利商標事務所(普通合伙)32238
• 代理人: 陳揚

技術領域

本發明屬于Redis發布-訂閱消息系統，涉及一種利用多線程快速分析處理和分發數據的方法。

背景技術

Redis發布-訂閱模式實現進程間通信，訂閱者可以訂閱一個或多個頻道（channel），而發布者可以向指定的頻道發送消息，所有訂閱次頻道的訂閱者都會收到消息。然而，當訂閱和發布數很多時，以及存在復雜數據處理邏輯的時候，直接發布訂閱則會受到處理性能的約束。

讓所有請求快速響應及發布，以及減少彼此之間的相互影響對數據分析處理和分發有著重要意義。

發明內容

為保證數據分發處理的及時性和并發性，并有效地提高數據分發處理的效率。本發明的目的是提供一種利用多線程快速分析處理和分發數據的方法，能讓所有請求快速響應及發布，以及減少彼此之間的相互影響，有效地提高數據分發處理的效率。

本發明的目的通過以下技術方案實現：

一種利用多線程快速分析處理和分發數據的方法，其特征在于該方法如下：

1）首先為每個數據終端定義終端安全碼，為每一類數據分析機定義分析碼，建立數據發布隊列；

2）然后數據分析主線程根據獲得的終端安全碼創建終端隊列線程，在數據分析子線程中分析數據請求內容，確定數據分析模式，然后發送到數據分析機中；

3）在數據分析機中處理具體的數據并保存到Redis中，同時向所有訂閱有改數據的終端發送數據獲取指令。

具體步驟如下：

步驟1：監聽信息通道，實時獲取從各個終端發布的請求信息；

步驟2：獲取終端安全碼，根據終端安全碼創建和維護終端隊列；

步驟3：獲取數據處理機編碼，信息處理子線程處理從隊列中發布的信息內容；

步驟4：信息處理子線程處理數據，每一個數據處理機獨立處理數據信息內容；

步驟5：信息處理子線程保存數據，根據數據格式要求構建數據結果信息到Redis中；

步驟6：信息處理子線程發布取數指令，訂閱終端接受取數指令從redis獲取數據；

步驟7：信息處理子線程向主線程發布數據獲取情況信息，日志記錄。

本發明引入多線程技術，采用生產者消費者模式。首先為每個數據終端定義了終端安全碼，為每一類數據分析機定義分析碼，建立數據發布隊列，然后數據分析主線程根據獲得的終端安全碼創建終端隊列線程，在數據分析子線程中分析數據請求內容，確定數據分析模式，然后發送到數據分析機中，在數據分析機中處理具體的數據并保存到Redis中，同時向所有訂閱有改數據的終端發送數據獲取指令。

本發明充分利用了多線程的優勢，將各個階段內容分離，能讓所有請求快速響應及發布，以及減少彼此之間的相互影響，極大的提高了數據處理、分發的效率。

附圖說明

圖1是本發明中主線程工作流程圖；

圖2是本發明中子線程工作流程圖；

圖3是本發明中主線程與子線程消息傳遞示意圖。

具體實施方式

下面結合附圖和具體實施，對本發明的處理流程進一步詳細闡述。

一種利用多線程快速分析處理和分發數據的方法：首先為每個數據終端定義終端安全碼，為每一類數據分析機定義分析碼，建立數據發布隊列；然后數據分析主線程根據獲得的終端安全碼創建終端隊列線程，在數據分析子線程中分析數據請求內容，確定數據分析模式，然后發送到數據分析機中；在數據分析機中處理具體的數據并保存到Redis中，同時向所有訂閱有改數據的終端發送數據獲取指令。

具體步驟如下：

步驟1：監聽信息通道。實時獲取從各個終端發布的請求信息。

步驟2：獲取終端安全碼。根據終端安全碼創建和維護終端隊列。

步驟3：獲取數據處理機編碼。信息處理子線程處理從隊列中發布的信息內容

步驟4：信息處理子線程處理數據。每一個數據處理機獨立處理數據信息內容

步驟5：信息處理子線程保存數據。根據數據格式要求構建數據結果信息到Redis中。

步驟6：信息處理子線程發布取數指令。訂閱終端接受取數指令從redis獲取數據

步驟7：信息處理子線程向主線程發布數據獲取情況信息，日志記錄。