[發明專利]大規模并發數據流處理系統及其處理方法

有效

• 申請號: 201110135906.0
• 申請日: 2011-05-25
• 公開（公告）號: CN102200906A
• 公開（公告）日: 2011-09-28
• 發明（設計）人: 陳慶奎;那麗春;劉伯承;王海峰;郝聚濤;霍歡;趙海燕;莊松林;丁曉東
• 申請（專利權）人: 上海理工大學
• 主分類號: G06F9/38
• 分類號: G06F9/38;G06F9/48
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 吳寶根

技術領域

本發明涉及數據處理技術，特別是涉及一種大規模并發數據流處理系統及其處理方法的技術。

背景技術

隨著信息技術的飛速發展和互聯網技術應用的普及，網絡已經成為人們日常生活中重要的一部分。近年來，3G網絡和物聯網技術應用的逐步展開為人們的生活、工作帶來了極大的方便。然而，這些新技術的核心應用關鍵之一就是大規模并發數據流處理問題。所謂數據流就是從一個節點發往另一個節點的具有某種特征的數據單元構成的連續不斷的信息流，數據流的處理和分析問題要求處理節點具有一定的實時處理能力。人們可以通過緩沖處理、并行處理機制來解決實時處理問題。然而，現實應用中的數據流并非一個，在兩個處理節點間的數據流可能是成千上萬個，這就形成了大規模并發數據流的處理需求。如3G通信視頻流的質量實時分析問題，在這個問題中，數據抓取節點從3G骨干網絡上同時抓去上萬門3G通話的IP包，并還原成上萬個H.264視頻流，而3G視頻質量分析系統需要提取這些視頻流在某一時刻的上萬個靜態畫面，并進行模糊度計算、塊效應計算等工作。大規模并發數據流的實時處理問題給業界帶來了極大的挑戰。如何構建廉價的高性能處理裝置是一個具有挑戰性的研究課題。以流處理器為代表的新型計算裝置為解決這些困難帶來了曙光。流處理器是GPU走向通用計算領域的總稱，因其內部采用上百個Stream?processor并行架構而得名，其可以有效支持SPMD并行操作，非常適合做大規模并發數據流的處理工作，且其性能十分出眾。

但是，由于同一個流處理器核心在同一時刻只能運行同一個核心程序，而同時到來的大規模并發數據流的成千上萬個數據流單元卻不一定具有同一處理特征，因而無法滿足流處理器進行高性能處理的數據特征要求，無法使流處理器發揮其最大能力，進而提高處理效率。

發明內容

針對上述現有技術中存在的缺陷，本發明所要解決的技術問題是提供一種能發揮流處理器的最大能力，提高其處理效率的大規模并發數據流處理系統及其處理方法。

為了解決上述技術問題，本發明所提供的一種大規模并發數據流處理系統，其特征在于，包括：

數據流單元緩沖區，是一個二元組DSB（DSUB，MR），其中DSB為數據流單元緩沖區，DSUB及MR均是由p個元素構成的一維數組，p為并發數據流中的數據流數量，DSUB中的每個數組元素為一個DSU，MR中的每個數組元素是一個取值為0或1的整型數，該數組用于數據流流水處理的同步標志；

所述DSU是指數據流單元，一個數據流單元是一個九元組DSU（id，sno，segno，seq，t，type，prog，data，odata），其中DSU為數據流單元，id為該DSU的標識符，且該id具有唯一性，sno為該DSU的數據流號，segno為該DSU的數據流段號，seq為該DSU的在segno數據流段中的單元序號，用于表示其在數據流段中的位置，t為一個時間印，用于記載該DSU被處理的時刻，type為該DSU的類型，data為該DSU所承載的數據對象，odata為該DSU處理后的輸出數據對象，prog是該DSU的data的處理程序；

所述數據流段是由多個seq連續的DSU構成的序列，記為DSS=｛DSU1，DSU2，DSU3，…，DSUn，DSUE｝，其中DSS為數據流段，每個DSS均有一個數據流段號segno被分別存儲在構成該DSS的每個DSU中，DSS序列尾的DSUE為該DSS的結束標志，是一個type為常量值EOS的DSU，其prog、data、odata均為空；

所述數據流是由多個segno連續的DSS構成的序列，記為DS=｛DSS1，DSS2，DSS3，…，DSSo｝，每個DS均有一個數據流號sno被分別存儲在構成該DS的各個DSS的DSU中；

所述并發數據流由多個并發傳輸的DS構成，每個DS均以DSU作為并發處理的單位，并以DSS作為多個數據流并發同步的單元；

數據流單元聚類隊列池，由|TS|個DSU隊列構成，記為CPOOL=｛DSUQ₁，DSUQ₂，…，DSUQ_|TS|｝，其中CPOOL為數據流單元聚類隊列池，DSUQ為數據流單元聚類隊列，TS為應用系統數據流單元類型集合，該集合是DSU類型的集合，TS中的元素個數為m，則|TS|=m，同一個DSU隊列由同類型的DSU構成，這些DSU來自p個并發數據流的當前處理單元，有：????????????????????????????????????????????????；