[發(fā)明專利]基于迭代統(tǒng)計的流計算方法

在審

• 申請?zhí)枺?/td>: 201910745061.3
• 申請日: 2019-08-13
• 公開（公告）號: CN110489451A
• 公開（公告）日: 2019-11-22
• 發(fā)明（設(shè)計）人: 謝剛;王燦;郭國彬;鄭興;趙軒;舒建國
• 申請（專利權(quán)）人: 成都飛機工業(yè)(集團)有限責(zé)任公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/2458
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，具體的說，是一種避免計算進程阻塞、提高統(tǒng)計值計算效率的基于迭代統(tǒng)計的流計算方法。實時數(shù)據(jù)的數(shù)據(jù)流X，對數(shù)據(jù)流X按照時間進行拆分；用統(tǒng)計公式G計算第一個周期的數(shù)據(jù)X₁的統(tǒng)計值，得到初始值f₁；根據(jù)初始值f₁和統(tǒng)計公式G，在數(shù)據(jù)流X的每一個周期進行依次迭代計算，得到當(dāng)前數(shù)據(jù)流X_m的當(dāng)前統(tǒng)計值f_m；若m＜n，則繼續(xù)執(zhí)行步驟S3，若m=n，輸出最終統(tǒng)計值f_n=G_n，n為數(shù)據(jù)流X分?jǐn)?shù)據(jù)個數(shù)，m為當(dāng)前數(shù)據(jù)個數(shù)。本發(fā)明的基于迭代統(tǒng)計的流計算方法，無需將所有需要統(tǒng)計的值進行一次性計算，通過循環(huán)結(jié)構(gòu)進行統(tǒng)計公式迭代即可將大量實時的計算量分解到每一個具體周期，避免長時間的計算進程阻塞等待，達(dá)到實時高效計算的目的。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，具體的說，是一種避免計算進程阻塞、提高統(tǒng)計值計算效率的基于迭代統(tǒng)計的流計算方法。

背景技術(shù)

在傳統(tǒng)的數(shù)據(jù)處理流程中，總是先收集數(shù)據(jù)，然后將數(shù)據(jù)放到DB中。當(dāng)人們需要的時候通過DB對數(shù)據(jù)做query，得到答案或進行相關(guān)的處理。這樣看起來雖然非常合理，但是結(jié)果卻非常的緊湊，尤其是在一些實時搜索應(yīng)用環(huán)境中的某些具體問題，類似于MapReduce方式的離線處理并不能很好地解決問題，因此流計算應(yīng)運而生。

流計算是將數(shù)據(jù)流按時間順序加載至計算機內(nèi)存，以內(nèi)存為載體進行高效實時計算的一種計算模式，由于期間不與硬盤和網(wǎng)絡(luò)等外部資源交互，因此具有較高的計算效率。在工業(yè)制造過程中，數(shù)據(jù)由大量自動化設(shè)備實時產(chǎn)生，工業(yè)大數(shù)據(jù)處理要求高實時性，達(dá)到毫秒級的響應(yīng)要求。因此，在一定的范圍內(nèi)，如何快速實時統(tǒng)計數(shù)據(jù)，并計算數(shù)據(jù)特征，是必須要解決的問題。傳統(tǒng)的流計算需將所有要統(tǒng)計的數(shù)據(jù)一次性進行計算，效率非常低。為避免長時間的計算進程阻塞等待，達(dá)到高效計算的目的，將大量實時的計算量分解到各個周期，引入迭代統(tǒng)計的思想，設(shè)計一種基于迭代統(tǒng)計的流計算方法。

發(fā)明內(nèi)容

本發(fā)明的目的在于：提供一種避免計算進程阻塞、提高統(tǒng)計值計算效率的基于迭代統(tǒng)計的流計算方法。

本發(fā)明通過下述技術(shù)方案實現(xiàn)：基于迭代統(tǒng)計的流計算方法，包括以下步驟：

步驟S1:獲取實時數(shù)據(jù)的數(shù)據(jù)流X，并對數(shù)據(jù)流X按照時間進行拆分；

步驟S2:利用統(tǒng)計公式G計算第一個周期的數(shù)據(jù)X₁的統(tǒng)計值，得到初始值f₁；

步驟S3:根據(jù)初始值f₁和統(tǒng)計公式G，通過循環(huán)結(jié)構(gòu)在數(shù)據(jù)流X的每一個周期進行依次迭代計算，從而實時得到當(dāng)前數(shù)據(jù)流X_m的當(dāng)前統(tǒng)計值f_m；

步驟S4:若m＜n，則繼續(xù)執(zhí)行步驟S3，若m＝n，跳轉(zhuǎn)步驟S5；

步驟S5:輸出最終統(tǒng)計值f_n＝G_n，f為統(tǒng)計值，其中n為數(shù)據(jù)流X分的總的數(shù)據(jù)個數(shù)，m為計算時使用的當(dāng)前數(shù)據(jù)個數(shù)。

進一步地，為了更好的實現(xiàn)本發(fā)明，特別采用下述設(shè)置：所述的步驟S1中，所述的數(shù)據(jù)流X從內(nèi)存管道中實時被讀取，數(shù)據(jù)流X按照時間周期性的被分解為n段，為數(shù)據(jù)X₁，X₂，...X_n。

進一步地，為了更好的實現(xiàn)本發(fā)明，特別采用下述設(shè)置：所述的步驟S2中，所述的統(tǒng)計公式G為最值公式。

進一步地，為了更好的實現(xiàn)本發(fā)明，特別采用下述設(shè)置：所述的統(tǒng)計公式G為方差公式。

進一步地，為了更好的實現(xiàn)本發(fā)明，特別采用下述設(shè)置：所述的統(tǒng)計公式G為標(biāo)準(zhǔn)差公式。