[發(fā)明專利]一種基于云環(huán)境的網(wǎng)絡(luò)信息采集方法

在審

• 申請?zhí)枺?/td>: 201910913619.4
• 申請日: 2019-09-25
• 公開（公告）號: CN110659405A
• 公開（公告）日: 2020-01-07
• 發(fā)明（設(shè)計(jì)）人: 韓冰;羅廣超
• 申請（專利權(quán)）人: 南京源堡科技研究院有限公司
• 主分類號: G06F16/953
• 分類號: G06F16/953;H04L29/08
• 代理公司: 32206 南京眾聯(lián)專利代理有限公司
• 代理人: 周新亞

本發(fā)明公開了一種基于云環(huán)境的網(wǎng)絡(luò)信息采集方法，包括以下步驟，對初始數(shù)據(jù)進(jìn)行采集，初始數(shù)據(jù)采集包括多個(gè)用于采集數(shù)據(jù)的傳感器節(jié)點(diǎn)和結(jié)合節(jié)點(diǎn)，每個(gè)傳感器節(jié)點(diǎn)分別對不同的數(shù)據(jù)進(jìn)行采集，然后將采集到的數(shù)據(jù)輸送到結(jié)合節(jié)點(diǎn)，建立回歸模型，對采集到的初始數(shù)據(jù)進(jìn)行回歸處理，對回歸的數(shù)據(jù)進(jìn)行迭代處理，判斷迭代處理是否達(dá)到預(yù)定范圍，若達(dá)到則結(jié)束，若沒有達(dá)到，則繼續(xù)迭代；本發(fā)明通過回歸模型對數(shù)據(jù)進(jìn)行初步處理，篩分出需要的數(shù)據(jù)，并將需要的數(shù)據(jù)進(jìn)行回歸處理，處理后的數(shù)據(jù)為統(tǒng)一資源定位符，然后對回歸處理后的數(shù)據(jù)進(jìn)行迭代處理，保證處理后數(shù)據(jù)的準(zhǔn)確性，信息采集更加的精確。

技術(shù)領(lǐng)域

本發(fā)明涉及云環(huán)境信息采集技術(shù)領(lǐng)域，具體為一種基于云環(huán)境的網(wǎng)絡(luò)信息采集方法。

背景技術(shù)

云計(jì)算概念是由Google提出的，這是一個(gè)美麗的網(wǎng)絡(luò)應(yīng)用模式。狹義云計(jì)算是指IT基礎(chǔ)設(shè)施的交付和使用模式，指通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的資源；廣義云計(jì)算是指服務(wù)的交付和使用模式，指通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的服務(wù)。這種服務(wù)可以是IT和軟件、互聯(lián)網(wǎng)相關(guān)的，也可以是任意其他的服務(wù)，它具有超大規(guī)模、虛擬化、可靠安全等獨(dú)特功效；云服務(wù)與云計(jì)算息息相關(guān)，通過使計(jì)算分布在大量的分布式計(jì)算機(jī)上，而非本地計(jì)算機(jī)或遠(yuǎn)程服務(wù)器中，企業(yè)數(shù)據(jù)中心的運(yùn)行將更與互聯(lián)網(wǎng)相似，這使得企業(yè)能夠?qū)①Y源切換到需要的應(yīng)用上，根據(jù)需求訪問計(jì)算機(jī)和存儲(chǔ)系統(tǒng)，而這種服務(wù)類型是將網(wǎng)絡(luò)中的各種資源調(diào)動(dòng)起來，為用戶服務(wù)。

隨著科技的發(fā)展，計(jì)算機(jī)技術(shù)和無線傳感器網(wǎng)絡(luò)技術(shù)的發(fā)展，人類逐漸步入云環(huán)境時(shí)代，網(wǎng)絡(luò)信息的采集是云環(huán)境下非常重要的一種，傳統(tǒng)的網(wǎng)絡(luò)信息采集一般都是通過多個(gè)節(jié)點(diǎn)對信息進(jìn)行采集，然后處理后呈現(xiàn)出來，現(xiàn)有的信息采集后的處理方法較為簡單，處理時(shí)經(jīng)常性的發(fā)生數(shù)據(jù)混亂的情況，導(dǎo)致最終呈現(xiàn)的數(shù)據(jù)信息會(huì)存在誤差，使用起來較為不便。

基于此，本發(fā)明設(shè)計(jì)了一種基于云環(huán)境的網(wǎng)絡(luò)信息采集方法，以解決上述提到的問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于云環(huán)境的網(wǎng)絡(luò)信息采集方法，以解決上述背景技術(shù)中提出的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于云環(huán)境的網(wǎng)絡(luò)信息采集方法，包括以下步驟：

S1，對初始數(shù)據(jù)進(jìn)行采集，初始數(shù)據(jù)采集包括多個(gè)用于采集數(shù)據(jù)的傳感器節(jié)點(diǎn)和結(jié)合節(jié)點(diǎn)，每個(gè)傳感器節(jié)點(diǎn)分別對不同的數(shù)據(jù)進(jìn)行采集，然后將采集到的數(shù)據(jù)輸送到結(jié)合節(jié)點(diǎn)，當(dāng)結(jié)合節(jié)點(diǎn)收到每個(gè)傳感器輸送來的數(shù)據(jù)后，結(jié)合節(jié)點(diǎn)將數(shù)據(jù)統(tǒng)一輸送到回歸模型；

S2，建立回歸模型，對采集到的初始數(shù)據(jù)進(jìn)行回歸處理，回歸模型能夠?qū)?shù)據(jù)進(jìn)行初步處理，篩分出需要的數(shù)據(jù)，并將需要的數(shù)據(jù)進(jìn)行回歸處理，處理后的數(shù)據(jù)為統(tǒng)一資源定位符；

S3，對回歸的數(shù)據(jù)進(jìn)行迭代處理，迭代處理將回歸處理后的多個(gè)統(tǒng)一資源定位符向一個(gè)單一點(diǎn)進(jìn)行收縮和匯聚，保證處理后數(shù)據(jù)的準(zhǔn)確性，信息采集更加的精確；

S4，判斷迭代處理是否達(dá)到預(yù)定范圍，若達(dá)到則結(jié)束，若沒有達(dá)到，則重復(fù)S3的步驟。

優(yōu)選的，所述回歸模型的計(jì)算函數(shù)為

x_i(i＝1,2...,n)。

優(yōu)選的，所述迭代函數(shù)為

優(yōu)選的，所述傳感器節(jié)點(diǎn)按照設(shè)定的周期t，t的時(shí)間設(shè)定可根據(jù)實(shí)際情況自行設(shè)定。

優(yōu)選的，所述傳感器節(jié)點(diǎn)和結(jié)合節(jié)點(diǎn)采用Spark語言編寫，所述傳感器節(jié)點(diǎn)和結(jié)合節(jié)點(diǎn)成星型分布。

優(yōu)選的，所述迭代處理的預(yù)定范圍為Y，Y的值可根據(jù)實(shí)際的采集情況進(jìn)行設(shè)定。