[發(fā)明專利]大數(shù)據(jù)采集方法、系統(tǒng)、計算機(jī)設(shè)備及其存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011125546.1
• 申請日: 2020-10-20
• 公開（公告）號: CN112261038B
• 公開（公告）日: 2021-08-06
• 發(fā)明（設(shè)計）人: 彭加山;彭曉芳
• 申請（專利權(quán)）人: 蘇州萊錦機(jī)電自動化有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08
• 代理公司: 北京艾皮專利代理有限公司 11777
• 代理人: 劉剛

1.一種大數(shù)據(jù)采集方法，其特征在于，所述的方法包括：

客戶端獲取相關(guān)的互聯(lián)網(wǎng)數(shù)據(jù)，提取相關(guān)的互聯(lián)網(wǎng)數(shù)據(jù)并生成臨時數(shù)據(jù)庫，生成所述的臨時數(shù)據(jù)庫包括：

獲取相關(guān)的互聯(lián)網(wǎng)數(shù)據(jù)；

提取所述的互聯(lián)網(wǎng)數(shù)據(jù)中的非重復(fù)項和完整項；

建立臨時文件夾，并按日期和時間對其命名；

輸入提取后的互聯(lián)網(wǎng)數(shù)據(jù)至所述的臨時文件夾中，生成所述的臨時數(shù)據(jù)庫；

驗證端間歇性地發(fā)送驗證信息至服務(wù)器，所述的驗證信息由解壓編碼和驗證編碼兩部分組成，所述的解壓編碼在發(fā)送驗證信息之前隨機(jī)生成，不具有規(guī)律性，所述的驗證編碼為固定內(nèi)容且所述的解壓編碼和驗證編碼的相對位置不能改變；

所述的服務(wù)器在接收到驗證信息后會收錄解壓編碼并向驗證端反饋驗證編碼；

所述的驗證端獲取驗證編碼之后會提取客戶端的臨時數(shù)據(jù)庫內(nèi)的互聯(lián)網(wǎng)數(shù)據(jù)，并將所述的互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行加密加壓后生成過渡文件；

所述的服務(wù)器接收所述的過渡文件，并通過解壓編碼將其解壓；

當(dāng)驗證端多次輸出驗證信息而得不到反饋時，臨時文件夾會隨著不間斷的提取的互聯(lián)網(wǎng)數(shù)據(jù)而使得容量不斷增加，當(dāng)增加到一定閾值時會再次生成新的臨時文件夾，而接下來所提取的互聯(lián)網(wǎng)數(shù)據(jù)會被存入其中并將原先的臨時文件夾凍結(jié)。

2.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)采集方法，其特征在于，所述的驗證端和服務(wù)器之間進(jìn)行以下步驟：

驗證端發(fā)送驗證信息；

服務(wù)器提取驗證信息并在記錄解壓編碼后向驗證端反饋驗證編碼；

服務(wù)器若無法提取驗證信息或者提取的驗證信息不完整時，則不作應(yīng)答。

3.一種大數(shù)據(jù)采集系統(tǒng)，其特征在于，所述的采集系統(tǒng)包括；

客戶端，用于獲取相關(guān)的互聯(lián)網(wǎng)數(shù)據(jù)，并提取相關(guān)的互聯(lián)網(wǎng)數(shù)據(jù)并生成臨時數(shù)據(jù)庫，生成所述的臨時數(shù)據(jù)庫包括：

獲取相關(guān)的互聯(lián)網(wǎng)數(shù)據(jù)；

提取所述的互聯(lián)網(wǎng)數(shù)據(jù)中的非重復(fù)項和完整項；

建立臨時文件夾，并按日期和時間對其命名；

輸入提取后的互聯(lián)網(wǎng)數(shù)據(jù)至所述的臨時文件夾中，生成所述的臨時數(shù)據(jù)庫；

驗證端，用于間歇性地發(fā)送驗證信息至服務(wù)器，所述的驗證信息由解壓編碼和驗證編碼兩部分組成，所述的解壓編碼在發(fā)送驗證信息之前隨機(jī)生成，不具有規(guī)律性，所述的驗證編碼為固定內(nèi)容且所述的解壓編碼和驗證編碼的相對位置不能改變；獲取驗證編碼之后會提取客戶端的臨時數(shù)據(jù)庫內(nèi)的互聯(lián)網(wǎng)數(shù)據(jù)，并將所述的互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行加密加壓后生成過渡文件；

服務(wù)器，用于接收到驗證信息后收錄解壓編碼并向驗證端反饋驗證編碼；接收所述的過渡文件，并通過解壓編碼將其解壓；

當(dāng)所述的驗證端在斷網(wǎng)或者網(wǎng)絡(luò)不穩(wěn)定的情況下，長期無法接收到來自服務(wù)器的驗證編碼時，臨時文件夾會隨著不間斷的提取的互聯(lián)網(wǎng)數(shù)據(jù)而使得容量不斷增加，當(dāng)增加到一定閾值時所述客戶端會再次生成新的臨時文件夾，而接下來所提取的互聯(lián)網(wǎng)數(shù)據(jù)會被存入其中并將原先的臨時文件夾凍結(jié)。

4.根據(jù)權(quán)利要求3所述的一種大數(shù)據(jù)采集系統(tǒng)，其特征在于，所述的驗證端和服務(wù)器之間進(jìn)行如下步驟：

當(dāng)服務(wù)器在接收到驗證信息之后會提取其中的解壓編碼和驗證編碼，若驗證編碼完整則向驗證端發(fā)送相同的驗證編碼；

驗證端在接收到驗證編碼之后會提取將臨時數(shù)據(jù)庫中的臨時文件夾及其內(nèi)部的互聯(lián)網(wǎng)數(shù)據(jù)并將其加密加壓后生成過渡文件；

服務(wù)器在接收到來自驗證端的過渡文件后，利用提取的解壓編碼將其還原成原始數(shù)據(jù)；

當(dāng)服務(wù)器無法接收到驗證信息或者驗證信息不完整和錯誤時，服務(wù)器則不會向驗證端發(fā)送驗證編碼。

5.一種計算機(jī)設(shè)備，其特征在于，包括顯示屏、存儲器、處理器以及計算機(jī)程序，其中所述存儲器中存儲有計算機(jī)程序，所述計算機(jī)程序被所述處理器執(zhí)行時，使得所述處理器執(zhí)行權(quán)利要求1-2任一項權(quán)利要求所述的大數(shù)據(jù)采集方法的步驟。

6.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時，使得所述處理器執(zhí)行權(quán)利要求1-2任一項權(quán)利要求所述的大數(shù)據(jù)采集方法的步驟。