[發(fā)明專利]網(wǎng)絡(luò)數(shù)據(jù)采集處理方法、裝置和電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110106093.6
• 申請(qǐng)日: 2021-01-26
• 公開(kāi)（公告）號(hào): CN112764908A
• 公開(kāi)（公告）日: 2021-05-07
• 發(fā)明（設(shè)計(jì)）人: 劉龍強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 北京鼎普科技股份有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/50;G06F9/54;G06F16/955;G06F16/957;G06F16/906
• 代理公司: 北京知呱呱知識(shí)產(chǎn)權(quán)代理有限公司 11577
• 代理人: 孫志一

1.一種網(wǎng)絡(luò)數(shù)據(jù)采集處理方法，其特征在于，包括：

獲取目標(biāo)網(wǎng)絡(luò)數(shù)據(jù)；

根據(jù)所述目標(biāo)網(wǎng)絡(luò)數(shù)據(jù)生成調(diào)度數(shù)據(jù)文件和調(diào)度控制文件，其中，所述調(diào)度數(shù)據(jù)文件用于存儲(chǔ)需要采集的任務(wù)，所述調(diào)度數(shù)據(jù)文件中的每條記錄包括數(shù)據(jù)長(zhǎng)度和數(shù)據(jù)信息，所述調(diào)度控制文件用于控制所述調(diào)度數(shù)據(jù)文件，所述調(diào)度控制文件包括數(shù)據(jù)來(lái)源、優(yōu)先等級(jí)和數(shù)據(jù)讀取相關(guān)信息；

通過(guò)所述調(diào)度控制文件控制將所述調(diào)度數(shù)據(jù)文件中的數(shù)據(jù)信息存儲(chǔ)到文件隊(duì)列中。

2.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)數(shù)據(jù)采集處理方法，其特征在于，通過(guò)所述調(diào)度控制文件控制將所述調(diào)度數(shù)據(jù)文件中的數(shù)據(jù)信息存儲(chǔ)到文件隊(duì)列中，包括：

所述調(diào)度控制文件根據(jù)資源的優(yōu)先等級(jí)和資源序號(hào)將所述調(diào)度數(shù)據(jù)文件中的數(shù)據(jù)信息存儲(chǔ)在所述文件隊(duì)列中。

3.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)數(shù)據(jù)采集處理方法，其特征在于，根據(jù)所述目標(biāo)網(wǎng)絡(luò)數(shù)據(jù)生成調(diào)度數(shù)據(jù)文件和調(diào)度控制文件，包括：

將所述目標(biāo)網(wǎng)絡(luò)數(shù)據(jù)解析的解析結(jié)果存入緩存中；

當(dāng)所述緩存中的記錄數(shù)量達(dá)到預(yù)設(shè)數(shù)據(jù)閾值，或當(dāng)緩存時(shí)長(zhǎng)超過(guò)預(yù)設(shè)時(shí)間閾值，則根據(jù)所述目標(biāo)網(wǎng)絡(luò)數(shù)據(jù)解析的解析結(jié)果生成所述調(diào)度數(shù)據(jù)文件和所述調(diào)度控制文件。

4.根據(jù)權(quán)利要求3所述的網(wǎng)絡(luò)數(shù)據(jù)采集處理方法，其特征在于，根據(jù)所述目標(biāo)網(wǎng)絡(luò)數(shù)據(jù)生成調(diào)度數(shù)據(jù)文件和調(diào)度控制文件，還包括：

對(duì)所述目標(biāo)網(wǎng)絡(luò)數(shù)據(jù)的解析結(jié)果進(jìn)行分類；

將同一類型的解析結(jié)果寫入到多個(gè)調(diào)度數(shù)據(jù)文件中。

5.一種網(wǎng)絡(luò)數(shù)據(jù)采集處理裝置，其特征在于，包括：

獲取模塊，用于獲取目標(biāo)網(wǎng)絡(luò)數(shù)據(jù)；

生成模塊，用于根據(jù)所述目標(biāo)網(wǎng)絡(luò)數(shù)據(jù)生成調(diào)度數(shù)據(jù)文件和調(diào)度控制文件，其中，所述調(diào)度數(shù)據(jù)文件用于存儲(chǔ)需要采集的任務(wù)，所述調(diào)度數(shù)據(jù)文件中的每條記錄包括數(shù)據(jù)長(zhǎng)度和數(shù)據(jù)信息，所述調(diào)度控制文件用于控制所述調(diào)度數(shù)據(jù)文件，所述調(diào)度控制文件包括數(shù)據(jù)來(lái)源、優(yōu)先等級(jí)和數(shù)據(jù)讀取相關(guān)信息；

存儲(chǔ)模塊，用于通過(guò)所述調(diào)度控制文件控制將所述調(diào)度數(shù)據(jù)文件中的數(shù)據(jù)信息存儲(chǔ)到文件隊(duì)列中。

6.根據(jù)權(quán)利要求5所述的網(wǎng)絡(luò)數(shù)據(jù)采集處理裝置，其特征在于，所述調(diào)度控制文件根據(jù)資源的優(yōu)先等級(jí)和資源序號(hào)將所述調(diào)度數(shù)據(jù)文件中的數(shù)據(jù)信息通過(guò)所述存儲(chǔ)模塊存儲(chǔ)到所述文件隊(duì)列中。

7.根據(jù)權(quán)利要求5所述的網(wǎng)絡(luò)數(shù)據(jù)采集處理裝置，其特征在于，還包括緩存模塊，所述緩存模塊用于緩存所述目標(biāo)網(wǎng)絡(luò)數(shù)據(jù)的解析結(jié)果；當(dāng)所述緩存中的記錄數(shù)量達(dá)到預(yù)設(shè)數(shù)據(jù)閾值，或當(dāng)緩存時(shí)長(zhǎng)超過(guò)預(yù)設(shè)時(shí)間閾值，則根據(jù)所述目標(biāo)網(wǎng)絡(luò)數(shù)據(jù)解析的解析結(jié)果生成所述調(diào)度數(shù)據(jù)文件和所述調(diào)度控制文件。

8.根據(jù)權(quán)利要求7所述的網(wǎng)絡(luò)數(shù)據(jù)采集處理裝置，其特征在于，所述生成模塊還用于對(duì)所述目標(biāo)網(wǎng)絡(luò)數(shù)據(jù)的解析結(jié)果進(jìn)行分類；將同一類型的解析結(jié)果寫入到多個(gè)調(diào)度數(shù)據(jù)文件中。

9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：至少一個(gè)處理器和至少一個(gè)存儲(chǔ)器；

所述存儲(chǔ)器用于存儲(chǔ)一個(gè)或多個(gè)程序指令；

所述處理器，用于運(yùn)行一個(gè)或多個(gè)程序指令，用以執(zhí)行如權(quán)利要求1-4任一項(xiàng)所述的網(wǎng)絡(luò)數(shù)據(jù)采集處理方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中包含一個(gè)或多個(gè)程序指令，所述一個(gè)或多個(gè)程序指令用于執(zhí)行如權(quán)利要求1-4任一項(xiàng)所述的網(wǎng)絡(luò)數(shù)據(jù)采集處理方法。