[發(fā)明專利]數(shù)據(jù)采集方法、裝置以及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210958480.7
• 申請(qǐng)日: 2022-08-09
• 公開（公告）號(hào): CN115455268A
• 公開（公告）日: 2022-12-09
• 發(fā)明（設(shè)計(jì)）人: 張志博;陳凌云;李寧;胡萬里;周正愷;梁志江;阮智林;張博方;張鑒庭;張曉留;左佳麗;吳敬亮;黃海飛;朱建華;羅全輝
• 申請(qǐng)（專利權(quán)）人: 德邦證券股份有限公司
• 主分類號(hào): G06F16/953
• 分類號(hào): G06F16/953
• 代理公司: 北京萬思博知識(shí)產(chǎn)權(quán)代理有限公司 11694
• 代理人: 劉冀;冀婷

本申請(qǐng)公開了一種數(shù)據(jù)采集方法、裝置以及存儲(chǔ)介質(zhì)。其中，一種數(shù)據(jù)采集方法，包括：代理通道中心接收采集目標(biāo)數(shù)據(jù)的采集請(qǐng)求；代理通道中心根據(jù)采集請(qǐng)求獲取相應(yīng)的代理通道，其中代理通道中心預(yù)先存儲(chǔ)有多個(gè)代理通道；以及代理通道中心根據(jù)代理通道向存儲(chǔ)有目標(biāo)數(shù)據(jù)的數(shù)據(jù)源獲取目標(biāo)數(shù)據(jù)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及信息技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)采集方法、裝置以及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著大數(shù)據(jù)技術(shù)應(yīng)用的越來越廣泛，數(shù)據(jù)已經(jīng)成功公司的一項(xiàng)重要資產(chǎn)，通過互聯(lián)網(wǎng)數(shù)據(jù)采集技術(shù)成為公司沉淀數(shù)據(jù)資產(chǎn)的重要的手段。在數(shù)據(jù)采集過程中需要使用代理通道的模式，來使我們的采集任務(wù)數(shù)據(jù)流量可以合理分配，在執(zhí)行過程中，會(huì)因采集任務(wù)的動(dòng)態(tài)調(diào)整和數(shù)據(jù)源的差異，需要進(jìn)行代理通道的頻繁調(diào)整及代理動(dòng)態(tài)切換，使我們的各種互聯(lián)網(wǎng)數(shù)據(jù)采集任務(wù)可以正常運(yùn)行。

在數(shù)據(jù)采集的過程中，需要對(duì)成千上百的采集任務(wù)進(jìn)行問題排查及相應(yīng)的調(diào)整，維護(hù)的工作量非常大。但是現(xiàn)有的數(shù)據(jù)采集程序無法對(duì)代理通道進(jìn)行統(tǒng)一管理，從而使得代理通過使用起來比較復(fù)雜且繁瑣，從而大大降低了數(shù)據(jù)采集時(shí)的效率。

針對(duì)上述的現(xiàn)有技術(shù)中的數(shù)據(jù)采集程序無法對(duì)代理通道進(jìn)行管理所造成的數(shù)據(jù)采集的效率低的技術(shù)問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本申請(qǐng)的實(shí)施例提供了一種數(shù)據(jù)采集方法、裝置以及存儲(chǔ)介質(zhì)，以至少解決現(xiàn)有技術(shù)中存在的數(shù)據(jù)采集程序無法對(duì)代理通道進(jìn)行管理所造成的數(shù)據(jù)采集的效率低的技術(shù)問題。

根據(jù)本申請(qǐng)實(shí)施例的一個(gè)方面，提供了一種數(shù)據(jù)采集方法，包括：代理通道中心接收采集目標(biāo)數(shù)據(jù)的采集請(qǐng)求；代理通道中心根據(jù)采集請(qǐng)求獲取相應(yīng)的代理通道，其中代理通道中心預(yù)先存儲(chǔ)有多個(gè)代理通道；以及代理通道中心根據(jù)代理通道向存儲(chǔ)有目標(biāo)數(shù)據(jù)的數(shù)據(jù)源獲取目標(biāo)數(shù)據(jù)。

根據(jù)本申請(qǐng)實(shí)施例的另一個(gè)方面，還提供了一種存儲(chǔ)介質(zhì)，存儲(chǔ)介質(zhì)包括存儲(chǔ)的程序，其中，在程序運(yùn)行時(shí)由處理器執(zhí)行以上任意一項(xiàng)所述的方法。

根據(jù)本申請(qǐng)實(shí)施例的另一個(gè)方面，還提供了一種數(shù)據(jù)采集裝置，包括：請(qǐng)求接收模塊，用于接收采集目標(biāo)數(shù)據(jù)的采集請(qǐng)求；第一獲取模塊，用于根據(jù)采集請(qǐng)求獲取相應(yīng)的代理通道，其中代理通道中心預(yù)先存儲(chǔ)有多個(gè)代理通道；以及第二獲取模塊，用于根據(jù)代理通道向存儲(chǔ)有目標(biāo)數(shù)據(jù)的數(shù)據(jù)源獲取目標(biāo)數(shù)據(jù)。

根據(jù)本申請(qǐng)實(shí)施例的另一個(gè)方面，還提供了一種數(shù)據(jù)采集裝置，包括：處理器；以及存儲(chǔ)器，與處理器連接，用于為處理器提供處理以下處理步驟的指令：接收采集目標(biāo)數(shù)據(jù)的采集請(qǐng)求；根據(jù)采集請(qǐng)求獲取相應(yīng)的代理通道，其中代理通道中心預(yù)先存儲(chǔ)有多個(gè)代理通道；以及根據(jù)代理通道向存儲(chǔ)有目標(biāo)數(shù)據(jù)的數(shù)據(jù)源獲取目標(biāo)數(shù)據(jù)。

在本申請(qǐng)實(shí)施例中，通過代理通道中心統(tǒng)一管理代理通道。當(dāng)需要采集目標(biāo)數(shù)據(jù)時(shí)，通過代理通道中心快速確定與目標(biāo)數(shù)據(jù)對(duì)應(yīng)的代理通道，從而提高了數(shù)據(jù)采集的效率。并且當(dāng)代理通道有頻繁調(diào)整的需求時(shí)，代理通道中心會(huì)根據(jù)調(diào)整對(duì)代理通道進(jìn)行相應(yīng)的管理，從而減少了人力物力的消耗，極大的簡(jiǎn)化了采集程序的開發(fā)量和后續(xù)維護(hù)工作。進(jìn)而解決了現(xiàn)有技術(shù)中的數(shù)據(jù)采集程序無法對(duì)代理通道進(jìn)行管理所造成的數(shù)據(jù)采集的效率低的技術(shù)問題。

附圖說明

此處所說明的附圖用來提供對(duì)本申請(qǐng)的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本申請(qǐng)的示意性實(shí)施例及其說明用于解釋本申請(qǐng)，并不構(gòu)成對(duì)本申請(qǐng)的不當(dāng)限定。在附圖中：

圖1是用于實(shí)現(xiàn)根據(jù)本申請(qǐng)實(shí)施例1所述的方法的計(jì)算設(shè)備的硬件結(jié)構(gòu)框圖；

圖2是根據(jù)本申請(qǐng)實(shí)施例1所述的數(shù)據(jù)采集系統(tǒng)的示意圖；

圖3是根據(jù)本申請(qǐng)實(shí)施例1的第一個(gè)方面所述的數(shù)據(jù)采集方法的流程示意圖；

圖4是根據(jù)本申請(qǐng)實(shí)施例2所述的數(shù)據(jù)采集裝置的示意圖；以及

圖5是根據(jù)本申請(qǐng)實(shí)施例3所述的數(shù)據(jù)采集裝置的示意圖。