[發(fā)明專利]基于云桌面的數(shù)據(jù)收集方法、裝置和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202211728359.1
• 申請日: 2022-12-29
• 公開（公告）號: CN116150450A
• 公開（公告）日: 2023-05-23
• 發(fā)明（設(shè)計）人: 黎育龍;張志鵬;吳鵬;李冠宇;郝盼盼
• 申請（專利權(quán)）人: 中國郵政儲蓄銀行股份有限公司
• 主分類號: G06F16/9035
• 分類號: G06F16/9035;G06F16/951
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責任公司 11240
• 代理人: 王曉玲

本申請?zhí)峁┝艘环N基于云桌面的數(shù)據(jù)收集方法、裝置和電子設(shè)備。該方法包括：接收查詢請求；根據(jù)查詢請求采用網(wǎng)絡(luò)爬蟲從爬取對象中爬取初始數(shù)據(jù)，爬取對象用于存儲初始數(shù)據(jù)；根據(jù)查詢請求從初始數(shù)據(jù)中選取出滿足查詢請求的數(shù)據(jù)，得到目標數(shù)據(jù)；將目標數(shù)據(jù)存儲在云桌面的目標數(shù)據(jù)庫中。該方案中，可以基于查詢請求，通過網(wǎng)絡(luò)爬蟲先從爬取對象中爬取初始數(shù)據(jù)，再基于查詢請求從初始數(shù)據(jù)中再次選取出目標數(shù)據(jù)，這樣可以從海量的初始數(shù)據(jù)中選擇需要的目標數(shù)據(jù)，進而解決了由于原始獲取的數(shù)據(jù)較為復(fù)雜且數(shù)據(jù)較多，無法快速的從獲取到的海量數(shù)據(jù)中選擇需要的數(shù)據(jù)的問題。

技術(shù)領(lǐng)域

本申請涉及云桌面數(shù)據(jù)采集技術(shù)領(lǐng)域，具體而言，涉及一種基于云桌面的數(shù)據(jù)收集方法、裝置和電子設(shè)備。

背景技術(shù)

在應(yīng)用云桌面的日常工作及項目開發(fā)中常有對數(shù)據(jù)整理收集的需求，一些常用的平臺如Confluence及Git擁有的數(shù)據(jù)較為繁雜，傳統(tǒng)方式(平臺自身提供的數(shù)據(jù)下載導(dǎo)出功能)進行收集耗時較長并常有遺漏，且不能對特定字段的數(shù)據(jù)進行針對性收集，造成在日常數(shù)據(jù)整理工作中通過現(xiàn)有方式進行收集時效率較為低下。因此，在一些方案中，由于原始獲取的數(shù)據(jù)較為復(fù)雜且數(shù)據(jù)較多，無法快速的從獲取到的海量數(shù)據(jù)中選擇需要的數(shù)據(jù)。

發(fā)明內(nèi)容

本申請的主要目的在于提供一種基于云桌面的數(shù)據(jù)收集方法、裝置和電子設(shè)備，以至少解決現(xiàn)有技術(shù)中由于原始獲取的數(shù)據(jù)較為復(fù)雜且數(shù)據(jù)較多，無法快速的從獲取到的海量數(shù)據(jù)中選擇需要的數(shù)據(jù)的問題。

為了實現(xiàn)上述目的，根據(jù)本申請的一個方面，提供了基于云桌面的數(shù)據(jù)收集方法，包括：接收查詢請求，所述查詢請求表征請求從爬取對象中查詢數(shù)據(jù)，所述爬取對象包括以下至少之一：云桌面內(nèi)的網(wǎng)頁、所述云桌面內(nèi)的平臺；根據(jù)所述查詢請求采用網(wǎng)絡(luò)爬蟲從所述爬取對象中爬取初始數(shù)據(jù)，所述爬取對象用于存儲所述初始數(shù)據(jù)，所述初始數(shù)據(jù)至少包括請求的數(shù)據(jù)；根據(jù)所述查詢請求從所述初始數(shù)據(jù)中選取出滿足所述查詢請求的數(shù)據(jù)，得到目標數(shù)據(jù)，所述目標數(shù)據(jù)是所述初始數(shù)據(jù)中的至少部分數(shù)據(jù)；將所述目標數(shù)據(jù)存儲在所述云桌面的目標數(shù)據(jù)庫中。

可選地，根據(jù)所述查詢請求從所述初始數(shù)據(jù)中選取出滿足所述查詢請求的數(shù)據(jù)，得到目標數(shù)據(jù)，包括：根據(jù)所述查詢請求對所述初始數(shù)據(jù)進行第一次選取，提取所述初始數(shù)據(jù)中的父類字段的數(shù)據(jù)，得到初始目標數(shù)據(jù)；根據(jù)所述查詢請求對所述初始目標數(shù)據(jù)進行第二次選取，提取所述初始目標數(shù)據(jù)中的子類字段的數(shù)據(jù)，得到所述目標數(shù)據(jù)，其中，所述父類字段的數(shù)據(jù)包括所述子類字段的數(shù)據(jù)，所述父類字段包括至少一個所述子類字段。

可選地，根據(jù)所述查詢請求對所述初始數(shù)據(jù)進行第一次選取，提取所述初始數(shù)據(jù)中的父類字段的數(shù)據(jù)，得到初始目標數(shù)據(jù)，包括：根據(jù)所述查詢請求提取所述初始數(shù)據(jù)中的第N層字段，所述初始數(shù)據(jù)中包括多層字段，第N層字段是第N+1層字段的父類字段，N≥1；提取第N層字段下的所有的數(shù)據(jù)，得到所述初始目標數(shù)據(jù)。

可選地，根據(jù)所述查詢請求對所述初始目標數(shù)據(jù)進行第二次選取，提取所述初始目標數(shù)據(jù)中的子類字段的數(shù)據(jù)，得到所述目標數(shù)據(jù)，包括：獲取所述初始目標數(shù)據(jù)中的關(guān)聯(lián)字段信息，所述關(guān)聯(lián)字段信息用于存儲父類字段和子類字段之間的關(guān)系，在所述初始目標數(shù)據(jù)中有所述關(guān)聯(lián)字段信息的情況下，獲取一個子類字段的數(shù)據(jù)需預(yù)先獲取父類字段下所有的數(shù)據(jù)再獲取子類字段的數(shù)據(jù)；從所述初始目標數(shù)據(jù)中將所述關(guān)聯(lián)字段信息刪除，在所述初始目標數(shù)據(jù)中沒有所述關(guān)聯(lián)字段信息的情況下，獲取一個子類字段的數(shù)據(jù)無需預(yù)先獲取父類字段下所有的數(shù)據(jù)再獲取子類字段的數(shù)據(jù)；根據(jù)所述查詢請求確定目標子類字段，提取所述初始數(shù)據(jù)中的所述目標子類字段，并提取所述目標子類字段下的所有的數(shù)據(jù)，得到所述目標數(shù)據(jù)，所述目標子類字段是指請求查詢的數(shù)據(jù)的對應(yīng)的字段。

可選地，獲取到的所述目標數(shù)據(jù)有多個，將所述目標數(shù)據(jù)存儲在所述云桌面的目標數(shù)據(jù)庫中，包括：在所述網(wǎng)絡(luò)爬蟲依次獲取數(shù)據(jù)的情況下，依次將獲取到的多個所述目標數(shù)據(jù)存儲在所述云桌面的暫存數(shù)據(jù)庫中，所述暫存數(shù)據(jù)庫用于臨時存儲數(shù)據(jù)；在所述網(wǎng)絡(luò)爬蟲停止獲取數(shù)據(jù)的情況下，將所述暫存數(shù)據(jù)庫中的存儲的所述目標數(shù)據(jù)導(dǎo)出或者遷移至所述云桌面的所述目標數(shù)據(jù)庫中進行存儲。