[發明專利]基于云桌面的數據收集方法、裝置和電子設備

在審

• 申請號: 202211728359.1
• 申請日: 2022-12-29
• 公開（公告）號: CN116150450A
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 黎育龍;張志鵬;吳鵬;李冠宇;郝盼盼
• 申請（專利權）人: 中國郵政儲蓄銀行股份有限公司
• 主分類號: G06F16/9035
• 分類號: G06F16/9035;G06F16/951
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 王曉玲

1.一種基于云桌面的數據收集方法，其特征在于，包括：

接收查詢請求，所述查詢請求表征請求從爬取對象中查詢數據，所述爬取對象包括以下至少之一：云桌面內的網頁、所述云桌面內的平臺；

根據所述查詢請求采用網絡爬蟲從所述爬取對象中爬取初始數據，所述爬取對象用于存儲所述初始數據，所述初始數據至少包括請求的數據；

根據所述查詢請求從所述初始數據中選取出滿足所述查詢請求的數據，得到目標數據，所述目標數據是所述初始數據中的至少部分數據；

將所述目標數據存儲在所述云桌面的目標數據庫中。

2.根據權利要求1所述的方法，其特征在于，根據所述查詢請求從所述初始數據中選取出滿足所述查詢請求的數據，得到目標數據，包括：

根據所述查詢請求對所述初始數據進行第一次選取，提取所述初始數據中的父類字段的數據，得到初始目標數據；

根據所述查詢請求對所述初始目標數據進行第二次選取，提取所述初始目標數據中的子類字段的數據，得到所述目標數據，其中，所述父類字段的數據包括所述子類字段的數據，所述父類字段包括至少一個所述子類字段。

3.根據權利要求2所述的方法，其特征在于，根據所述查詢請求對所述初始數據進行第一次選取，提取所述初始數據中的父類字段的數據，得到初始目標數據，包括：

根據所述查詢請求提取所述初始數據中的第N層字段，所述初始數據中包括多層字段，第N層字段是第N+1層字段的父類字段，N≥1；

提取第N層字段下的所有的數據，得到所述初始目標數據。

4.根據權利要求2所述的方法，其特征在于，根據所述查詢請求對所述初始目標數據進行第二次選取，提取所述初始目標數據中的子類字段的數據，得到所述目標數據，包括：

獲取所述初始目標數據中的關聯字段信息，所述關聯字段信息用于存儲父類字段和子類字段之間的關系，在所述初始目標數據中有所述關聯字段信息的情況下，獲取一個子類字段的數據需預先獲取父類字段下所有的數據再獲取子類字段的數據；

從所述初始目標數據中將所述關聯字段信息刪除，在所述初始目標數據中沒有所述關聯字段信息的情況下，獲取一個子類字段的數據無需預先獲取父類字段下所有的數據再獲取子類字段的數據；

根據所述查詢請求確定目標子類字段，提取所述初始數據中的所述目標子類字段，并提取所述目標子類字段下的所有的數據，得到所述目標數據，所述目標子類字段是指請求查詢的數據的對應的字段。

5.根據權利要求1所述的方法，其特征在于，獲取到的所述目標數據有多個，將所述目標數據存儲在所述云桌面的目標數據庫中，包括：

在所述網絡爬蟲依次獲取數據的情況下，依次將獲取到的多個所述目標數據存儲在所述云桌面的暫存數據庫中，所述暫存數據庫用于臨時存儲數據；

在所述網絡爬蟲停止獲取數據的情況下，將所述暫存數據庫中的存儲的所述目標數據導出或者遷移至所述云桌面的所述目標數據庫中進行存儲。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取操作數據，所述操作數據是指目標對象在所述云桌面操作過程中的操作記錄，所述操作數據中包括多個操作字段，所述操作字段包括以下至少之一：所述云桌面內git平臺提交修改記錄的用戶名、提交時間、備注信息；

獲取各所述操作字段對應的重要程度，所述重要程度是指所述操作字段在所述操作數據中的重要性；

根據各所述操作字段對應的所述重要程度對所述操作字段進行組合，得到目標操作字段，將所述目標操作字段和所述操作數據存儲在所述目標數據庫中，所述目標操作字段表征所述操作數據中的唯一字段。

7.根據權利要求6所述的方法，其特征在于，根據各所述操作字段對應的所述重要程度對所述操作字段進行組合，得到目標操作字段，包括：

將多個所述操作字段按照所述重要程度進行排序，得到排序后的多個操作字段；

按照從前到后的順序，從排序后的多個操作字段中提取至少兩個所述操作字段進行組合，得到所述目標操作字段。