[發明專利]數據集獲得方法、裝置及電子設備

在審

• 申請號: 202210035840.6
• 申請日: 2022-01-13
• 公開（公告）號: CN114064576A
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 李明
• 申請（專利權）人: 北京九章云極科技有限公司
• 主分類號: G06F16/14
• 分類號: G06F16/14;G06F16/172;G06F16/955;G06N20/00
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 劉倩蘭

1.一種數據集獲得方法，其特征在于，包括：

獲取第一信息，所述第一信息包括用于指示原始數據集來源的數據源信息；

基于所述數據源信息獲取原始數據集；

對所述原始數據集進行分析，獲得第一分析結果；

基于所述第一信息和所述第一分析結果，獲得目標數據集，所述目標數據集包括用于描述所述原始數據集的信息。

2.根據權利要求1所述的方法，其特征在于，所述第一信息包括目標存儲路徑，所述基于所述第一信息和所述第一分析結果，獲得目標數據集，包括：

在所述目標存儲路徑下新建第一存儲空間和第二存儲空間；

將所述第一分析結果存儲于所述第一存儲空間，且將所述第一信息存儲于所述第二存儲空間，獲得所述目標數據集。

3.根據權利要求2所述的方法，其特征在于，所述對所述原始數據集進行分析，獲得第一分析結果包括：

讀取所述原始數據集，對所述原始數據集進行分析，獲得第一分析結果；

所述將所述第一分析結果存儲于所述第一存儲空間，包括：

若讀取方式為對所述原始數據集采用全量掃描的方式讀取，則將所述第一分析結果存儲于第一子存儲空間，所述第一存儲空間包括所述第一子存儲空間；

若讀取方式為對所述原始數據集采用抽樣掃描的方式讀取，則將所述第一分析結果存儲于第二子存儲空間，所述第一存儲空間包括所述第二子存儲空間。

4.根據權利要求2或3所述的方法，其特征在于，所述對所述原始數據集進行分析，獲得第一分析結果，包括：

若所述原始數據集包括結構化數據，則基于所述結構化數據，獲得所述第一分析結果，所述第一分析結果包括所述結構化數據的第一特征信息；

若所述原始數據集包括非結構化數據，則基于所述非結構化數據，獲得第一分析結果，所述第一分析結果包括所述非結構化數據的第二特征信息。

5.根據權利要求4所述的方法，其特征在于，所述第二特征信息包括標注信息，所述將所述第一分析結果存儲于所述第一存儲空間，包括：

按預設存儲方式將所述標注信息存儲于所述第一存儲空間；

其中，所述預設存儲方式包括以下至少一項：

基于標注信息的標注類別，將標注信息以及對應的數據文件存在于所述標注類別對應的文件目錄中；

基于標注信息以及所述標注信息對應的數據文件名稱，存儲所述標注信息以及對應的數據文件。

6.根據權利要求1所述的方法，其特征在于，所述第一信息還包括用于指示是否將所述原始數據集分區存儲的分區信息，所述基于所述數據源信息獲取原始數據集之后，所述對所述原始數據集進行分析，獲得第一分析結果之前，所述方法還包括：

基于所述第一信息，確定是否將所述原始數據集分區存儲在所述目標數據集中。

7.根據權利要求2所述的方法，其特征在于，所述基于所述第一信息和所述第一分析結果，獲得目標數據集之后，所述方法還包括：

響應于數據集更新請求，獲取所述數據集更新請求中指示的第一數據集；

對所述第一數據集進行分析，獲得第二分析結果；

基于所述第二分析結果，更新所述目標數據集。

8.根據權利要求7所述的方法，其特征在于，所述第一信息還包括動態指針，所述基于所述第二分析結果，更新所述目標數據集，包括：

在所述目標存儲路徑下新建第三存儲空間；

將所述第二分析結果存儲于所述第三存儲空間，獲得更新后的所述目標數據集；

其中，在所述目標數據集更新的情況下，所述動態指針指向所述第一存儲空間的地址；

在所述目標數據集更新完成的情況下，所述動態指針指向所述第三存儲空間的地址。

9.根據權利要求1所述的方法，其特征在于，所述基于所述第一信息和所述第一分析結果，獲得目標數據集之后，所述方法還包括：

接收超文本傳輸協議HTTP請求，所述HTTP請求攜帶統一資源定位符URL；

根據所述URL從所述目標數據集中獲取目標數據。