[發(fā)明專利]數(shù)據(jù)處理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202111461391.3
• 申請(qǐng)日: 2021-12-02
• 公開（公告）號(hào): CN114328477A
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 李云鋒
• 申請(qǐng)（專利權(quán)）人: 杭州數(shù)夢工場科技有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/25;G06F16/9035
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 董曉盈

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

獲取第一非結(jié)構(gòu)化數(shù)據(jù)；

提取所述第一非結(jié)構(gòu)化數(shù)據(jù)中的鍵名，并生成所述第一非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)表；其中，所述數(shù)據(jù)表中的字段名是根據(jù)所述第一非結(jié)構(gòu)化數(shù)據(jù)中的鍵名確定的；

根據(jù)所述數(shù)據(jù)表生成第一頁面；其中，所述第一頁面用于顯示所述數(shù)據(jù)表中的字段名以及預(yù)設(shè)清洗規(guī)則；

響應(yīng)于所述第一頁面內(nèi)的預(yù)設(shè)清洗規(guī)則的選取操作，獲取選取的預(yù)設(shè)清洗規(guī)則所對(duì)應(yīng)的字段名，并將所述選取的預(yù)設(shè)清洗規(guī)則作為所述字段名對(duì)應(yīng)的清洗規(guī)則。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

獲取所述第一非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)的第一數(shù)據(jù)結(jié)構(gòu)類型及第一主題信息；

建立所述第一數(shù)據(jù)結(jié)構(gòu)類型與所述第一主題信息之間的對(duì)應(yīng)關(guān)系，并將所述第一非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)表與所述第一數(shù)據(jù)結(jié)構(gòu)類型和第一主題信息進(jìn)行關(guān)聯(lián)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

接收第二非結(jié)構(gòu)化數(shù)據(jù)，并提取所述第二非結(jié)構(gòu)化數(shù)據(jù)中的鍵值對(duì)信息；其中，所述第二非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)格式和所述第一非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)格式相同；

確定所述第二非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)的第二數(shù)據(jù)結(jié)構(gòu)類型以及第二主題信息；

根據(jù)所述第二數(shù)據(jù)結(jié)構(gòu)類型以及第二主題信息確定所述鍵值對(duì)信息對(duì)應(yīng)的清洗規(guī)則，并根據(jù)所述清洗規(guī)則對(duì)所述鍵值對(duì)信息進(jìn)行清洗。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述第二數(shù)據(jù)結(jié)構(gòu)類型以及第二主題信息確定所述鍵值對(duì)信息對(duì)應(yīng)的清洗規(guī)則，包括：

響應(yīng)于存在與所述第二主題信息相同的第一主題信息，將與所述第二主題信息相同的第一主題信息作為目標(biāo)主題信息；

根據(jù)所述目標(biāo)主題信息和所述第二數(shù)據(jù)結(jié)構(gòu)類型確定目標(biāo)數(shù)據(jù)表，并根據(jù)所述目標(biāo)數(shù)據(jù)表中的字段名所對(duì)應(yīng)的清洗規(guī)則確定所述鍵值對(duì)信息對(duì)應(yīng)的清洗規(guī)則。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述目標(biāo)主題信息和所述第二數(shù)據(jù)結(jié)構(gòu)類型確定目標(biāo)數(shù)據(jù)表，包括：

獲取所述目標(biāo)主題信息對(duì)應(yīng)的所有第一數(shù)據(jù)結(jié)構(gòu)類型；

響應(yīng)于所述所有第一數(shù)據(jù)結(jié)構(gòu)類型中存在所述第二數(shù)據(jù)結(jié)構(gòu)類型，將與所述目標(biāo)主題信息和所述第二數(shù)據(jù)結(jié)構(gòu)類型關(guān)聯(lián)的數(shù)據(jù)表作為所述目標(biāo)數(shù)據(jù)表。

6.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的方法，其特征在于，所述生成所述第一非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)表，包括：

從所述第一非結(jié)構(gòu)化數(shù)據(jù)中的鍵名中刪除無效鍵名，并根據(jù)剩余的鍵名生成所述數(shù)據(jù)表；其中，所述無效鍵名表示無數(shù)據(jù)含義的鍵名。

7.根據(jù)權(quán)利要求2至5任一項(xiàng)所述的方法，其特征在于，所述第一數(shù)據(jù)結(jié)構(gòu)類型包括單體類型、嵌套單體類型、數(shù)組類型和嵌套數(shù)組類型中的一個(gè)或多個(gè)；所述第一非結(jié)構(gòu)化數(shù)據(jù)包括JSON數(shù)據(jù)。

8.一種數(shù)據(jù)處理裝置，其特征在于，所述裝置包括：

數(shù)據(jù)獲取模塊，用于獲取第一非結(jié)構(gòu)化數(shù)據(jù)；

數(shù)據(jù)表生成模塊，用于提取所述第一非結(jié)構(gòu)化數(shù)據(jù)中的鍵名，并生成所述第一非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)表；其中，所述數(shù)據(jù)表中的字段名是根據(jù)所述第一非結(jié)構(gòu)化數(shù)據(jù)中的鍵名確定的；

可視化模塊，用于根據(jù)所述數(shù)據(jù)表生成第一頁面；其中，所述第一頁面用于顯示所述數(shù)據(jù)表中的字段名以及預(yù)設(shè)清洗規(guī)則；

規(guī)則確定模塊，用于響應(yīng)于所述第一頁面內(nèi)的預(yù)設(shè)清洗規(guī)則的選取操作，獲取選取的預(yù)設(shè)清洗規(guī)則所對(duì)應(yīng)的字段名，并將所述選取的預(yù)設(shè)清洗規(guī)則作為所述字段名對(duì)應(yīng)的清洗規(guī)則。