[發(fā)明專利]一種數(shù)據(jù)處理方法、設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201811646447.0
• 申請日: 2018-12-29
• 公開（公告）號: CN109739828B
• 公開（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 李宗祥;嚴(yán)國友;孫一波;張文啟
• 申請（專利權(quán)）人: 咪咕文化科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/2458;G06F16/27
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 姚文嫻;張穎玲

1.一種數(shù)據(jù)處理方法，其特征在于，所示方法包括：

設(shè)置Hive表的分區(qū)，并設(shè)置Hive對應(yīng)的分布式文件系統(tǒng)HDFS的主節(jié)點(diǎn)中存儲待處理數(shù)據(jù)的元數(shù)據(jù)的存儲方式為第一存儲方式；其中，所述第一存儲方式包括按照所述待處理數(shù)據(jù)的屬性存儲的方式；

設(shè)置所述HDFS的數(shù)據(jù)節(jié)點(diǎn)中存儲所述待處理數(shù)據(jù)的存儲方式為第二存儲方式；其中，所述第二存儲方式包括按照所述待處理數(shù)據(jù)的屬性字段存儲的方式；

建立所述Hive、所述主節(jié)點(diǎn)和所述數(shù)據(jù)節(jié)點(diǎn)之間的映射關(guān)系，并基于所述映射關(guān)系設(shè)置鍵值信息；其中，所述鍵值信息存儲在所述主節(jié)點(diǎn)中；

按照所述第一存儲方式和所述第二存儲方式，并基于所述鍵值信息對所述待處理數(shù)據(jù)執(zhí)行預(yù)定處理；

其中，所述按照所述第一存儲方式和所述第二存儲方式，并基于所述鍵值信息對所述待處理數(shù)據(jù)執(zhí)行預(yù)定處理，包括：

獲取所述待處理數(shù)據(jù)，并將所述待處理數(shù)據(jù)錄入分區(qū)后的所述Hive表中；

按照所述待處理數(shù)據(jù)的屬性將所述待處理數(shù)據(jù)進(jìn)行第一分類，并基于所述鍵值信息將進(jìn)行第一分類后的所述待處理數(shù)據(jù)對應(yīng)的元數(shù)據(jù)存儲在所述主節(jié)點(diǎn)中；

按照所述待處理數(shù)據(jù)的屬性字段對所述待處理數(shù)據(jù)進(jìn)行第二分類，并基于所述鍵值信息將進(jìn)行第二分類后的所述待處理數(shù)據(jù)存儲在所述數(shù)據(jù)節(jié)點(diǎn)中。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

所述數(shù)據(jù)節(jié)點(diǎn)的每個數(shù)據(jù)塊中存儲有同一屬性字段對應(yīng)的同一類別的待處理數(shù)據(jù)；

所述主節(jié)點(diǎn)的每個文件中存儲有同一屬性對應(yīng)的同一類別的待處理數(shù)據(jù)的元數(shù)據(jù)。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述建立所述Hive、所述主節(jié)點(diǎn)和所述數(shù)據(jù)節(jié)點(diǎn)之間的映射關(guān)系，并基于所述映射關(guān)系設(shè)置鍵值信息，包括：

建立所述Hive表中的每個分區(qū)與所述主節(jié)點(diǎn)中的文件之間的第一映射關(guān)系；

建立所述主節(jié)點(diǎn)中的文件與所述數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)塊之間的第二映射關(guān)系；

基于所述第一映射關(guān)系、所述第二映射關(guān)系和所述元數(shù)據(jù)，設(shè)置所述鍵值信息。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于所述第一映射關(guān)系、所述第二映射關(guān)系和所述元數(shù)據(jù)，設(shè)置所述鍵值信息，包括：

確定所述Hive表中的每個分區(qū)的標(biāo)識，并基于所述第一映射關(guān)系確定每個分區(qū)對應(yīng)的所述屬性字段的信息；

基于所述第一映射關(guān)系和每個所述分區(qū)的標(biāo)識，設(shè)置所述鍵值信息中的鍵；

確定所述主節(jié)點(diǎn)中的每個文件對應(yīng)的屬性字段序列；

基于所述第二映射關(guān)系和所述屬性字段序列，設(shè)置所述鍵值信息中的值。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述按照所述待處理數(shù)據(jù)的屬性將所述待處理數(shù)據(jù)進(jìn)行第一分類，并基于所述鍵值信息將進(jìn)行第一分類后的所述待處理數(shù)據(jù)對應(yīng)的元數(shù)據(jù)存儲在所述主節(jié)點(diǎn)中，包括：

獲取所述待處理數(shù)據(jù)的屬性，并基于所述屬性對所述待處理數(shù)據(jù)進(jìn)行第一分類；

按照每一第一分類的待處理數(shù)據(jù)的元數(shù)據(jù)存儲在一個文件的存儲關(guān)系，并基于所述鍵值信息將所述元數(shù)據(jù)存儲在所述主節(jié)點(diǎn)中。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述按照所述待處理數(shù)據(jù)的屬性字段對所述待處理數(shù)據(jù)進(jìn)行第二分類，并基于所述鍵值信息將進(jìn)行第二分類后的所述待處理數(shù)據(jù)存儲在所述數(shù)據(jù)節(jié)點(diǎn)中，包括：

獲取所述待處理數(shù)據(jù)的屬性字段的值，并基于所述待處理數(shù)據(jù)的屬性字段的值對所述待處理數(shù)據(jù)進(jìn)行第二分類；

基于所述鍵值信息采用列存儲方式，并按照每一第二分類的待處理數(shù)據(jù)存儲在數(shù)據(jù)節(jié)點(diǎn)的一個數(shù)據(jù)塊的存儲關(guān)系，將進(jìn)行第二分類后的所述待處理數(shù)據(jù)存儲在所述數(shù)據(jù)節(jié)點(diǎn)中。