[發(fā)明專利]一種數(shù)據(jù)處理方法、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811646447.0
• 申請(qǐng)日: 2018-12-29
• 公開(kāi)（公告）號(hào): CN109739828B
• 公開(kāi)（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 李宗祥;嚴(yán)國(guó)友;孫一波;張文啟
• 申請(qǐng)（專利權(quán)）人: 咪咕文化科技有限公司
• 主分類(lèi)號(hào): G06F16/182
• 分類(lèi)號(hào): G06F16/182;G06F16/2458;G06F16/27
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 姚文嫻;張穎玲

本發(fā)明實(shí)施例公開(kāi)了一種數(shù)據(jù)處理方法，該方法包括：設(shè)置Hive表的分區(qū)，并設(shè)置Hive對(duì)應(yīng)的分布式文件系統(tǒng)HDFS的主節(jié)點(diǎn)中存儲(chǔ)待處理數(shù)據(jù)的元數(shù)據(jù)的存儲(chǔ)方式為第一存儲(chǔ)方式；其中，第一存儲(chǔ)方式包括按照待處理數(shù)據(jù)的屬性存儲(chǔ)的方式；設(shè)置HDFS的數(shù)據(jù)節(jié)點(diǎn)中存儲(chǔ)待處理數(shù)據(jù)的存儲(chǔ)方式為第二存儲(chǔ)方式；其中，第二存儲(chǔ)方式包括按照待處理數(shù)據(jù)的屬性字段存儲(chǔ)的方式；建立Hive、主節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)之間的映射關(guān)系，并基于映射關(guān)系設(shè)置鍵值信息；其中，鍵值信息存儲(chǔ)在主節(jié)點(diǎn)中；按照第一存儲(chǔ)方式和第二存儲(chǔ)方式，并基于鍵值信息對(duì)待處理數(shù)據(jù)執(zhí)行預(yù)定處理。本發(fā)明的實(shí)施例還公開(kāi)了一種數(shù)據(jù)處理設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域中的數(shù)據(jù)處理，尤其涉及一種數(shù)據(jù)處理方法、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著大數(shù)據(jù)處理技術(shù)地日漸成熟，Hive框架成為企業(yè)構(gòu)建海量數(shù)據(jù)倉(cāng)庫(kù)的重要工具。Hive框架構(gòu)建在Hadoop的基礎(chǔ)之上，為開(kāi)發(fā)者提供了一套操作Hadoop的結(jié)構(gòu)化查詢語(yǔ)言(Structured Query Language，SQL)接口；開(kāi)發(fā)者可以像使用關(guān)系型數(shù)據(jù)庫(kù)一樣使用Hadoop，這極大地簡(jiǎn)化了海量數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)過(guò)程，優(yōu)化了Hadoop大數(shù)據(jù)處理的性能。Hive的數(shù)據(jù)存儲(chǔ)依賴于Hadoop的HDFS的數(shù)據(jù)存儲(chǔ)機(jī)制。Hive將所有的數(shù)據(jù)都存儲(chǔ)在數(shù)據(jù)表中，但是Hive的表只是邏輯上的概念，Hive中的表實(shí)際對(duì)應(yīng)分布式文件系統(tǒng)(HadoopDistributed File System，HDFS)里的一個(gè)目錄，通過(guò)Hive框架將一個(gè)HDFS目錄里的數(shù)據(jù)作為一個(gè)表來(lái)進(jìn)行處理，當(dāng)數(shù)據(jù)存入Hive表中時(shí)仍將按照HDFS的存儲(chǔ)策略進(jìn)行存儲(chǔ)。

實(shí)際開(kāi)發(fā)中Hive處理的數(shù)據(jù)量會(huì)很大，例如有些系統(tǒng)每次需要處理千萬(wàn)級(jí)甚至億級(jí)的數(shù)據(jù)，對(duì)Hive的處理性能要求較高；而且，處理的數(shù)據(jù)都來(lái)自于采集的數(shù)據(jù)文件，這些文件往往非常多而且容量不大，容易形成Hadoop小文件進(jìn)而導(dǎo)致系統(tǒng)性能的降低。針對(duì)上述問(wèn)題，相對(duì)技術(shù)中有如下解決方案：第一種是直接使用Hadoop自身的存儲(chǔ)機(jī)制，第二種是使用SequenceFile機(jī)制進(jìn)行預(yù)處理；但是，第一種方案中Hive表對(duì)應(yīng)的目錄下會(huì)存儲(chǔ)所有的數(shù)據(jù)文件，從而造成Hadoop小文件的問(wèn)題且系統(tǒng)的性能不高；第二種方案不能直接應(yīng)用到Hive上；SequenceFile合并后的文件不能反映字段之間的分區(qū)信息，所處理的數(shù)據(jù)集仍然很大；此外，上述兩種方案系統(tǒng)加載數(shù)據(jù)時(shí)會(huì)加載大量無(wú)用的數(shù)據(jù)，增大了系統(tǒng)的輸入/輸出(input/output，I/O)開(kāi)銷(xiāo)且降低了系統(tǒng)性能。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例期望提供一種數(shù)據(jù)處理方法、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，解決了相對(duì)技術(shù)中的數(shù)據(jù)處理方法存在的處理的數(shù)據(jù)集較大且系統(tǒng)性能不高的問(wèn)題，降低了系統(tǒng)的I/O開(kāi)銷(xiāo)。

為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

一種數(shù)據(jù)處理方法，所示方法包括：

設(shè)置Hive表的分區(qū)，并設(shè)置Hive對(duì)應(yīng)的分布式文件系統(tǒng)HDFS的主節(jié)點(diǎn)中存儲(chǔ)待處理數(shù)據(jù)的元數(shù)據(jù)的存儲(chǔ)方式為第一存儲(chǔ)方式；其中，所述第一存儲(chǔ)方式包括按照所述待處理數(shù)據(jù)的屬性存儲(chǔ)的方式；

設(shè)置所述HDFS的數(shù)據(jù)節(jié)點(diǎn)中存儲(chǔ)所述待處理數(shù)據(jù)的存儲(chǔ)方式為第二存儲(chǔ)方式；其中，所述第二存儲(chǔ)方式包括按照所述待處理數(shù)據(jù)的屬性字段存儲(chǔ)的方式；

建立所述Hive、所述主節(jié)點(diǎn)和所述數(shù)據(jù)節(jié)點(diǎn)之間的映射關(guān)系，并基于所述映射關(guān)系設(shè)置鍵值信息；其中，所述鍵值信息存儲(chǔ)在所述主節(jié)點(diǎn)中；

按照所述第一存儲(chǔ)方式和所述第二存儲(chǔ)方式，并基于所述鍵值信息對(duì)所述待處理數(shù)據(jù)執(zhí)行預(yù)定處理。

可選的，所述方法還包括：

所述數(shù)據(jù)節(jié)點(diǎn)的每個(gè)數(shù)據(jù)塊中存儲(chǔ)有同一屬性字段對(duì)應(yīng)的同一類(lèi)別的待處理數(shù)據(jù)；

所述主節(jié)點(diǎn)的每個(gè)文件中存儲(chǔ)有同一屬性對(duì)應(yīng)的同一類(lèi)別的待處理數(shù)據(jù)的元數(shù)據(jù)。