[發(fā)明專(zhuān)利]數(shù)據(jù)歸一化方法、裝置、計(jì)算機(jī)可讀介質(zhì)和電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010821129.4
• 申請(qǐng)日: 2020-08-14
• 公開(kāi)（公告）號(hào): CN112115099A
• 公開(kāi)（公告）日: 2020-12-22
• 發(fā)明（設(shè)計(jì)）人: 李澤荃
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華北科技學(xué)院
• 主分類(lèi)號(hào): G06F16/13
• 分類(lèi)號(hào): G06F16/13;G06F16/182
• 代理公司: 北京五洲洋和知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11387
• 代理人: 劉春成;劉素霞

本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)歸一化方法、裝置、計(jì)算機(jī)可讀介質(zhì)和電子設(shè)備。該方法包括：基于MapReduce計(jì)算架構(gòu)，對(duì)分布式存儲(chǔ)的待處理數(shù)據(jù)進(jìn)行處理，得到初始數(shù)據(jù)；其中，所述待處理數(shù)據(jù)的格式為分布式文件系統(tǒng)支持的格式，所述初始數(shù)據(jù)包含多個(gè)鍵不相同的第一鍵值對(duì)；基于MapReduce計(jì)算架構(gòu)，將所述初始數(shù)據(jù)中的多個(gè)所述第一鍵值對(duì)分別轉(zhuǎn)化為多個(gè)第二鍵值對(duì)，得到所述待處理數(shù)據(jù)的歸一化數(shù)據(jù)，其中，所述待處理數(shù)據(jù)的歸一化數(shù)據(jù)包含多個(gè)所述第二鍵值對(duì)。籍此，實(shí)現(xiàn)對(duì)分布式儲(chǔ)存的海量級(jí)數(shù)據(jù)的歸一化。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)歸一化方法、裝置、計(jì)算機(jī)可讀介質(zhì)和電子設(shè)備。

背景技術(shù)

傳統(tǒng)的數(shù)據(jù)歸一化(從數(shù)據(jù)中提取跟個(gè)體有關(guān)的屬性特征以及個(gè)體和個(gè)體間的關(guān)聯(lián)關(guān)系，從而對(duì)數(shù)據(jù)進(jìn)行特征梳理和歸納)，需要?dú)w納提取數(shù)據(jù)中的節(jié)點(diǎn)和關(guān)系，最終生成圖表，最常用的是利用圖數(shù)據(jù)庫(kù)生成圖表。利用這種方法，需要將圖數(shù)據(jù)庫(kù)中數(shù)據(jù)的信息屬性合并到一個(gè)個(gè)體(歸一化對(duì)象)的若干節(jié)點(diǎn)(vertex)上，同時(shí)建立這若干個(gè)節(jié)點(diǎn)間的關(guān)系(edge)，最后，生成所需要的圖表(graph)。

目前，生成這種結(jié)果一般多采用具備graph、vertex、edge的網(wǎng)絡(luò)型數(shù)據(jù)結(jié)構(gòu)，比如：mongodb、neo4j等圖數(shù)據(jù)庫(kù)，對(duì)數(shù)據(jù)進(jìn)行逐條記錄逐個(gè)屬性提取節(jié)點(diǎn)(vertex)和關(guān)系(edge)，將提取節(jié)點(diǎn)(vertex)和關(guān)系(edge)導(dǎo)入圖數(shù)據(jù)庫(kù)中，按照?qǐng)D數(shù)據(jù)庫(kù)自身的方法生成圖表(graph)。

但是，對(duì)于海量級(jí)數(shù)據(jù)(太字節(jié)(TB，計(jì)算機(jī)存儲(chǔ)單位)及以上數(shù)據(jù))來(lái)說(shuō)，往往記錄量一般都在百億或者千億條以上，生成的vertex和edge將會(huì)達(dá)到萬(wàn)億甚至十萬(wàn)億、百萬(wàn)億的量級(jí)，即便是存儲(chǔ)方式和應(yīng)用方式一般是非分布式的，利用mongodb、neo4j等圖數(shù)據(jù)庫(kù)對(duì)這個(gè)量級(jí)的數(shù)據(jù)也難以處理；而雖然graphx是基于spark的分布式的圖數(shù)據(jù)庫(kù)，但在對(duì)海量級(jí)數(shù)據(jù)進(jìn)行處理時(shí)，生成圖數(shù)據(jù)庫(kù)的過(guò)程也非常繁瑣，生成graph很難實(shí)現(xiàn)。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)實(shí)施例提供一種土壤水分反演方法、裝置、計(jì)算機(jī)可讀介質(zhì)和電子設(shè)備，用以解決或緩解上述技術(shù)中存在的技術(shù)問(wèn)題。

本申請(qǐng)實(shí)施例提供一種數(shù)據(jù)歸一化方法，包括：基于MapReduce計(jì)算架構(gòu)，對(duì)分布式存儲(chǔ)的待處理數(shù)據(jù)進(jìn)行處理，得到初始數(shù)據(jù)；其中，所述待處理數(shù)據(jù)的格式為分布式文件系統(tǒng)支持的格式，所述初始數(shù)據(jù)包含多個(gè)鍵不相同的第一鍵值對(duì)；基于MapReduce計(jì)算架構(gòu)，將所述初始數(shù)據(jù)中的多個(gè)所述第一鍵值對(duì)分別轉(zhuǎn)化為多個(gè)第二鍵值對(duì)，得到所述待處理數(shù)據(jù)的歸一化數(shù)據(jù)，其中，所述待處理數(shù)據(jù)的歸一化數(shù)據(jù)包含多個(gè)所述第二鍵值對(duì)。

在一些可選實(shí)施例中，所述基于MapReduce計(jì)算架構(gòu)，對(duì)分布式存儲(chǔ)的待處理數(shù)據(jù)進(jìn)行處理，得到初始數(shù)據(jù)，包括：基于MapReduce計(jì)算架構(gòu)，對(duì)分布式存儲(chǔ)的所述待處理數(shù)據(jù)進(jìn)行分割處理，得到第一結(jié)果數(shù)組；建立所述第一結(jié)果數(shù)組的要素標(biāo)記數(shù)組，其中，所述要素標(biāo)記數(shù)組中的要素標(biāo)記與所述第一結(jié)果數(shù)組中的元素一一對(duì)應(yīng)；根據(jù)所述第一結(jié)果數(shù)組和所述要素標(biāo)記數(shù)組，得到第二結(jié)果數(shù)組，其中，所述第二結(jié)果數(shù)組中包含的每個(gè)元素由所述第一結(jié)果數(shù)組中的非空值元素、所述非空值元素對(duì)應(yīng)的所述要素標(biāo)記數(shù)組中的所述要素標(biāo)記拼接得到；對(duì)所述第二結(jié)果數(shù)組進(jìn)行遍歷，提取所述第二結(jié)果數(shù)組中的每個(gè)元素，將所述第二結(jié)果數(shù)組中的每個(gè)元素與所述第二結(jié)果數(shù)組組成一個(gè)第一初始鍵值對(duì)；對(duì)多個(gè)所述第一初始鍵值對(duì)進(jìn)行轉(zhuǎn)化，得到多個(gè)鍵不相同的第一鍵值對(duì)，其中，多個(gè)所述第一鍵值對(duì)構(gòu)成所述初始數(shù)據(jù)。

在一些可選實(shí)施例中，所述根據(jù)所述第一結(jié)果數(shù)組和所述要素標(biāo)記數(shù)組，得到第二結(jié)果數(shù)組，包括：提取所述第一結(jié)果數(shù)組中的非空值元素，以及，所述非空值元素對(duì)應(yīng)的所述要素標(biāo)記數(shù)組中的所述要素標(biāo)記；對(duì)所述非空值元素和所述非空值元素對(duì)應(yīng)的所述要素標(biāo)記進(jìn)行拼接，構(gòu)成所述第二結(jié)果數(shù)組的多個(gè)元素，以得到所述第二結(jié)果數(shù)組。