[發(fā)明專利]數(shù)據(jù)處理方法和裝置、處理器及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202211242580.6
• 申請(qǐng)日: 2022-10-11
• 公開（公告）號(hào): CN115544177A
• 公開（公告）日: 2022-12-30
• 發(fā)明（設(shè)計(jì)）人: 孔德耀
• 申請(qǐng)（專利權(quán)）人: 中國(guó)工商銀行股份有限公司
• 主分類號(hào): G06F16/28
• 分類號(hào): G06F16/28;G06N3/04;G06N3/08
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 黃海英

本申請(qǐng)公開了一種數(shù)據(jù)處理方法和裝置、處理器及電子設(shè)備，涉及人工智能技術(shù)領(lǐng)域，該方法包括：確定待處理的目標(biāo)數(shù)據(jù)集，其中，所述目標(biāo)數(shù)據(jù)集由來自不同數(shù)據(jù)源的各類型的數(shù)據(jù)組成；依據(jù)所述目標(biāo)數(shù)據(jù)集中的數(shù)據(jù)和所述目標(biāo)數(shù)據(jù)集中的數(shù)據(jù)之間的目標(biāo)信息，構(gòu)建三元結(jié)構(gòu)數(shù)據(jù)模型，其中，所述目標(biāo)信息至少包括數(shù)據(jù)之間關(guān)聯(lián)性信息和數(shù)據(jù)的屬性信息；建立所述三元結(jié)構(gòu)數(shù)據(jù)模型與所述目標(biāo)數(shù)據(jù)集之間的映射關(guān)系，并依據(jù)所述映射關(guān)系和所述三元結(jié)構(gòu)數(shù)據(jù)模型對(duì)所述目標(biāo)數(shù)據(jù)集進(jìn)行管理。通過本申請(qǐng)，解決了相關(guān)技術(shù)中的各類數(shù)據(jù)模型無法消除數(shù)據(jù)冗余的問題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人工智能技術(shù)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)處理方法和裝置、處理器及電子設(shè)備。

背景技術(shù)

目前數(shù)據(jù)存儲(chǔ)方式多種多樣，如文本、數(shù)據(jù)庫、元數(shù)據(jù)、知識(shí)圖譜等，大數(shù)據(jù)技術(shù)的核心是數(shù)據(jù)價(jià)值挖掘和數(shù)據(jù)分析計(jì)算，然而由于數(shù)據(jù)形式的多樣化和數(shù)據(jù)體量的龐大，目前的大數(shù)據(jù)治理思路和技術(shù)并不能很好的解決所面臨的問題。

首先要解決的是數(shù)據(jù)形式的多樣化問題，如內(nèi)部數(shù)據(jù)/外部數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)/批處理數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)/半結(jié)構(gòu)化數(shù)據(jù)/非結(jié)構(gòu)化數(shù)據(jù)、本地?cái)?shù)據(jù)/云端數(shù)據(jù)、單機(jī)數(shù)據(jù)/分布式數(shù)據(jù)等，目前的解決方案是使用元數(shù)據(jù)來描述這些數(shù)據(jù)，將所有類型的數(shù)據(jù)都轉(zhuǎn)為了元數(shù)據(jù)。這樣的做法使得雜亂無章的各類數(shù)據(jù)得到了統(tǒng)一，但同時(shí)不同類型的數(shù)據(jù)也導(dǎo)致的元數(shù)據(jù)種類的多樣性，如技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、社會(huì)元數(shù)據(jù)等，通過各種不同類型的元數(shù)據(jù)來管理數(shù)據(jù)時(shí)，但種類繁多的元數(shù)據(jù)同樣帶來了業(yè)務(wù)邏輯的復(fù)雜性。其次是各數(shù)據(jù)源之間的數(shù)據(jù)冗余問題，這個(gè)問題是導(dǎo)致數(shù)據(jù)規(guī)模大爆發(fā)的一個(gè)重要因素。數(shù)據(jù)的冗余表現(xiàn)在各個(gè)方面，如多個(gè)業(yè)務(wù)系統(tǒng)可能會(huì)維護(hù)相同的數(shù)據(jù)如客戶、公共信息等，同時(shí)業(yè)務(wù)系統(tǒng)內(nèi)部也可能會(huì)在多個(gè)地方維護(hù)相同的數(shù)據(jù)，如交易表中的業(yè)務(wù)編碼、消費(fèi)類型等。

針對(duì)相關(guān)技術(shù)中的各類數(shù)據(jù)模型無法消除數(shù)據(jù)冗余的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本申請(qǐng)的主要目的在于提供一種數(shù)據(jù)處理方法和裝置、處理器及電子設(shè)備，以解決相關(guān)技術(shù)中的各類數(shù)據(jù)模型無法消除數(shù)據(jù)冗余的問題。

為了實(shí)現(xiàn)上述目的，根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種數(shù)據(jù)處理方法。該方法包括：確定待處理的目標(biāo)數(shù)據(jù)集，其中，所述目標(biāo)數(shù)據(jù)集由來自不同數(shù)據(jù)源的各類型的數(shù)據(jù)組成；依據(jù)所述目標(biāo)數(shù)據(jù)集中的數(shù)據(jù)和所述目標(biāo)數(shù)據(jù)集中的數(shù)據(jù)之間的目標(biāo)信息，構(gòu)建三元結(jié)構(gòu)數(shù)據(jù)模型，其中，所述目標(biāo)信息至少包括數(shù)據(jù)之間關(guān)聯(lián)性信息和數(shù)據(jù)的屬性信息；建立所述三元結(jié)構(gòu)數(shù)據(jù)模型與所述目標(biāo)數(shù)據(jù)集之間的映射關(guān)系，并依據(jù)所述映射關(guān)系和所述三元結(jié)構(gòu)數(shù)據(jù)模型對(duì)所述目標(biāo)數(shù)據(jù)集進(jìn)行管理。

進(jìn)一步地，在建立所述三元結(jié)構(gòu)數(shù)據(jù)模型與所述目標(biāo)數(shù)據(jù)集之間的映射關(guān)系之后，所述方法還包括：檢測(cè)所述目標(biāo)數(shù)據(jù)集中的數(shù)據(jù)的屬性信息和所述目標(biāo)數(shù)據(jù)集中的數(shù)據(jù)的關(guān)聯(lián)性信息是否發(fā)生變化；若所述屬性信息和/或所述關(guān)聯(lián)性信息發(fā)生變化，則獲取變化信息；依據(jù)所述變化信息，對(duì)所述三元結(jié)構(gòu)數(shù)據(jù)模型進(jìn)行更新處理。

進(jìn)一步地，在依據(jù)所述變化信息，對(duì)所述三元結(jié)構(gòu)數(shù)據(jù)模型進(jìn)行更新處理之后，所述方法還包括：將所述變化信息作為目標(biāo)訓(xùn)練集；通過所述目標(biāo)訓(xùn)練集訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，其中，所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型用于預(yù)測(cè)所述目標(biāo)數(shù)據(jù)集的變化趨勢(shì)。

進(jìn)一步地，在建立所述三元結(jié)構(gòu)數(shù)據(jù)模型與所述目標(biāo)數(shù)據(jù)集之間的映射關(guān)系之后，所述方法還包括：若檢測(cè)到對(duì)所述目標(biāo)數(shù)據(jù)集中的目標(biāo)數(shù)據(jù)的查詢信息，則依據(jù)所述查詢信息遍歷所述三元結(jié)構(gòu)數(shù)據(jù)模型，得到所述目標(biāo)數(shù)據(jù)的關(guān)聯(lián)性信息和所述目標(biāo)數(shù)據(jù)的屬性信息；依據(jù)所述目標(biāo)數(shù)據(jù)的關(guān)聯(lián)性信息和所述目標(biāo)數(shù)據(jù)的屬性信息，從所述目標(biāo)數(shù)據(jù)集中確定所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)集。

進(jìn)一步地，所述三元結(jié)構(gòu)數(shù)據(jù)模型中包括至少包括：對(duì)象元，所述對(duì)象元用于描述所述目標(biāo)數(shù)據(jù)集中的事物對(duì)象；連接元，所述連接元用于描述所述關(guān)聯(lián)性信息；屬性元，所述屬性元用于描述所述屬性信息。