[發(fā)明專利]數(shù)據(jù)處理方法及裝置、電子設(shè)備、存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201811338828.2
• 申請日: 2018-11-12
• 公開（公告）號: CN109491989B
• 公開（公告）日: 2021-08-31
• 發(fā)明（設(shè)計）人: 陳雪松
• 申請（專利權(quán)）人: 北京懿醫(yī)云科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/28
• 代理公司: 北京律智知識產(chǎn)權(quán)代理有限公司 11438
• 代理人: 袁禮君;闞梓瑄

本公開是關(guān)于一種數(shù)據(jù)處理方法及裝置、電子設(shè)備、存儲介質(zhì)，涉及醫(yī)療大數(shù)據(jù)技術(shù)領(lǐng)域，該方法包括：根據(jù)源數(shù)據(jù)庫中的數(shù)據(jù)表的定義建立具有相同數(shù)據(jù)表結(jié)構(gòu)的抽樣庫；通過目標數(shù)據(jù)庫中的目標數(shù)據(jù)表的定義確定所述源數(shù)據(jù)庫中各數(shù)據(jù)表之間的字段關(guān)系的集合；按照所述集合中的所述字段關(guān)系對所述源數(shù)據(jù)庫中的數(shù)據(jù)表進行關(guān)聯(lián)，并對關(guān)聯(lián)后的數(shù)據(jù)表進行抽樣得到樣本數(shù)據(jù)；將所述樣本數(shù)據(jù)存儲至所述抽樣庫，以通過所述抽樣庫進行數(shù)據(jù)生產(chǎn)。本公開可以通過字段關(guān)系對源數(shù)據(jù)庫中的數(shù)據(jù)表進行抽樣，進而根據(jù)抽樣數(shù)據(jù)提高數(shù)據(jù)生產(chǎn)效率。

技術(shù)領(lǐng)域

本公開涉及醫(yī)療大數(shù)據(jù)技術(shù)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)處理方法、數(shù)據(jù)處理裝置、電子設(shè)備以及計算機可讀存儲介質(zhì)。

背景技術(shù)

在使用醫(yī)療數(shù)據(jù)時，經(jīng)常需要對不同來源以及異構(gòu)的數(shù)據(jù)進行生產(chǎn)，以得到具有統(tǒng)一規(guī)范結(jié)構(gòu)的數(shù)據(jù)，便于后續(xù)業(yè)務(wù)邏輯處理。數(shù)據(jù)生產(chǎn)這一過程，包含數(shù)據(jù)抽取、轉(zhuǎn)換、質(zhì)檢等幾部分工作，以保證數(shù)據(jù)質(zhì)量。

相關(guān)技術(shù)中進行數(shù)據(jù)生產(chǎn)時，在具體實現(xiàn)層面通常采用優(yōu)化SQL寫法或者將MapReduce任務(wù)改為Spark任務(wù)等方式；在基礎(chǔ)架構(gòu)層面，可通過對數(shù)據(jù)的存儲格式進行優(yōu)化或者對調(diào)度器進行參數(shù)優(yōu)化等方式加快數(shù)據(jù)生產(chǎn)過程。

在上述方式中，對具體實現(xiàn)層面的改進，由于各生產(chǎn)環(huán)節(jié)的任務(wù)邏輯各異以及各生產(chǎn)環(huán)節(jié)的數(shù)據(jù)差異性較大，因此不具備普適性、應(yīng)用范圍較小；對基礎(chǔ)架構(gòu)層面改進時，由于操作難度較大，復(fù)雜度較高，不能有效提升數(shù)據(jù)生產(chǎn)效率。

需要說明的是，在上述背景技術(shù)部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構(gòu)成對本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

發(fā)明內(nèi)容

本公開的目的在于提供一種數(shù)據(jù)處理方法及裝置、電子設(shè)備、存儲介質(zhì)，進而至少在一定程度上克服由于相關(guān)技術(shù)的限制和缺陷而導(dǎo)致的數(shù)據(jù)生產(chǎn)效率低的問題。

本公開的其他特性和優(yōu)點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。

根據(jù)本公開的一個方面，提供一種數(shù)據(jù)處理方法，包括：根據(jù)源數(shù)據(jù)庫中的數(shù)據(jù)表的定義建立具有相同數(shù)據(jù)表結(jié)構(gòu)的抽樣庫；通過目標數(shù)據(jù)庫中的目標數(shù)據(jù)表的定義，確定所述源數(shù)據(jù)庫中各數(shù)據(jù)表之間的字段關(guān)系的集合；按照所述集合中的所述字段關(guān)系對所述源數(shù)據(jù)庫中的數(shù)據(jù)表進行關(guān)聯(lián)，并對關(guān)聯(lián)后的數(shù)據(jù)表進行抽樣得到樣本數(shù)據(jù)；將所述樣本數(shù)據(jù)存儲至所述抽樣庫，以通過所述抽樣庫進行數(shù)據(jù)生產(chǎn)。

在本公開的一種示例性實施例中，通過目標數(shù)據(jù)庫中的目標數(shù)據(jù)表的定義，確定所述源數(shù)據(jù)庫中各數(shù)據(jù)表之間的字段關(guān)系的集合包括：通過所述源數(shù)據(jù)庫中各數(shù)據(jù)表與所述目標數(shù)據(jù)庫中各目標數(shù)據(jù)表之間的關(guān)聯(lián)關(guān)系，確定所述源數(shù)據(jù)庫中各數(shù)據(jù)表之間的字段關(guān)系的集合。

在本公開的一種示例性實施例中，所述源數(shù)據(jù)庫中的數(shù)據(jù)表包括第一類型表和第二類型表。

在本公開的一種示例性實施例中，按照所述集合中的所述字段關(guān)系對所述源數(shù)據(jù)庫中的數(shù)據(jù)表進行關(guān)聯(lián)，并對關(guān)聯(lián)后的數(shù)據(jù)表進行抽樣得到樣本數(shù)據(jù)包括：對于所述第一類型表，抽取所述第一類型表中的所有數(shù)據(jù)作為樣本數(shù)據(jù)。

在本公開的一種示例性實施例中，按照所述集合中的所述字段關(guān)系對所述源數(shù)據(jù)庫中的數(shù)據(jù)表進行關(guān)聯(lián)，并對關(guān)聯(lián)后的數(shù)據(jù)表進行抽樣得到樣本數(shù)據(jù)包括：對于所述第二類型表，根據(jù)所述字段關(guān)系構(gòu)建關(guān)聯(lián)關(guān)系樹；依次按照所述關(guān)聯(lián)關(guān)系樹中的各個節(jié)點對所有第二類型表進行抽樣，以得到所述樣本數(shù)據(jù)。

在本公開的一種示例性實施例中，根據(jù)所述字段關(guān)系構(gòu)建關(guān)聯(lián)關(guān)系樹包括：將所有包含預(yù)設(shè)字段的第二類型表作為起始表，并根據(jù)所述起始表與剩余的第二類型表之間的字段關(guān)系構(gòu)建所述關(guān)聯(lián)關(guān)系樹。

在本公開的一種示例性實施例中，依次按照所述關(guān)聯(lián)關(guān)系樹中的各個節(jié)點對所有第二類型表進行抽樣包括：按照所述關(guān)聯(lián)關(guān)系樹中的各個節(jié)點，對所有包含所述預(yù)設(shè)字段的所述第二類型表進行抽樣，得到所述樣本數(shù)據(jù)。