[發(fā)明專利]多表拼接方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110667383.8
• 申請(qǐng)日: 2021-06-16
• 公開（公告）號(hào): CN113312890A
• 公開（公告）日: 2021-08-27
• 發(fā)明（設(shè)計(jì)）人: 周浩;羅遠(yuǎn)飛;涂威威
• 申請(qǐng)（專利權(quán)）人: 第四范式（北京）技術(shù)有限公司
• 主分類號(hào): G06F40/18
• 分類號(hào): G06F40/18
• 代理公司: 北京墨丘知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11878
• 代理人: 代峰;谷軼楠

本申請(qǐng)公開了一種多表拼接方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。其中，該方法包括：基于關(guān)系數(shù)據(jù)表集合構(gòu)建本體視圖；其中，關(guān)系數(shù)據(jù)表集合包括主表和至少一個(gè)副表，本體視圖中的每個(gè)節(jié)點(diǎn)代表一個(gè)數(shù)據(jù)表，兩個(gè)節(jié)點(diǎn)之間的邊代表兩個(gè)表之間的關(guān)系；基于本體視圖獲取每個(gè)副表節(jié)點(diǎn)到主表節(jié)點(diǎn)的元路徑；其中，每條元路徑中的相鄰兩節(jié)點(diǎn)之間的連接關(guān)系包括對(duì)應(yīng)兩表之間的關(guān)系和拼表操作符；基于每個(gè)元路徑，將對(duì)應(yīng)副表中的特征數(shù)據(jù)拼接到主表中；每個(gè)元路徑中的中間節(jié)點(diǎn)只充當(dāng)傳遞節(jié)點(diǎn)，其對(duì)應(yīng)數(shù)據(jù)表的特征數(shù)據(jù)不通過(guò)該元路徑傳遞到主表。本申請(qǐng)使用元路徑實(shí)現(xiàn)關(guān)系型數(shù)據(jù)庫(kù)中的多表拼表，可以靈活有效地控制多表特征空間，直觀高效地完成了多表特征的聚合。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人工智能技術(shù)領(lǐng)域，具體涉及一種多表拼接方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

多表數(shù)據(jù)是企業(yè)應(yīng)用中常用數(shù)據(jù)類型，通常企業(yè)會(huì)將與應(yīng)用有關(guān)的全部數(shù)據(jù)通過(guò)關(guān)系數(shù)據(jù)表集合來(lái)采集和管理，關(guān)系數(shù)據(jù)表集合中的多個(gè)數(shù)據(jù)表一般按照數(shù)據(jù)在現(xiàn)實(shí)中的關(guān)系來(lái)組織和關(guān)聯(lián)。關(guān)系數(shù)據(jù)表集合是一種大而全的數(shù)據(jù)管理方式，雖然可以實(shí)現(xiàn)最廣泛的支持，但顯然對(duì)一些特定應(yīng)用來(lái)說(shuō)又顯得過(guò)于復(fù)雜和冗余。典型地，對(duì)于人工智能模型的機(jī)器學(xué)習(xí)任務(wù)來(lái)說(shuō)，由于機(jī)器學(xué)習(xí)算法只能從給定的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)，訓(xùn)練中使用的特征的選擇有時(shí)比模型的選擇更重要，所以要優(yōu)化機(jī)器學(xué)習(xí)任務(wù)通常需要構(gòu)造一個(gè)和任務(wù)相關(guān)的特征。

特征構(gòu)造也稱為特征工程(FeatureEngineering)，是從現(xiàn)有數(shù)據(jù)集合中構(gòu)造與任務(wù)密切相關(guān)的新特征從而訓(xùn)練機(jī)器學(xué)習(xí)模型的過(guò)程。一般情況下，特征工程都需要從現(xiàn)有的數(shù)據(jù)集合中構(gòu)造額外特征，構(gòu)造過(guò)程中使用的特征數(shù)據(jù)通常分布在多張相關(guān)的數(shù)據(jù)表中，需要從多個(gè)數(shù)據(jù)表中提取相關(guān)信息并存入單張數(shù)據(jù)表中，然后該單張數(shù)據(jù)表可直接用來(lái)訓(xùn)練機(jī)器學(xué)習(xí)模型。其中，多表特征的最優(yōu)選取對(duì)于機(jī)器學(xué)習(xí)任務(wù)至關(guān)重要，過(guò)多無(wú)關(guān)項(xiàng)或錯(cuò)漏都有可能影響模型的訓(xùn)練效果，甚至導(dǎo)致模型識(shí)別/預(yù)測(cè)能力出現(xiàn)嚴(yán)重偏差。但同時(shí)又需要控制多表特征空間的大小，避免太大的特征空間造成大量資源消耗和太長(zhǎng)的計(jì)算時(shí)間，或避免太小的特征空間嚴(yán)重限制模型的效果。

現(xiàn)有技術(shù)中，Python庫(kù)中的FeatureTools工具提出了深度特征合成(DeepFeatureSynthesis，DFS)方法來(lái)進(jìn)行多表特征生成，如圖1所示，DFS方法中，數(shù)據(jù)表所對(duì)應(yīng)的實(shí)體(圖1中Entity)之間的連接關(guān)系分為前向(forward)關(guān)系和后向(backward)關(guān)系，基于深度優(yōu)先原則進(jìn)行多表拼接。

然而，在實(shí)現(xiàn)本申請(qǐng)實(shí)施例相關(guān)技術(shù)方案的過(guò)程中發(fā)明人發(fā)現(xiàn)，現(xiàn)有技術(shù)至少存在以下問(wèn)題：一方面，DFS方法中前后向關(guān)系分別對(duì)應(yīng)數(shù)據(jù)庫(kù)理論中的1-M(一對(duì)多)和M-1(多對(duì)一)關(guān)系，缺少企業(yè)應(yīng)用中常見的1-1(一對(duì)一)和M-M(多對(duì)多)關(guān)系的表示，因此其對(duì)企業(yè)應(yīng)用場(chǎng)景的支持較弱。另一方面，DFS方法基于深度優(yōu)先，實(shí)現(xiàn)過(guò)程對(duì)用戶來(lái)說(shuō)并不直觀，需要根據(jù)其深度優(yōu)先過(guò)程構(gòu)造一個(gè)展開樹才能了解具體特征生成情況，因而用戶無(wú)法有效控制特征生成過(guò)程和特征空間的大小，特征工程的自由度和實(shí)際效果均受到明顯限制。此外，DFS方法中每條聚合路徑上的聚合函數(shù)都會(huì)被經(jīng)過(guò)該路徑的特征共享，用戶無(wú)法有效地針對(duì)特征的來(lái)源分配不同的聚合函數(shù)，這進(jìn)一步加大了用戶對(duì)特征空間控制的難度。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的上述技術(shù)問(wèn)題，本申請(qǐng)實(shí)施例提出了一種多表拼接方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)中多表拼接方案難以控制的問(wèn)題。

本申請(qǐng)實(shí)施例的第一方面提供了一種多表拼接方法，包括：

基于關(guān)系數(shù)據(jù)表集合構(gòu)建本體視圖；其中，所述關(guān)系數(shù)據(jù)表集合包括一個(gè)主數(shù)據(jù)表和至少一個(gè)副數(shù)據(jù)表，所述本體視圖中的每個(gè)節(jié)點(diǎn)代表一個(gè)數(shù)據(jù)表，所述本體視圖中兩個(gè)節(jié)點(diǎn)之間的關(guān)系邊代表對(duì)應(yīng)兩個(gè)數(shù)據(jù)表之間的關(guān)系；

基于所述本體視圖，獲取每個(gè)副數(shù)據(jù)表節(jié)點(diǎn)到主數(shù)據(jù)表節(jié)點(diǎn)的元路徑；其中，每條元路徑中的相鄰兩個(gè)節(jié)點(diǎn)之間的連接關(guān)系包括對(duì)應(yīng)兩個(gè)數(shù)據(jù)表之間的關(guān)系和拼表操作符；