[發(fā)明專利]數(shù)據(jù)存儲(chǔ)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010916524.0
• 申請(qǐng)日: 2020-09-03
• 公開（公告）號(hào): CN111985194A
• 公開（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 唐應(yīng)泉
• 申請(qǐng)（專利權(quán)）人: 深圳壹賬通智能科技有限公司
• 主分類號(hào): G06F40/174
• 分類號(hào): G06F40/174;G06F16/22
• 代理公司: 深圳市沃德知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44347
• 代理人: 高杰;于志光

1.一種數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述方法包括：

獲取待存儲(chǔ)數(shù)據(jù)集及對(duì)應(yīng)的數(shù)據(jù)表集，對(duì)所述數(shù)據(jù)表集進(jìn)行主從表分類，得到主數(shù)據(jù)表集和從數(shù)據(jù)表集；

計(jì)算所述主數(shù)據(jù)表集中每一個(gè)主數(shù)據(jù)表的數(shù)據(jù)飽和度，選取數(shù)據(jù)飽和度大于預(yù)設(shè)閾值的主數(shù)據(jù)表，得到目標(biāo)主數(shù)據(jù)表集；

對(duì)所述目標(biāo)主數(shù)據(jù)表集中的目標(biāo)主數(shù)據(jù)表進(jìn)行合并，生成一個(gè)或多個(gè)主數(shù)據(jù)寬表；

對(duì)所述從數(shù)據(jù)表集中的從數(shù)據(jù)表進(jìn)行合并，生成一個(gè)或多個(gè)從數(shù)據(jù)寬表；

根據(jù)所述主數(shù)據(jù)寬表和從數(shù)據(jù)寬表，執(zhí)行所述待存儲(chǔ)數(shù)據(jù)集的數(shù)據(jù)存儲(chǔ)。

2.如權(quán)利要求1所述的數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述對(duì)所述數(shù)據(jù)表集進(jìn)行主從表分類，得到主數(shù)據(jù)表集和從數(shù)據(jù)表集，包括：

獲取所述數(shù)據(jù)表集中每一個(gè)數(shù)據(jù)表的所屬數(shù)據(jù)形態(tài)；

基于所述數(shù)據(jù)形態(tài)，識(shí)別出所述數(shù)據(jù)表集中數(shù)據(jù)表之間的關(guān)聯(lián)關(guān)系；

根據(jù)所述關(guān)聯(lián)關(guān)系，執(zhí)行所述數(shù)據(jù)表集的主從表劃分，生成所述主數(shù)據(jù)表集和所述從數(shù)據(jù)表集。

3.如權(quán)利要求1所述的數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述計(jì)算所述主數(shù)據(jù)表集中每一個(gè)主數(shù)據(jù)表的數(shù)據(jù)飽和度，包括：

獲取所述主數(shù)據(jù)表中所有的字段；

獲取每一個(gè)所述字段所包含的存儲(chǔ)數(shù)據(jù)集；

若識(shí)別出所述存儲(chǔ)數(shù)據(jù)集中存在非法存儲(chǔ)數(shù)據(jù)，則將所述非法存儲(chǔ)數(shù)據(jù)從所述存儲(chǔ)數(shù)據(jù)集中篩除；

利用預(yù)設(shè)飽和度計(jì)算公式計(jì)算所述存儲(chǔ)數(shù)據(jù)集的飽和度，得到對(duì)應(yīng)的字段飽和度，根據(jù)所述字段飽和度，計(jì)算對(duì)應(yīng)主數(shù)據(jù)表的數(shù)據(jù)飽和度。

4.如權(quán)利要求3所述的數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述預(yù)設(shè)飽和度計(jì)算公式包括：

P＝n/m*100％

其中，P表示存儲(chǔ)數(shù)據(jù)集的飽和度，n表示存儲(chǔ)數(shù)據(jù)集中存儲(chǔ)數(shù)據(jù)的數(shù)量，m表示主數(shù)據(jù)表中字段所包含存儲(chǔ)數(shù)據(jù)的總數(shù)量。

5.如權(quán)利要求1至4中任意一項(xiàng)所述的數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述對(duì)所述目標(biāo)主數(shù)據(jù)表集中的目標(biāo)主數(shù)據(jù)表進(jìn)行合并，包括：

獲取所述目標(biāo)主數(shù)據(jù)表集中每一個(gè)目標(biāo)主數(shù)據(jù)表所包含的字段數(shù)量，選取所述字段數(shù)量相加小于預(yù)設(shè)字段數(shù)量的目標(biāo)主數(shù)據(jù)表，對(duì)選取的所述目標(biāo)主數(shù)據(jù)表進(jìn)行合并。

6.如權(quán)利要求1所述的數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述對(duì)所述從數(shù)據(jù)表集中的從數(shù)據(jù)表進(jìn)行合并，得到從數(shù)據(jù)寬表集，包括：

從所述從數(shù)據(jù)表集中選取具有相同字段，且字段數(shù)量超過預(yù)設(shè)字段數(shù)量的從數(shù)據(jù)表；

根據(jù)選取的所述從數(shù)據(jù)表中的字段類型，配置從數(shù)據(jù)寬表，得到所述從數(shù)據(jù)寬表集。

7.如權(quán)利要求6所述的數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述根據(jù)選取的所述從數(shù)據(jù)表中的字段類型，配置從數(shù)據(jù)寬表，包括：

根據(jù)所述字段類型，對(duì)選取的所述從數(shù)據(jù)表中字段進(jìn)行并集處理，得到待配置的從數(shù)據(jù)表中所需字段數(shù)量，根據(jù)所述所需字段數(shù)量，執(zhí)行所述從數(shù)據(jù)表的配置。

8.一種數(shù)據(jù)存儲(chǔ)裝置，其特征在于，所述裝置包括：

分類模塊，用于獲取待存儲(chǔ)數(shù)據(jù)集及對(duì)應(yīng)的數(shù)據(jù)表集，對(duì)所述數(shù)據(jù)表集進(jìn)行主從表分類，得到主數(shù)據(jù)表集和從數(shù)據(jù)表集；

選取模塊，用于計(jì)算所述主數(shù)據(jù)表集中每一個(gè)主數(shù)據(jù)表的數(shù)據(jù)飽和度，選取數(shù)據(jù)飽和度大于預(yù)設(shè)閾值的主數(shù)據(jù)表，得到目標(biāo)主數(shù)據(jù)表集；

合并模塊，用于對(duì)所述目標(biāo)主數(shù)據(jù)表集中的目標(biāo)主數(shù)據(jù)表進(jìn)行合并，生成一個(gè)或多個(gè)主數(shù)據(jù)寬表；

所述合并模塊，還用于對(duì)所述從數(shù)據(jù)表集中的從數(shù)據(jù)表進(jìn)行合并，生成一個(gè)或多個(gè)從數(shù)據(jù)寬表；

存儲(chǔ)模塊，用于根據(jù)所述主數(shù)據(jù)寬表和從數(shù)據(jù)寬表，執(zhí)行所述待存儲(chǔ)數(shù)據(jù)集的數(shù)據(jù)存儲(chǔ)。

9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：

至少一個(gè)處理器；以及，

與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行如權(quán)利要求1至7中任意一項(xiàng)所述的數(shù)據(jù)存儲(chǔ)方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任意一項(xiàng)所述的數(shù)據(jù)存儲(chǔ)方法。