[發(fā)明專利]基于配置方式建立大數(shù)據(jù)分析模型的方法

在審

• 申請?zhí)枺?/td>: 202110526066.4
• 申請日: 2021-05-14
• 公開（公告）號: CN113157749A
• 公開（公告）日: 2021-07-23
• 發(fā)明（設(shè)計(jì)）人: 鄭榮華;蔡鵬祥
• 申請（專利權(quán)）人: 畫壁科技（成都）有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/242;G06F16/22
• 代理公司: 成都天嘉專利事務(wù)所(普通合伙) 51211
• 代理人: 鄧小兵

1.基于配置方式建立大數(shù)據(jù)分析模型的方法，其特征在于包括以下步驟：

步驟1：準(zhǔn)備模型配置表，在模型配置表中填入若干具有唯一ID的模型名稱，并為每個(gè)模型配置信息；

步驟2：在模型配置表中篩選需要的模型，在篩選的同時(shí)記錄當(dāng)前時(shí)間作為執(zhí)行當(dāng)次篩選模型的分批標(biāo)志，對篩選出來的模型進(jìn)行排序，得到待執(zhí)行模型列表；

步驟3：依次為待執(zhí)行模型列表中的每個(gè)模型創(chuàng)建模型表，每創(chuàng)建一個(gè)模型表后，通過配置的信息連接其它數(shù)據(jù)庫，獲取其它數(shù)據(jù)庫中的數(shù)據(jù)并插入該模型表中，待最后一個(gè)模型表的數(shù)據(jù)插入完成后，實(shí)現(xiàn)大數(shù)據(jù)分析模型的建立。

2.根據(jù)權(quán)利要求1所述的基于配置方式建立大數(shù)據(jù)分析模型的方法，其特征在于：步驟1中，模型配置表中為每個(gè)模型設(shè)置了包括但不限于如下選項(xiàng)：

數(shù)據(jù)庫類型、數(shù)據(jù)庫連接、模型分類、源主表、維度列組、度量值列組、FromSql、固定條件、分組SQL、增量字段、模型增量字段、增量單位、增量提前值、分批長度、分批單位、起始值、終止值和順序；

所述的為每個(gè)模型配置信息指為每個(gè)模型對應(yīng)的選項(xiàng)配置相應(yīng)的信息。

3.根據(jù)權(quán)利要求2所述的基于配置方式建立大數(shù)據(jù)分析模型的方法，其特征在于：步驟2中，在模型配置表中根據(jù)模型分類選項(xiàng)篩選需要的模型，并根據(jù)順序選項(xiàng)對篩選出來的模型進(jìn)行排序。

4.根據(jù)權(quán)利要求2所述的基于配置方式建立大數(shù)據(jù)分析模型的方法，其特征在于：步驟3中，根據(jù)數(shù)據(jù)庫類型、數(shù)據(jù)庫連接、維度列組、度量值列組、FromSql和分組SQL依次為待執(zhí)行模型列表中的每個(gè)模型創(chuàng)建模型表。

5.根據(jù)權(quán)利要求3或4所述的基于配置方式建立大數(shù)據(jù)分析模型的方法，其特征在于：步驟3中，為每個(gè)模型創(chuàng)建模型表的具體過程為：

步驟S1：先根據(jù)分批標(biāo)志和唯一ID查詢出數(shù)據(jù)庫類型、數(shù)據(jù)庫連接、維度列組、度量值列組、FromSql和分組SQL，判斷是否存在已有模型表，若不存在已有模型表，則根據(jù)數(shù)據(jù)庫類型、數(shù)據(jù)庫連接、維度列組、度量值列組、FromSql和分組SQL創(chuàng)建模型表；若存在已有模型表，則轉(zhuǎn)入S2；

步驟S2：根據(jù)數(shù)據(jù)庫類型、數(shù)據(jù)庫連接、維度列組、度量值列組、FromSql和分組SQL創(chuàng)建新模型表；

步驟S3：判斷新模型表與已有模型表的結(jié)構(gòu)是否一致，若一致，則刪除新模型表；若不一致，則刪除已有模型表，并將新模型表作為創(chuàng)建的模型表。

6.根據(jù)權(quán)利要求5所述的基于配置方式建立大數(shù)據(jù)分析模型的方法，其特征在于：步驟3中，向模型表中插入數(shù)據(jù)的具體過程為：

步驟S（1）：根據(jù)與待插入數(shù)據(jù)的模型表相對應(yīng)模型的唯一ID從模型配置表中查詢出如下選項(xiàng)：

模型名稱、源主表、維度列組、度量值列組、FromSql、固定條件、分組SQL、增量字段、模型增量字段、增量單位、增量提前值、分批長度、分批單位、起始值、終止值；

步驟S（2）：判斷模型表中數(shù)據(jù)是否小于10，小于10則為真，強(qiáng)制重新抽取設(shè)為1；

步驟S（3）：判斷模型增量字段是否有值，沒有值則強(qiáng)制重新抽取設(shè)為1；

步驟S（4）：判斷強(qiáng)制重新抽取是否等于1，為假則執(zhí)行配置模型增量生成；為真則判斷分批長度是否為空，不為空則執(zhí)行配置模型分批生成，為空則執(zhí)行配置模型條件生成，完成模型表數(shù)據(jù)的插入。

7.根據(jù)權(quán)利要求6所述的基于配置方式建立大數(shù)據(jù)分析模型的方法，其特征在于：所述的配置模型條件生成的具體過程為：

傳入分批標(biāo)志、模型名稱、維度列組、度量值列組、FromSql、固定條件和分組SQL：根據(jù)固定條件生成并執(zhí)行插入模型表語句，記錄執(zhí)行結(jié)果，完成配置模型條件生成。