[發(fā)明專利]一種基礎(chǔ)庫(kù)數(shù)據(jù)標(biāo)簽分析系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010618687.0
• 申請(qǐng)日: 2020-07-01
• 公開（公告）號(hào): CN111752997A
• 公開（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 劉國(guó)梁
• 申請(qǐng)（專利權(quán)）人: 浪潮云信息技術(shù)股份公司
• 主分類號(hào): G06F16/2458
• 分類號(hào): G06F16/2458;G06F16/28
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 郗艷榮

1.一種基礎(chǔ)庫(kù)數(shù)據(jù)標(biāo)簽分析系統(tǒng)，其特征在于：包括場(chǎng)景歸納模塊，數(shù)據(jù)采集模塊，存儲(chǔ)模塊，標(biāo)簽分類器和任務(wù)執(zhí)行模塊；

所述場(chǎng)景歸納模塊用于明確業(yè)務(wù)主體，歸納相關(guān)個(gè)體的全部數(shù)據(jù)項(xiàng)，并將歸納信息錄入存儲(chǔ)模塊；

所述數(shù)據(jù)采集模塊用于連接各個(gè)數(shù)據(jù)集，并將各數(shù)據(jù)集的全部數(shù)據(jù)錄入存儲(chǔ)模塊，整合出一張包括業(yè)務(wù)主體全部信息項(xiàng)的大表；

所述存儲(chǔ)模塊用于存儲(chǔ)所有錄入系統(tǒng)的數(shù)據(jù)，并供系統(tǒng)隨時(shí)調(diào)用；

所述標(biāo)簽分類器用于根據(jù)標(biāo)記規(guī)則為數(shù)據(jù)項(xiàng)打標(biāo)簽，包括公式分類器，樣本標(biāo)記分類器和聚類分類器；

所述任務(wù)執(zhí)行模塊用于執(zhí)行打標(biāo)簽任務(wù)。

2.一種基礎(chǔ)庫(kù)數(shù)據(jù)標(biāo)簽分析方法，其特征在于，包括以下步驟：

第一步，業(yè)務(wù)場(chǎng)景梳理

將需要打數(shù)據(jù)標(biāo)簽的業(yè)務(wù)場(chǎng)景場(chǎng)景歸納梳理，明確一個(gè)業(yè)務(wù)主體以及業(yè)務(wù)主體的每個(gè)個(gè)體需要的全部數(shù)據(jù)項(xiàng)，并將歸納信息錄入系統(tǒng)維護(hù)；

第二步，數(shù)據(jù)采集與規(guī)整

確定全部數(shù)據(jù)項(xiàng)需要的數(shù)據(jù)集以及各個(gè)數(shù)據(jù)集之間的關(guān)聯(lián)關(guān)系，將全部數(shù)據(jù)項(xiàng)需要的數(shù)據(jù)集的全部數(shù)據(jù)通過數(shù)據(jù)采集模塊錄入系統(tǒng)，整合出一張包括業(yè)務(wù)主體全部信息項(xiàng)的大表；

大表的每條記錄為某唯一業(yè)務(wù)個(gè)體各個(gè)數(shù)據(jù)項(xiàng)信息，該記錄的各個(gè)數(shù)據(jù)項(xiàng)由來自多個(gè)數(shù)據(jù)集的數(shù)據(jù)依據(jù)其關(guān)聯(lián)關(guān)系組合而成；

第三步，整理打標(biāo)簽規(guī)則，根據(jù)需要選擇標(biāo)簽分類器

整理業(yè)務(wù)場(chǎng)景需要用到的所有標(biāo)簽值和符合各個(gè)標(biāo)簽值的規(guī)則，即每個(gè)數(shù)據(jù)項(xiàng)符合哪些條件可以標(biāo)記為某一標(biāo)簽值，根據(jù)實(shí)際情況選擇標(biāo)簽分類器為數(shù)據(jù)項(xiàng)打標(biāo)簽；

第四步，定義打標(biāo)簽任務(wù)

在系統(tǒng)中定義打標(biāo)簽任務(wù)，并將定義的打標(biāo)簽任務(wù)提交至任務(wù)執(zhí)行模塊進(jìn)行執(zhí)行；

第五步，基礎(chǔ)庫(kù)數(shù)據(jù)打標(biāo)簽后的各種應(yīng)用

標(biāo)簽功能應(yīng)用場(chǎng)景包括數(shù)據(jù)查詢，標(biāo)簽查詢，圖形化展示標(biāo)簽、數(shù)據(jù)之間的關(guān)系和新數(shù)據(jù)的標(biāo)簽值預(yù)測(cè)。

3.根據(jù)權(quán)利要求2所述的基礎(chǔ)庫(kù)數(shù)據(jù)標(biāo)簽分析方法，其特征在于：所述第二步中，由數(shù)據(jù)采集模塊處理數(shù)據(jù)庫(kù)異構(gòu)的問題，支持將各種數(shù)據(jù)庫(kù)中的數(shù)據(jù)導(dǎo)入大表；數(shù)據(jù)導(dǎo)入完成后，在大表中新增一列信息項(xiàng)，用于記錄該條數(shù)據(jù)的標(biāo)簽值。

4.根據(jù)權(quán)利要求2所述的基礎(chǔ)庫(kù)數(shù)據(jù)標(biāo)簽分析方法，其特征在于：所述第三步中，當(dāng)明確某個(gè)標(biāo)簽的計(jì)算規(guī)則，即一條記錄的各個(gè)數(shù)據(jù)項(xiàng)滿足某個(gè)計(jì)算公式條件即可確認(rèn)為某個(gè)對(duì)應(yīng)標(biāo)簽值時(shí)，將計(jì)算公式維護(hù)在公式分類器中，再對(duì)每一條記錄進(jìn)行計(jì)算，將其符合的數(shù)據(jù)標(biāo)簽值存儲(chǔ)在大表中該條記錄的標(biāo)簽值字段上；

當(dāng)已明確部分記錄的標(biāo)簽值，需要對(duì)剩余未打標(biāo)簽的數(shù)據(jù)參考明確標(biāo)簽值的記錄分類，打上標(biāo)簽值時(shí)，將已標(biāo)識(shí)標(biāo)簽值的數(shù)據(jù)導(dǎo)入樣本標(biāo)記分類器進(jìn)行模型訓(xùn)練，之后用訓(xùn)練好的樣本標(biāo)記分類器對(duì)剩余數(shù)據(jù)進(jìn)行打標(biāo)簽，將適合標(biāo)簽值存儲(chǔ)在大表中相應(yīng)記錄的標(biāo)簽值字段上；

當(dāng)既不能明確標(biāo)簽值，也沒有太明確標(biāo)準(zhǔn)時(shí)，使用聚類分類器對(duì)數(shù)據(jù)進(jìn)行分類，然后對(duì)分出的大類命名合適的標(biāo)簽值，并對(duì)屬于該大類的數(shù)據(jù)打上該標(biāo)簽，存儲(chǔ)在大表中的標(biāo)簽值字段上。

5.根據(jù)權(quán)利要求4所述的基礎(chǔ)庫(kù)數(shù)據(jù)標(biāo)簽分析方法，其特征在于：所述樣本標(biāo)記分類器支持通過交叉驗(yàn)證和/或新樣本訓(xùn)練方式不斷提升分類器的準(zhǔn)確度。

6.根據(jù)權(quán)利要求2所述的基礎(chǔ)庫(kù)數(shù)據(jù)標(biāo)簽分析方法，其特征在于：所述第四步中，定義打標(biāo)簽任務(wù)時(shí)，任務(wù)信息包括業(yè)務(wù)主體，大表的元數(shù)據(jù)信息，選擇使用的標(biāo)簽分類器，標(biāo)簽分類器的各項(xiàng)參數(shù)和任務(wù)重復(fù)執(zhí)行參數(shù)。

7.根據(jù)權(quán)利要求2或6所述的基礎(chǔ)庫(kù)數(shù)據(jù)標(biāo)簽分析方法，其特征在于：所述第四步中，任務(wù)執(zhí)行模塊可以部署多份實(shí)例，由調(diào)度器將大表中需要打標(biāo)簽的數(shù)據(jù)分批分發(fā)給各個(gè)執(zhí)行器，提高整個(gè)任務(wù)的執(zhí)行效率。

8.根據(jù)權(quán)利要求7所述的基礎(chǔ)庫(kù)數(shù)據(jù)標(biāo)簽分析方法，其特征在于：所述第四步中，打標(biāo)簽任務(wù)可以配置多種啟動(dòng)觸發(fā)方式，包括數(shù)據(jù)更新后自動(dòng)觸發(fā)，手動(dòng)觸發(fā)和定時(shí)觸發(fā)；

數(shù)據(jù)更新后，依據(jù)任務(wù)配置的重復(fù)執(zhí)行參數(shù)，重新執(zhí)行打標(biāo)簽任務(wù)，更新原記錄或新增記錄的標(biāo)簽值信息。

9.根據(jù)權(quán)利要求2所述的基礎(chǔ)庫(kù)數(shù)據(jù)標(biāo)簽分析方法，其特征在于：所述第五步中，數(shù)據(jù)查詢應(yīng)用是指搜索某一條數(shù)據(jù)，展示其所有標(biāo)簽信息；標(biāo)簽查詢應(yīng)用是指根據(jù)標(biāo)簽值搜索指定標(biāo)簽值的數(shù)據(jù)；圖形化展現(xiàn)標(biāo)簽、數(shù)據(jù)之間的關(guān)系應(yīng)用是指實(shí)現(xiàn)標(biāo)簽與業(yè)務(wù)主體及每個(gè)業(yè)務(wù)個(gè)體之間的多維度圖示直觀展現(xiàn)；新數(shù)據(jù)的標(biāo)簽值預(yù)測(cè)應(yīng)用是指新錄入數(shù)據(jù)，使用標(biāo)簽分類器，快速將其進(jìn)行分類和預(yù)測(cè)。