[發(fā)明專利]一種數(shù)據(jù)分析方法、裝置和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911088890.5
• 申請(qǐng)日: 2019-11-08
• 公開（公告）號(hào): CN112783874A
• 公開（公告）日: 2021-05-11
• 發(fā)明（設(shè)計(jì)）人: 李偉進(jìn);侯會(huì)滿
• 申請(qǐng)（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/2458;G06F16/25;G06F16/332;G06F16/35;G06F40/289
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 李陽(yáng);趙迪

1.一種數(shù)據(jù)分析方法，其特征在于，包括：

獲取預(yù)先為數(shù)據(jù)分析任務(wù)編寫的業(yè)務(wù)邏輯腳本；其中，所述業(yè)務(wù)邏輯腳本包括數(shù)據(jù)源參數(shù)信息和業(yè)務(wù)邏輯代碼；

執(zhí)行所述業(yè)務(wù)邏輯代碼的數(shù)據(jù)提取邏輯，以從所述數(shù)據(jù)源參數(shù)信息指定的數(shù)據(jù)源中獲取業(yè)務(wù)數(shù)據(jù)；

執(zhí)行所述業(yè)務(wù)邏輯代碼的數(shù)據(jù)處理邏輯，以調(diào)用所述數(shù)據(jù)處理邏輯中設(shè)定的計(jì)算器集，對(duì)所述業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)加工處理。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)源參數(shù)信息包括數(shù)據(jù)源參數(shù)元組，所述數(shù)據(jù)源參數(shù)元組包括數(shù)據(jù)源基本信息和數(shù)據(jù)讀取指令；

從所述數(shù)據(jù)源參數(shù)信息指定的數(shù)據(jù)源中獲取業(yè)務(wù)數(shù)據(jù)，包括：

根據(jù)所述數(shù)據(jù)源基本信息，與對(duì)應(yīng)的數(shù)據(jù)源建立連接；

執(zhí)行所述數(shù)據(jù)讀取指令，以從所述數(shù)據(jù)源中獲取業(yè)務(wù)數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述計(jì)算器集中包括用于數(shù)據(jù)加工處理的單一職責(zé)的計(jì)算器，所述計(jì)算器將所述業(yè)務(wù)數(shù)據(jù)或者所述業(yè)務(wù)數(shù)據(jù)的加工處理結(jié)果作為入?yún)ⅲ瑢?duì)所述入?yún)⑦M(jìn)行加工處理后，返回所述入?yún)⒌募庸ぬ幚斫Y(jié)果。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述數(shù)據(jù)分析任務(wù)為物品問答數(shù)據(jù)的聚類任務(wù)，所述業(yè)務(wù)數(shù)據(jù)為所述物品問答數(shù)據(jù)，所述計(jì)算器集包括分詞計(jì)算器、相似度計(jì)算器和聚類計(jì)算器；

調(diào)用所述數(shù)據(jù)處理邏輯中設(shè)定的計(jì)算器集，對(duì)所述業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)加工處理，包括：

調(diào)用所述分詞計(jì)算器，對(duì)所述物品問答數(shù)據(jù)進(jìn)行分詞，得到分詞結(jié)果；

調(diào)用所述相似度計(jì)算器，對(duì)所述分詞結(jié)果中同一物品的分詞記錄進(jìn)行相似度計(jì)算，得到相似度計(jì)算結(jié)果；

調(diào)用所述聚類計(jì)算器，以基于所述相似度計(jì)算結(jié)果，對(duì)所述物品問答數(shù)據(jù)進(jìn)行聚類。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)源參數(shù)信息包括參數(shù)標(biāo)識(shí)；

從所述數(shù)據(jù)源參數(shù)信息指定的數(shù)據(jù)源中獲取業(yè)務(wù)數(shù)據(jù)，包括：

根據(jù)所述參數(shù)標(biāo)識(shí)，獲取對(duì)應(yīng)的數(shù)據(jù)源參數(shù)元組；其中，所述數(shù)據(jù)源參數(shù)元組包括數(shù)據(jù)源基本信息和數(shù)據(jù)讀取指令；

根據(jù)所述數(shù)據(jù)源基本信息，與對(duì)應(yīng)的數(shù)據(jù)源建立連接；

執(zhí)行所述數(shù)據(jù)讀取指令，以從所述數(shù)據(jù)源中獲取業(yè)務(wù)數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法還包括：

接收數(shù)據(jù)源配置信息，為所述數(shù)據(jù)源配置信息的數(shù)據(jù)源參數(shù)元組生成對(duì)應(yīng)的參數(shù)標(biāo)識(shí)；其中，所述數(shù)據(jù)源配置信息包括數(shù)據(jù)源類型和所述數(shù)據(jù)源類型對(duì)應(yīng)的數(shù)據(jù)源參數(shù)元組。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述業(yè)務(wù)數(shù)據(jù)包括存量數(shù)據(jù)和/或增量數(shù)據(jù)，所述增量數(shù)據(jù)通過訂閱業(yè)務(wù)系統(tǒng)的消息隊(duì)列的方式，存儲(chǔ)到數(shù)據(jù)源組件。

8.一種數(shù)據(jù)分析裝置，其特征在于，包括：

腳本獲取模塊，用于獲取預(yù)先為數(shù)據(jù)分析任務(wù)編寫的業(yè)務(wù)邏輯腳本；其中，所述業(yè)務(wù)邏輯腳本包括數(shù)據(jù)源參數(shù)信息和業(yè)務(wù)邏輯代碼；

數(shù)據(jù)獲取模塊，用于執(zhí)行所述業(yè)務(wù)邏輯代碼的數(shù)據(jù)提取邏輯，以從所述數(shù)據(jù)源參數(shù)信息指定的數(shù)據(jù)源中獲取業(yè)務(wù)數(shù)據(jù)；

數(shù)據(jù)處理模塊，用于執(zhí)行所述業(yè)務(wù)邏輯代碼的數(shù)據(jù)處理邏輯，以調(diào)用所述數(shù)據(jù)處理邏輯中設(shè)定的計(jì)算器集，對(duì)所述業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)加工處理。

9.一種數(shù)據(jù)分析系統(tǒng)，其特征在于，包括：

管理后臺(tái)，用于將為數(shù)據(jù)分析任務(wù)編寫的業(yè)務(wù)邏輯腳本發(fā)送至組裝器組件；其中，所述業(yè)務(wù)邏輯腳本包括數(shù)據(jù)源參數(shù)信息和業(yè)務(wù)邏輯代碼；

所述組裝器組件，用于執(zhí)行所述業(yè)務(wù)邏輯代碼的數(shù)據(jù)提取邏輯，以發(fā)送數(shù)據(jù)獲取請(qǐng)求至數(shù)據(jù)源組件；還用于執(zhí)行所述業(yè)務(wù)邏輯代碼的數(shù)據(jù)處理邏輯，以發(fā)送計(jì)算器調(diào)用請(qǐng)求至計(jì)算器組件；

所述數(shù)據(jù)源組件，用于接收所述數(shù)據(jù)獲取請(qǐng)求，從所述數(shù)據(jù)獲取請(qǐng)求指定的數(shù)據(jù)源中獲取業(yè)務(wù)數(shù)據(jù)，將所述業(yè)務(wù)數(shù)據(jù)發(fā)送至所述組裝器組件；

所述計(jì)算器組件，用于接收所述計(jì)算器調(diào)用請(qǐng)求，調(diào)用所述計(jì)算器調(diào)用請(qǐng)求中指定的計(jì)算器集，對(duì)所述業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)加工處理。