[發(fā)明專利]一種大數(shù)據(jù)協(xié)同分析工具平臺

在審

• 申請?zhí)枺?/td>: 201611227962.6
• 申請日: 2016-12-27
• 公開（公告）號: CN106649773A
• 公開（公告）日: 2017-05-10
• 發(fā)明（設(shè)計）人: 梁學(xué)東
• 申請（專利權(quán)）人: 北京大數(shù)有容科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京紐樂康知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11210
• 代理人: 王珂

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)分析技術(shù)領(lǐng)域，具體來說，涉及一種大數(shù)據(jù)協(xié)同分析工具平臺。

背景技術(shù)

現(xiàn)有大數(shù)據(jù)分析技術(shù)，涉及數(shù)據(jù)的從數(shù)據(jù)導(dǎo)入、數(shù)據(jù)存儲、數(shù)據(jù)檢索、數(shù)據(jù)分析、數(shù)據(jù)可視化的全流程大數(shù)據(jù)處理分析技術(shù)領(lǐng)域。隨著大數(shù)據(jù)技術(shù)近年不斷發(fā)展，也涌現(xiàn)了許多基于大數(shù)據(jù)的分析工具和分析平臺，但由于針對業(yè)務(wù)領(lǐng)域不同，各家產(chǎn)品專攻技術(shù)差異等因素，現(xiàn)有大數(shù)據(jù)分析工具、BI分析工具等，仍舊存在諸多問題和缺陷。

現(xiàn)有技術(shù)產(chǎn)品大多針對商企數(shù)據(jù)提供功能技術(shù)服務(wù)，面向行業(yè)研究、科研領(lǐng)域的數(shù)據(jù)分析產(chǎn)品匱乏，現(xiàn)有TDA(Thomson Data Analyzer)可以面向行研數(shù)據(jù)領(lǐng)域，但由于不是基于大數(shù)據(jù)技術(shù)的產(chǎn)品，在海量數(shù)據(jù)處理、大數(shù)據(jù)分析、大數(shù)據(jù)可視化等方面功能欠缺。且大多針對單一數(shù)據(jù)源或有限數(shù)據(jù)源作為處理對象進(jìn)行處理，不能兼容所有數(shù)據(jù)格式。大多支持?jǐn)?shù)據(jù)導(dǎo)入時的ETL數(shù)據(jù)清洗處理，缺乏對數(shù)據(jù)導(dǎo)入ETL處理完成后的，基于業(yè)務(wù)需求的數(shù)據(jù)定制化加工標(biāo)引標(biāo)注。且現(xiàn)有技術(shù)產(chǎn)品不支持團(tuán)隊(duì)協(xié)同協(xié)作的協(xié)同數(shù)據(jù)標(biāo)引和協(xié)同分析功能。只支持有限的分析算法和可視化圖表來進(jìn)行數(shù)據(jù)分析計算和展現(xiàn)數(shù)據(jù)分析結(jié)果，不支持算法包的定制化擴(kuò)展以及可視化圖表的模板化和插件化。

且現(xiàn)有技術(shù)產(chǎn)品的分析模式更適用于專業(yè)技術(shù)人員，不適用于真正有分析需求的業(yè)務(wù)人員，使用門檻高。且大多針對全流程的一個或幾個技術(shù)領(lǐng)域做數(shù)據(jù)服務(wù)，缺少針對全數(shù)據(jù)流程的工具產(chǎn)品和數(shù)據(jù)分析技術(shù)。

針對相關(guān)技術(shù)中的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種大數(shù)據(jù)協(xié)同分析工具平臺，能夠解決現(xiàn)有數(shù)據(jù)服務(wù)技術(shù)領(lǐng)域缺乏針對全數(shù)據(jù)流程的工具產(chǎn)品和數(shù)據(jù)分析技術(shù)的問題，填補(bǔ)了該領(lǐng)域缺乏一體化分析流程的空白。

本發(fā)明的目的通過以下技術(shù)方案來實(shí)現(xiàn)：

一種大數(shù)據(jù)協(xié)同分析平臺，包括：

多數(shù)據(jù)源配置模塊，用于實(shí)現(xiàn)任意數(shù)據(jù)的配置導(dǎo)入和爬取，建立容數(shù)據(jù)源配置XML腳本語言，或者通過容數(shù)據(jù)源配置XML腳本語言，實(shí)現(xiàn)各種數(shù)據(jù)源的編程配置和映射配置；

數(shù)據(jù)檢索模塊，用于對導(dǎo)入的數(shù)據(jù)建立全文分詞索引，提供主題檢索和條件檢索，支持海量數(shù)據(jù)的高速搜索引擎；

數(shù)據(jù)加工模塊，用于實(shí)現(xiàn)團(tuán)隊(duì)協(xié)同協(xié)作的協(xié)同數(shù)據(jù)標(biāo)引和協(xié)同分析功能，通過標(biāo)引樹技術(shù)，實(shí)現(xiàn)標(biāo)引內(nèi)容的統(tǒng)一協(xié)同管理和數(shù)據(jù)定制化標(biāo)引加工；

數(shù)據(jù)分析模塊，用于定制算法模板，分析算法自由選擇，量身定制數(shù)據(jù)建模和算法實(shí)現(xiàn)，通過算法包插件，提供專享專用算法包；

數(shù)據(jù)可視化模塊，用于實(shí)現(xiàn)分析結(jié)果的可視化展示和自動報表，包括動態(tài)可視化插件、執(zhí)行結(jié)果展示、執(zhí)行結(jié)果導(dǎo)出和自動報告生成。

進(jìn)一步的，所述多數(shù)據(jù)源配置模塊包括：

網(wǎng)頁爬取導(dǎo)入子模塊，用于實(shí)現(xiàn)爬取配置、爬取規(guī)則和爬取導(dǎo)入的一體化處理流程，使用自主研發(fā)網(wǎng)絡(luò)爬蟲技術(shù)，對指定網(wǎng)站、網(wǎng)頁進(jìn)行規(guī)則化數(shù)據(jù)爬取，爬取數(shù)據(jù)根據(jù)爬蟲導(dǎo)入配置器自動導(dǎo)入數(shù)據(jù)庫；

數(shù)據(jù)源配置器編輯子模塊，用于數(shù)據(jù)源配置器配置規(guī)則項(xiàng)的新建和編輯；

數(shù)據(jù)源配置器管理子模塊，用于各個數(shù)據(jù)源配置器的查詢和管理，包括配置器的摘要信息，詳細(xì)編輯入口和刪除功能；

數(shù)據(jù)導(dǎo)入歷史管理子模塊，用于針對當(dāng)前任務(wù)下的數(shù)據(jù)導(dǎo)入歷史信息列表查詢，包括數(shù)據(jù)的導(dǎo)入名稱、大小、時間、所用配置器和導(dǎo)入狀態(tài)；

數(shù)據(jù)導(dǎo)入執(zhí)行子模塊，用于選擇配置器和導(dǎo)入數(shù)據(jù)源執(zhí)行數(shù)據(jù)導(dǎo)入。

進(jìn)一步的，所述數(shù)據(jù)加工模塊包括：

數(shù)據(jù)協(xié)同標(biāo)引子模塊，用于實(shí)現(xiàn)數(shù)據(jù)標(biāo)引、加工和分析的多人團(tuán)隊(duì)協(xié)同

同步作業(yè)，提供在線、團(tuán)隊(duì)、實(shí)時、協(xié)作分析加工標(biāo)引功能，各成員標(biāo)引加工內(nèi)容實(shí)時同步呈現(xiàn)，通過顏色區(qū)分不同成員的加工標(biāo)引內(nèi)容并相互可見，實(shí)現(xiàn)團(tuán)隊(duì)標(biāo)引加工作業(yè)的操作實(shí)時協(xié)同、進(jìn)度清晰可見、內(nèi)容同步共享；

數(shù)據(jù)標(biāo)引樹管理子模塊，用于提供協(xié)同標(biāo)引加工時的標(biāo)引數(shù)據(jù)字典功能，實(shí)現(xiàn)標(biāo)引內(nèi)容的統(tǒng)一協(xié)同管理和數(shù)據(jù)定制化標(biāo)引加工；

標(biāo)引加工執(zhí)行子模塊，用于數(shù)據(jù)標(biāo)引、加工和分析的執(zhí)行；

標(biāo)引歷史管理子模塊，用于對標(biāo)引樹技術(shù)儲進(jìn)行管理，或者通過CSV(Comma-Separated Values，逗號分隔值)格式文件進(jìn)行導(dǎo)入導(dǎo)出管理，使標(biāo)引樹字典信息實(shí)現(xiàn)線上線下的映射導(dǎo)出和集中管理。

進(jìn)一步的，所述數(shù)據(jù)分析模塊包括：