[發明專利]一種海量數據集分析和展示的交互式系統及其方法

有效

• 申請號: 201910497725.9
• 申請日: 2019-06-10
• 公開（公告）號: CN110413765B
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 陳剛;張敬達;季蔡峰
• 申請（專利權）人: 中云開源數據技術（上海）有限公司
• 主分類號: G06F16/34
• 分類號: G06F16/34;G06F16/903;G06F16/38
• 代理公司: 上海元好知識產權代理有限公司 31323
• 代理人: 徐雯瓊;章麗娟

1.一種海量數據集分析和展示的交互式方法，其特征在于，該方法包含以下步驟：

S1、自動提取新加入數據集的元數據，其中，每個新加入數據集都含有對數據集描述的所述元數據；

S2、對所有的數據集的元數據進行匯總分析，將新加入數據集的元數據信息更新到原有數據集的概要信息中，形成更新后的所有數據集總體的概要信息；

S3、通過數據可視化方法在可視化展示界面上展示所有數據集總體的概要信息，得到數據集的可視化展示內容并供用戶查看、探索和獲取，用戶根據自身需求與數據集的可視化展示內容進行交互；

所述步驟S1中，數據集的元數據包含：數據集的來源信息、數據量、數據類別、數據內容標簽、數據集含有的字節數、數據集的數據行數、數據集的所屬領域與行業、數據集的數據類型、數據集的來源、數據集的存儲位置、數據集創建日期、數據集更新日期和數據集版本；

所述步驟S1中，通過字段匹配的方式或者文本正則匹配的方式完成所述元數據的自動提取；

所述步驟S2中，基于所有數據集的元數據的提取信息，通過描述性統計分析方法，形成可視化展示界面上展示的概要信息，所述概要信息包括自動提取的元數據信息或者由元數據信息計算出來的信息；每一個數據集導入適合海量數據存儲的HDFS文件系統時，自動將該數據集的元數據文檔拷貝到文檔數據庫MongoDB中；交互式框架系統定期檢查文檔數據庫MongoDB中元數據文檔，自動計算生產海量數據集的概要信息，以文件的形式保存；如果元數據文件有更新，則更新概要信息文件；

記錄用戶與數據集的展示界面的交互式操作過程，并根據用戶之前與展示界面的展示內容所交互的記錄而向其展示個性化的內容；

所述交互式操作過程是指用戶通過外部輸入設備與數據集的展示界面的互動操作；所述交互式操作過程包括拖拽動作；

用戶通過拖拽一數據集，用以改變可視化展示界面的外觀。

2.如權利要求1所述的海量數據集分析和展示的交互式方法，其特征在于，所述步驟S3中，所述數據可視化方法包括：直方圖可視化、條形圖可視化、柱狀圖可視化、數據矩陣可視化、熱圖可視化、折線圖可視化和地圖可視化。

3.如權利要求1所述的海量數據集分析和展示的交互式方法，其特征在于，所述步驟S3中，進一步包含：用戶注冊為交互式系統的用戶，并以注冊用戶身份登錄所述交互式系統，所述交互式系統記錄用戶與數據集的展示界面的交互式操作過程，并根據用戶之前與展示界面的展示內容所交互的記錄而向其展示個性化的內容，以提升用戶體驗。

4.如權利要求3所述的海量數據集分析和展示的交互式方法，其特征在于，所述交互式操作過程是指用戶通過包含鼠標、觸摸屏在內的外部輸入設備與數據集的展示界面的互動操作；

所述交互式操作過程包括鼠標鍵的點擊動作、拖拽動作以及光標在展示界面上的移動動作的各種記錄數據。

5.如權利要求1所述的海量數據集分析和展示的交互式方法，其特征在于，所述步驟S3中，用戶通過查看數據集的可視化展示內容進行探索性分析，用以定位自身期待選擇的數據集，并對選擇的數據集做進一步的操作；

其中，所述探索性分析包含：

通過移動光標，查看可視化展示內容中各個數據集的細節內容；

交互式系統根據光標所處位置，給出不同數據集的提示性內容；

用戶通過點擊鼠標用以標記數據集；

用戶通過點擊字段類別用以重新排列數據集；

用戶通過點擊數據集類別用以進入該類數據集展示頁面；

用戶通過拖拽一數據集，用以改變可視化展示界面的外觀；

所述進一步的操作包含：用戶下載數據集、分享數據集給其他用戶、評價數據集、收藏數據集和預覽數據集。

6.如權利要求5所述的海量數據集分析和展示的交互式方法，其特征在于，所述標記數據集是指用戶通過光標并結合鼠標點擊進行標記數據集或者通過其他外部設備的輸入方法來選擇數據集，其中，可視化展示界面上顯示有數據集的標記痕跡。

7.一種采用如權利要求1-6任意一項所述的交互式方法的海量數據集分析和展示的交互式系統，其特征在于，包含：

提取模塊，自動提取新加入數據集的元數據；

分析模塊，接收所述提取模塊發送的新加入數據集的元數據后，并對所有的數據集的元數據進行匯總分析，將新加入數據集的元數據信息更新到原有數據集的概要信息中，形成更新后的所有數據集總體的概要信息；

展示交互模塊，接收所述分析模塊傳送的所有數據集總體的概要信息，并通過數據可視化方法進行展示，得到數據集的可視化展示內容并供用戶查看、探索和獲取，用戶根據自身需求與數據集的可視化展示內容進行交互。