[發明專利]一種大數據展示以及敏捷開發部署方法

有效

• 申請號: 202011483166.5
• 申請日: 2020-12-16
• 公開（公告）號: CN112241406B
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 裴芳;白文娟
• 申請（專利權）人: 武漢凡松科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/26;G06F8/20;G06F8/36
• 代理公司: 武漢誠儒知識產權代理事務所(普通合伙) 42265
• 代理人: 邱琳

本發明提供了大數據展示以及敏捷開發部署方法，包括獲取數據、利用大數據總線處理數據、自定義模板新建項目、擴展組件實現數據展示、畫面縮放模塊實現顯示設備適配和一鍵部署過程。本發明提供的一種大數據展示以及敏捷開發部署方法，能夠基于已有的大數據平臺和中間件的開發，將已有的數據或者外部接入的數據進行存儲和聚合以及能對已有的數據進行分析，得出對業務支撐的一些數據指標，且前端展示便捷易用，方便技術人員快速實現想要的效果。

技術領域

本發明涉及一種大數據展示以及敏捷開發部署方法，屬于大數據研發領域。

背景技術

隨著電子信息科學的進步，軟硬件技術在發生翻天覆地的變化，數據方面的技術和應用也在不斷深化，從最早的數據應用、數據存儲到現在的數據分析、數據管理、數據統計、數據整合、數據挖掘等，可是數據并不是準確和規范的，這樣的數據會造成資源浪費、決策失誤等損失，故很多大數據分析應用都因為數據質量不高而宣告失敗。大數據研發對開發者技術要求高，研發人員稀缺，研發一款實用產品速度慢，展示效果不理想，研發成本高，風險大不可控。

發明內容

為了解決現有技術的不足，本發明提供了一種大數據展示以及敏捷開發部署方法，能夠基于已有的大數據平臺和中間件的開發，將已有的數據或者外部接入的數據進行存儲和聚合以及能對已有的數據進行分析，得出對業務支撐的一些數據指標，且前端展示便捷易用，方便技術人員快速實現想要的效果。

本發明為解決其技術問題所采用的技術方案是：提供了一種大數據展示以及敏捷開發部署方法，包括以下步驟：

（1）利用統一的api接口從內網數據源和公網數據源獲取數據；

（2）利用大數據總線將獲取的數據進行封裝和輸出；

（3）利用自定義模板建立新項目，實現對封裝后的數據進行后續處理對接；

（4）利用擴展圖表組件和功能組件調整封裝后的數據展示形式；

（5）利用畫面縮放模塊對封裝后的數據界面進行調整，以適配當前顯示設備；

（6）針對不同環境配置不同參數的腳本，實現一鍵部署。

步驟（2）利用大數據總線將獲取的數據進行封裝和輸出，具體包括以下處理過程：

a、檢查數據一致性：檢查關聯數據之間的邏輯關系是否正確和完整；

b、數據清洗：針對數據一致性的規范處理不符合一致性的數據，對數據類型、數據格式、數據長度和數據來源進行約束；

c、指定數據的責任主體：對每個數據分配標準的所有者、管理人員和使用部門；

d、數據聚合：根據數據規模、數據使用頻率、數據使用特性和數據服務時效將數據進行分類存儲；然后對數據進行維度評估和及時的數據質量檢測和規范治理；

e、數據安全保障：除去直接的業務支撐數據，其他沉淀的數據按照業務線進行分層存儲和對外封裝，對于來自不同域的數據進行聚合后生成的數據寬表通過獲取字段的方式授權處理；建立任務校驗流程，設置任務數量閾值和循環調度機制；利用數倉確定重要指標的主表，建立各個指標的閾值范圍并基于閾值范圍監控數據波動；

f、數據賦能：完成業務規則的數據支撐，實現對接業務；為不同業務線抽象出共性的指標，建立復用模型；將完善且已被驗證過的數據封裝成接口，對外開放；

g、數據接口處理：建立第三方開源接口，對數據進行可視化處理。

檢查數據一致性具體包括以下內容的一次性：

嚴格一致性：讀出的數據始終為最近寫入的數據；

順序一致性：所有使用者以同樣的順序看到對同一數據的操作；