[發明專利]一種海量數據源智能識別系統

在審

• 申請號: 201811326910.3
• 申請日: 2018-11-08
• 公開（公告）號: CN111159174A
• 公開（公告）日: 2020-05-15
• 發明（設計）人: 陳肖
• 申請（專利權）人: 北京航天長峰科技工業集團有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/215;G06F16/25
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供一種海量數據源智能識別系統，包括數據接入子系統、資源管理子系統、資源分析子系統、表及信息項管理子系統、接口資源子系統，通過數據獲取、數據清洗等為實現后續的數據分析及數據應用、數據決策分析提供了保障，滿足的了當前對海量數據分析的基礎要求。各子系統可單獨部署在獨立的服務器上，也可部署在同一服務器上，系統可進行多級擴展，部署后的軟件需進行簡單的轉發地址、數據庫地址和相應路徑的配置，并需要保證客戶端軟件的運行環境已安裝Java虛擬機相應的數據庫軟件環境。

技術領域

本發明屬于數據挖掘與數據分析技術領域，具體涉及一種海量數據源的智能識別系統。

背景技術

無論是人工智能、虛擬現實，還是自動駕駛等高新技術，其背后的原動力都來自對數據的深刻理解和應用。比如說擊敗世界圍棋冠軍的Alphago，其背后是機器深度學習了超兩億的圍棋棋譜數據，而谷歌也是建立了涵蓋幾十億音頻的數據庫來做語音識別。另外，移動互聯網時代數字化進程加快，“數據”包含的信息量增大，維度變廣，從圖像、聲音等富媒體數據，逐漸過渡到人的動作、姿態、行為軌跡，再加上地理位置、天氣、社會群體行為等等，以往對數據的處理已經難以滿足“數據”本身發展的速度。

發明內容

本發明的目的在于提供一種海量數據源智能識別系統，自動獲取網絡上的海量數據，并根據數據特征，智能識別數據的源頭類型。

本發明的技術方案如下：

一種海量數據源智能識別系統，其特征在于，包括數據接入子系統、資源管理子系統、資源分析子系統、表及信息項管理子系統、接口資源子系統，其中：

(1)數據接入子系統：是在整個通信網內部接入設備之間建立起的一套有效的流程管理交互平臺，以便理順不同部門以及部門上下級之間的協作關系，規范和優化工作流程，實現電路開通業務的流程化、自動化和規范化,提高開通接入業務的工作效率；

(2)資源管理子系統：主要是設計數據模型與相應的服務；數據模型的設計需要確定對象、對象類屬性的內容、消息連接的方式、系統訪問和數據模型的方法等；相應的服務主要是指設計類、對象的存儲服務，使對象知道如何存儲自己，在問題域子系統和數據管理子系統中建立一座必要的橋梁；

(3)資源分析子系統：在資源存儲的基礎上，對海量的數據進行相關性分析，如都是18位的數據，我們猜想這一列數據為身份證號信息，依次可以找到資源的每一列屬性值，并構建出資源所屬的表，再由多個相關聯的表構建出合適的數據庫；

(4)表及信息項管理子系統：經過數據接入匯聚到原始庫中的各單位的數據，由于來源不同、類型多樣、傳輸處理過程繁長，以及數據源本身數據的多樣性，需要在數據存儲到原始庫后對數據的規范性、準確性、一致性和完整性進行校驗，經過數據校驗，對不符合校驗規則的問題數據列入問題數據庫，并將問題數據通過接入平臺的問題反饋通道反饋給各單位；

(5)接口服務子系統：接口服務子系統作為中間服務系統，一方面要與各服務子系統進行對接，傳遞定時任務及一些控制指令,同時需要向客戶端軟件子系統提供腳本控件接口，實現用戶界面上的視頻調用及控制、歷史視頻回放等功能。

本發明通過數據獲取、數據清洗等為實現后續的數據分析及數據應用、數據決策分析提供了保障，滿足的了當前對海量數據分析的基礎要求。

具體實施方式

本發明由數據接入子系統、資源管理子系統、資源分析子系統、表及信息項管理子系統、接口資源子系統等五個子系統組成。各個功能子系統的主要作用如下：