[發明專利]一種針對結構化與非結構化數據的服務封裝工具及方法

在審

• 申請號: 201710933410.5
• 申請日: 2017-10-09
• 公開（公告）號: CN107943817A
• 公開（公告）日: 2018-04-20
• 發明（設計）人: 童號;孫亭;李毅;丁杰;龔少麟;葉云
• 申請（專利權）人: 中國電子科技集團公司第二十八研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 北京中知法苑知識產權代理事務所(普通合伙)11226
• 代理人: 常玉明

技術領域

本發明涉及數據封裝技術，具體涉及一種針對結構化與非結構化數據的服務封裝工具及方法。

背景技術

隨著信息技術的不斷發展，人類已逐漸步入云計算及大數據時代，而伴隨著海量數據而來的就是各種不同格式、不同類型的數據的處理問題，我們通常將數據分為結構化及非結構化兩種，而在數據處理過程中，結構化數據往往僅占一小部分，據權威統計，一家企業產生的數據當中有85％是非結構化數據，而只有15％是結構化數據——而在過往的數十年當中，IT產業在數據處理方面的進展主要都是在結構化數據方面，而例如EMAIL、視頻及音頻文件以及PPT、照片、文檔等大量非結構化數據經常是游離于企業的決策環境之外的。

顯然，企業需要提高自己的信息管理水平，很重要的一點就是將非結構化數據的管理提升到與結構化數據相同的高度。調查顯示，大部分企業認為信息是分散、孤立的，將這些信息有效地連接在一起非常困難，很難依據這些信息做出有效決策。

一般而言，針對結構化或者非結構化數據的服務封裝，需要用戶針對數據手動實現相應程序代碼來完成定制化的開發，從而實現將數據以Json等格式或文件流的方式封裝成數據服務。這一傳統開發過程顯得相對繁瑣，在針對大量的數據庫服務封裝操作時尤為明顯，很大程度上限制了數據服務化的效率。為了解決上述問題，需要設計一種通用的面向各種數據類型的封裝工具，旨在方便快捷地完成數據的服務化封裝過程。

發明內容

針對現有技術存在的缺陷，本發明提供了一種針對結構化與非結構化數據的服務封裝方法及封裝工具，旨在規范數據封裝的過程，并提高數據封裝的效率。

為實現上述目的，本發明提供了一種針對結構化與非結構化數據的服務封裝方法，包括：

判斷目標數據為結構化數據還是非結構化數據；

對于結構化數據，連接對應的數據源，配置數據模型并為數據模型生成thrift服務接口開發包地址和訪問接口地址，完成數據封裝；

對于非結構化數據，將其上傳至服務器端，并生成非結構化數據的服務地址，完成數據封裝。

其中，連接對應的數據源包括：

通過用戶配置的數據庫參數建立數據庫連接，當連接通過后，生成相應的數據源并保存。

數據庫參數包括：

數據庫類型、數據庫名、數據庫IP地址、數據庫端口號、用戶名、密碼中的一種或多種。

其中，數據庫為Oracle、MySQL、達夢中的一種，建立數據庫連接為JDBC連接。

配置數據模型包括：

給予用戶數據操作權限；

根據用戶指令，對目標數據的表格或視圖進行操作，提取所需的字段并進行相關配置；

生成相應的數據模型。

對已創建的數據模型允許通過cpp.h框架代碼和java接口進行壓縮包下載。

所述結構化數據包括：能以JSON格式或二維表結構表示的數據；所述非結構化數據包括：各種格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息中的一種或多種。

生成非結構化數據的服務地址包括：將非結構化數據上傳后在服務器端的路徑地址作為非結構化數據的服務地址。

針對文件服務器端的內存、CPU、外存、文件數、文件讀寫速度各項指標進行監控，并通過Web頁面展現。

另外，本發明還提供了一種針對結構化與非結構化數據的服務封裝工具，所述工具包括：

判斷模塊，用于判斷目標數據為結構化數據還是非結構化數據；

結構化數據封裝模塊，用于完成結構化數據的封裝；

非結構化數據封裝模塊，用于完成非結構化數據封裝。

其中，結構化數據封裝模塊包括：

連接單元，用于實現結構化數據對應數據源的連接；

模型配置單元，用于根據用戶需求配置數據模型；

結構化數據地址生成單元，用于為數據模型生成開發包地址和訪問接口地址。

非結構化數據封裝模塊包括：

上傳單元，用于將非結構化數據上傳至服務器端；

非結構化數據地址生成單元，用于生成非結構化數據的服務地址，完成數據封裝。

連接單元還用于：通過用戶配置的數據庫參數建立數據庫連接，當連接通過后，生成相應的數據源并保存。

模型配置單元包括：

權限管理子單元，給予用戶數據操作權限；

配置子單元，根據用戶指令，對目標數據的表格或視圖進行操作，提取所需的字段并進行相關配置；