[發明專利]非結構數據處理系統及其處理方法

在審

• 申請號: 201611130767.1
• 申請日: 2016-12-09
• 公開（公告）號: CN106649648A
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 華杰
• 申請（專利權）人: 無錫云匯科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F21/60
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種數據處理系統，具體為一種非結構數據處理系統及其處理方法。

背景技術

相對于結構數據(即行數據，存儲在數據庫里，可以用二維表結構來邏輯表達實現的數據)而言，不方便用數據庫二維邏輯表來表現的數據即稱為非結構數據，包括所有格式的辦公文檔、文本、圖片、標準通用標記語言下的子集XML、HTML、各類報表、圖像和音頻/視頻信息等等。

非結構數據庫是指其字段長度可變，并且每個字段的記錄又可以由可重復或不可重復的子字段構成的數據庫，用它不僅可以處理結構數據(如數字、符號等信息)而且更適合處理非結構數據(全文文本、圖象、聲音、影視、超媒體等信息)。

非結構WEB數據庫主要是針對非結構數據而產生的，與以往流行的關系數據庫相比，其最大區別在于它突破了關系數據庫結構定義不易改變和數據定長的限制，支持重復字段、子字段以及變長字段并實現了對變長數據和重復字段進行處理和數據項的變長存儲管理，在處理連續信息(包括全文信息)和非結構信息(包括各種多媒體信息)中有著傳統關系型數據庫所無法比擬的優勢。

結構數據即行數據,存儲在數據庫里,可以用二維表結構來邏輯表達實現的數據。

所謂非結構數據,包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等等。

所謂半結構數據，就是介于完全結構數據(如關系型數據庫、面向對象數據庫中的數據)和完全無結構的數據(如聲音、圖像文件等)之間的數據，HTML文檔就屬于半結構數據。它一般是自描述的，數據的結構和內容混在一起，沒有明顯的區分。

目前傳統的數據往往多為結構數據和半結構數據，是原始數據的抽象化，類型較為單一。傳統的數據庫管理系統不能滿足云數據庫管理系統的需求，集中式的架構大部分是40年前設計的，不能有效的分布式的存儲在數據中心之中。

隨著網絡技術的發展，特別是Internet和Intranet技術的飛快發展，使得非結構數據的數量日趨增大。因而，數據發展進入基于網絡應用的非結構數據時代。如今，這種迅猛增長的從不使用的數據消耗著復雜而昂貴的一級存儲的存儲容量，非結構數據儲存更為復雜，涉及的領域較多，規模又很大，處理起來也更為不易，還會產生很多無用信息，就需要非結構數據處理系統更有效快速的篩選和處理具有潛在價值的不同類型的文件。

發明內容

針對現有技術中的上述不足，本發明提供一種可對傳感器采集的數據量分析，也能對圖像、圖形、視頻模型等非結構智能模型分析處理并能夠使非結構數據被快速提取篩選出用的信息，并對信息進行有效的處理并上傳云端存儲的非結構數據處理系統及其處理方法。

為實現以上技術目的,本發明的技術方案是:一種非結構數據處理系統，傳感器信號采集模塊、非結構數據采集模塊、非結構數據采集卡和數據傳輸端口，所述傳感器信號采集模塊、非結構數據采集模塊、非結構數據采集卡和數據傳輸端口依次連接，所述非結構數據采集模塊與非結構數據采集卡信號連接，所述非結構數據采集卡包括電源模塊、處理器模塊、存儲模塊和I/O接口模塊，所述電源模塊分別與處理器模塊、存儲模塊和I/O接口模塊電連接，所述處理器模塊、存儲模塊和IO接口模塊依次信號連接，所述非結構數據采集模塊與非結構數據采集卡信號連接是指非結構數據采集模塊與存儲模塊連接。

作為優選，非結構數據采集模塊為普通相機或智能相機。

作為優選，所述非結構化數據包括辦公文檔、文本、圖像、XML或HTML各類報表和視頻數據。

作為優選，所述數據傳輸端口為網絡傳輸端口。

作為優選，所述處理器模塊為FPGA或DSP圖像數據處理器。

一種以非結構數據處理系統進行非結構數據處理方法，包括如下步驟：步驟一：通過傳感器信號采集模塊采集當前場所中的可感應信號；

步驟二：當非結構數據采集模塊收到傳感器信號采集模塊的信號時會對對象進行圖片或視頻信息采集并進行篩選進而得到有效圖像信息；

步驟三：將有效圖像信息數據通過通訊協議轉換成結構化數據；

步驟四：對經過轉換的結構化數據通過I/O接口進行云端上傳。

作為改進，所述步驟三中通過通訊協議轉換成結構化數據后還會經過總線接口通信傳輸，組態下載數據，組態執行數據，數據經過加解密的數據安全保護操作；

作為改進，所述步驟四中對經過轉換的結構化數據還可通過AD/DA接口進行云端上傳。