[發明專利]一種從非結構化數據提取結構化數據的方法

在審

• 申請號: 201710757615.2
• 申請日: 2017-08-29
• 公開（公告）號: CN107577460A
• 公開（公告）日: 2018-01-12
• 發明（設計）人: 耐爾;屈朝暉
• 申請（專利權）人: 蘇州優圣美智能系統有限公司
• 主分類號: G06F8/34
• 分類號: G06F8/34;G06F8/30;G06F8/38;G06F8/41;G06F17/30
• 代理公司: 北京遠大卓悅知識產權代理事務所(普通合伙)11369
• 代理人: 韓飛

技術領域

本發明涉及大數據領域的數據解析技術，更具體地說，本發明涉及一種從非結構化數據提取結構化數據的方法。

背景技術

運維數據不僅數量驚人，種類繁多，而且產出位置也各不相同，處理起來十分復雜，而我們往往需要在幾秒鐘內得到答案。我們需要有一種方法或方式能從海量數據中快遞定位，找到問題，找到根因。同時，這些數量龐大的數據還包含了許多對企事業單位、各組織機構或個人都十分有價值的信息。我們需要有一種方法或方式把這些數據變成有意義、有價值的信息，從而產生影響。

運維數據包括結構化數據、半結構化數據和非結構化數據。非結構化數據由機器或者人類產生，人類產生的半結構化數據包括文本、聲音、圖片等形式的數據。半結構化數據主要來自系統日志、應用程序、服務器、中間件、網絡設備、安全設備和數據庫等。結構化數據來自數據庫、監控系統、日志網絡監控系統、系統監控等。數據通過代理器、SYSLOG、TCP、UDP、FTP、HTTP等方式從不同的位置采集。數據采集后被發至數據處理系統處理。在處理過程中就需要解析數據，并從中提取有效字段信息。數據解析和字段提取需要實時或近實時或在匹配模式(Pattern)下完成。

能夠在生產環境中保存、存儲、加載、編輯、輸入、輸出和部署一個數據結構的解析系統稱為解析器。開發一種從非結構化數據提取結構化數據的方法的人稱為開發人員。開發人員檢查樣本數據、理解樣本數據的類型和字段，再開發解析器(Parser)，然后將解析器部署在實際生產環境中，數據會在實際生產環境中被數據分析體系解析和使用。具體地，開發人員的工作就是首先將樣本數據中的數據記錄歸類，然后針對每一類的數據記錄，從中提取字段，并給字段命名，將這些字段具體化為數值、字符串、IP地址等。為了成功創造出可以掃描樣本數據，給樣本數據歸類，從樣本數據中提取、輸出字段的一種從非結構化數據提取結構化數據的方法，開發人員必須執行上述兩步操作。傳統的一種從非結構化數據提取結構化數據的方法采用三種方法來開發和部署解析器。1.使用高級編程語言開發解析器。2.傳統方式需要編程人員編碼正則表達式(RegEx)。3.傳統開發方式是在如JSON或者XML的更加簡單的腳本中開發解析器定義。在開發出這些解析器后，傳統系統采用將解析器復制到文件的方式將其部署到生產系統中。

傳統解析方法的主要缺點有：

1.開發人員需要熟練掌握模式匹配語言或者高水平編程語言；當要解析的數據量大，種類繁多時，使用這些語言很難維護，調試起來也很困難；2.開發人員需要檢查樣本數據，理解樣本數據的記錄類型和有意義的字段，根據個人對模式匹配語言或者高水平編程語言的掌握情況，開發出解析模式；3.開發人員不得不手動編寫解析器。沒有方便的圖形化開發環境。沒有可增編的交互性工具，開發人員需要在開發前將所有的設計熟練于心或者以文檔形式呈現；4.開發人員在開發過程中沒有快速方法檢測解析器的正確性，而只能實際部署于生產中后才能發現解析器中的錯誤；5.因為缺少沖突處理工具，傳統的解析系統中，手寫的傳統解析器是沒有再次使用能力的；6.如果部署解析器時要做一些改變，就需要重新啟動整個數據處理系統。

發明內容

針對上述技術中存在的不足之處，本發明提供一種從非結構化數據提取結構化數據的方法，解析操作基于圖形化界面，操作靈活，無需面對編程文件，利于開發、更新與維護。

為了實現根據本發明的這些目的和其它優點，本發明通過以下技術方案實現：

本發明提供一種從非結構化數據提取結構化數據的方法，其包括以下步驟：

建立模式庫，其包括基于正則表達式編寫獲得的若干個模式；

基于圖像化操作，建立一個空的解析器；

獲取待解析數據中的一部分作為樣本數據，了解解析需求；

根據所述解析需求，調用至少一個所述模式，依次編輯分類規則和解析規則以對樣本數據分類和解析，所述分類規則和所述解析規則存儲至所述解析器；

顯示所述解析規則解析的樣本數據的字段值名；

在GUI上將解析器部署至實際使用環境，解析結果輸出到數據分析的下一步驟。

建立所述解析器，包括以下步驟：

建立主解析樹；

在所述主解析樹樹根上以樹節點方式并列添加至少一個解析節點并自動生成一個與所述解析節點并列的其他節點；

在所述解析節點上啟動對數據分類的分類單元以及對分類后數據解析的解析單元；在所述其他節點啟動所述解析單元；