[發明專利]一種數據處理方法及系統

有效

• 申請號: 201611162651.6
• 申請日: 2016-12-15
• 公開（公告）號: CN106649678B
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 李琳;程子川;周冰;種璟
• 申請（專利權）人: 咪咕文化科技有限公司
• 主分類號: G06F16/245
• 分類號: G06F16/245;G06F16/22
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 張振偉;張穎玲

本發明公開了一種數據處理方法，所述方法包括：接收數據查詢請求，所述數據查詢請求中攜帶有待查詢數據的數據特征信息；在狀態機存儲引擎中提取與所述數據特征信息匹配的狀態機信息，所述狀態機信息包括一個以上的數據源信息；根據所述狀態機信息在特征數據庫中提取與所述數據源信息匹配的第一特征數據；從所述第一特征數據中提取與所述數據特征信息匹配的第二特征數據，將所述第二特征數據進行發送。本發明還同時公開了一種數據處理裝置。

技術領域

本發明涉及信息處理技術，具體涉及一種數據處理方法及裝置。

背景技術

隨著移動智能終端的普及，大數據時代的到來，針對用戶操作體驗的分析需求日益突出。而由于終端應用開發端開發的業務隨著設計方案的不同，其數據存儲格式也不同，每個應用均擁有各自的數據存儲和訪問方式，彼此之間相對獨立，進而形成一個個“信息孤島”。而數據共享可以使更多的人充分地使用已有的數據資源，減少資料收集、數據采集等重復勞動和相應費用。現有技術中，為了實現數據共享通常采用以下兩種方式對數據進行處理：

1)采用煙囪式存儲方式對多種數據存儲格式的數據進行存儲。即對每個數據存儲格式的數據進行獨立存儲分析。具體如圖2所示。

圖2為現有技術中數據處理方法的流程示意圖；如圖2所示，應用200a包括數據采集單元201a、數據存儲單元202a、數據提取單元203a和數據分發單元204a；應用200b包括數據采集單元201b、數據存儲單元202b、數據提取單元203b和數據分發單元204b；應用200c包括數據采集單元201c、數據存儲單元202c、數據提取單元203c和數據分發單元204c；由此可知，現有技術中各應用均是獨立進行數據存儲、數據提取和數據分發的，彼此之間互不關聯。而采用這種數據處理方式無法對多種數據存儲格式的數據實現歸一化存儲及提取，也無法滿足當前用戶的按需提取分析大數據的需求。

2)將不同數據存儲格式的數據進行統一格式轉換后，進行數據存儲分析。具體如圖3所示。

圖3為現有技術中另一種數據處理方法的流程示意圖；如圖3所示，采集單元301a、采集單元301b、采集單元301c分別對應用300a、應用300b和應用300c中的數據進行采集，然后經格式轉換單元302對所述集單元301a、采集單元301b、采集單元301c采集到的數據進行數據存儲格式轉換，具體地，將不同數據存儲格式的數據轉換成相同數據存儲格式的數據。然后，分別經數據存儲單元303對格式轉換后的數據進行存儲，并經數據提取單元304根據用戶請求進行數據提取，并由數據分發單元405將數據提取單元304提取出的數據向用戶發送。

由于現有技術中采集到的數據內容、數據存儲格式和數據質量千差萬別，有時甚至會遇到數據存儲格式不能轉換或數據轉換格式后丟失信息等棘手問題。因此，這種方法雖然表面上解決了數據存儲格式的不一致問題，滿足了后續對大數據分析工作的需求，但是無法實現數據的按需提取，對數據的處理帶來了局限性，同時基于此方法存儲的數據，會導致后續的分析結果失真。

發明內容

為解決現有存在的技術問題，本發明實施例期望提供一種數據處理方法及裝置，能夠在不改變原數據存儲格式的情況下，實現對多元異構數據的處理，滿足當前用戶的按需提取分析大數據的需求。

本發明實施例的技術方案是這樣實現的：

根據本發明實施例的一方面，提供一種數據處理方法，所述方法包括：

接收數據查詢請求，所述數據查詢請求中攜帶有待查詢數據的數據特征信息；

在狀態機存儲引擎中提取與所述數據特征信息匹配的狀態機信息，所述狀態機信息包括一個以上的數據源信息；

根據所述狀態機信息在特征數據庫中提取與所述數據源信息匹配的第一特征數據；

從所述第一特征數據中提取與所述數據特征信息匹配的第二特征數據，將所述第二特征數據進行發送。