[發明專利]一種非結構化數據識別的方法和裝置

有效

• 申請號: 201610362704.2
• 申請日: 2016-05-26
• 公開（公告）號: CN107436895B
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 劉娟;許婧;思永坤;藍珊
• 申請（專利權）人: 中國移動通信集團云南有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 沈寒酉;張穎玲

本發明實施例公開了一種非結構化數據識別的方法，其特征在于，所述方法包括：對非結構化數據進行完整性檢測；當所述非結構化數據確定為完整的非結構化數據時，將所述非結構化數據與預存儲的關鍵詞進行匹配，獲取與所述非結構化數據相對應的待確定標簽；根據預設的匹配規則，在所述待確定的標簽中確定與所述非結構化數據最終匹配的標簽。本發明實施例同時還公開了一種非結構化數據識別的裝置。

技術領域

本發明涉及數據分析領域，尤其涉及一種非結構化數據識別的方法和裝置。

背景技術

隨著信息技術的迅速發展，與之相應的各種數據也呈現快速增長的趨勢，對數據的分析和利用也因此成為了近年來的熱點。其中，非結構化數據是大部分數據的存儲形態，但其卻很難直接應用于數據分析的過程中，使得很多隱藏在這些錄音、文本等非結構化數據中的有效信息被淹沒，甚至被遺忘。

現有技術中，最常用的思路就是通過詞頻統計、聚類/分類分析方法、交叉分析方法等，運用回歸樹(CART,Classification And Regression Trees)、神經網絡等模型，通過計算與關鍵詞的最短路徑，將非結構化文本定位至結構化條目，實現數據結構化。然而，現有技術主要解決的是實現數據結構化的適配過程，沒有對多個結果進行擇優的篩選，輸出結果會由于匹配條目較多而引入較多干擾項，準確率不高。

發明內容

為解決上述技術問題，本發明實施例期望提供一種非結構化數據識別的方法和裝置，將非結構化數據與關鍵字庫匹配的標簽通過判斷與篩選得到最終適配的結構化標簽，實現非結構化數據向結構化數據的轉換。

本發明的技術方案是這樣實現的：

第一方面，本發明實施例提供了一種非結構化數據識別的方法，其特征在于，所述方法包括：

對非結構化數據進行完整性檢測；

當所述非結構化數據確定為完整的非結構化數據時，將所述非結構化數據與預存儲的關鍵詞進行匹配，獲取與所述非結構化數據相對應的待確定標簽；

根據預設的匹配規則，在所述待確定的標簽中確定與所述非結構化數據最終匹配的標簽。

上述方案中，將所述非結構化數據的主詞、副詞、排除詞與預存儲關鍵詞的主詞、副詞、排除詞進行匹配；

若所述非結構化數據的主詞、副詞與預存儲關鍵詞的主詞、副詞相匹配，則生成與所述非結構化數據相對應的待確定標簽；

若所述非結構化數據的排除詞與預存儲關鍵詞的排除詞匹配，則輸出關鍵字錯誤日志。

上述方案中，當所述待確定標簽數量只有一條時，將所述待確定標簽確定為與所述非結構化數據最終相匹配的標簽；

當所述待確定標簽數量大于一時，若所述待確定標簽中存在與所述特例標簽相匹配的標簽，則將所述與特例標簽匹配的第一待確定標簽確定為與非結構化數據最終相匹配的標簽；

當所述待確定標簽數量大于一，且所述待確定標簽沒有與特例標簽相匹配，且所述待確定標簽類型的數量小于等于預設的閾值，且所述非結構化數據中出現頻率最高的主詞對應的第二待確定標簽數量為一時，將所述第二待確定標簽確定為與所述非結構化數據最終相匹配的標簽；

當所述待確定標簽數量大于一，且所述待確定標簽沒有與特例標簽相匹配，且所述待確定標簽類型的數量小于等于預設的閾值，且所述第二待確定標簽數量大于一時，根據所述第二待確定標簽出現頻率排序結果，將所述出現頻率最高的第二待確定標簽確定為與所述非結構化數據最終相匹配的標簽。

上述方案中，當所述待確定標簽沒有與特例標簽相匹配，對所述待確定標簽類型的數量進行統計；

當所述待確定標簽類型的數量大于預設的閾值時，輸出關鍵詞錯誤日志；