[發明專利]非結構化數據的自動解析方法、系統、設備及存儲介質

有效

• 申請號: 202010190115.7
• 申請日: 2020-03-18
• 公開（公告）號: CN111522900B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 陳莉;陳國洪;葉小琴
• 申請（專利權）人: 攜程計算機技術（上海）有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F8/65;G06F8/71
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 薛琦;張冉

本發明公開了一種非結構化數據的自動解析方法、系統、設備及存儲介質，所述自動解析方法包括：獲取更新后的網站或應用程序，所述更新后的網站或應用程序中包括若干非結構化數據；判斷每一所述非結構化數據是否異常，若是，則將所述非結構化數據設置為預設異常標識符。本發明中可以自動判斷更新后的網站或者應用程序中的非結構化數據是否異常，并且對異常數據設置異常標識符，可以簡化埋點解析的復雜度及降低人為編寫代碼消耗的時間，提高埋點解析的數據質量，實現埋點解析的自動化。從而使相關人員能夠及時發現異常的非結構化數據以對異常數據進行及時處理，從而避免在新老版本更新時非結構化數據易丟失，且丟失的相關數據難以發現的情況發生。

技術領域

本發明涉及互聯網行業數據分析領域，特別涉及一種非結構化數據的自動解析方法、系統、設備及存儲介質。

背景技術

互聯網行業中用戶行為主要包括用戶的瀏覽、點擊、刪選、下單等，用戶的這些行為在網站或者APP(應用程序)中大多都是以非結構化數據的形式進行存儲，上述非結構化數據的存儲類型主要有String(字符串)、map(地圖)、struct(結構體)三種。在互聯網行業，需要不斷優化迭代實現版本更新，網站及APP的不同版本在更新時可能由于新版本和老版本中非結構化字段的存儲形式、存儲類型、存儲數量等方面存在若干不同，因此導致出現在更新后的版本中，老版本中的若干非結構化數據丟失的情況，而現有技術中，對于在老版本中未解析出的數據大多以空值的方式進行顯示，這樣的處理方式，使相關人員無法監控在新老版本更替時相關數據是否存異常。

發明內容

本發明要解決的技術問題是為了克服現有技術中在網站和APP進行版本更新時，非結構化數據容易丟失的缺陷，提供一種自動監控非結構化數據異常情況的方法、系統、電子設備及計算機可讀存儲介質。

本發明是通過下述技術方案來解決上述技術問題：

本發明提供了一種非結構化數據的自動解析方法，所述自動解析方法包括：

獲取更新后的網站或應用程序，所述更新后的網站或應用程序中包括若干非結構化數據；

判斷每一所述非結構化數據是否異常，若是，則將所述非結構化數據設置為預設異常標識符。

較佳地，所述更新后的網站或應用程序中包括若干非結構化字段，每一所述非結構化字段下存儲有對應的所述非結構化數據，所述預設異常標識符包括字段缺失標識符；判斷每一所述非結構化數據是否異常的步驟包括：判斷所述更新后的網站或者應用程序中是否解析出每一所述非結構化字段，若否，則將未解析出的所述非結構化字段對應的所述非結構化數據設置為所述字段缺失標識符；

和/或，

所述預設異常標識符包括數據缺失標識符，判斷每一所述非結構化數據是否異常的步驟包括：判斷所述更新后的網站或者應用程序中每一所述非結構化數據是否為空值，若是，則將為空值的所述非結構化數據設置為所述數據缺失標識符。

本發明中，可以在網站或者應用程序進行版本更新時，對于非結構化數據可以區分舊版本中沒有相關的字段還是存在相關字段但用戶沒有相應行為的兩種情況，從而相關工作人員可以針對不同情況進行調整，以防止在版本更新時數據丟失。

較佳地，判斷每一所述非結構化數據是否異常的步驟前還包括：

將所述更新后的網站或者應用程序中每一非結構化字段轉化為預設數據類型，所述預設數據類型包括字典類型；

和/或，

將所述更新后的網站或者應用程序中每一非結構化字段轉化為預設格式，所述預設格式包括大寫字母格式或小寫字母格式。

本發明中通過將待解析的數據轉換為預設數據類型或預設格式可以防止由于數據類型不同或數據格式的不同而導致相關數據無法解析出來從而數據丟失的情況發生。