[發明專利]數據結構異常檢測方法及裝置、存儲介質、計算機設備

在審

• 申請號: 202010111954.5
• 申請日: 2020-02-24
• 公開（公告）號: CN111400290A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 武光鑫;徐俊勁
• 申請（專利權）人: 拉扎斯網絡科技（上海）有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2458
• 代理公司: 北京中強智尚知識產權代理有限公司 11448
• 代理人: 黃耀威

本申請公開了一種數據結構異常檢測方法及裝置、存儲介質、計算機設備，該方法包括：獲取內存數據庫對應的持久化數據；解析所述持久化數據，得到所述持久化數據對應的數據結構類型以及鍵值對存儲數據key?value；根據所述數據結構類型以及所述key?value，計算所述持久化數據對應的內存大小以及元素數量；依據所述內存大小以及所述元素數量，識別異常的持久化數據。本申請與現有技術中通過線上操作獲取數據的元素數量從而利用元素數量進行異常數據識別的方式相比，利用內存數據庫的持久化數據作為異常識別的依據，無需線上操作，并且基于持久化數據計算數據的內存大小從而結合內存大小與元素數量綜合進行異常數據的識別，提高了識別準確性。

技術領域

本申請涉及互聯網技術領域，尤其是涉及到一種數據結構異常檢測方法及裝置、存儲介質、計算機設備。

背景技術

Redis是一個內存數據庫，所謂內存數據庫，就是將數據庫中的內容保存在內存中，這與傳統的MySQL，Oracle等關系型數據庫直接將內容保存到硬盤中相比，內存數據庫Redis的讀寫效率比傳統數據庫要快的多(內存的讀寫效率遠遠大于硬盤的讀寫效率)。目前，很多互聯網軟件公司會使用Redis做緩存系統，以便提高數據的讀取訪問性能，但是redis是一種典型的單線程key-value緩存型數據庫，所有的讀寫操作都是在一條主線程中完成。由于redis是單線程運行的，在數據結構使用不合理的情況下會造成主線程阻塞，一旦發生阻塞，業務后續所有的操作都會有請求異?；蜓訒r的問題，極大的影響到業務應用。如果一次操作的value很大會對整個redis的響應時間造成負面影響。如何發現redis數據庫中的結構異常數據，即發現redis中的大key，已成為本領域的熱點問題。

目前發現redis中的大key一般是使用scan命令去遍歷所有的鍵，對每個鍵根據其類型執行STRLEN，LLEN，SCARD，HLEN，ZCARD這些命令獲取其長度或者元素個數。該方法有兩個缺點：1.雖然scan命令通過游標遍歷建空間并且在生產上可以通過對從服務執行該命令，但畢竟是一個線上操作，會對Redis數據庫的使用產生影響；2.只能獲取數據的元素數量，對于特定類型的數據例如String數據類型，元素數量為1，此時若根據元素數量來進行大key識別，就會漏識別出內存占用較大的String數據，導致對大key的識別準確性不高。

發明內容

有鑒于此，本申請提供了一種數據結構異常檢測方法及裝置、存儲介質、計算機設備，利用Redis數據庫的持久化RDB數據作為異常識別的依據，無需線上操作，并且基于持久化RDB數據計算數據的內存大小從而結合內存大小與元素數量綜合進行異常數據的識別，提高了異常數據識別準確性。

根據本申請的一個方面，提供了一種數據結構異常檢測方法，包括：

獲取內存數據庫對應的持久化數據；

解析所述持久化數據，得到所述持久化數據對應的數據結構類型以及鍵值對存儲數據key-value；

根據所述數據結構類型以及所述key-value，計算所述持久化數據對應的內存大小以及元素數量；

依據所述內存大小以及所述元素數量，識別異常的持久化數據。

具體地，所述內存數據庫包括Redis數據庫，所述持久化數據包括持久化RDB(Redis database)數據。

具體地，所述根據所述鍵值對存儲數據，計算所述持久化數據對應的內存大小以及元素數量，具體包括：

按照所述數據結構類型對應的編碼規則，計算所述key-value在Redis數據庫內存中的大??；

根據所述數據結構類型，計算所述key-value的元素數量。

具體地，所述數據結構類型包括但不限于string、hash、list、set、zset中任意一種；