[發明專利]實時處理系統中熱點記錄的監測和處理方法及裝置

有效

• 申請號: 201710150032.3
• 申請日: 2017-03-14
• 公開（公告）號: CN106934031B
• 公開（公告）日: 2020-03-13
• 發明（設計）人: 商建祥;王繼武;張國華
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F9/46
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王濤;湯在彥

本發明提供一種實時處理系統中熱點記錄的監測和處理方法及裝置，該方法包括：根據事務請求包的接收時間戳和事務請求包被實時處理系統處理后的返回時間戳計算得到響應時間；判斷該響應時間是否超過設定閥值處理時間；若是，根據該請求包中的記錄信息和該返回時間戳更新性能數據表，該性能數據表包括熱點記錄信息欄位、統計窗口結束時間欄位及統計窗口內異常事務數量欄位；根據更新后的性能數據表中統計窗口內異常事務數量欄位的數據和設定熱點閥值判斷在該請求包對應的事務類型和該記錄信息上是否出現熱點；若是，對關于該事務類型且關于該記錄信息的事務進行限流。本發明能夠準確定位和處理熱點記錄。

技術領域

本發明涉及計算機技術領域，尤其涉及實時處理系統中熱點記錄的監測和處理方法及裝置。

背景技術

實時處理系統通常可進行多進程并發或多線程并發處理，因而具有強大的事務并發處理能力，而且，一般可通過擴充進程/線程數量進一步提高并發處理能力。實時處理系統中，很多進程/線程并行工作，但各自使用各自的資源，各自處理各自的數據，如同汽車跑在多車道高速公路。然而，當多個進程/線程需要處理同一條記錄時，就會出現互相等待的情況，即記錄熱點，如同多車道高速公路的車道突然變少了，多車道的車要搶一條車道，此時，相關進程/線程的處理速度就會下降。

記錄熱點的出現會很快導致相關事務(需要操作這個記錄熱點的事務)的處理性能下降，即出現擁堵現象。更可怕的是，這些事務可能鎖定了其它資源或記錄，比如等待的事務把實時處理系統的線程全部占滿，即使不訪問熱點記錄的事務也無法處理，擁堵不斷蔓延，直到實時處理系統癱瘓。

解決記錄熱點的首要問題是進行定位。通常的定位手段是通過數據庫工具對各表、索引的使用情況和耗時進行分析，來確認具體的熱點記錄。然而，這種定位手段是事后進行的，只能為事后程序優化提供依據，比如從處理邏輯上減少多次集中對一個記錄的訪問。解決熱點記錄導致系統擁堵問題的辦法是限流。通常的限流手段是對整個系統的事務請求進行限流，或對某類事務進行限流。然而，這些限流手段不僅效果不佳，而且都會因為限流不精準而殃及無辜。

發明內容

本發明提供一種實時處理系統中熱點記錄的監測和處理方法及裝置，以精準定位并處置熱點記錄。

本發明提供一種實時處理系統中熱點記錄的監測和處理方法，包括：接收事務請求包，并記錄所述事務請求包的接收時間戳；接收實時處理系統處理所述事務請求包后返回的事務返回包，并記錄所述事務返回包的返回時間戳；根據所述接收時間戳和所述返回時間戳計算得到事務響應時間；判斷所述事務響應時間是否超過設定閥值處理時間；若是，根據所述事務請求包中的記錄信息和所述返回時間戳更新性能數據表，所述性能數據表包括對應所述記錄信息的熱點記錄信息欄位、統計窗口結束時間欄位及統計窗口內異常事務數量欄位；根據更新后的所述性能數據表中統計窗口內異常事務數量欄位的數據和設定熱點閥值判斷在所述事務請求包對應的事務類型和所述記錄信息上是否出現熱點；若是，根據設定限流參數對關于所述事務類型且關于所述記錄信息的事務進行限流。

一個實施例中，接收實時處理系統處理所述事務請求包后返回的事務返回包之前，還包括：根據更新前的所述性能數據表中統計窗口內異常事務數量欄位的數據和所述設定熱點閥值判斷是否需要對所述事務請求包對應的事務進行限流；若否，將所述事務請求包轉發至所述實時處理系統進行邏輯處理。