[發明專利]節點死鎖處理的方法和裝置

在審

• 申請號: 202110130477.1
• 申請日: 2021-01-29
• 公開（公告）號: CN112905352A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 李松
• 申請（專利權）人: 北京深演智能科技股份有限公司
• 主分類號: G06F9/52
• 分類號: G06F9/52;G06F11/14;G06F8/65
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 董文倩

本發明公開了一種節點死鎖處理的方法和裝置。其中，該方法包括：檢測是否存在節點發生死鎖；在檢測結果為是的情況下，重啟發生死鎖的第一節點，并獲取與發生死鎖的第一節點關聯的第二節點；將第一節點的業務遷移至第二節點，由第二節點執行業務。本發明解決了由于kafka中節點死鎖導致的實時數據無法正常處理的技術問題。

技術領域

本發明涉及計算機技術領域，具體而言，涉及一種節點死鎖處理的方法和裝置。

背景技術

kafka是一個開源流處理平臺，由Scala和Java編寫，該項目的目標是為處理實時數據提供一個統一、高吞吐、低延遲的平臺。

但是在實際運行的過程中，kafka在多個版本有多種情況都有可能會導致死鎖，例如0.10版本有三個左右官方公布的死鎖bug，例如當autoLeaderRebalance遇到zk過期時，控制器可能會死鎖或者說異常的消費等等。

死鎖的情況下，單純查看進程是看不出問題的，但是生產者和消費者和該節點leader partation的建立鏈接,就會出現kafka該節點leader不提供服務的情況，不能提供任何生產和消費者服務。kafka集群雖然是高可用的，但是這種情況一個節點出現死鎖問題，就可能導致實時數據無法處理的情況出現。

針對上述由于kafka中節點死鎖導致的實時數據無法正常處理的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種節點死鎖處理的方法和裝置，以至少解決由于kafka中節點死鎖導致的實時數據無法正常處理的技術問題。

根據本發明實施例的一個方面，提供了一種節點死鎖的處理方法，應用于開源流處理平臺，包括：檢測是否存在節點發生死鎖；在檢測結果為是的情況下，重啟發生死鎖的第一節點，并獲取與發生死鎖的第一節點關聯的第二節點；將第一節點的業務遷移至第二節點，由第二節點執行業務。

可選的，在檢測是否存在節點發生死鎖之前，該方法還包括：通過預設工具對所有節點設置監控檢測。

進一步地，可選的，通過預設工具對所有節點設置監控檢測包括：獲取主機的地址信息；依據地址信息設置檢測指令；依據檢測指令設置告警條件。

可選的，重啟發生死鎖的第一節點，并獲取與發生死鎖的第一節點關聯的第二節點包括：重啟發生死鎖的第一節點；依據第一節點所屬的分區和副本集，獲取與第一節點關聯的節點；將與第一節點關聯的節點確定為第二節點。

進一步地，可選的將第一節點的業務遷移至第二節點，由第二節點執行業務包括：通過預設機制將第一節點的業務遷移至第二節點，由第二節點執行業務。

可選的，該方法還包括：在第一節點重啟完畢后，恢復第一節點的業務；依據第一節點發生死鎖生成的死鎖日志進行代碼排查，修改故障代碼或進行版本升級。

根據本發明實施例的另一方面，還提供了一種節點死鎖的處理裝置，應用于開源流處理平臺，包括：檢測模塊，用于檢測是否存在節點發生死鎖；重啟模塊，用于在檢測結果為是的情況下，重啟發生死鎖的第一節點，并獲取與發生死鎖的第一節點關聯的第二節點；數據處理模塊，用于將第一節點的業務遷移至第二節點，由第二節點執行業務。

可選的，該裝置還包括：預配置模塊，用于在檢測是否存在節點發生死鎖之前，通過預設工具對所有節點設置監控檢測。

進一步地，可選的，預配置模塊包括：獲取單元，用于獲取主機的地址信息；第一設置單元，用于依據地址信息設置檢測指令；第二設置單元，用于依據檢測指令設置告警條件。

可選的，重啟模塊包括：重啟單元，用于重啟發生死鎖的第一節點；節點獲取單元，用于依據第一節點所屬的分區和副本集，獲取與第一節點關聯的節點；節點確定單元，用于將與第一節點關聯的節點確定為第二節點。