[發明專利]Hbase連接動態保持方法、設備、存儲介質及系統

有效

• 申請號: 201911302180.8
• 申請日: 2019-12-17
• 公開（公告）號: CN111245887B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 賴新明;鄧應強;孫科武;王志剛;舒南飛
• 申請（專利權）人: 航天信息股份有限公司
• 主分類號: H04L67/141
• 分類號: H04L67/141;H04L9/40;H04L69/16;H04L67/1097
• 代理公司: 北京思創大成知識產權代理有限公司 11614
• 代理人: 張立君

本發明公開了一種Hbase連接動態保持方法、設備、存儲介質及系統，方法包括：建立Hbase連接池，Hbase連接池包括多個Hbase連接對象；基于Reacter模式，監聽每個Hbase服務端的客戶端連接請求，并對發起連接請求的客戶端信息進行認證；若認證通過，則調用操作系統API創建與客戶端關聯的TCP連接塊，并將每個TCP連接塊插入至消息隊列中并設置為激活狀態；從Hbase連接池中每個TCP連接塊對應的客戶端分配一個Hbase服務端作為Hbase連接對象；當客戶端訪問結束時，回收Hbase連接對象并將消息隊列中的TCP連接塊設置為未激活狀態；當客戶端斷開連接時，調用操作系統API將TCP連接塊從消息隊列中刪除。降低資源消耗，提高并發處理性能。

技術領域

本發明涉及計算機技術領域，更具體地，涉及一種Hbase連接動態保持方法、設備、存儲介質及系統。

背景技術

隨著大數據技術的日益完善，越來越多的企業開始使用Hadoop平臺來管理自己T級PB級的數據資源。Hbase是基于HDFS的一個列式數據庫，根據列式存儲的特點使得一些業務數據處理性能數十倍提升，且基于HDFS分布式存儲的特點，即使存儲了海量數據，依然具備較高的數據可靠性。

相比與其他傳統關系型數據庫，Hbase數據庫具備以下優點：

1)由于列式存儲特點，Hbase能夠有效存儲多維數據，如Web頁面、電子郵件、音頻、視頻等。

2)由于其分布式存儲特點，Hbase在海量數據場景下依舊具有高性能、高可用性。

3)由于分布式架構設計，Hbase易于拓展，當存儲容量不足時可以簡單增加節點來拓展Hbase的存儲能力。

正是因為Hbase是應用在大數據海量存儲的場景，Hbase也會同時給大量用戶使用，因此除了需要提供較高的數據存儲性能外，還需要提供較高的數據訪問性能。在Hbase架構設計中，客戶端通過Zookeeper獲取Meta表所在HRegionServerA，然后連接該HRegionServerA獲取到所需訪問數據所在的HRegionServerB，最后直接與HRegionServerB建立連接并進行數據交互。這種架構設計的初衷是使得所有訪問能夠均衡到所有服務器上，以提高應對高并發場景的能力。但是這非常依賴于完美的表結構設計，只有Hbase表的RowKey設計的非常出色，使得常用熱點數據能夠非常均衡的散落在各個服務器上才能達到目標。通常這是難以做到的，尤其是在Hbase表初始建立時和批量導入數據之后，后者又是在大數據場景下經常遇到的操作。因此最終會導致大量的數據訪問集中在幾個服務器上，如果這時服務器沒有應對措施，大量連接請求的創建會耗盡節點資源最終導致宕機，引發HMaster數據遷移任務，數據遷移會消耗集群性能，從而進一步影響用戶訪問Hbase數據庫，逐漸形成雪崩效應導致Hbase服務不可用。由于大量并發請求造成的Hbase故障包括以下幾個方面：

1)短時大量并發請求，使得Hbase服務端監聽進程難以響應從而造成服務宕機；

2)持續較大增量的請求連接，Hbase服務端在不停的創建連接和銷毀連接中，耗費較多的服務器資源從而影響Hbase數據庫的訪問性能；

3)當同時有大量用戶連接時，Hbase服務端需要對每個客戶端保持連接，并不斷輪詢監聽連接的I/O操作。單個服務器受限于物力資源，因此可服務能力有限，無法支撐較大量的用戶訪問，導致服務階段性不可用。

為了解決上述問題，就需要有效應對高并發連接請求，防止客戶端連接耗盡服務器資源。通常做法是在服務端提前創建一個Hbase連接池，當有新的連接請求時從連接池分配一個連接，當客戶端斷開連接后再將連接放回池內，這種做法的好處是節省了連接的創建開銷，當有高并發需求時可以使用已有的連接。但是要確定連接池的大小是非常復雜的問題，如果連接池太小，高并發請求連接時依舊需要創建額外連接，依然會引發宕機問題，如果連接池太大，大量連接沒有使用時是對資源的巨大浪費。且單個物理機的資源有限，所能支持的最大連接池大小也難以支撐大量用戶連接。