[發明專利]一種管理數據訪問的系統

在審

• 申請號: 201710691745.0
• 申請日: 2017-08-14
• 公開（公告）號: CN107480251A
• 公開（公告）日: 2017-12-15
• 發明（設計）人: 何裕恩;唐挺;陳慶國;殷允秋;過曉慶
• 申請（專利權）人: 福建新大陸軟件工程有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種管理數據訪問的系統，包括客戶端及服務端，其特征在于，還包括：負載均衡模塊、高可用支持模塊、RPC通信模塊、流量控制模塊、事務支持模塊、數據治理模塊及數據操作執行模塊；其中

客戶端經過負載均衡模塊接入服務端，數據訪問服務端后，通過高可用支持模塊保障訪問的服務端的可用性，流量控制模塊對客戶端的請求進行計數，并對不符合流控配置的請求予以拒絕，RPC通信模塊用于實現客戶端和服務端數據傳輸，事務支持模塊用于判定當前數據操作的類型；并由數據操作執行模塊完成實際的數據訪問操作，以數據邏輯-數據表-數據源的方式控制和記錄執行過程，并最終通過數據治理模塊對訪問痕跡進行記錄統計。

2.根據權利要求1所述的管理數據訪問的系統，其特征在于，所述負載均衡模塊集成于客戶端中，以利用ZooKeeper獲取當前可用的服務地址列表，在客戶端實現負載均衡。

3.根據權利要求2所述的管理數據訪問的系統，其特征在于，所述高可用支持模塊通過ZooKeeper實時監控服務地址列表，并剔除數據服務節點失效的服務地址；且啟用異步線程對服務地址列表中的數據節點進行心跳監控，以保證ZooKeeper和數據服務節點的網絡發生異常且應用客戶端節點和數據服務節點的網絡無異常的時候不對數據服務節點進行剔除。

4.根據權利要求1所述的管理數據訪問的系統，其特征在于，所述RPC通信模塊采用THRIFT架構，對通信過程進行二次封裝；其包括：

IDL定義單元，用于對客戶端及服務端定義統一的IDL文件，以進行接口識別，并生成對應的序列化代碼及反序列化代碼；

協議封裝單元，用于在序列化時嵌入封裝模式，并在反序列化時進行數據解析；

數據格式單元，用于劃分數據類型；

異步通信單元，用于客戶端及服務端的NIO異步通信，利用epoll技術和I/O處理線程池，提升數據服務的并發量及吞吐量。

5.根據權利要求1所述的管理數據訪問的系統，其特征在于，所述流量控制模塊提供分布式流量控制，支持多級數據粒度，控制訪問頻次；其包括：

流量計數器單元，用于收集將各個數據服務節點的訪問信息，并發送到ZooKeeper，并對超出單位時間訪問限制，則想客戶端反饋流量控制的異常信息；

控制邏輯注入單元，用于控制訪問語句、數據表及數據源的訪問頻次，并實現動態注入控制。

6.根據權利要求1所述的管理數據訪問的系統，其特征在于，所述事務支持模塊包括：

單點事務單元，用于通過數據服務控制單個應用節點上的會話事務及由該應用節點發起事務的申請、提交及回滾調用；

分布式事務單元，用于協同服務端事務及客戶端事務。

7.根據權利要求6所述的管理數據訪問的系統，其特征在于，所述服務端提供事務申請接口、事務提交接口及事務回滾接口供客戶端調用；其中

在客戶端調用事務申請接口后，將事務上下文對象本地緩存在服務端，并且將上下文標識返回給客戶端，在后續每次客戶端調用中自動定位到已緩存的事務上下文對象；

當客戶端向服務端發起請求后，服務端按上下文對象關聯的數據庫連接列表通過事務提交接口將事務逐個提交到數據庫，并釋放事務上下文；

當客戶端向服務端發起請求后，服務端按上下文對象關聯的數據庫連接列表通過事務回滾接口將事務逐個從數據庫回滾，并釋放事務上下文；

服務端對事務進行超時管理，自動清理超時會話，其中自動清理操作由異步線程自動觸發；

客戶端調用事務申請接口，當在數據服務調度時傳入上下文標識時，客戶端API根據上下文標識自動將請求轉發到事務申請時的數據服務節點，在數據操作調用完成后，調用事務提交接口或事務回滾接口；

客戶端調用事務申請接口，當在數據服務調度時未傳入上下文標識時，則表示使用無狀態數據服務，服務端在調用后不緩存事務上下文信息。