[發明專利]一種基于混合RDMA操作的分布式并發控制方法及系統

有效

• 申請號: 201810333653.X
• 申請日: 2018-04-13
• 公開（公告）號: CN108710638B
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 陳榕;董致遠;陳海波;臧斌宇;管海兵
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F9/52
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 莊文莉

本發明提供了一種基于混合RDMA操作的分布式并發控制方法及系統，在讀取遠端地址已被緩存的數據、遠端數據時間戳以及向遠端寫入事務日志時，使用RDMA的單邊操作；在讀取遠端地址未被緩存的數據、申請遠端數據鎖、提交遠端事務、釋放遠端數據鎖時，使用RDMA的雙邊操作。與現有技術相比，本發明根據分布式并發控制協議中不同步驟的特征，針對性地使用適合的RDMA操作完成對于遠程數據的訪問，通過混合使用RDMA操作優化分布式并發控制過程中網絡硬件和處理器硬件的使用效率。

技術領域

本發明涉及分布式控制領域，具體地，涉及一種基于混合RDMA操作的分布式并發控制方法及系統。

背景技術

當下，服務器內存的價格已經足夠支持將數據庫中的數據全部存儲在內存中，以達到數據高效存取的目的。與此同時，遠程直接內存存取RDMA(Remote Direct MemoryAccess，遠程直接內存訪問)成為了數據庫內部服務器間通信的主要協議。相比于傳統的TCP/IP協議，RDMA可以繞過TCP/IP協議繁復的軟件棧，避免多次內存拷貝并且無需占用遠端中央處理器CPU(Central Processing Unit)處理資源，將網絡處理工作交由網卡硬件處理，因而擁有延遲低，吞吐量高的特點。

RDMA的操作根據語義可以分為兩類。第一類是單邊操作(One-Sided)，第二類是雙邊操作(Two-Sided)。單邊操作可以讓本地服務器直接讀寫遠端服務器的內存，并且無需遠端服務器的CPU的處理，因而性能非常高。由于單邊操作需要在服務器間建立一對一的連接，在大規模分布式系統中，每一臺服務器都需要建立多個連接，而網卡能夠同時緩存的連接數是有限的，那么過多的連接就有可能造成較差的可擴展性；雙邊操作與TCP的Send/Recv接口類似，需要遠端服務器的CPU處理相關請求，服務器間的數據傳輸也仍然能夠享受RDMA的高性能特性。由于需要遠端服務器CPU處理請求，雙邊操作性能會比單邊操作略低，但雙邊操作采用數據報的形式發送消息，因此可以建立一對多的連接，避免了單臺服務器上的連接數過多的問題，因而擁有更好的可擴展性。

目前，許多分布式事務處理系統采用樂觀并發控制(Optimistic ConcurrencyControl)的方式來保證事務間的一致性。這么做的假設是，樂觀地認為事務間不會頻繁發生讀寫沖突，在實際更新某個值時再申請互斥鎖，對于讀請求則不加鎖，可以進一步提高事務間的并行性，從而提升性能。在樂觀并發控制中，每個步驟的場景都略有不同，在不同步驟下也會有不同的實現，應該使用RDMA的單邊操作還是雙邊操作來實現樂觀并發控制是一個非常重要的問題。

以讀取遠端數據為例，在分布式系統中數據一般會存儲在數據結構如哈希表或樹狀結構中，使得找到一個數據的讀取操作總是大于等于一次的。在這種情況下，使用單邊操作雖然能夠節省遠端CPU資源，但是會加大網絡的往返次數。而且，一次單邊操作只能操作一段連續的內存區域，對于內存中不連續的多個數據，就需要發起多次單邊操作來讀取；而使用雙邊操作，以遠程過程調用RPC(Remote Procedure Call)的方式來發送讀數據請求，只要將對不同數據的讀操作合并在一個請求中，就僅會有一次網絡往返，用于發送請求和回復結果，而讀取數據的工作會交由遠端服務器CPU來處理，降低了網絡層的延遲。

現如今，還沒有一個統一的定論闡述——并發控制的不同步驟應該用何種RDMA操作。先前基于遠程直接內存存取的分布式事務處理系統工作，它們的并發控制或是在所有步驟全部采用單邊操作，或是全部采用雙邊操作。這兩種單一的RMDA實現都不能做到：根據并發控制的不同階段場景，有針對性地選取合適的RDMA操作。

因此，先前的工作對基于遠程直接內存存取的分布式事務處理系統的并發控制實現研究并不深入，還有一定的空白。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種基于混合RDMA操作的分布式并發控制方法及系統。