[發明專利]一種數據處理方法、通信裝置和系統

在審

• 申請號: 202011604618.0
• 申請日: 2020-12-30
• 公開（公告）號: CN114691563A
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 左鵬飛
• 申請（專利權）人: 華為云計算技術有限公司
• 主分類號: G06F13/28
• 分類號: G06F13/28;G06F16/22;G06F3/06
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 鄒雅瑩

一種數據處理方法、通信裝置和系統，涉及數據處理技術領域。第一計算裝置向第二計算裝置發送第一目錄，以使第二計算裝置基于第一目錄通過RDMA技術訪問第一計算裝置的內存；對第一哈希子表進行容量擴展處理，獲得第二哈希子表、第三哈希子表以及第二目錄，第三哈希子表中存放從第一哈希子表遷出的第一鍵值對，第二哈希子表中存放第一哈希子表中除第一鍵值對以外的其他鍵值對；第二目錄用于查找容量擴展處理后在內存中存儲的哈希子表；向第二計算裝置發送第二目錄，以使第二計算裝置基于第二目錄通過RDMA技術訪問該內存。該方法有助于對第一計算裝置的內存中的哈希子表進行容量擴展，同時保障第二計算裝置對該內存的高效的RDMA訪問。

技術領域

本申請涉及數據處理技術領域，特別涉及一種數據處理方法、通信裝置和系統。

背景技術

遠端直接內存訪問(remote direct memory access，RDMA)是一種直接進行遠程內存存取的技術，即可以直接將數據從一個計算機快速遷移到另一個遠端計算機的內存中，而無需雙方操作系統的介入，減少了中央處理器(central processing unit，CPU)參與數據傳輸過程的消耗，解放了內存帶寬和處理器周期，進而提升了系統處理業務的性能，具有高帶寬、低時延及低CPU占用率的特點。其中，在遠端計算機的內存中，數據被組織為鍵值對(key-value pair)的形式，通過建立哈希表來索引所存儲的所有的鍵值對，并為與該遠端計算機建立有RDMA連接的若干個計算機提供鍵值對的插入、查詢、刪除、更新等服務。

隨著分布式技術的發展，直接進行RDMA訪問的應用需求越來越多，不可避免地需要對遠端計算機內存中的哈希表進行容量擴展(簡稱為擴容)，例如將哈希表的容量翻倍，然后將舊哈希表中的部分元素依次轉移到新哈希表中。由于擴容操作持續時間長，在遠端計算機側執行擴容操作的過程中，將會影響其它計算機對其內存中存儲的哈希表的正常的RDMA訪問請求的高效處理。并且，在執行擴容操作時，RDMA訪問請求既需要查詢舊哈希表又需要查詢新哈希表，此時會導致訪問錯誤的問題。

因此，如何對哈希表進行擴容同時保障對遠端計算機內存的高效的RDMA訪問，仍為亟需解決的重要問題之一。

發明內容

本申請實施例提供一種數據處理方法、計算裝置和系統，有助于對第一計算裝置的內存中的哈希子表進行容量擴展，同時保障第二計算裝置對該內存的高效的RDMA訪問。

第一方面，本申請實施例提供了一種數據處理方法，該方法可以應用于通信系統中的第一計算裝置，該通信系統中還可以包括第二計算裝置，所述第二計算裝置可以通過遠端直接內存訪問RDMA技術訪問所述第一計算裝置的內存，所述內存中的數據以鍵值對的形式存儲，所述內存中存儲第一目錄和至少一個哈希子表，所述第一目錄用于查找所述內存中存儲的哈希子表，每個哈希子表用于存放鍵值對。

該方法中，第一計算裝置可以向所述第二計算裝置發送所述第一目錄，以使所述第二計算裝置基于所述第一目錄通過RDMA技術訪問所述第一計算裝置的內存；對所述至少一個哈希子表中的第一哈希子表進行容量擴展處理，獲得第二哈希子表、第三哈希子表以及第二目錄，其中，所述第三哈希子表用于存放從所述第一哈希子表遷出的第一鍵值對，所述第二哈希子表用于存放所述第一哈希子表中除所述第一鍵值對以外的其他鍵值對，所述第二目錄用于查找容量擴展處理后在所述內存中存儲的哈希子表；向所述第二計算裝置發送所述第二目錄，以使所述第二計算裝置基于所述第二目錄通過RDMA技術訪問所述第一計算裝置的內存。

通過該方案，第一計算裝置在對其內存中存儲的第一哈希子表進行容量擴展處理前后，均可以向第二計算裝置發送相應的目錄，以使得第二計算裝置根據接收到的目錄、通過RDMA技術訪問該第一計算裝置的內存，以通過減少第二計算裝置通過RDMA讀取目錄的操作減少系統資源開銷，同時通過保障第一計算裝置與第二計算裝置雙方的目錄的一致性，保障第二計算裝置對第一計算裝置的內存的正確的RDMA訪問。