[發(fā)明專(zhuān)利]機(jī)器學(xué)習(xí)和RDMA加速的鍵值存儲(chǔ)讀訪問(wèn)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010311855.1
• 申請(qǐng)日: 2020-04-20
• 公開(kāi)（公告）號(hào): CN111538603B
• 公開(kāi)（公告）日: 2022-03-22
• 發(fā)明（設(shè)計(jì)）人: 陳榕;魏星達(dá);陳海波;臧斌宇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海交通大學(xué)
• 主分類(lèi)號(hào): G06F9/54
• 分類(lèi)號(hào): G06F9/54;G06N3/04;G06N20/00
• 代理公司: 上海漢聲知識(shí)產(chǎn)權(quán)代理有限公司 31236
• 代理人: 胡晶

1.一種機(jī)器學(xué)習(xí)和RDMA加速的鍵值存儲(chǔ)讀訪問(wèn)方法，其特征在于，包括：

步驟S1：采用機(jī)器學(xué)習(xí)模型來(lái)預(yù)測(cè)服務(wù)器端鍵值存儲(chǔ)的位置，令客戶(hù)端通過(guò)遠(yuǎn)程過(guò)程調(diào)用獲取服務(wù)器端的學(xué)習(xí)完的模型；

步驟S2：在客戶(hù)端處理用戶(hù)的鍵值請(qǐng)求時(shí)，令客戶(hù)端首先通過(guò)獲取的機(jī)器學(xué)習(xí)模型來(lái)預(yù)測(cè)鍵值請(qǐng)求的鍵所對(duì)應(yīng)的地址，最后通過(guò)RDMA 單向操作來(lái)讀回請(qǐng)求的鍵所對(duì)應(yīng)的值；

所述步驟S2包括：

步驟S201：客戶(hù)端判斷是否已接收到服務(wù)器端的的機(jī)器學(xué)習(xí)模型：如果沒(méi)有接收到，則執(zhí)行步驟S206；否則，則執(zhí)行步驟S202；

步驟S202：令客戶(hù)端使用機(jī)器學(xué)習(xí)模型預(yù)測(cè)鍵值讀請(qǐng)求的鍵所對(duì)應(yīng)值在服務(wù)器端的位置的范圍，執(zhí)行步驟S203；

步驟S203：令客戶(hù)端根據(jù)步驟S202預(yù)測(cè)的范圍，使用一次RDMA 單向讀操作將對(duì)應(yīng)范圍的鍵以及其所對(duì)應(yīng)的值的地址取回，執(zhí)行步驟S204；

步驟S204：令客戶(hù)端在取回的鍵中搜索用戶(hù)請(qǐng)求所需要的鍵：如果找到需要的鍵，則執(zhí)行步驟S205；否則執(zhí)行步驟S207；

步驟S205：令客戶(hù)端使用一次RDMA 單向讀操作將找到的鍵的值地址對(duì)應(yīng)的值取回，并將這個(gè)值返回給用戶(hù)；

步驟S206：令客戶(hù)端向服務(wù)器端發(fā)送請(qǐng)求獲取其構(gòu)建的用來(lái)預(yù)測(cè)鍵值位置的機(jī)器學(xué)習(xí)模型；隨后執(zhí)行步驟S207；

步驟S207：令客戶(hù)端向服務(wù)器端發(fā)送請(qǐng)求執(zhí)行用戶(hù)的鍵值請(qǐng)求，并將服務(wù)器返回的值返回給用戶(hù)；

所述的步驟S201中服務(wù)器端的機(jī)器學(xué)習(xí)模型為神經(jīng)網(wǎng)絡(luò)模型或線性回歸模型；

所述步驟S202中通過(guò)將用戶(hù)的鍵傳入機(jī)器學(xué)習(xí)模型，將機(jī)器學(xué)習(xí)模型的輸出作為預(yù)測(cè)結(jié)果；

所述步驟S202中服務(wù)器端使用有序數(shù)組來(lái)存儲(chǔ)所有鍵值數(shù)據(jù)；

所述步驟S202中鍵和鍵對(duì)應(yīng)的值的地址存儲(chǔ)在有序數(shù)組中；

所述的步驟S202中的位置的范圍指的是服務(wù)器端有序數(shù)組的下標(biāo)范圍；

所述步驟S204中所取回的鍵指的是服務(wù)器的有序數(shù)組在所述步驟S202中的下標(biāo)范圍中所對(duì)應(yīng)的鍵；

所述的步驟S206中客戶(hù)端使用遠(yuǎn)程過(guò)程調(diào)用向服務(wù)器發(fā)送請(qǐng)求；

所述的步驟S207中客戶(hù)端使用遠(yuǎn)程過(guò)程調(diào)用向服務(wù)器發(fā)送請(qǐng)求。

2.一種利用機(jī)器學(xué)習(xí)和RDMA加速的鍵值存儲(chǔ)讀訪問(wèn)系統(tǒng)，其特征在于，包括：

模塊S1：采用機(jī)器學(xué)習(xí)模型來(lái)預(yù)測(cè)服務(wù)器端鍵值存儲(chǔ)的位置，令客戶(hù)端通過(guò)遠(yuǎn)程過(guò)程調(diào)用獲取服務(wù)器端的學(xué)習(xí)完的模型；

模塊S2：在客戶(hù)端處理用戶(hù)的鍵值請(qǐng)求時(shí)，令客戶(hù)端首先通過(guò)獲取的機(jī)器學(xué)習(xí)模型來(lái)預(yù)測(cè)鍵值請(qǐng)求的鍵所對(duì)應(yīng)的地址，最后通過(guò)RDMA 單向操作來(lái)讀回請(qǐng)求的鍵所對(duì)應(yīng)的值；

所述模塊S2包括：

模塊S201：客戶(hù)端判斷是否已接收到服務(wù)器端的的機(jī)器學(xué)習(xí)模型：如果沒(méi)有接收到，則執(zhí)行模塊S206；否則，則執(zhí)行模塊S202；

模塊S202：令客戶(hù)端使用機(jī)器學(xué)習(xí)模型預(yù)測(cè)鍵值讀請(qǐng)求的鍵所對(duì)應(yīng)值在服務(wù)器端的位置的范圍，調(diào)用模塊S203；

模塊S203：令客戶(hù)端根據(jù)模塊S202預(yù)測(cè)的范圍，使用一次RDMA 單向讀操作將對(duì)應(yīng)范圍的鍵以及其所對(duì)應(yīng)的值的地址取回，調(diào)用模塊S204；

模塊S204：令客戶(hù)端在取回的鍵中搜索用戶(hù)請(qǐng)求所需要的鍵：如果找到需要的鍵，則調(diào)用模塊S205；否則調(diào)用模塊S207；

模塊S205：令客戶(hù)端使用一次RDMA 單向讀操作將找到的鍵的值地址對(duì)應(yīng)的值取回，并將這個(gè)值返回給用戶(hù)；

模塊S206：令客戶(hù)端向服務(wù)器端發(fā)送請(qǐng)求獲取其構(gòu)建的用來(lái)預(yù)測(cè)鍵值位置的機(jī)器學(xué)習(xí)模型，隨后調(diào)用模塊S207；

模塊S207：令客戶(hù)端向服務(wù)器端發(fā)送請(qǐng)求執(zhí)行用戶(hù)的鍵值請(qǐng)求，并將服務(wù)器返回的值返回給用戶(hù)；

所述的模塊S201中服務(wù)器端的機(jī)器學(xué)習(xí)模型為神經(jīng)網(wǎng)絡(luò)模型或線性回歸模型；

所述模塊S202中通過(guò)將用戶(hù)的鍵傳入機(jī)器學(xué)習(xí)模型，將機(jī)器學(xué)習(xí)模型的輸出作為預(yù)測(cè)結(jié)果；

所述模塊S202中服務(wù)器端使用有序數(shù)組來(lái)存儲(chǔ)所有鍵值數(shù)據(jù)；

所述模塊S202中鍵和鍵對(duì)應(yīng)的值的地址存儲(chǔ)在有序數(shù)組中；

所述的模塊S202中的位置的范圍指的是服務(wù)器端有序數(shù)組的下標(biāo)范圍；

所述模塊S204中所取回的鍵指的是服務(wù)器的有序數(shù)組在所述模塊S202中的下標(biāo)范圍中所對(duì)應(yīng)的鍵；

所述的模塊S206中客戶(hù)端使用遠(yuǎn)程過(guò)程調(diào)用向服務(wù)器發(fā)送請(qǐng)求；

所述的模塊S207中客戶(hù)端使用遠(yuǎn)程過(guò)程調(diào)用向服務(wù)器發(fā)送請(qǐng)求。