[發(fā)明專利]高性能高速緩存逐出

在審

• 申請?zhí)枺?/td>: 202310034446.5
• 申請日: 2023-01-10
• 公開（公告）號: CN115934360A
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計）人: 阿比西舍克·阿加瓦爾;鄭家珍;斯里尼瓦斯·瓦杜瓦塔;王煒煌;休·麥克沃伊·沃爾什;蔣暐暐;阿賈伊·文卡特桑;普拉尚特·R·錢德拉
• 申請（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/54
• 代理公司: 中原信達(dá)知識產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 周亞榮;鄧聰惠

本公開的各方面針對數(shù)據(jù)中心聯(lián)網(wǎng)中用于可靠傳輸協(xié)議的高性能連接高速緩存逐出。確定連接條目的連接優(yōu)先級，以基于它們的連接優(yōu)先級將連接條目存儲在高速緩存中。在高速緩存逐出期間，具有最低連接優(yōu)先級的連接條目被從高速緩存中逐出。高速緩存逐出可以在高速率下以低時延實(shí)現(xiàn)。

技術(shù)領(lǐng)域

本公開涉及高性能高速緩存逐出。

背景技術(shù)

可靠的傳輸協(xié)議可以支持大量的連接。由于大量的連接，存儲用于連接的信息(諸如安全信息、擁塞控制信息、路由信息等)所需的總存儲器可能是太多的數(shù)據(jù)以至于不能簡單地將連接信息存儲在高速緩存中。因此，只有連接信息的子集可以存儲在高速緩存中，而剩余的連接信息可以存儲在其他存儲器中。當(dāng)接收請求時，可以從另一存儲器中提取用于連接的信息，以存儲在高速緩存中。當(dāng)這個連接的所有事務(wù)完成時，可以將該連接從高速緩存(cache)中逐出(evict)到另一存儲器中。但是，在接收請求時提取連接信息可能使事務(wù)減速。進(jìn)一步，在不執(zhí)行這個連接的事務(wù)時將連接信息保存在高速緩存中可能浪費(fèi)高速緩存中的空間。

發(fā)明內(nèi)容

本公開的各方面針對數(shù)據(jù)中心聯(lián)網(wǎng)中用于可靠傳輸協(xié)議的高性能連接高速緩存逐出。確定連接條目的連接優(yōu)先級，以基于它們的連接優(yōu)先級將連接條目存儲在高速緩存中。在高速緩存逐出期間，具有最低連接優(yōu)先級的連接條目被從高速緩存中逐出。高速緩存逐出可以在高速率下以低時延實(shí)現(xiàn)。

本公開的一方面提供了一種用于從高速緩存中逐出連接條目的方法。該方法包括：利用一個或多個處理器，基于接收多個連接條目中的每一個的事務(wù)的可能性，確定所述多個連接條目中的每一個的連接優(yōu)先級；基于每個連接條目的所確定的連接優(yōu)先級，利用所述一個或多個處理器將所述多個連接條目中的每一個存儲在高速緩存中的至少一個優(yōu)先級隊(duì)列中；以及當(dāng)高速緩存的占用高于逐出閾值時，利用所述一個或多個處理器從所述至少一個優(yōu)先級隊(duì)列中逐出所述多個連接條目中的連接條目，被逐出的連接條目具有最低的所確定的連接優(yōu)先級。

作為示例，接收事務(wù)的可能性基于資源計數(shù)和接收先前事務(wù)的新近性。作為另一示例，資源計數(shù)包括未完成事務(wù)的數(shù)量。作為又一示例，確定所述多個連接條目中的每一個的連接優(yōu)先級還包括利用所述一個或多個處理器基于資源計數(shù)來確定所述多個連接條目中的連接條目的初始連接優(yōu)先級；以及利用所述一個或多個處理器，基于接收先前事務(wù)的新近性來降低初始連接優(yōu)先級，以確定連接條目的連接優(yōu)先級。

作為又一示例，該方法還包括利用所述一個或多個處理器更新所述多個連接條目中的至少一個連接條目的連接優(yōu)先級。作為又一示例，更新所述至少一個連接條目的連接優(yōu)先級包括將所述至少一個連接條目從其在相應(yīng)優(yōu)先級隊(duì)列中的現(xiàn)有槽移動到相同優(yōu)先級隊(duì)列的尾部。作為又一示例，更新連接條目的連接優(yōu)先級包括將連接條目從其在相應(yīng)優(yōu)先級隊(duì)列中的現(xiàn)有槽移動到不同優(yōu)先級隊(duì)列的尾部。作為又一示例，該方法還包括利用所述一個或多個處理器，基于新連接條目的所確定的優(yōu)先級，將新連接條目推送到至少一個優(yōu)先級隊(duì)列的尾部。

作為又一示例，存儲所述多個連接條目還包括將較低優(yōu)先級連接條目存儲在更靠近所述至少一個優(yōu)先級隊(duì)列的頭部和將較高優(yōu)先級連接條目存儲在更靠近所述至少一個優(yōu)先級隊(duì)列的尾部。作為又一示例，逐出一個或多個連接條目還包括逐出在所述至少一個優(yōu)先級隊(duì)列的頭部的連接條目。

本公開的另一方面提供了一種系統(tǒng)，包括：一個或多個處理器；以及耦接到所述一個或多個處理器并存儲指令的一個或多個存儲設(shè)備，這些指令在被所述一個或多個處理器執(zhí)行時使得所述一個或多個處理器執(zhí)行用于從高速緩存中逐出連接條目的操作。這些操作包括：基于接收多個連接條目中的每一個的事務(wù)的可能性，確定所述多個連接條目中的每一個的連接優(yōu)先級；基于每個連接條目的所確定的連接優(yōu)先級，將所述多個連接條目中的每一個存儲在高速緩存中的至少一個優(yōu)先級隊(duì)列中；以及當(dāng)高速緩存的占用高于逐出閾值時，從所述至少一個優(yōu)先級隊(duì)列中逐出所述多個連接條目中的連接條目，被逐出的連接條目具有最低的所確定的連接優(yōu)先級。