[發(fā)明專利]一種消息傳遞方法和裝置

有效

• 申請?zhí)枺?/td>: 202010988129.3
• 申請日: 2020-09-18
• 公開（公告）號: CN112231113B
• 公開（公告）日: 2023-01-06
• 發(fā)明（設(shè)計(jì)）人: 李龍翔;劉羽;楊振宇;于占樂;王倩;邊晴云
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06N20/00;H03M7/30
• 代理公司: 北京連和連知識產(chǎn)權(quán)代理有限公司 11278
• 代理人: 張濤;楊帆

1.一種消息傳遞方法，其特征在于，包括執(zhí)行以下步驟：

從基本消息傳遞模塊中提取出消息傳遞接口函數(shù)及其使用的消息壓縮算法；

針對每個(gè)所述消息傳遞接口函數(shù)，以其使用的所述消息壓縮算法的向量作為狀態(tài)、以所述狀態(tài)的變化作為動作構(gòu)建動作價(jià)值函數(shù)，其進(jìn)一步包括：

使用所述消息傳遞接口函數(shù)和所述消息壓縮算法的所有可能的數(shù)值對的集合構(gòu)成壓縮算法向量作為狀態(tài)；以及

使用所述消息傳遞接口函數(shù)和所述消息壓縮算法的所有可能的變化動作集作為動作；

針對每個(gè)所述動作價(jià)值函數(shù)，使用強(qiáng)化學(xué)習(xí)算法以所述消息傳遞接口函數(shù)在集群環(huán)境中的單步運(yùn)行速度作為獎勵進(jìn)行迭代訓(xùn)練，直到所述動作價(jià)值函數(shù)收斂和/或迭代次數(shù)超過閾值，其進(jìn)一步包括：

初始化所述動作價(jià)值函數(shù)并根據(jù)所述壓縮算法向量設(shè)置所述動作價(jià)值函數(shù)的當(dāng)前狀態(tài)；

從所述變化動作集選擇一個(gè)動作對所述當(dāng)前狀態(tài)執(zhí)行，以獲得獎勵和下一狀態(tài)，根據(jù)所述獎勵和所述下一狀態(tài)更新所述動作價(jià)值函數(shù)并使用所述下一狀態(tài)覆蓋所述當(dāng)前狀態(tài)；

重復(fù)執(zhí)行上一步驟直到所述動作價(jià)值函數(shù)收斂和/或迭代次數(shù)超過閾值；

其中，根據(jù)所述獎勵和所述下一狀態(tài)更新所述動作價(jià)值函數(shù)包括：

使用下式進(jìn)行更新：

Q(p_s,α)＝(1-β)·Q(p_s,α)+β[R+γmax_αQ(p_s′,α)]

其中p_s為當(dāng)前狀態(tài)，α為動作，Q(p_s,a)為動作價(jià)值函數(shù)，β為學(xué)習(xí)率，R為獎勵，γ為折扣因子，p_s′為下一狀態(tài)，max_αQ(p_s′,α)為下一狀態(tài)所采用動作的最大收斂函數(shù)值；

根據(jù)對應(yīng)的所述狀態(tài)、動作、和收斂的所述動作價(jià)值函數(shù)確定最優(yōu)的所述消息傳遞接口函數(shù)和相應(yīng)的所述消息壓縮算法以壓縮并傳遞消息；

其中，所述消息壓縮算法為以下之一：RLE、HUFF、RICE、LZO，或不使用壓縮算法；其中所述消息壓縮算法為RLE、HUFF、RICE或LZO時(shí)所述狀態(tài)還包括所述消息壓縮算法的壓縮參數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述集群環(huán)境包括：集群的硬件設(shè)備、消息類型、消息的數(shù)據(jù)壓縮率、執(zhí)行壓縮的時(shí)間、執(zhí)行解壓的時(shí)間。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述消息傳遞接口函數(shù)附接在傳遞消息的進(jìn)程接口上；所述消息傳遞接口函數(shù)在集群環(huán)境中的單步運(yùn)行速度包括所述傳遞消息的進(jìn)程的實(shí)際運(yùn)行速度。

4.一種消息傳遞裝置，其特征在于，包括：

處理器；和

存儲器，存儲有處理器可運(yùn)行的程序代碼，所述程序代碼在被運(yùn)行時(shí)依次執(zhí)行以下步驟：

從基本消息傳遞模塊中提取出消息傳遞接口函數(shù)及其使用的消息壓縮算法；

針對每個(gè)所述消息傳遞接口函數(shù)，以其使用的所述消息壓縮算法的向量作為狀態(tài)、以所述狀態(tài)的變化作為動作構(gòu)建動作價(jià)值函數(shù)，其進(jìn)一步包括：

使用所述消息傳遞接口函數(shù)和所述消息壓縮算法的所有可能的數(shù)值對的集合構(gòu)成壓縮算法向量作為狀態(tài)；以及

使用所述消息傳遞接口函數(shù)和所述消息壓縮算法的所有可能的變化動作集作為動作；

針對每個(gè)所述動作價(jià)值函數(shù)，使用強(qiáng)化學(xué)習(xí)算法以所述消息傳遞接口函數(shù)在集群環(huán)境中的單步運(yùn)行速度作為獎勵進(jìn)行迭代訓(xùn)練，直到所述動作價(jià)值函數(shù)收斂和/或迭代次數(shù)超過閾值，其進(jìn)一步包括：

初始化所述動作價(jià)值函數(shù)并根據(jù)所述壓縮算法向量設(shè)置所述動作價(jià)值函數(shù)的當(dāng)前狀態(tài)；

從所述變化動作集選擇一個(gè)動作對所述當(dāng)前狀態(tài)執(zhí)行，以獲得獎勵和下一狀態(tài)，根據(jù)所述獎勵和所述下一狀態(tài)更新所述動作價(jià)值函數(shù)并使用所述下一狀態(tài)覆蓋所述當(dāng)前狀態(tài)；

重復(fù)執(zhí)行上一步驟直到所述動作價(jià)值函數(shù)收斂和/或迭代次數(shù)超過閾值；

其中，根據(jù)所述獎勵和所述下一狀態(tài)更新所述動作價(jià)值函數(shù)包括：

使用下式進(jìn)行更新：

Q(p_s,α)＝(1-β)·Q(p_s,α)+β[R+γmax_αQ(p_s′,α)]

其中p_s為當(dāng)前狀態(tài)，α為動作，Q(p_s,a)為動作價(jià)值函數(shù)，β為學(xué)習(xí)率，R為獎勵，γ為折扣因子，p_s′為下一狀態(tài)，max_αQ(p_s′,α)為下一狀態(tài)所采用動作的最大收斂函數(shù)值；根據(jù)對應(yīng)的所述狀態(tài)、動作、和收斂的所述動作價(jià)值函數(shù)確定最優(yōu)的所述消息傳遞接口函數(shù)和相應(yīng)的所述消息壓縮算法以壓縮并傳遞消息；

其中，所述消息壓縮算法為以下之一：RLE、HUFF、RICE、LZO，或不使用壓縮算法；其中所述消息壓縮算法為RLE、HUFF、RICE或LZO時(shí)所述狀態(tài)還包括所述消息壓縮算法的壓縮參數(shù)。