[發(fā)明專利]一種消息傳遞方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010988129.3
• 申請(qǐng)日: 2020-09-18
• 公開（公告）號(hào): CN112231113B
• 公開（公告）日: 2023-01-06
• 發(fā)明（設(shè)計(jì)）人: 李龍翔;劉羽;楊振宇;于占樂(lè);王倩;邊晴云
• 申請(qǐng)（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號(hào): G06F9/54
• 分類號(hào): G06F9/54;G06N20/00;H03M7/30
• 代理公司: 北京連和連知識(shí)產(chǎn)權(quán)代理有限公司 11278
• 代理人: 張濤;楊帆

本發(fā)明公開了一種消息傳遞方法和裝置，方法包括：從基本消息傳遞模塊中提取出消息傳遞接口函數(shù)及其使用的消息壓縮算法；針對(duì)每個(gè)消息傳遞接口函數(shù)，以其使用的消息壓縮算法的向量作為狀態(tài)、以狀態(tài)的變化作為動(dòng)作構(gòu)建動(dòng)作價(jià)值函數(shù)；針對(duì)每個(gè)動(dòng)作價(jià)值函數(shù)，使用強(qiáng)化學(xué)習(xí)算法以消息傳遞接口函數(shù)在集群環(huán)境中的單步運(yùn)行速度作為獎(jiǎng)勵(lì)進(jìn)行迭代訓(xùn)練，直到動(dòng)作價(jià)值函數(shù)收斂和/或迭代次數(shù)超過(guò)閾值；根據(jù)對(duì)應(yīng)的狀態(tài)、動(dòng)作、和收斂的動(dòng)作價(jià)值函數(shù)確定最優(yōu)的消息傳遞接口函數(shù)和相應(yīng)的消息壓縮算法以壓縮并傳遞消息。本發(fā)明能夠使MPI數(shù)據(jù)壓縮優(yōu)化根據(jù)具體工作環(huán)境針對(duì)性地變化以降低傳輸時(shí)間并提高運(yùn)行效率。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)領(lǐng)域，更具體地，特別是指一種消息傳遞方法和裝置。

背景技術(shù)

MPI(消息傳遞接口)自20世紀(jì)90年代以來(lái)一直是HPC(高性能計(jì)算)領(lǐng)域并行應(yīng)用程序開發(fā)的底層基礎(chǔ)標(biāo)準(zhǔn)。消息傳遞模型假設(shè)底層的消息傳遞單元是一組處理器，每個(gè)處理器都有自己的本地內(nèi)存，并且通過(guò)互聯(lián)網(wǎng)絡(luò)實(shí)現(xiàn)與其他處理器的消息傳遞。MPI標(biāo)準(zhǔn)一直是最流行的并行編程消息傳遞規(guī)范，這種接口實(shí)現(xiàn)廣泛應(yīng)用于分布式內(nèi)存系統(tǒng)和高性能集群上軟件的運(yùn)行過(guò)程。在基于MPI編寫的并行程序中，MPI通信性能通常對(duì)程序整體并行效率和跨節(jié)點(diǎn)擴(kuò)展性起著關(guān)鍵作用，因此優(yōu)化MPI通信具有重要意義。近年來(lái)，隨著高性能計(jì)算在不同領(lǐng)域應(yīng)用越來(lái)越廣泛，求解問(wèn)題計(jì)算量呈指數(shù)增加，使用MPI的并行應(yīng)用程序運(yùn)行時(shí)需要節(jié)點(diǎn)數(shù)也越來(lái)越大，此時(shí)MPI通信逐漸成為軟件運(yùn)行時(shí)主要瓶頸，亟待針對(duì)不同并行應(yīng)用特點(diǎn)對(duì)MPI消息傳遞過(guò)程進(jìn)行優(yōu)化。

針對(duì)MPI通信優(yōu)化，目前主要工作包括通信算法優(yōu)化、網(wǎng)絡(luò)計(jì)算優(yōu)化、應(yīng)用消息壓縮技術(shù)優(yōu)化等。在MPI通信算法優(yōu)化中，主要針對(duì)MPI規(guī)約、集合等常見通信模式開發(fā)新的優(yōu)化算法，或者結(jié)合特定應(yīng)用對(duì)MPI通信模式進(jìn)行特殊優(yōu)化。這種優(yōu)化方法大部分僅能針對(duì)特定并行算法有效，工作量大并且使用范圍較窄，優(yōu)化后的結(jié)果無(wú)法直接應(yīng)用到其他并行軟件中。網(wǎng)絡(luò)計(jì)算優(yōu)化指使用網(wǎng)絡(luò)設(shè)備，輔助分布式并行計(jì)算體系結(jié)構(gòu)中MPI應(yīng)用的運(yùn)行，建立的一種通信加速技術(shù)。網(wǎng)絡(luò)計(jì)算優(yōu)化使用包括網(wǎng)卡、交換機(jī)等設(shè)備，在數(shù)據(jù)傳輸過(guò)程中，同時(shí)進(jìn)行數(shù)據(jù)的在線計(jì)算，以達(dá)到降低通信延遲、提升整體計(jì)算效率等。但是這種方法需要對(duì)硬件設(shè)備進(jìn)行升級(jí)，存在費(fèi)用較高等缺點(diǎn)。通信壓縮技術(shù)是通過(guò)將消息壓縮技術(shù)引入通信消息的傳輸過(guò)程，通過(guò)軟件優(yōu)化方法實(shí)現(xiàn)在對(duì)大部分應(yīng)用得到更好性能。對(duì)于以上三種方法，通信壓縮技術(shù)通過(guò)軟件手段，具有成本低、適用廣等優(yōu)點(diǎn)，能夠用于大部分MPI應(yīng)用的優(yōu)化過(guò)程。但是由于消息壓縮會(huì)引入額外開銷，所以并不能夠保證所有應(yīng)用獲得性能，在某些情況下反而會(huì)造成性能降低。

現(xiàn)有技術(shù)的采用數(shù)據(jù)壓縮優(yōu)化的MPI接口實(shí)現(xiàn)軟件中，大部分軟件都缺少靈活調(diào)整是否采用數(shù)據(jù)壓縮策略，或者自動(dòng)選取最優(yōu)壓縮算法的功能。并且在大部分應(yīng)用中，由于會(huì)在多個(gè)函數(shù)中存在不同消息的傳遞過(guò)程，因此壓縮算法選取必然會(huì)受用戶的使用經(jīng)驗(yàn)限制，導(dǎo)致使用這些MPI軟件過(guò)程中無(wú)法使MPI程序獲得最優(yōu)性能。此外，MPI應(yīng)用在不同網(wǎng)絡(luò)硬件或網(wǎng)絡(luò)拓?fù)渖线\(yùn)行時(shí)，最優(yōu)消息壓縮算法也必然會(huì)有所不同。因此，亟需針對(duì)各種并行應(yīng)用和不同的硬件環(huán)境，提出一種具有自適應(yīng)選擇數(shù)據(jù)壓縮算法的MPI接口實(shí)現(xiàn)。

針對(duì)現(xiàn)有技術(shù)中MPI數(shù)據(jù)壓縮優(yōu)化的傳輸時(shí)間長(zhǎng)、運(yùn)行效率低、不適應(yīng)具體工作環(huán)境的問(wèn)題，目前尚無(wú)有效的解決方案。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例的目的在于提出一種消息傳遞方法和裝置，能夠使MPI數(shù)據(jù)壓縮優(yōu)化根據(jù)具體工作環(huán)境針對(duì)性地變化以降低傳輸時(shí)間并提高運(yùn)行效率。

基于上述目的，本發(fā)明實(shí)施例的第一方面提供了一種消息傳遞方法，包括執(zhí)行以下步驟：

從基本消息傳遞模塊中提取出消息傳遞接口函數(shù)及其使用的消息壓縮算法；

針對(duì)每個(gè)消息傳遞接口函數(shù)，以其使用的消息壓縮算法的向量作為狀態(tài)、以狀態(tài)的變化作為動(dòng)作構(gòu)建動(dòng)作價(jià)值函數(shù)；