[發(fā)明專利]數(shù)據(jù)讀取方法、裝置、介質(zhì)和計算設(shè)備

有效

• 申請?zhí)枺?/td>: 202110343010.5
• 申請日: 2021-03-30
• 公開（公告）號: CN113111303B
• 公開（公告）日: 2022-04-05
• 發(fā)明（設(shè)計）人: 王佳辰;張廣勇;段亦濤
• 申請（專利權(quán)）人: 網(wǎng)易有道信息技術(shù)（北京）有限公司
• 主分類號: G06F17/16
• 分類號: G06F17/16
• 代理公司: 北京維昊知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11804
• 代理人: 李強

本發(fā)明的實施方式提供了一種數(shù)據(jù)讀取方法、裝置、介質(zhì)和計算設(shè)備。該方法應(yīng)用于端側(cè)人工智能設(shè)備，并且包括：根據(jù)待相乘的M×K矩陣和K×N矩陣的矩陣信息，確定M×K矩陣和K×N矩陣是否為扁平矩陣；當(dāng)M×K矩陣和K×N矩陣中的一個矩陣為扁平矩陣時，從存儲器中讀取扁平矩陣的元素參與矩陣乘法運算，并且根據(jù)M×K矩陣和K×N矩陣中的另一個非扁平矩陣的順序存儲方式來從存儲器中直接讀取連續(xù)存儲的另一個非扁平矩陣的元素參與矩陣乘法運算，無需對非扁平矩陣進(jìn)行重新排序。在參與乘法運算的兩個矩陣中存在一個扁平矩陣的情況下，通過對兩個矩陣中的非扁平矩陣的元素直接讀取，使得處理器在進(jìn)行乘法運算時效率提高。

技術(shù)領(lǐng)域

本發(fā)明的實施方式涉及計算機技術(shù)領(lǐng)域，更具體地，本發(fā)明的實施方式涉及一種數(shù)據(jù)讀取方法、裝置、介質(zhì)和計算設(shè)備。

背景技術(shù)

本部分旨在為權(quán)利要求書中陳述的本發(fā)明的實施方式提供背景或上下文。此處的描述可包括可以探究的概念，但不一定是之前已經(jīng)想到或者已經(jīng)探究的概念。因此，除非在此指出，否則在本部分中描述的內(nèi)容對于本申請的說明書和權(quán)利要求書而言不是現(xiàn)有技術(shù)，并且并不因為包括在本部分中就承認(rèn)是現(xiàn)有技術(shù)。

隨著人工智能的發(fā)展，端側(cè)人工智能由于對用戶隱私保護(hù)更好，不依賴網(wǎng)絡(luò)連接，方便個性化定制等特點，是未來人工智能發(fā)展的主要趨勢。在端側(cè)人工智能的底層運算中，矩陣乘法的占比最高。提高矩陣乘法運算效率，對于端側(cè)人工智能的落地具有重要意義。

對于矩陣乘法運算，每個矩陣的元素在運算前采用行主序或列主序的存儲方式存放于存儲器中。無論是行主序還是列主序，在不按照存儲順序讀取元素時都會出現(xiàn)跳躍訪問，這種跳躍的情況會大大降低處理器訪問存儲器的效率。為了防止跳躍訪問，通常在計算前或計算過程中對參與乘法運算的兩個矩陣進(jìn)行重新排序。

然而，對于端側(cè)人工智能常見的扁平矩陣乘法，這種對參與乘法運算的兩個矩陣重新排序的開銷超過收益，導(dǎo)致乘法運算效率非常低。

發(fā)明內(nèi)容

為此，非常需要一種改進(jìn)的數(shù)據(jù)讀取方法，以對參與乘法運算的兩個矩陣選擇性地重新排序，從而提高乘法運算效率。

在本上下文中，本發(fā)明的實施方式期望提供一種數(shù)據(jù)讀取方法、裝置、介質(zhì)和計算設(shè)備。

在本發(fā)明實施方式的第一方面中，提供了一種用于端側(cè)人工智能設(shè)備的語音識別、文字識別或機器翻譯的推理的數(shù)據(jù)讀取方法。該方法包括：根據(jù)待相乘的M×K矩陣和K×N矩陣的矩陣信息，確定所述M×K矩陣和所述K×N矩陣是否為扁平矩陣，其中M、K和N為正整數(shù)；當(dāng)所述M×K矩陣和所述K×N矩陣中的一個矩陣為扁平矩陣時，從存儲器中讀取所述扁平矩陣的元素參與矩陣乘法運算，并且根據(jù)所述M×K矩陣和所述K×N矩陣中的另一個非扁平矩陣的順序存儲方式來從存儲器中直接讀取連續(xù)存儲的所述另一個非扁平矩陣的元素參與所述矩陣乘法運算，無需對非扁平矩陣進(jìn)行重新排序。

在本發(fā)明的一個實施例中，所述根據(jù)矩陣信息，確定所述M×K矩陣和所述K×N矩陣是否為扁平矩陣包括：根據(jù)M與K的比值以及N與K的比值，確定所述M×K矩陣和所述K×N矩陣是否為扁平矩陣。

在本發(fā)明的一實施例中，所述根據(jù)M與K的比值以及N與K的比值，確定所述M×K矩陣和所述K×N矩陣是否為扁平矩陣包括：當(dāng)M與K的比值小于或等于第一預(yù)設(shè)閾值時，所述M×K矩陣為扁平矩陣；當(dāng)N與K的比值小于或等于第一預(yù)設(shè)閾值時，所述K×N矩陣為扁平矩陣。

在本發(fā)明的一個實施例中，所述根據(jù)矩陣信息，確定所述M×K矩陣和所述K×N矩陣是否為扁平矩陣包括：根據(jù)所述M×K矩陣和所述K×N矩陣的存儲方式、根據(jù)M與K的比值以及N與K的比值，確定所述M×K矩陣和所述K×N矩陣是否為扁平矩陣。