[發明專利]改變數據格式的交織數據轉換

在審

• 申請號: 201980101482.0
• 申請日: 2019-11-07
• 公開（公告）號: CN114586002A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 伍勇;穆罕默德·哈格特;曹中;袁峰;劉洪振
• 申請（專利權）人: 英特爾公司
• 主分類號: G06F9/30
• 分類號: G06F9/30
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 姜飛

方法、系統和裝置可提供識別要被存儲在數據存儲裝置中的第一數據和第二數據的技術。第一數據和第二數據的每一者采取第一數據格式。一些技術還可將第一數據與第二數據交織。交織的第一和第二數據采取第二數據格式。第二數據格式與第一數據格式不同。

技術領域

實施例概括而言涉及數據的交織，以高效地利用計算體系結構的各種特征。更具體而言，實施例涉及將兩個或更多個數字交織在一起，以減小存儲器帶寬和時延，以及促進在硬件元件上的執行。

背景技術

某些工作負載(例如，深度學習工作負載和/或神經網絡學習)中的許多計算周期可包括存儲器帶寬密集的操作。例如，數據可被存儲在緩存中，然后在要基于數據執行數學運算(例如，矩陣乘法)時被加載到寄存器中。例如，深度學習工作負載和/或神經網絡學習可以執行矩陣乘法來確定權重。對于計算和通信敏感的運算，例如矩陣乘法和卷積，存儲器帶寬都可能是一個重要因素。此外，這些運算的性能指標可能在很大程度上受到時延嚴重的指令的吞吐量(例如，每指令周期或CPI)的影響。

附圖說明

通過閱讀以下說明書和所附權利要求，并且通過參考以下附圖，實施例的各種優點對于本領域技術人員而言將變得清楚，附圖中：

圖1A和1B圖示了根據一實施例的交織、存儲、加載和提取數據的過程的示例；

圖2是根據一實施例的數據處理的方法的示例的流程圖；

圖3圖示了根據一實施例的生成和訪問交織數據結構的過程的示例；

圖4是根據一實施例的基于預測使用模型來交織和存儲數據的方法的示例的流程圖；

圖5是根據一實施例的開發前向使用模型的方法的示例的流程圖；

圖6是根據一實施例的觸發交織過程的方法的示例的流程圖；

圖7是根據一實施例的應用編程接口；

圖8是根據一實施例的計算系統的示例的框圖；

圖9是根據一實施例的半導體裝置的示例的圖示；

圖10是根據一實施例的處理器的示例的框圖；并且

圖11是根據一實施例的基于多處理器的計算系統的示例的框圖。

具體實施方式

圖1A和1B圖示了交織存儲、加載和提取第一和第二數據302、304的過程300。第一和第二數據302、304可以采取第一數據格式(例如，BFloat16或大腦浮點)，這是第二數據格式(例如，32比特，Float32浮點)的截斷(例如，16比特)版本。一些應用可以基于第一和第二數據302、304執行運算，以加速運算，例如深度學習和近傳感器計算。雖然第一數據格式可能不像第二數據格式那樣精確，但第一數據格式仍然可以允許在降低處理功率、提高速度和減小存儲器帶寬的情況下進行準確計算(例如，用于深度學習應用的訓練和推理)。

取決于底層計算機體系結構，一些存儲和加載格式可基于第二數據格式進行運算，從而導致底層計算機體系結構和優選第一數據格式的一些應用之間的數據格式不匹配。在一些情況下，可能會實現昂貴的軟件轉換，以應對數據格式不匹配的問題。這樣做可能會減小存儲器帶寬，但會減慢計算啟動，造成不利影響。如下所述，過程300在避免這種不利影響的同時緩解了這種不匹配，以減小存儲器帶寬并且緩解高時延的計算啟動。

過程300可包括將第一和第二數據302、304交織，以將交織數據308存儲在數據存儲裝置306(例如，緩存、存儲器、例如固態驅動器之類的長期存儲器，等等)中。也就是說，第一和第二數據302、304可以是交織的。在這樣做時，可以實現一種用于存儲的交織編碼方案和解碼方案(下文進一步說明)，該方案減少或完全避免了不同數據格式(例如，第一和第二數據格式)之間的額外轉換的懲罰，同時也減小了存儲器帶寬。從而，可以通過訪問不同的數據格式來實現靈活性和敏捷性，而沒有過多的懲罰和轉換。