[發明專利]一種基于數據劃分和任務分配的稀疏張量典范分解方法

有效

• 申請號: 202011639166.X
• 申請日: 2020-12-31
• 公開（公告）號: CN112765094B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 楊海龍;敦明;孫慶驍;李云春
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F15/80
• 分類號: G06F15/80;G06F15/163;G06F13/30
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗;顧煒

本發明涉及一種基于數據劃分和任務分配的稀疏張量典范分解方法，包括：初始時根據申威處理器的眾核特性對核組上的多個處理核心進行多級劃分與任務分配；初始時對稀疏張量數據進行多級分割處理；利用申威處理器SW26010的寄存器通信特性設計的針對稀疏張量典范分解的通信策略；針對不同稀疏張量典范分解方法的共同性能瓶頸，即矩陣化張量乘Khatri?Rao積(簡稱MTTKRP)在具體運算時的不同需求，利用申威處理器的特性設計MTTKRP過程的不同計算方案。本發明充分挖掘了申威體系結構的特性，并充分考慮了稀疏張量分解的計算要求，能夠并行且高效地在申威體系結構上完成多種稀疏張量典范分解計算方法，并最大限度地保證動態的負載平衡。

技術領域

本發明涉及張量數值算法、并行計算和申威體系結構等領域，特別是涉及一種基于數據劃分和計算分配的稀疏張量典范分解方法。

背景技術

經國家并行計算機工程技術研究中心研制完成的“神威·太湖之光”新型超級計算機系統由國家863計劃支持，該系統是世界第一臺峰值運算性能到達十億億次量級的超級計算機，在2016-2017年間連續四次被國際TOP500組織評為世界性能最強的超級計算機，同時其上運行的應用曾獲得“戈登·貝爾獎”。用戶在該系統上實現的超大規模并行應用可涵蓋數百萬核，其應用覆蓋多個領域，包括深度學習、地震仿真模擬、量子電路仿真、氣候仿真模擬等。

“神威·太湖之光”超級計算機采用由國家高性能集成電路(上海)設計中心主持研制的SW26010異構眾核處理器。在基本架構方面，該處理器片上集成了4個核組，每個核組包含六十四個從核陣列(運算核心陣列)以及一個主核(運算控制核心)，因此整片共計含4個運算控制核心和256個運算核心，其中運算控制核心以及運算核心的工作頻率均為1.45GHz。在每個核組中，運算控制核心負責完成任務管理，和當下大部分主流CPU相同，可支持內存管理、中斷和亂序執行；同時運算核心負責完成高效計算,其上部署了向量化部件等支持高速運算的設備。在存儲設計方面，SW26010處理器采用多層次的存儲架構，包含2級緩存，大小分別為32KB和256KB，同時也提供單核組8GB的主存空間。為了給用戶提供較好的并行開發環境，“神威·太湖之光”平臺提供了對C++、C、Fortran等多種編程語言的支持，并提供了對多種并行庫、并行標準的接口，如MPI、OpenMP等。

在計算機領域，張量通常被視為多維數組，同時標量可以被視作0階張量，向量可以看作1階張量，而矩陣是2階張量，等于或高于三階的張量被稱作高階張量。同時稀疏張量指的是大部分值為非零值的張量。在實際工程和科研中，許多數據都是由高階的稀疏張量表示的。比如亞馬遜的用戶評價信息，它包含產品信息、用戶信息以及用戶評級等多個數據維度，其中非零值只占總數據數量的百億分之一；以及在Neural Information ProcessingSystem(NIPS)上發表的論文信息，包含論文ID、作者信息、發表年份等維度，非零值的比例為百萬分之一；還有電子郵件的往來信息，包含發送接收的郵箱名稱和日期等多維度的數據，其中非零值的比例為十億分之一。