[發明專利]一種面向液體狀態機的神經形態處理器片上存儲壓縮方法

有效

• 申請號: 202110008963.6
• 申請日: 2021-01-05
• 公開（公告）號: CN112598119B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 王蕾;楊智杰;曲連華;龔銳;石偉;丁東;李石明;羅莉;鐵俊波;徐煒遐
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06N3/06
• 分類號: G06N3/06;G06N3/04
• 代理公司: 北京權智天下知識產權代理事務所(普通合伙) 11638
• 代理人: 張爽

1.一種面向液體狀態機的神經形態處理器片上存儲壓縮方法，其特征在于：包括以下步驟：

步驟一：生成并初始化一個液體狀態機網絡，訓練它的讀出層的權值，直到網絡的準確率收斂，之后保持讀出層的權值不變，隨機將一定比例的非零權值替換為液體層中的非零值，把這種操作定義為隨機擾動；

步驟二：對液體狀態機的液體層網絡進行前述的隨機擾動實驗，即按照一定的比例將網絡中神經元的非零權值隨機替換為另一個非零值，這個比例稱為隨機擾動率,然后使用擾動后的網絡進行推理測試，得到網絡的推理精度,通過嘗試不同的隨機擾動率，就可以獲得無精度損失下的最大隨機擾動率,這將作為之后確定壓縮空間的依據；

步驟三：在隨機擾動實驗之后，在軟件上進行模擬存儲實驗，首先確定一個分組數，將一個神經元的原始的所有入度權值等分為若干組，同時片上存儲器中的分組數也保持一致，之后根據權值的高位地址生成將權值與組內其他權值唯一區別開來的數據標簽，然后確定一個片上存儲器的組內項數，此時就已經確定了片上存儲器的大小以及組織形式，接著將原始權值中的非零權值和其生成的數據標簽傳輸到片上存儲器上，放入對應的組中，其中一部分權值可能因為受到存儲的限制而被丟棄，統計這些被丟棄的權值的數量占據所有非零權值的數量的比重，并稱之為丟棄率，由于在方法中，這些被丟棄的權值在需要使用時將會被組內的其他權值代替，所以可以將這個丟棄率與前述隨機擾動實驗中得到的隨機擾動率視作近似相等，由大到小，依次嘗試不同的片上存儲器的組內項數，組內項數越少代表壓縮率越大，并統計該配置下的丟棄率，通過嘗試可以找到不超過無精度損失最大隨機擾動率下的最大壓縮率，由此，就能夠確定真實的硬件存儲器上的分組數以及組內項數的實際大小了；

步驟四：將所有非零權值傳輸到片上存儲器中對應的組中進行存儲，并根據其原始地址生成對應的數據標簽與權值一并存放，這里生成的數據標簽可以在傳輸時動態由硬件生成，也可在軟件上生成并傳輸到片上，所有權值的突觸連接信息會保存在處理器上的鄰接向量寄存器中，以便在后續使用過程中對不同的權值類型加以區分，完成初始化；

步驟五：在完成初始化后，片上存儲器被組織為只讀組相聯緩存；

步驟六：在計算過程中，對權值的請求會同時訪問權值存儲器和鄰接向量寄存器，通過請求的權值索引與組數之間的模數運算，生成相應的組號，讀出目標組中的所有標簽，并與請求權值的標簽進行比較；

步驟七：如果請求權值的標簽命中了組中的一個標簽，則讀出相應的權值以供使用，如果不是，且鄰接向量中請求權值對應的位為“1”，表示該連接存在但是在初始化時被丟棄了，則讀取同一組中的第一項替換請求權值，如果鄰接向量中請求權值對應的位為0則說明該突觸連接不存在，直接跳過該次計算。

2.根據權利要求1所述的一種面向液體狀態機的神經形態處理器片上存儲壓縮方法，其特征在于：所述步驟一中權值包括零和非零項。

3.根據權利要求1所述的一種面向液體狀態機的神經形態處理器片上存儲壓縮方法，其特征在于：所述步驟二中每組中壓縮空間由無精度損失條件下的最大隨機擾動率決定。

4.根據權利要求1所述的一種面向液體狀態機的神經形態處理器片上存儲壓縮方法，其特征在于：所述步驟二中每個神經元都是dw+tw長，其中dw和tw分別是權值及其標簽的位寬。

5.根據權利要求1所述的一種面向液體狀態機的神經形態處理器片上存儲壓縮方法，其特征在于：所述步驟三中沒有地方存儲的非零權值及其標簽將被丟棄，但是其突觸信息仍然會保存在處理器的鄰接向量里，丟棄的權值可以在需要時被存儲在處理器上的權值所替代。