[發明專利]數據壓縮和存儲

有效

• 申請號: 201910980985.1
• 申請日: 2019-10-16
• 公開（公告）號: CN111262588B
• 公開（公告）日: 2022-07-05
• 發明（設計）人: S·菲尼;格雷格·克拉克;艾倫·瓦因斯
• 申請（專利權）人: 想象技術有限公司
• 主分類號: H03M7/30
• 分類號: H03M7/30
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 周靖;楊明釗

描述了數據壓縮和解壓縮的方法。所述壓縮方法包括通過為每個組生成包括h比特的標頭數據和各自包括b比特的多個主體部分來編碼數據項組，并且每個主體部分對應于所述組中的數據項。對于所有組，h的值可以是固定的，并且b的值在組內是固定的，其中組的所述標頭數據包括該組的所述主體部分的b的指示。在各種實例中，b＝0，因此沒有主體部分。在b不等于零的實例中，通過交錯來自所述主體部分的對應于所述組中數據項的比特，為每個組生成主體數據字段。所得的包括標頭數據和若存在的主體數據字段的編碼數據塊可以寫入存儲器。

背景技術

卷積神經網絡(NN)可包括輸入層、輸出層和多個隱藏層。對于NN中的每個層，預先計算權重或系數的陣列(例如權重的多維陣列)(例如作為訓練階段的一部分)并存儲在存儲器中，使得當它們應用于輸入數據(也可以是數據多維陣列)時可以在運行時進行使用。權重陣列可以被定義為具有x*y*z的大小，其中對于不同的層，x和y可以是相同的或不同的(例如取決于是否使用填充)，并且對于不同的層，陣列的深度z通常是不同的。對于輸入層，權重陣列的深度可以很小(例如深度為二)，但對于其他層，特別是朝向NN的末端，深度可以大得多(例如超過100或超過1000，并且已知后一層的深度為4000+)。在運行時，從存儲器讀取這些權重。

下面描述的實施方案僅以舉例的方式提供，而不構成對解決已知數據處理方法的任何或所有缺點的實現方式的限制。

發明內容

提供本發明內容是為了以簡化的形式介紹下文在具體實施方式中進一步描述的一系列概念。本發明內容不旨在標識所要求保護的主題的關鍵特征或必要特征，也不旨在用于限制所要求保護的主題的范圍。

描述了數據壓縮和解壓縮的方法。這些方法可用于對神經網絡中使用的權重進行壓縮/解壓縮。壓縮方法包括通過為每個組生成包括h比特的標頭數據和各自包括b比特的多個主體部分來編碼數據項組，并且每個主體部分對應于該組中的數據項。對于所有組，h的值可以是固定的，并且b的值在組內是固定的，其中組的標頭數據包括該組的主體部分的b的指示。在各種實例中，b＝0，因此沒有主體部分。在b不等于零的實例中，通過交錯來自主體部分的對應于組中數據項的比特，為每個組生成主體數據字段。所得的包括標頭數據和若存在的主體數據字段的編碼數據塊可以寫入存儲器。

第一方面提供了一種數據壓縮方法，該方法包括：接收多個數據項；通過為每個組生成包括h比特的標頭數據和各自包括b比特的多個主體部分來編碼數據項組，并且每個主體部分對應于該組中的數據項，其中b在組內是固定的并且其中組的標頭數據包括該組的主體部分的b的指示；對于b0的每個組，通過交錯來自主體部分的對應于組中數據項的比特來生成該組的主體數據字段；以及存儲包括標頭數據和主體數據字段的一個或多個編碼數據塊。

在一些實例中，對于所有組，h是固定的，并且b在組之間不是固定的。

b可以是大于或等于零的整數，并且h可以是大于零的整數。

所述存儲一個或多個編碼數據塊可包括：存儲包括多個組的主體數據字段的主體數據塊；以及存儲包括多個組的標頭數據的標頭數據塊。

所述交錯來自主體部分的對應于該組中數據項的比特可包括：(a)將每個主體部分的第一比特插入主體數據字段中；(b)將每個主體部分的下一比特插入主體數據字段中；以及(c)重復(b)，直到每個主體部分的所有比特都插入主體數據字段中。

所述將每個主體部分的第一比特插入主體數據字段中可包括將每個主體部分的最低有效比特插入主體數據字段中，并且其中將每個主體部分的下一比特插入主體數據字段中可包括將每個主體部分的下一最低有效比特插入主體數據字段中。

對于每個組，所述編碼數據項組可包括：接收數據項組；通過在組中的所有數據項中定位最高有效前導一的比特位置來識別主體部分大小b；生成包括編碼主體部分大小的比特序列的標頭數據；以及通過從每個數據項中移除無、一個或多個前導零，為該組中的每個數據項生成包括b比特的主體部分。