[發明專利]一種稀疏型數據文件的傳輸方法及系統

有效

• 申請號: 201711399776.5
• 申請日: 2017-12-21
• 公開（公告）號: CN107977468B
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 夏德興;王欣潔
• 申請（專利權）人: 深圳中智經濟技術合作有限公司
• 主分類號: G06F16/174
• 分類號: G06F16/174;H03M7/40
• 代理公司: 深圳市中科創為專利代理有限公司 44384
• 代理人: 梁炎芳

本發明公開了一種稀疏型數據文件的傳輸方法及系統，用以解決現有技術對于稀疏型數據文件的傳輸速度較慢，帶寬浪費嚴重的問題。該方法包括：判斷當前數據文件是否為稀疏型數據文件，若是，對所述稀疏型數據文件進行奇異值分解以獲得特征向量；對所述特征向量進行二進制符號的壓縮以生成壓縮特征向量及壓縮奇異值；傳輸所述壓縮特征向量及所述壓縮奇異值。本發明通過對稀疏型數據文件進行奇異值分解獲得特征向量，傳輸壓縮后的特征向量和奇異值，提高了傳輸速度，節約了帶寬。

技術領域

本發明涉及數據傳輸技術領域，尤其涉及一種稀疏型數據文件的傳輸方法及系統。

背景技術

稀疏文件是UNIX類和NTFS等文件系統的一個特性。

開始時，一個稀疏文件不包含用戶數據，也沒有分配到用來存儲用戶數據的磁盤空間。當數據被寫入稀疏文件時，NTFS逐漸地為其分配磁盤空間。一個稀疏文件有可能增長得很大。稀疏文件以64KB(不同文件系統不同)為單位增量增長，因此磁盤上稀疏文件的大小總是64KB的倍數。

稀疏文件就是在文件中留有很多空余空間，留備將來插入數據使用。如果這些空余空間被ASCI I碼的NULL字符占據，并且這些空間相當大，那么，這個文件就被稱為稀疏文件，而且，并不分配相應的磁盤塊。

在計算機科學方面，稀疏文件是文件系統中的一種文件存儲方式，在創建一個文件的時候，就預先分配了文件需要的連續存儲空間，其空間內部大多都還未被數據填充現在有很多文件系統都支持稀疏文件，包括大部分的Unix和NTFS。稀疏文件被普遍用來磁盤鏡像，數據庫快照，日志文件，還有其他科學運用上。

現有技術對于稀疏型文件數據采用二進制符號的壓縮方式后進行傳輸，文件的恢復速度比較慢。并且文件大，傳輸和存儲都占用了較大的資源，帶寬浪費現象十分嚴重。

發明內容

本發明要解決的技術問題目的在于提供一種稀疏型數據文件的傳輸方法及系統，用以解決現有技術對于稀疏型數據文件的傳輸速度較慢，帶寬浪費嚴重的問題。

為了實現上述目的，本發明采用的技術方案為：

一種稀疏型數據文件的傳輸方法，包括步驟：

判斷當前數據文件是否為稀疏型數據文件，若是，對所述稀疏型數據文件進行奇異值分解以獲得特征向量；

對所述特征向量進行二進制符號的壓縮以生成壓縮特征向量及壓縮奇異值；

傳輸所述壓縮特征向量及所述壓縮奇異值。

進一步地，所述對所述稀疏型數據文件進行奇異值分解以獲得特征向量的步驟具體包括：

假設一個大小為m×n的矩陣A，AA^T＝PA₁P^T，A^TA＝QA₂Q^T，則所述矩陣A的奇異值分解為：

A＝P∑Q^T；

其中，矩陣的大小為m×m，列向量是AAT的特征向量；矩陣的大小為n×n；矩陣∑的大小為m×n，位于對角線上的元素為奇異值。

進一步地，所述對所述特征向量進行二進制符號的壓縮以生成壓縮特征向量及壓縮奇異值的步驟具體包括：

通過哈夫曼編碼對所述特征向量進行二進制符號的壓縮。

一種稀疏型數據文件的傳輸系統，包括：

分解模塊，用于判斷當前數據文件是否為稀疏型數據文件，若是，對所述稀疏型數據文件進行奇異值分解以獲得特征向量；

壓縮模塊，用于對所述特征向量進行二進制符號的壓縮以生成壓縮特征向量及壓縮奇異值；