[發(fā)明專利]一種基于網(wǎng)絡(luò)字典的無損數(shù)據(jù)壓縮方法

無效

• 申請?zhí)枺?/td>: 200910186807.8
• 申請日: 2009-12-25
• 公開（公告）號: CN101800761A
• 公開（公告）日: 2010-08-11
• 發(fā)明（設(shè)計(jì)）人: 吳昊;劉鵬;陳宏欣;馮小輝;虞芬
• 申請（專利權(quán)）人: 吳昊
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06
• 代理公司: 南昌新天下專利商標(biāo)代理有限公司 36115
• 代理人: 施秀瑾

技術(shù)領(lǐng)域

本發(fā)明涉及一種無損數(shù)據(jù)壓縮方法，特別是一種基于網(wǎng)絡(luò)字典 的無損數(shù)據(jù)壓縮方法。

技術(shù)背景

壓縮技術(shù)大致可以分為有損壓縮和無損壓縮，有損壓縮通常用 于多媒體數(shù)據(jù)壓縮，而無損壓縮則通常用于通用數(shù)據(jù)壓縮，無損壓縮 又可分為基于統(tǒng)計(jì)模型的壓縮方法和基于字典模型的壓縮方法，前者 的代表為Huffman編碼和算術(shù)編碼，后者的代表為LZ77、LZ78、LZW 等。現(xiàn)在市面上流行的通用無損壓縮軟件通常采用基于字典的壓縮方 法，例如ZIP、LHarc、ARJ等，然而這些壓縮算法的字典均為本地 基于源文件而生成的，現(xiàn)有的基于字典的壓縮方法，其字典無論是靜 態(tài)字典還是動態(tài)生成，均處在本地，通常壓縮效率有限。

發(fā)明內(nèi)容

本發(fā)明其目的就在于提供一種基于網(wǎng)絡(luò)字典的無損數(shù)據(jù)壓縮 方法，可以有效提升壓縮效率，極限情況下壓縮效率接近100％。

實(shí)現(xiàn)上述目的而采取的技術(shù)方案，包括網(wǎng)絡(luò)字典，所述網(wǎng)絡(luò)字 典包括包含文件名稱、文件內(nèi)容、文件全文經(jīng)過報(bào)文摘要算法生成的 定長報(bào)文摘要文件或文件名稱、文件總塊數(shù)、當(dāng)前文件塊編號和將文 件經(jīng)過定長或變長的分割生成的文件塊；客戶端將所述定長報(bào)文摘要 文件傳回服務(wù)器與網(wǎng)絡(luò)字典中各表項(xiàng)進(jìn)行逐項(xiàng)按位比對，或?qū)⑺鑫? 件塊與服務(wù)器端網(wǎng)絡(luò)字典中各表項(xiàng)文件塊進(jìn)行按位比對；所述定長報(bào) 文摘要文件傳回服務(wù)器與網(wǎng)絡(luò)字典中各表項(xiàng)進(jìn)行逐項(xiàng)按位比對未發(fā) 現(xiàn)匹配項(xiàng)，則上傳文件名、文件全文，按照網(wǎng)絡(luò)字典構(gòu)成規(guī)范建立網(wǎng) 絡(luò)字典中新的表項(xiàng)，返回新表項(xiàng)的表項(xiàng)編號；所述文件塊與服務(wù)器端 網(wǎng)絡(luò)字典中各表項(xiàng)文件塊進(jìn)行按位比對發(fā)現(xiàn)匹配項(xiàng)則返回網(wǎng)絡(luò)字典 中匹配結(jié)果的表項(xiàng)編號，未發(fā)現(xiàn)匹配項(xiàng)，則上傳文件名稱、文件總塊 數(shù)、當(dāng)前文件塊編號和將文件經(jīng)過定長或變長的分割生成的文件塊， 建立網(wǎng)絡(luò)字典中新的表項(xiàng)，返回新表項(xiàng)的表項(xiàng)編號。

具體實(shí)施方式

包括網(wǎng)絡(luò)字典，所述網(wǎng)絡(luò)字典包括包含文件名稱、文件內(nèi)容、文 件全文經(jīng)過報(bào)文摘要算法生成的定長報(bào)文摘要文件或文件名稱、文件 總塊數(shù)、當(dāng)前文件塊編號和將文件經(jīng)過定長或變長的分割生成的文件 塊；客戶端將所述定長報(bào)文摘要文件傳回服務(wù)器與網(wǎng)絡(luò)字典中各表項(xiàng) 進(jìn)行逐項(xiàng)按位比對，或?qū)⑺鑫募K與服務(wù)器端網(wǎng)絡(luò)字典中各表項(xiàng)文 件塊進(jìn)行按位比對；所述定長報(bào)文摘要文件傳回服務(wù)器與網(wǎng)絡(luò)字典中 各表項(xiàng)進(jìn)行逐項(xiàng)按位比對未發(fā)現(xiàn)匹配項(xiàng)，則上傳文件名、文件全文， 按照網(wǎng)絡(luò)字典構(gòu)成規(guī)范建立網(wǎng)絡(luò)字典中新的表項(xiàng)，返回新表項(xiàng)的表項(xiàng) 編號；所述文件塊與服務(wù)器端網(wǎng)絡(luò)字典中各表項(xiàng)文件塊進(jìn)行按位比對 發(fā)現(xiàn)匹配項(xiàng)則返回網(wǎng)絡(luò)字典中匹配結(jié)果的表項(xiàng)編號，未發(fā)現(xiàn)匹配項(xiàng)， 則上傳文件名稱、文件總塊數(shù)、當(dāng)前文件塊編號和將文件經(jīng)過定長或 變長的分割生成的文件塊，建立網(wǎng)絡(luò)字典中新的表項(xiàng)，返回新表項(xiàng)的 表項(xiàng)編號。

本發(fā)明是基于網(wǎng)絡(luò)字典的無損數(shù)據(jù)壓縮方法，現(xiàn)有的基于網(wǎng)絡(luò) 字典的壓縮方法，其字典無論是靜態(tài)字典還是動態(tài)生成，均處在本地。 本壓縮方法的不同點(diǎn)關(guān)鍵在于有專用的服務(wù)器保存了各種類型的字 典，并建立了字典索引或者字典地址列表。

其工作原理如下：建立專用的服務(wù)器用以保存全文網(wǎng)絡(luò)字典、 分塊字典以及摘要等信息，針對全文壓縮時(shí)，將欲壓縮之源文件經(jīng)過 報(bào)文摘要算法，生成定長摘要，傳至服務(wù)器與服務(wù)器摘要進(jìn)行對比， 如匹配則以服務(wù)器中數(shù)據(jù)的索引作為壓縮結(jié)果返回；針對分塊文檔壓 縮時(shí)，將欲壓縮之分塊與服務(wù)器端分塊網(wǎng)絡(luò)字典進(jìn)行比對，找出相似 度最大之?dāng)?shù)據(jù)，然后返回此數(shù)據(jù)索引并將差分值以現(xiàn)有壓縮方法壓縮 后發(fā)回客戶端。這兩種方法結(jié)合，可以有效提升壓縮效率，

實(shí)施例

壓縮方法一：因?yàn)樵S多文件有太多的副本，所以以文件為單位定義網(wǎng) 絡(luò)字典，則壓縮的時(shí)間效率和空間效率會高很多，具體實(shí)現(xiàn)時(shí)可以采 用報(bào)文摘要算法將原文件形成定長摘要，與服務(wù)器端進(jìn)行比對，如果 二者相同，則可以建立一一對應(yīng)關(guān)系。

其壓縮過程描述如下：

①客戶端對源文件進(jìn)行報(bào)文摘要算法，生成定長摘要；

②客戶端將摘要或者摘要+文件名傳輸至服務(wù)器端；

③服務(wù)器端將摘要或者摘要+文件名與摘要字典進(jìn)行匹配，其中摘要 進(jìn)行精確匹配，文件名進(jìn)行模糊匹配，如果匹配成功，則建立一 一映射，并將映射結(jié)果傳回客戶端，否則轉(zhuǎn)⑤；

④客戶端獲得文件映射結(jié)果，將結(jié)果作為壓縮文件保存，壓縮完畢；