[發(fā)明專利]一種大型XML文件的網(wǎng)絡(luò)傳輸方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201210013186.5
• 申請(qǐng)日: 2012-01-16
• 公開(kāi)（公告）號(hào): CN102571966A
• 公開(kāi)（公告）日: 2012-07-11
• 發(fā)明（設(shè)計(jì)）人: 孫偉豐;李浩;王恒;程仁波;劉鈺;王文軍;鄭程光;賴錚;羅正海;徐邵稀;胡奎;關(guān)健;趙偉
• 申請(qǐng)（專利權(quán)）人: 上海方正數(shù)字出版技術(shù)有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08
• 代理公司: 上海漢聲知識(shí)產(chǎn)權(quán)代理有限公司 31236
• 代理人: 胡晶

技術(shù)領(lǐng)域

本發(fā)明涉及XML文件的傳輸，特別涉及一種大型XML文件的網(wǎng)絡(luò)傳輸方法。

背景技術(shù)

XML(可擴(kuò)展標(biāo)記文件)是一種標(biāo)記語(yǔ)言，其具有如下優(yōu)點(diǎn)：(1)自描述性；(2)支持文檔內(nèi)容的驗(yàn)證；(3)允許不同領(lǐng)域的標(biāo)記語(yǔ)言的存在；(4)支持高級(jí)搜集，故而，XML格式的文件在現(xiàn)今的互聯(lián)網(wǎng)應(yīng)用中被大量使用。由于現(xiàn)今Internet網(wǎng)絡(luò)帶寬容量的限制，使得系統(tǒng)在進(jìn)行大型XML文件傳輸時(shí)，對(duì)XML進(jìn)行有效的壓縮及傳輸機(jī)制的設(shè)計(jì)顯得尤為重要。

大型XML文件傳輸現(xiàn)有如下的兩種方式：(1)文件結(jié)構(gòu)感知；(2)非文件結(jié)構(gòu)感知兩種方式；而在文件結(jié)構(gòu)感知方式中又分為：基于schema方式和非schema方式兩種。

考慮到XML文件是以文本方式進(jìn)行存儲(chǔ)，在非結(jié)構(gòu)感知方式下現(xiàn)行系統(tǒng)多采用傳統(tǒng)的文本壓縮方式進(jìn)行XML文件的壓縮，例如：采用bzip2，gzip等方式。雖然該種方式在對(duì)文本文件壓縮時(shí)具有較大的壓縮率，但同時(shí)此種方式缺點(diǎn)也較為明顯：(1)壓縮需占用較多計(jì)算資源(CPU，內(nèi)存，IO等)；(2)需要在發(fā)送端和接收端，同時(shí)具有相同的壓縮/解壓縮算法；(3)無(wú)法對(duì)壓縮后的文件進(jìn)行在線查詢。

結(jié)構(gòu)感知方式的壓縮方式，其旨在利用對(duì)XML文檔結(jié)構(gòu)的感知來(lái)實(shí)現(xiàn)壓縮的一種壓縮方式，相對(duì)XML文檔進(jìn)行一般文本壓縮處理的方式來(lái)說(shuō)，該方法進(jìn)一步提供了壓縮率，但其依賴于其后端的壓縮/解壓算法和相應(yīng)的XML文檔的格式或XML文檔的Schema，而沒(méi)有對(duì)于XML文檔中的一些冗余信息進(jìn)行相應(yīng)的處理。

基于對(duì)上述問(wèn)題的討論我們提出一種新的基于壓縮和分批傳輸?shù)拇笮蚗ML文件網(wǎng)絡(luò)傳輸方法，該方法具有較高的壓縮率，較低的壓縮/解壓資源消耗，以及較快的傳輸速率等優(yōu)點(diǎn)從而以較低的資源需求來(lái)完成海量數(shù)據(jù)的傳輸。

在進(jìn)行大型XML文件網(wǎng)絡(luò)傳輸時(shí)，首要考慮的問(wèn)題是網(wǎng)絡(luò)帶寬，其次是要考慮盡可能地減少所需要傳輸文檔的大小，最后要考慮的是傳輸過(guò)程所造成文檔誤差的檢查和修復(fù)能力。在此，我們主要關(guān)注前面兩點(diǎn)，即如何在有限的網(wǎng)絡(luò)帶寬下，提高系統(tǒng)的吞吐量。

現(xiàn)有對(duì)于大型XML文檔進(jìn)行網(wǎng)絡(luò)傳輸時(shí)所采用的方法有上述提及的基于XML文檔結(jié)構(gòu)感知和非結(jié)構(gòu)感知的兩種主要方法，他們的重點(diǎn)均側(cè)重于對(duì)于XML文檔的壓縮處理，而對(duì)于壓縮后的文件的傳輸問(wèn)題則沒(méi)有過(guò)多的討論。

下面就主要討論一下上述各個(gè)方案。首先，對(duì)于非結(jié)構(gòu)感知，其主要側(cè)重于對(duì)于XML文檔進(jìn)行相關(guān)的壓縮，其所采用的方法是將XML文檔作為文本文件進(jìn)行壓縮/解壓處理，從而達(dá)到減少相應(yīng)所需傳輸文件大小的目的。如在進(jìn)行XML文檔傳輸之前對(duì)相關(guān)文檔使用文本壓縮算法進(jìn)行壓縮，在接收端使用相應(yīng)的解壓算法對(duì)所接收的壓縮文件進(jìn)行解壓并還原出源文件。該方案主要使用基于LZ77和Huffman編碼，Burrows-Wheeler轉(zhuǎn)換和自適應(yīng)統(tǒng)計(jì)數(shù)據(jù)壓縮技術(shù)的gzip，bzip2，PPM等算法對(duì)XML文檔進(jìn)行相關(guān)壓縮。

結(jié)構(gòu)感知的壓縮算法主要利用了XML文檔的高度結(jié)構(gòu)化的特點(diǎn)，對(duì)XML文檔進(jìn)行結(jié)構(gòu)分析，將XML文檔的結(jié)構(gòu)和數(shù)據(jù)分開(kāi)，將XML文檔結(jié)構(gòu)使用樹(shù)型數(shù)據(jù)結(jié)構(gòu)來(lái)表示，然后將各個(gè)節(jié)點(diǎn)的數(shù)據(jù)保存至該樹(shù)的各個(gè)葉子節(jié)點(diǎn)上的同質(zhì)的容器中。XMill作為獨(dú)立模式的結(jié)構(gòu)感知的壓縮算法現(xiàn)在已經(jīng)廣泛的應(yīng)用在大型XML文檔壓縮中。例如對(duì)于如下的XML文檔：

XMill首先根據(jù)文檔中的所有元素節(jié)點(diǎn)構(gòu)造相應(yīng)的元素容器，下表表示上述的XML文檔所對(duì)應(yīng)的元素容器及屬性容器和數(shù)據(jù)容器的情況。

元素表

屬性表

??1??/books/book/id

/books/book/title