[發(fā)明專利]一種xml文件批量自動統(tǒng)計(jì)數(shù)據(jù)的方法

在審

• 申請?zhí)枺?/td>: 201910829165.2
• 申請日: 2019-09-03
• 公開（公告）號: CN110532434A
• 公開（公告）日: 2019-12-03
• 發(fā)明（設(shè)計(jì)）人: 程永新;林小勇;段文香
• 申請（專利權(quán)）人: 上海新炬網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F16/81
• 分類號: G06F16/81;G06F16/832;G06F16/835
• 代理公司: 31290 上海科律專利代理事務(wù)所(特殊普通合伙)
• 代理人: 袁亞軍<國際申請>=<國際公布>=<進(jìn)入

本發(fā)明公開了一種xml文件批量自動統(tǒng)計(jì)數(shù)據(jù)的方法,包括以下步驟：步驟S101：規(guī)范xml文件的命名和目錄的放置；步驟S102：將所述xml文件批量導(dǎo)入數(shù)據(jù)庫，根據(jù)所述XML的文件名稱分類，創(chuàng)建對應(yīng)的數(shù)據(jù)表；步驟S103：執(zhí)行python導(dǎo)入程序，批量自動把所述xml文件導(dǎo)入數(shù)據(jù)庫對應(yīng)的表。本發(fā)明提供的xml文件批量自動統(tǒng)計(jì)數(shù)據(jù)的方法，每個(gè)步驟都按不同時(shí)間通過程序腳本自動化操作，減少了人為操作和統(tǒng)計(jì)時(shí)間，大大提高工作效率。

技術(shù)領(lǐng)域

本發(fā)明涉及一種統(tǒng)計(jì)數(shù)據(jù)的方法，尤其涉及一種xml文件批量自動統(tǒng)計(jì)數(shù)據(jù)的方法。

背景技術(shù)

xml是一種標(biāo)記數(shù)據(jù)、定義數(shù)據(jù)類型，允許用戶對自己的標(biāo)記語言進(jìn)行定義的源語言,適合互聯(lián)網(wǎng)的傳輸。在大數(shù)據(jù)傳輸與保存處理，傳輸?shù)膞ml文件個(gè)數(shù)都是成千上萬，數(shù)據(jù)量可達(dá)到單個(gè)文件上GB級別。管理員時(shí)常會對xml文件進(jìn)行讀取與稽查統(tǒng)計(jì)，再寫出報(bào)告結(jié)果來得出業(yè)務(wù)運(yùn)營問題。通常會用以下兩個(gè)辦法:

(1)人工方式來讀取和分析，把單個(gè)xml文件轉(zhuǎn)成電子表格，再通過電子表格的函數(shù)來時(shí)行分析。

(2)通過傳統(tǒng)程序來解決，先把XML數(shù)據(jù)導(dǎo)到內(nèi)存中，然后再統(tǒng)計(jì)、導(dǎo)出統(tǒng)計(jì)結(jié)果，再繼續(xù)讀取下一個(gè)xml分析，直到處理完所有的xml文件。

現(xiàn)有的大規(guī)模的xml數(shù)據(jù)文件傳統(tǒng)處理方式會存在以下缺點(diǎn)：

(1)效率低下：首先是人工通過轉(zhuǎn)換xml格式，遇到數(shù)據(jù)量多的，轉(zhuǎn)換過成時(shí)間久且會出錯(cuò)。如果遇到成百上千個(gè)xml文件，那將會消耗大量的時(shí)間來統(tǒng)計(jì)，浪費(fèi)人力成本。

(2)通過傳統(tǒng)程序來處理方式，適用于少量的xml文件，隨著數(shù)據(jù)增多，處理需要花費(fèi)大量的時(shí)間。

(3)需要人為操作：從xml文件的傳輸?shù)秸淼綀?zhí)行程序到結(jié)束導(dǎo)入電子表格，都需要人工操作，對操作人員技術(shù)要求高。

(4)消耗計(jì)算機(jī)性能：由于程序讀取xml需要保存在內(nèi)存，而且讀取過程需要消耗大量的IO，當(dāng)數(shù)據(jù)量一多，計(jì)算機(jī)的性能將到瓶頸。

(5)長時(shí)間讀取失敗導(dǎo)致回退：如果在讀取xml文件時(shí)，讀取失敗導(dǎo)致程序中斷，會導(dǎo)致之前保存到內(nèi)存的數(shù)據(jù)失效，重啟讀取也將花費(fèi)大量時(shí)間。

(6)擴(kuò)容性不足：如果需要統(tǒng)計(jì)的規(guī)模變大，新增多個(gè)xml文件，就需要改動源代碼，擴(kuò)容方案也會更加困難。

因此，有必要提供一種xml文件批量自動統(tǒng)計(jì)數(shù)據(jù)的方法，可以提升大量xml文件處理數(shù)據(jù)的效率。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是提供一種xml文件批量自動統(tǒng)計(jì)數(shù)據(jù)的方法，每個(gè)步驟都按不同時(shí)間通過程序腳本自動化操作，減少了人為操作和統(tǒng)計(jì)時(shí)間，大大提高工作效率。

本發(fā)明為解決上述技術(shù)問題而采用的技術(shù)方案是提供一種xml文件批量自動統(tǒng)計(jì)數(shù)據(jù)的方法，包括以下步驟：

步驟S101：規(guī)范xml文件的命名和目錄的放置；

步驟S102：將所述xml文件批量導(dǎo)入數(shù)據(jù)庫，根據(jù)所述XML的文件名稱分類，創(chuàng)建對應(yīng)的數(shù)據(jù)表；

步驟S103：執(zhí)行python導(dǎo)入程序，批量自動把所述xml文件導(dǎo)入數(shù)據(jù)庫對應(yīng)的表。

優(yōu)選地，在所述步驟S103之后還包括步驟S104：按要求統(tǒng)計(jì)所述導(dǎo)入數(shù)據(jù)庫的xml文件，生成統(tǒng)計(jì)結(jié)果后導(dǎo)出電子表格，進(jìn)行歸檔保存。

優(yōu)選地，在所述步驟S101之前還包括建立負(fù)責(zé)統(tǒng)計(jì)的服務(wù)器和xml生成文件服務(wù)器之間的信任關(guān)系，將所述負(fù)責(zé)統(tǒng)計(jì)的服務(wù)器和所述xml生成文件服務(wù)器的帳號和密碼寫到腳本中的變量。