[發(fā)明專(zhuān)利]基于ETL的財(cái)務(wù)結(jié)算數(shù)據(jù)處理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201710752509.5
• 申請(qǐng)日: 2017-08-28
• 公開(kāi)（公告）號(hào): CN107577743A
• 公開(kāi)（公告）日: 2018-01-12
• 發(fā)明（設(shè)計(jì)）人: 鐘均全;李毅;黃承松;夏里峰;宋書(shū)俊
• 申請(qǐng)（專(zhuān)利權(quán)）人: 武漢奇米網(wǎng)絡(luò)科技有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30;G06Q30/06
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司11002
• 代理人: 王瑩,吳歡燕

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，更具體地，涉及一種基于ETL的財(cái)務(wù)結(jié)算數(shù)據(jù)處理方法及裝置。

背景技術(shù)

ETL是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過(guò)抽取(Extract)、清洗轉(zhuǎn)換(Transform)之后加載(Load)到數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程，目的是將企業(yè)中的分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起，為企業(yè)的決策提供分析的依據(jù)。ETL是BI(Business Intelligence，商務(wù)智能)項(xiàng)目最重要的一個(gè)環(huán)節(jié)，通常情況下ETL會(huì)花掉整個(gè)項(xiàng)目的1/3的時(shí)間，ETL設(shè)計(jì)的好壞直接關(guān)系到BI項(xiàng)目的成敗。ETL也是一個(gè)長(zhǎng)期的過(guò)程，只有不斷的發(fā)現(xiàn)問(wèn)題并解決問(wèn)題，才能使ETL運(yùn)行效率更高，為項(xiàng)目后期開(kāi)發(fā)提供準(zhǔn)確的數(shù)據(jù)。

ETL的設(shè)計(jì)分三部分：數(shù)據(jù)抽取(Extract)、數(shù)據(jù)的清洗轉(zhuǎn)換(Transform)、數(shù)據(jù)的加載(Load)。其中，Extract：數(shù)據(jù)的抽取是從各個(gè)不同的數(shù)據(jù)源抽取到ODS(Operational Data Store，操作型數(shù)據(jù)存儲(chǔ))中。Transform：花費(fèi)時(shí)間最長(zhǎng)的是清洗轉(zhuǎn)換部分，一般情況下這部分工作量是整個(gè)ETL的2/3。且數(shù)據(jù)清洗是一個(gè)反復(fù)的過(guò)程，不可能在幾天內(nèi)完成，只有不斷的發(fā)現(xiàn)問(wèn)題。Load：數(shù)據(jù)的加載一般在數(shù)據(jù)清洗完成之后，將數(shù)據(jù)直接寫(xiě)入DW(Data Warehouse，數(shù)據(jù)倉(cāng)庫(kù))中去。

目前，許多網(wǎng)絡(luò)購(gòu)物平臺(tái)都采用ETL對(duì)財(cái)務(wù)結(jié)算數(shù)據(jù)進(jìn)行處理，以供平臺(tái)與商家按周期進(jìn)行結(jié)算。但現(xiàn)有采用ETL對(duì)財(cái)務(wù)結(jié)算數(shù)據(jù)進(jìn)行處理的技術(shù)，在對(duì)財(cái)務(wù)結(jié)算數(shù)據(jù)進(jìn)行轉(zhuǎn)換清洗時(shí)，只做了簡(jiǎn)單的清洗，導(dǎo)致在后期平臺(tái)結(jié)算中，極易發(fā)生結(jié)算錯(cuò)誤，對(duì)平臺(tái)造成經(jīng)濟(jì)損失。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種克服上述問(wèn)題或者至少部分地解決上述問(wèn)題的基于ETL的財(cái)務(wù)結(jié)算數(shù)據(jù)處理方法及裝置。

一方面本發(fā)明實(shí)施例提供了一種基于ETL的財(cái)務(wù)結(jié)算數(shù)據(jù)處理方法，所述方法包括：

對(duì)每個(gè)訂單對(duì)應(yīng)的財(cái)務(wù)結(jié)算數(shù)據(jù)進(jìn)行正確性校驗(yàn)和可靠性校驗(yàn)；

對(duì)于當(dāng)前所有訂單中的任一訂單，若所述任一訂單對(duì)應(yīng)的財(cái)務(wù)結(jié)算數(shù)據(jù)未通過(guò)所述正確性校驗(yàn)，則清除所述任一訂單對(duì)應(yīng)的財(cái)務(wù)結(jié)算數(shù)據(jù)；

若所述任一訂單對(duì)應(yīng)的財(cái)務(wù)結(jié)算數(shù)據(jù)通過(guò)所述正確性校驗(yàn)，而未通過(guò)所述可靠性校驗(yàn)，則為所述任一訂單對(duì)應(yīng)的財(cái)務(wù)結(jié)算數(shù)據(jù)加上標(biāo)簽，并將所述任一訂單對(duì)應(yīng)帶有所述標(biāo)簽的財(cái)務(wù)結(jié)算數(shù)據(jù)加載至數(shù)據(jù)倉(cāng)庫(kù)。

其中，所述正確性校驗(yàn)為以下校驗(yàn)類(lèi)型中的至少任意一種，所述以下校驗(yàn)類(lèi)型至少包括訂單完整性校驗(yàn)、訂單金額校驗(yàn)和結(jié)算價(jià)值校驗(yàn)。

其中，所述正確性校驗(yàn)為訂單完整性校驗(yàn)，所述對(duì)每個(gè)訂單對(duì)應(yīng)的財(cái)務(wù)結(jié)算數(shù)據(jù)進(jìn)行正確性校驗(yàn)，具體包括：

校驗(yàn)所述任一訂單對(duì)應(yīng)的財(cái)務(wù)結(jié)算數(shù)據(jù)中的訂單商品數(shù)量是否大于零，若大于零，則通過(guò)校驗(yàn)。

其中，所述正確性校驗(yàn)為訂單金額校驗(yàn)，所述對(duì)每個(gè)訂單對(duì)應(yīng)的財(cái)務(wù)結(jié)算數(shù)據(jù)進(jìn)行正確性校驗(yàn)，具體包括：

校驗(yàn)所述任一訂單對(duì)應(yīng)的財(cái)務(wù)結(jié)算數(shù)據(jù)中商品總價(jià)與營(yíng)銷(xiāo)費(fèi)總價(jià)之差和訂單實(shí)付金額是否相等，若相等，則通過(guò)校驗(yàn)。

其中，所述正確性校驗(yàn)為結(jié)算價(jià)值校驗(yàn)，所述對(duì)每個(gè)訂單對(duì)應(yīng)的財(cái)務(wù)結(jié)算數(shù)據(jù)進(jìn)行正確性校驗(yàn)，具體包括：

當(dāng)所述任一訂單對(duì)應(yīng)的財(cái)務(wù)結(jié)算數(shù)據(jù)中訂單結(jié)算類(lèi)型為入庫(kù)商品結(jié)算類(lèi)型時(shí)，校驗(yàn)所述任一訂單對(duì)應(yīng)的財(cái)務(wù)結(jié)算數(shù)據(jù)中結(jié)算價(jià)值的取值是否不大于商品售賣(mài)價(jià)格的一半，若不大于，則通過(guò)校驗(yàn)。

其中，所述可靠性校驗(yàn)為以下校驗(yàn)類(lèi)型中的至少任意一種，所述以下校驗(yàn)類(lèi)型至少包括取值范圍校驗(yàn)和業(yè)務(wù)關(guān)聯(lián)性校驗(yàn)。

其中，所述可靠性校驗(yàn)為取值范圍校驗(yàn)，所述對(duì)每個(gè)訂單對(duì)應(yīng)的財(cái)務(wù)結(jié)算數(shù)據(jù)進(jìn)行可靠性校驗(yàn)，具體包括：

校驗(yàn)所述任一訂單對(duì)應(yīng)的財(cái)務(wù)結(jié)算數(shù)據(jù)中技術(shù)服務(wù)費(fèi)比例的取值、訂單類(lèi)型的取值、訂單子類(lèi)型的取值、售后訂單類(lèi)型的取值以及售后訂單狀態(tài)的取值是否在各自對(duì)應(yīng)的預(yù)設(shè)取值范圍內(nèi)，若在各自對(duì)應(yīng)的預(yù)設(shè)取值范圍內(nèi)，則通過(guò)校驗(yàn)。

其中，所述可靠性校驗(yàn)為業(yè)務(wù)關(guān)聯(lián)性校驗(yàn)，所述對(duì)每個(gè)訂單對(duì)應(yīng)的財(cái)務(wù)結(jié)算數(shù)據(jù)進(jìn)行可靠性校驗(yàn)，具體包括：

校驗(yàn)所述任一訂單對(duì)應(yīng)的財(cái)務(wù)結(jié)算數(shù)據(jù)中訂單結(jié)算類(lèi)型與發(fā)貨方類(lèi)型是否相關(guān)聯(lián)，并校驗(yàn)所述任一訂單對(duì)應(yīng)的財(cái)務(wù)結(jié)算數(shù)據(jù)中訂單類(lèi)型與訂單結(jié)算類(lèi)型是否相關(guān)聯(lián)，若都相關(guān)聯(lián)，則通過(guò)校驗(yàn)。

其中，所述校驗(yàn)所述任一訂單對(duì)應(yīng)的財(cái)務(wù)結(jié)算數(shù)據(jù)中訂單結(jié)算類(lèi)型與發(fā)貨方類(lèi)型是否相關(guān)聯(lián)，并校驗(yàn)所述任一訂單對(duì)應(yīng)的財(cái)務(wù)結(jié)算數(shù)據(jù)中訂單類(lèi)型與訂單結(jié)算類(lèi)型是否相關(guān)聯(lián)，具體包括：