[發(fā)明專(zhuān)利]增量數(shù)據(jù)解析方法、系統(tǒng)、介質(zhì)及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010191500.3
• 申請(qǐng)日: 2020-03-18
• 公開(kāi)（公告）號(hào): CN113495879A
• 公開(kāi)（公告）日: 2021-10-12
• 發(fā)明（設(shè)計(jì)）人: 陳志華
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海擎感智能科技有限公司
• 主分類(lèi)號(hào): G06F16/21
• 分類(lèi)號(hào): G06F16/21;G06F16/23;G06F16/28
• 代理公司: 上海光華專(zhuān)利事務(wù)所(普通合伙) 31219
• 代理人: 徐秋平

本發(fā)明提供一種增量數(shù)據(jù)解析方法、系統(tǒng)、介質(zhì)及裝置，應(yīng)用于MySQL數(shù)據(jù)庫(kù)，包括以下步驟：接收數(shù)據(jù)；將數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù)表中；基于記錄日志記錄所述數(shù)據(jù)寫(xiě)入所述數(shù)據(jù)庫(kù)表中的日志信息；基于所述記錄日志的日志信息判斷所述數(shù)據(jù)是否為增量數(shù)據(jù)；當(dāng)判斷所述數(shù)據(jù)為增量數(shù)據(jù)時(shí)，發(fā)送所述增量數(shù)據(jù)至消息服務(wù)端。本發(fā)明的一種增量數(shù)據(jù)解析方法、系統(tǒng)、介質(zhì)及裝置，用于方便MySQL數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)的修改和維護(hù)，增強(qiáng)數(shù)據(jù)的解析能力，提高數(shù)據(jù)的抗堆積能力。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)解析技術(shù)領(lǐng)域，特別是涉及一種增量數(shù)據(jù)解析方法、系統(tǒng)、介質(zhì)及裝置。

背景技術(shù)

數(shù)據(jù)庫(kù)(Database)是按照數(shù)據(jù)結(jié)構(gòu)來(lái)組織、存儲(chǔ)和管理數(shù)據(jù)的倉(cāng)庫(kù)，其不僅僅是存儲(chǔ)和管理數(shù)據(jù)，而轉(zhuǎn)變成用戶(hù)所需要的各種數(shù)據(jù)管理的方式。數(shù)據(jù)庫(kù)有很多種類(lèi)型；從最簡(jiǎn)單的存儲(chǔ)有各種數(shù)據(jù)的表格到能夠進(jìn)行海量數(shù)據(jù)存儲(chǔ)的大型數(shù)據(jù)庫(kù)系統(tǒng)都在各個(gè)方面得到了廣泛的應(yīng)用。

目前，很多業(yè)務(wù)都用到了數(shù)據(jù)庫(kù)，使用數(shù)據(jù)庫(kù)往往需要使用相應(yīng)的管理軟件，方便管理者使用。例如，MySQL(開(kāi)放源代碼的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng))其采用結(jié)構(gòu)化查詢(xún)語(yǔ)言對(duì)數(shù)據(jù)庫(kù)進(jìn)行管理。然而，在使用過(guò)程中由于接收數(shù)據(jù)后，由于數(shù)據(jù)太多或者不斷接收新的數(shù)據(jù)，無(wú)法實(shí)時(shí)將所有數(shù)據(jù)及時(shí)發(fā)送至消息服務(wù)端，會(huì)造成數(shù)據(jù)的堆積。

因此，希望能夠解決如何提高抗數(shù)據(jù)堆積能力的問(wèn)題。

發(fā)明內(nèi)容

鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種增量數(shù)據(jù)解析方法、系統(tǒng)、介質(zhì)及裝置，用于解決現(xiàn)有技術(shù)中如何提高抗數(shù)據(jù)堆積能力的問(wèn)題。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種增量數(shù)據(jù)解析方法，應(yīng)用于MySQL數(shù)據(jù)庫(kù)，包括以下步驟：接收數(shù)據(jù)；將數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù)表中；基于記錄日志記錄所述數(shù)據(jù)寫(xiě)入所述數(shù)據(jù)庫(kù)表中的日志信息；基于所述記錄日志的日志信息判斷所述數(shù)據(jù)是否為增量數(shù)據(jù)；當(dāng)判斷所述數(shù)據(jù)為增量數(shù)據(jù)時(shí)，發(fā)送所述增量數(shù)據(jù)至消息服務(wù)端。

于本發(fā)明的一實(shí)施例中，所述記錄日志為二進(jìn)制日志。

于本發(fā)明的一實(shí)施例中，為每個(gè)記錄日志設(shè)置全局不重復(fù)ID，通過(guò)所述全局不重復(fù)ID判斷所述記錄日志記錄的日志信息對(duì)應(yīng)的所述數(shù)據(jù)是否為增量數(shù)據(jù)。

為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種增量數(shù)據(jù)解析系統(tǒng)，包括：所述接收模塊用于接收數(shù)據(jù)；所述寫(xiě)入模塊用于將數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù)表中；所述記錄模塊用于基于記錄日志記錄所述數(shù)據(jù)寫(xiě)入所述數(shù)據(jù)庫(kù)表中的日志信息；所述判斷模塊用于基于所述記錄日志的日志信息判斷所述數(shù)據(jù)是否為增量數(shù)據(jù)；所述發(fā)送模塊用于當(dāng)判斷所述數(shù)據(jù)為增量數(shù)據(jù)時(shí)，發(fā)送所述增量數(shù)據(jù)至消息服務(wù)端。

于本發(fā)明的一實(shí)施例中，所述記錄日志為binlog日志。

于本發(fā)明的一實(shí)施例中，為每個(gè)記錄日志設(shè)置全局不重復(fù)ID，通過(guò)所述全局不重復(fù)ID判斷所述記錄日志記錄的日志信息對(duì)應(yīng)的所述數(shù)據(jù)是否為增量數(shù)據(jù)。

為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)任一上述增量數(shù)據(jù)解析方法。

為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種增量數(shù)據(jù)解析裝置，包括：處理器和存儲(chǔ)器；所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序；所述處理器與所述存儲(chǔ)器相連，用于執(zhí)行所述存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)程序，以使所述增量數(shù)據(jù)解析裝置執(zhí)行任一上述的增量數(shù)據(jù)解析方法。

最后，本發(fā)明還提供一種增量數(shù)據(jù)解析系統(tǒng)，包括：包括上述的增量數(shù)據(jù)解析裝置、應(yīng)用前端和消息服務(wù)端；所述應(yīng)用前端用于發(fā)送數(shù)據(jù)至所述增量數(shù)據(jù)解析裝置；所述消息服務(wù)端用于接收增量數(shù)據(jù)。

于本發(fā)明的一實(shí)施例中，還包括業(yè)務(wù)系統(tǒng)端；所述業(yè)務(wù)系統(tǒng)端用于向所述消息服務(wù)端訂閱預(yù)設(shè)類(lèi)型的所述增量數(shù)據(jù)；所述業(yè)務(wù)系統(tǒng)端用于按照所述預(yù)設(shè)類(lèi)型向所述消息服務(wù)端獲取所述增量數(shù)據(jù)。