[發(fā)明專利]數(shù)據(jù)處理方法、裝置、電子設(shè)備及可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010133602.X
• 申請日: 2020-02-28
• 公開（公告）號: CN111339175B
• 公開（公告）日: 2023-08-11
• 發(fā)明（設(shè)計(jì)）人: 劉奔
• 申請（專利權(quán)）人: 成都運(yùn)力科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27;G06F16/28
• 代理公司: 北京超成律師事務(wù)所 11646
• 代理人: 孔默

本申請?zhí)峁┮环N數(shù)據(jù)處理方法、裝置、電子設(shè)備及可讀存儲介質(zhì)，包括：獲得多個原始數(shù)據(jù)；將多個原始數(shù)據(jù)發(fā)送到分布式消息隊(duì)列Kafka；利用Flink從Kafka獲取多個原始數(shù)據(jù)并進(jìn)行ETL處理，獲得多個整合數(shù)據(jù)，整合數(shù)據(jù)帶有標(biāo)簽；按照每個整合數(shù)據(jù)的標(biāo)簽，將每個整合數(shù)據(jù)寫入對應(yīng)的數(shù)據(jù)庫；從Kafka、Flink以及多個數(shù)據(jù)庫對應(yīng)的API接口收集監(jiān)控?cái)?shù)據(jù)，并對監(jiān)控?cái)?shù)據(jù)進(jìn)行監(jiān)控，其中，監(jiān)控?cái)?shù)據(jù)包括原始數(shù)據(jù)和整合數(shù)據(jù)。本申請實(shí)施例提供的數(shù)據(jù)處理方法可以利用Flink對原始數(shù)據(jù)進(jìn)行ETL處理，且對整個數(shù)據(jù)處理流程的各個階段產(chǎn)生的數(shù)據(jù)進(jìn)行監(jiān)控，對各個階段產(chǎn)生的數(shù)據(jù)均進(jìn)行監(jiān)控，可以較好地把握數(shù)據(jù)在被處理過程中的變化情況，可以使得數(shù)據(jù)口徑統(tǒng)一，且有利于保證數(shù)據(jù)的一致性。

技術(shù)領(lǐng)域

本申請涉及大數(shù)據(jù)技術(shù)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及可讀存儲介質(zhì)。

背景技術(shù)

現(xiàn)有技術(shù)中，對于實(shí)時數(shù)據(jù)的需求越來越多，多個獨(dú)立的實(shí)時任務(wù)會造成很大的集群資源的浪費(fèi)，付出較高的開發(fā)運(yùn)維成本，因此需要一個統(tǒng)一的實(shí)時數(shù)據(jù)倉庫來提高任務(wù)擴(kuò)展性，節(jié)約集群資源。

現(xiàn)有的實(shí)時數(shù)據(jù)倉庫通常是基于煙囪式架構(gòu)開發(fā)，煙囪式架構(gòu)中，通常每個需求會設(shè)置一個對應(yīng)的任務(wù)，常常出現(xiàn)單個需求各自分別計(jì)算，數(shù)據(jù)口徑不統(tǒng)一的問題，數(shù)據(jù)一致性很難得到保證。

發(fā)明內(nèi)容

本申請實(shí)施例的目的在于提供一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及可讀存儲介質(zhì)，用以改善現(xiàn)有技術(shù)中數(shù)據(jù)口徑不統(tǒng)一，數(shù)據(jù)一致性難以保證的問題。

第一方面，本申請實(shí)施例提供了一種數(shù)據(jù)處理方法，所述方法包括：獲得多個原始數(shù)據(jù)；將所述多個原始數(shù)據(jù)發(fā)送到分布式消息隊(duì)列Kafka；利用Flink從Kafka獲取所述多個原始數(shù)據(jù)并進(jìn)行ETL處理，獲得多個整合數(shù)據(jù)，所述整合數(shù)據(jù)帶有標(biāo)簽；按照每個所述整合數(shù)據(jù)的標(biāo)簽，將每個所述整合數(shù)據(jù)寫入對應(yīng)的數(shù)據(jù)庫；從所述Kafka、Flink以及多個所述數(shù)據(jù)庫對應(yīng)的API接口收集監(jiān)控?cái)?shù)據(jù)，并對所述監(jiān)控?cái)?shù)據(jù)進(jìn)行監(jiān)控，其中，所述監(jiān)控?cái)?shù)據(jù)包括原始數(shù)據(jù)和整合數(shù)據(jù)。

在上述的實(shí)施方式中，整合數(shù)據(jù)帶有標(biāo)簽，按照標(biāo)簽可以將每個整合數(shù)據(jù)寫入對應(yīng)的數(shù)據(jù)庫中。本申請實(shí)施例提供的數(shù)據(jù)處理方法可以利用Flink對原始數(shù)據(jù)進(jìn)行ETL處理，且對整個數(shù)據(jù)處理流程的各個階段產(chǎn)生的數(shù)據(jù)進(jìn)行監(jiān)控。對各個階段產(chǎn)生的數(shù)據(jù)均進(jìn)行監(jiān)控，可以較好地把握數(shù)據(jù)在被處理過程中的變化情況，可以使得數(shù)據(jù)口徑統(tǒng)一，且有利于保證數(shù)據(jù)的一致性。

在一個可能的設(shè)計(jì)中，所述對所述監(jiān)控?cái)?shù)據(jù)進(jìn)行監(jiān)控，包括：判斷所述監(jiān)控?cái)?shù)據(jù)的具體值是否超過對應(yīng)的數(shù)值范圍；若是，則發(fā)出告警信號。

在上述的實(shí)施方式中，對監(jiān)控?cái)?shù)據(jù)進(jìn)行監(jiān)控時，可以獲取監(jiān)控?cái)?shù)據(jù)的具體值，并且判斷該具體值是否超出了該監(jiān)控?cái)?shù)據(jù)對應(yīng)的數(shù)值范圍，若超出，則表征數(shù)據(jù)出現(xiàn)異常，發(fā)出告警信號提醒用戶。

在一個可能的設(shè)計(jì)中，所述對所述監(jiān)控?cái)?shù)據(jù)進(jìn)行監(jiān)控，包括：判斷在預(yù)設(shè)時間段內(nèi)是否接收到所述監(jiān)控?cái)?shù)據(jù)的心跳信號；若否，則發(fā)出告警信號。

在上述的實(shí)施方式中，對監(jiān)控?cái)?shù)據(jù)進(jìn)行監(jiān)控時，可以在每次接收到監(jiān)控?cái)?shù)據(jù)對應(yīng)的心跳信號后進(jìn)行計(jì)時，若在最近一次接收到監(jiān)控?cái)?shù)據(jù)后的時間長度超過了預(yù)設(shè)時間段，則表征對應(yīng)的監(jiān)控?cái)?shù)據(jù)出現(xiàn)異常，發(fā)出告警信號提醒用戶。

在一個可能的設(shè)計(jì)中，所述數(shù)據(jù)庫包括Redis；所述按照所述整合數(shù)據(jù)的標(biāo)簽，將所述每個整合數(shù)據(jù)寫入對應(yīng)的數(shù)據(jù)庫，包括：若存在整合數(shù)據(jù)的標(biāo)簽表征所述整合數(shù)據(jù)需進(jìn)行頻繁地查詢和讀寫動作，將所述整合數(shù)據(jù)寫入Redis。

在上述的實(shí)施方式中，存入Redis數(shù)據(jù)庫中的數(shù)據(jù)能夠更便捷地進(jìn)行頻繁地查詢和讀寫動作，將滿足要求的整合數(shù)據(jù)存入Redis數(shù)據(jù)庫，有利于提高整個數(shù)據(jù)處理方法的運(yùn)行速度，提高效率。