[發(fā)明專利]一種組織機構(gòu)數(shù)據(jù)實時查詢系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201910788775.2
• 申請日: 2019-08-26
• 公開（公告）號: CN110597894B
• 公開（公告）日: 2022-03-04
• 發(fā)明（設(shè)計）人: 舒建輝;李順德;陳浩毅
• 申請（專利權(quán)）人: 重慶華醫(yī)康道科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/2458;G06F16/28;G06F16/21
• 代理公司: 重慶圖為律師事務(wù)所 50287
• 代理人: 雷宇

本發(fā)明提供一種組織機構(gòu)數(shù)據(jù)實時查詢系統(tǒng)包括：至少一個組織機構(gòu)的數(shù)據(jù)庫、kettle、數(shù)據(jù)分發(fā)器、Flink、OpenApi、外部系統(tǒng)；每個組織機構(gòu)的數(shù)據(jù)庫按照組織機構(gòu)自身業(yè)務(wù)需求創(chuàng)建視圖，視圖中的數(shù)據(jù)提供給外部系統(tǒng)查詢；在接收到外部系統(tǒng)發(fā)來的查詢請求時，kettle從查詢請求對應(yīng)的數(shù)據(jù)庫視圖抽取數(shù)據(jù)，并將抽取的數(shù)據(jù)按照預(yù)設(shè)字段進行字段轉(zhuǎn)換；數(shù)據(jù)分發(fā)器將進行字段轉(zhuǎn)換后的數(shù)據(jù)分發(fā)到Flink；Flink按照預(yù)設(shè)格式將分發(fā)來的數(shù)據(jù)進行格式轉(zhuǎn)換，并將格式轉(zhuǎn)換后的數(shù)據(jù)作為查詢結(jié)果發(fā)送到OpenApi；OpenApi將查詢結(jié)果輸出到外部系統(tǒng)；實現(xiàn)組織機構(gòu)數(shù)據(jù)的實時轉(zhuǎn)換，外部系統(tǒng)能實時查詢組織機構(gòu)的數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體地說，涉及一種組織機構(gòu)數(shù)據(jù)實時查詢系統(tǒng)。

背景技術(shù)

目前，組織機構(gòu)的數(shù)據(jù)庫創(chuàng)建有視圖，并新加一個DB用戶U，只設(shè)置對視圖的查詢權(quán)限，用于提供外部系統(tǒng)所需的數(shù)據(jù)，外部系統(tǒng)以用戶U連接數(shù)據(jù)庫，每隔10秒查詢視圖獲得實時數(shù)據(jù)；這種方式并不是真正的實時，失敗后需要當日檢查數(shù)據(jù)后的補償性操作，消耗性能也不小，目前還沒有實現(xiàn)外部系統(tǒng)實時查詢組織機構(gòu)的數(shù)據(jù)的功能。

發(fā)明內(nèi)容

本發(fā)明的目的在于提出一種組織機構(gòu)數(shù)據(jù)實時查詢系統(tǒng)，旨在解決現(xiàn)有技術(shù)中，外部系統(tǒng)不能實現(xiàn)實時查詢組織機構(gòu)的數(shù)據(jù)的問題。

為解決上述技術(shù)問題，本發(fā)明提供一種組織機構(gòu)數(shù)據(jù)實時查詢系統(tǒng)，包括：

至少一個組織機構(gòu)的數(shù)據(jù)庫、kettle、數(shù)據(jù)分發(fā)器、Flink、OpenApi、外部系統(tǒng)；

每個組織機構(gòu)的數(shù)據(jù)庫按照組織機構(gòu)自身業(yè)務(wù)需求創(chuàng)建有視圖，所述視圖中的數(shù)據(jù)用于提供給所述外部系統(tǒng)進行查詢；

在接收到所述外部系統(tǒng)發(fā)來的查詢請求時，所述kettle從所述查詢請求對應(yīng)的所述組織機構(gòu)的數(shù)據(jù)庫視圖抽取數(shù)據(jù)，并將抽取的數(shù)據(jù)按照預(yù)設(shè)字段進行字段轉(zhuǎn)換；

所述數(shù)據(jù)分發(fā)器將進行字段轉(zhuǎn)換后的數(shù)據(jù)分發(fā)到所述Flink；

所述Flink按照預(yù)設(shè)格式將分發(fā)來的數(shù)據(jù)進行格式轉(zhuǎn)換，并將格式轉(zhuǎn)換后的數(shù)據(jù)作為查詢結(jié)果發(fā)送到所述OpenApi；

所述OpenApi將所述查詢結(jié)果輸出到所述外部系統(tǒng)。

可選地，所述OpenApi還用于對所述查詢結(jié)果進行脫敏處理、和/或加密處理后輸出到所述外部系統(tǒng)。

可選地，還包括區(qū)塊鏈云平臺，所述OpenApi將所述查詢結(jié)果發(fā)送到所述區(qū)塊鏈云平臺進行存儲。

可選地，所述OpenApi還用于對所述查詢結(jié)果進行壓縮處理，并發(fā)送到所述區(qū)塊鏈云平臺進行存儲。

可選地，所述區(qū)塊鏈云平臺中存儲有的查詢結(jié)果，支持在接收到所述外部系統(tǒng)發(fā)來的查詢請求時直接從所述區(qū)塊鏈云平臺輸出到所述外部系統(tǒng)。

可選地，還包括數(shù)據(jù)倉庫，所述Flink還用于將所述查詢結(jié)果存入所述數(shù)據(jù)倉庫，所述數(shù)據(jù)倉庫用于供BI讀取后所述BI對數(shù)據(jù)進行挖掘、統(tǒng)計、分析中至少一種。

可選地，所述kettle還用于進行日志監(jiān)控、Job監(jiān)控、輸出文本中至少一種；在所述kettle用于進行輸出文本時，還包括容錯檢查系統(tǒng)，所述輸出文本用于為所述容錯檢查系統(tǒng)提供數(shù)據(jù)來源。

可選地，所述容錯檢查系統(tǒng)發(fā)現(xiàn)有錯的數(shù)據(jù)時，推送到另外單獨配置路由KEY的Kafka，由所述Flink接受處理，所述OpenApi單獨提供對外的接口，包括緩存的更新同步；對于已經(jīng)上鏈的情況，按照預(yù)設(shè)處理規(guī)則進行處理，并且所述外部系統(tǒng)實時調(diào)用所述OpenApi的接口來處理容錯。

可選地，所述Flink還用于將格式轉(zhuǎn)換后的數(shù)據(jù)進行清洗、聚合操作中至少一種，將進行清洗、聚合操作中至少一種后的數(shù)據(jù)作為查詢結(jié)果發(fā)送到所述OpenApi進行輸出。