[發(fā)明專利]用于微服務(wù)架構(gòu)的數(shù)據(jù)查詢系統(tǒng)、方法、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910148823.1
• 申請(qǐng)日: 2019-02-28
• 公開（公告）號(hào): CN109902105B
• 公開（公告）日: 2021-08-17
• 發(fā)明（設(shè)計(jì)）人: 張翔;許鵬;余達(dá)明
• 申請(qǐng)（專利權(quán)）人: 攜程旅游網(wǎng)絡(luò)技術(shù)（上海）有限公司
• 主分類號(hào): G06F16/2455
• 分類號(hào): G06F16/2455;G06F16/248;G06F16/25
• 代理公司: 上海隆天律師事務(wù)所 31282
• 代理人: 臧云霄;夏彬

本發(fā)明提供了一種用于微服務(wù)架構(gòu)的數(shù)據(jù)查詢系統(tǒng)、方法、設(shè)備及存儲(chǔ)介質(zhì)，該系統(tǒng)包括：微服務(wù)數(shù)據(jù)表管理模塊，用于建立微服務(wù)數(shù)據(jù)表；調(diào)度任務(wù)管理模塊，用于根據(jù)所述微服務(wù)數(shù)據(jù)表建立調(diào)度任務(wù)庫(kù)，調(diào)度任務(wù)根據(jù)所對(duì)應(yīng)的微服務(wù)的消息中間件主題，從消息中間件中消費(fèi)微服務(wù)生產(chǎn)的數(shù)據(jù)，所述微服務(wù)生產(chǎn)的數(shù)據(jù)包括微服務(wù)的全局唯一標(biāo)識(shí)碼；數(shù)據(jù)存儲(chǔ)模塊；數(shù)據(jù)查詢模塊，用于獲取查詢請(qǐng)求，并根據(jù)所述查詢請(qǐng)求中的全局唯一標(biāo)識(shí)碼從所述搜索服務(wù)器中查詢對(duì)應(yīng)的微服務(wù)日志。采用本發(fā)明的技術(shù)方案，在大數(shù)據(jù)環(huán)境下實(shí)現(xiàn)數(shù)據(jù)快速查詢定位，提高數(shù)據(jù)查詢和問(wèn)題診斷效率，并可以提供可視化查詢結(jié)果展示，提升用戶使用體驗(yàn)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種用于微服務(wù)架構(gòu)的數(shù)據(jù)查詢系統(tǒng)、方法、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

在OTA(Online Travel Agency，在線旅行社)企業(yè)或其他互聯(lián)網(wǎng)企業(yè)中，微服務(wù)架構(gòu)已經(jīng)成為了一種業(yè)界的潮流或者標(biāo)準(zhǔn)，隨著微服務(wù)架構(gòu)的推廣和應(yīng)用，企業(yè)中必然存在眾多的微服務(wù)組合和架構(gòu)，這些微服務(wù)生態(tài)所產(chǎn)生的數(shù)據(jù)和日志量非常大，一般可以達(dá)到數(shù)百TB甚至數(shù)十至數(shù)百PB規(guī)模，如此大數(shù)據(jù)量的數(shù)據(jù)甚至日志進(jìn)行查詢處理非常麻煩，一個(gè)原因是因?yàn)榉?wù)之間存在上下游的調(diào)用關(guān)系，另外是因?yàn)榉?wù)種類過(guò)多，格式不統(tǒng)一產(chǎn)生的問(wèn)題，如何在這些數(shù)據(jù)和日志中查詢需要查詢的數(shù)據(jù)，并進(jìn)行數(shù)據(jù)可視化展現(xiàn)，是需要面臨的問(wèn)題。

例如我們要查詢一個(gè)訂單它發(fā)生了什么，比如用戶投訴發(fā)現(xiàn)訂單錢多收了或少收了，此時(shí)怎么查詢?nèi)罩竞蛿?shù)據(jù)，并進(jìn)行問(wèn)題診斷定位，準(zhǔn)確而又快速的找到問(wèn)題，當(dāng)然我們可以通過(guò)逐個(gè)服務(wù)按照上下游關(guān)系的微服務(wù)日志鏈條式的跟蹤下來(lái)，查看原始的報(bào)文或日志，但是這樣不僅效率非常低、而且需要多個(gè)微服務(wù)相關(guān)的運(yùn)維人員來(lái)支持配合，調(diào)用海量的資源來(lái)查找定位一個(gè)問(wèn)題。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的問(wèn)題，本發(fā)明的目的在于提供一種用于微服務(wù)架構(gòu)的數(shù)據(jù)查詢系統(tǒng)、方法、設(shè)備及存儲(chǔ)介質(zhì)，在大數(shù)據(jù)環(huán)境下實(shí)現(xiàn)數(shù)據(jù)快速查詢定位，提高數(shù)據(jù)查詢和問(wèn)題診斷效率。

本發(fā)明實(shí)施例提供一種用于微服務(wù)架構(gòu)的數(shù)據(jù)查詢系統(tǒng)，包括：

微服務(wù)數(shù)據(jù)表管理模塊，用于建立微服務(wù)數(shù)據(jù)表，所述微服務(wù)數(shù)據(jù)表包括各個(gè)微服務(wù)的微服務(wù)標(biāo)識(shí)和消息中間件主題；

調(diào)度任務(wù)管理模塊，用于根據(jù)所述微服務(wù)數(shù)據(jù)表建立調(diào)度任務(wù)庫(kù)，所述調(diào)度任務(wù)庫(kù)中的調(diào)度任務(wù)與各個(gè)所述微服務(wù)相對(duì)應(yīng)，所述調(diào)度任務(wù)根據(jù)所對(duì)應(yīng)的微服務(wù)的消息中間件主題，從消息中間件中消費(fèi)微服務(wù)生產(chǎn)的數(shù)據(jù)，所述微服務(wù)生產(chǎn)的數(shù)據(jù)包括微服務(wù)的全局唯一標(biāo)識(shí)碼；

數(shù)據(jù)存儲(chǔ)模塊，用于將所述調(diào)度任務(wù)消費(fèi)得到的微服務(wù)生產(chǎn)的數(shù)據(jù)以微服務(wù)日志的形式存儲(chǔ)至搜索服務(wù)器；

數(shù)據(jù)查詢模塊，用于獲取查詢請(qǐng)求，并根據(jù)所述查詢請(qǐng)求中的全局唯一標(biāo)識(shí)碼從所述搜索服務(wù)器中查詢對(duì)應(yīng)的微服務(wù)日志。

可選地，所述微服務(wù)數(shù)據(jù)表還包括各個(gè)微服務(wù)的微服務(wù)調(diào)用信息，所述系統(tǒng)還包括調(diào)用關(guān)系鏈建立模塊，所述調(diào)用關(guān)系鏈建立模塊用于根據(jù)各個(gè)微服務(wù)的微服務(wù)調(diào)用信息建立微服務(wù)調(diào)用鏈。

可選地，各個(gè)微服務(wù)的全局唯一標(biāo)識(shí)碼由所述微服務(wù)調(diào)用鏈中的起始微服務(wù)生成，所述起始微服務(wù)為調(diào)用鏈中未被其他微服務(wù)調(diào)用的微服務(wù)；

所述起始微服務(wù)生成各個(gè)微服務(wù)的全局唯一標(biāo)識(shí)碼后，在調(diào)用下游微服務(wù)時(shí)由下游微服務(wù)依次傳遞所述全局唯一標(biāo)識(shí)碼至對(duì)應(yīng)的微服務(wù)，各個(gè)所述微服務(wù)接收到上游微服務(wù)傳遞的全局唯一標(biāo)識(shí)碼時(shí)，寫入該全局唯一標(biāo)識(shí)碼到消息中間件，并繼續(xù)向下游微服務(wù)傳遞該全局唯一標(biāo)識(shí)碼。

可選地，所述微服務(wù)數(shù)據(jù)表還包括各個(gè)微服務(wù)的日志索引信息，所述數(shù)據(jù)存儲(chǔ)模塊將所述各個(gè)微服務(wù)生產(chǎn)的數(shù)據(jù)存儲(chǔ)至搜索服務(wù)器時(shí)，將所述各個(gè)微服務(wù)生產(chǎn)的數(shù)據(jù)以所對(duì)應(yīng)的日志索引信息為標(biāo)識(shí)進(jìn)行存儲(chǔ)。

可選地，所述數(shù)據(jù)查詢模塊獲取到用戶的查詢請(qǐng)求之后，執(zhí)行如下步驟：