[發(fā)明專利]日志獲取方法和裝置、電子設(shè)備、及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010616246.7
• 申請日: 2020-06-30
• 公開（公告）號: CN111737088A
• 公開（公告）日: 2020-10-02
• 發(fā)明（設(shè)計）人: 董興華;王振偉;王子寒;高楓
• 申請（專利權(quán)）人: 中國工商銀行股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 趙婷

本公開提供了一種日志獲取方法，應(yīng)用于分布式批處理平臺，所述分布式批處理平臺包括作業(yè)調(diào)度系統(tǒng)和作業(yè)執(zhí)行系統(tǒng)，其中所述作業(yè)執(zhí)行系統(tǒng)設(shè)置于PAAS平臺。所述方法包括從所述作業(yè)調(diào)度系統(tǒng)中監(jiān)控第一作業(yè)的運行狀態(tài)，響應(yīng)于所述運行狀態(tài)達(dá)到與所述第一作業(yè)對應(yīng)的日志獲取條件，登陸所述PAAS平臺，以及在登陸所述PAAS平臺后，從所述PAAS平臺中獲取所述作業(yè)執(zhí)行系統(tǒng)執(zhí)行所述第一作業(yè)而產(chǎn)生的第一日志。本公開還提供了一種日志獲取裝置、電子設(shè)備及介質(zhì)。

技術(shù)領(lǐng)域

本公開涉及計算機技術(shù)領(lǐng)域，更具體地，涉及一種日志獲取方法和裝置、電子設(shè)備、及介質(zhì)

背景技術(shù)

分布式批處理平臺采用作業(yè)調(diào)度與作業(yè)執(zhí)行分離的架構(gòu)來簡化業(yè)務(wù)系統(tǒng)批處理，例如可以通過作業(yè)調(diào)度系統(tǒng)進(jìn)行批量作業(yè)的調(diào)度，并通過作業(yè)執(zhí)行系統(tǒng)來執(zhí)行作業(yè)。其中，作業(yè)調(diào)度系統(tǒng)例如可以是分布式批處理框架，可以提供作業(yè)調(diào)度服務(wù)。作業(yè)執(zhí)行系統(tǒng)例如可以設(shè)置于PAAS平臺(即，Platform-as-a-Service：平臺即服務(wù))，在paas云平臺中動態(tài)地虛擬出服務(wù)器或服務(wù)器集群來運行批量作業(yè)。

發(fā)明人在實現(xiàn)本發(fā)明的技術(shù)構(gòu)思的過程中，發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在如下缺陷：相關(guān)技術(shù)中，分布式批處理框架在提供詳細(xì)日志方面能力有限，這導(dǎo)致如果想要通過日志了解詳細(xì)的作業(yè)信息，通常需要人工從分布式批處理框架中查取相應(yīng)作業(yè)的運行狀態(tài)以及調(diào)度信息(例如，找到運行該作業(yè)的虛擬服務(wù)器的IP地址以及對應(yīng)的作業(yè)名等)，然后再人工登陸到PAAS平臺中手動查找日志。

發(fā)明內(nèi)容

有鑒于此，本公開實施例提供了在分布式批處理平臺中可以自動獲取日志的日志獲取方法、日志獲取裝置、電子設(shè)備及介質(zhì)。

本公開實施例的一個方面，提供了一種日志獲取方法，應(yīng)用于分布式批處理平臺，所述分布式批處理平臺包括作業(yè)調(diào)度系統(tǒng)和作業(yè)執(zhí)行系統(tǒng)，其中所述作業(yè)執(zhí)行系統(tǒng)設(shè)置于PAAS平臺。所述方法包括：從所述作業(yè)調(diào)度系統(tǒng)中監(jiān)控第一作業(yè)的運行狀態(tài)；響應(yīng)于所述運行狀態(tài)達(dá)到與所述第一作業(yè)對應(yīng)的日志獲取條件，登陸所述PAAS平臺；以及在登陸所述PAAS平臺后，從所述PAAS平臺中獲取所述作業(yè)執(zhí)行系統(tǒng)執(zhí)行所述第一作業(yè)而產(chǎn)生的第一日志。

根據(jù)本公開的實施例，所述從所述作業(yè)調(diào)度系統(tǒng)中監(jiān)控第一作業(yè)的運行狀態(tài)包括：獲取用于從所述作業(yè)調(diào)度系統(tǒng)中查找所述第一作業(yè)的記錄信息的查找信息，其中，所述第一作業(yè)的記錄信息用于記錄所述第一作業(yè)的所述運行狀態(tài)，是由所述作業(yè)執(zhí)行系統(tǒng)反饋給所述作業(yè)調(diào)度系統(tǒng)的信息；基于所述查找信息在所述作業(yè)調(diào)度系統(tǒng)中查找所述第一作業(yè)的記錄信息；以及基于所述第一作業(yè)的記錄信息監(jiān)控所述運行狀態(tài)。

根據(jù)本公開的實施例，所述從所述PAAS平臺中獲取所述作業(yè)執(zhí)行系統(tǒng)執(zhí)行所述第一作業(yè)而產(chǎn)生的第一日志包括：確定與所述查找信息對應(yīng)的日志查找路徑，其中，所述日志查找路徑用于從所述PAAS平臺中查找所述第一日志；以及基于所述日志查找路徑從所述PAAS平臺獲取所述第一日志。

根據(jù)本公開的實施例，所述方法還包括配置所述查找信息、以及配置所述查找信息與所述日志查找路徑的對應(yīng)關(guān)系。

根據(jù)本公開的實施例，所述方法還包括設(shè)置所述日志獲取條件，其中，所述日志獲取條件包括所述第一作業(yè)處于運行中、或者所述第一作業(yè)的運行狀態(tài)發(fā)生變化。

根據(jù)本公開的實施例，所述方法還包括處理所述第一日志，得到第二日志，以及存儲所述第二日志。

根據(jù)本公開的實施例，所述方法還包括展示所述第二日志。