[發明專利]實時數據處理方法、裝置、設備及存儲介質

在審

• 申請號: 202010051732.9
• 申請日: 2020-01-17
• 公開（公告）號: CN111240693A
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 徐陽;黃偉倫;劉強
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06F8/41
• 分類號: G06F8/41;G06F9/445
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 孫寶海;袁禮君

本公開提供了一種實時數據處理方法、裝置、設備及存儲介質。該方法包括：獲取基于預設模板編寫的代碼；按照所述預設模板，對所述代碼進行解析，并存儲解析后的所述代碼；觸發Flink平臺；當所述Flink平臺被觸發時，獲取并加載解析后的所述代碼；以及基于所述Flink平臺，根據解析后的所述代碼進行實時數據處理。該方法可以減少實時數據處理過程中的繁瑣流程，提升處理效率。

技術領域

本公開涉及計算機應用技術領域技術領域，尤其涉及一種實時數據處理方法、裝置、設備及存儲介質。

背景技術

Flink是一個框架和分布式處理引擎，設計為面向分布式數據流處理和批量數據處理的開源計算平臺。

然而目前，在基于Flink平臺來執行實時計算任務時，可能需要循環多次編碼、打包、上傳、發布及驗證5個步驟，直到實時計算任務正確。這樣的處理方式冗余工作多，導致實時計算任務處理流程長，效率低。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

本公開實施例提供一種實時數據處理方法、裝置、設備及存儲介質，可以減少實時數據處理過程中的繁瑣流程，提升處理效率。

本公開的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。

根據本公開的一個方面，提供一種基于Flink平臺的實時數據處理方法，包括：獲取基于預設模板編寫的代碼；按照所述預設模板，對所述代碼進行解析，并存儲解析后的所述代碼；觸發Flink平臺；當所述Flink平臺被觸發時，獲取并加載解析后的所述代碼；以及基于所述Flink平臺，根據解析后的所述代碼進行實時數據處理。

根據本公開的一實施方式，在觸發所述Flink平臺獲取并加載解析后的所述代碼之前，所述方法還包括：將預先編寫的程序加載至所述Flink平臺的執行環境中。

根據本公開的一實施方式，觸發Flink平臺包括：向預先編寫的所述程序發送觸發指令；當所述所述Flink平臺被觸發時，獲取并加載解析后的所述代碼包括：通過所述程序接收所述觸發指令；以及當所述程序接收到所述觸發指令時，通過所述Flink平臺獲取并加載解析后的所述代碼。

根據本公開的一實施方式，解析后的所述代碼作為所述程序的一個輸入參數被加載到所述Flink平臺中。

根據本公開的一實施方式，基于所述Flink平臺，根據解析后的所述代碼進行實時數據處理包括：基于所述Flink平臺，將解析后的所述代碼生成執行圖；執行所述執行圖，以獲得實時數據處理結果；以及輸出所述實時數據處理結果。

根據本公開的一實施方式，輸出所述實時數據處理結果包括：將所述實時數據處理結果輸出到預設文件中；和/或，在用戶界面中顯示所述實時數據處理結果。

根據本公開的一實施方式，所述代碼為所述Flink平臺的配置信息。

根據本公開的另一方面，提供一種基于Flink平臺的實時數據處理裝置，包括：編碼獲取模塊，用于獲取基于預設模板編寫的代碼；編碼解析模塊，用于按照所述預設模板，對所述代碼進行解析，并存儲解析后的所述代碼；編碼觸發模塊，用于觸發所述Flink平臺；代碼加載模塊，用于當所述Flink平臺被觸發時，獲取并加載解析后的所述代碼；以及數據處理模塊，用于基于所述Flink平臺，根據解析后的所述代碼進行實時數據處理。

根據本公開的再一個方面，提供一種電子設備，包括：處理器；以及存儲器，用于存儲所述處理器的可執行指令；其中，所述處理器配置為經由執行所述可執行指令來執行上述的用于標準化醫療文本數據的方法。