[發(fā)明專利]用戶定義函數(shù)實(shí)現(xiàn)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110846614.1
• 申請(qǐng)日: 2021-07-26
• 公開（公告）號(hào): CN113504904A
• 公開（公告）日: 2021-10-15
• 發(fā)明（設(shè)計(jì)）人: 劉保安
• 申請(qǐng)（專利權(quán)）人: 中國(guó)平安人壽保險(xiǎn)股份有限公司
• 主分類號(hào): G06F8/34
• 分類號(hào): G06F8/34
• 代理公司: 深圳中一聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 44414
• 代理人: 龍歡

本申請(qǐng)適用于數(shù)據(jù)處理技術(shù)領(lǐng)域，提供了一種用戶定義函數(shù)實(shí)現(xiàn)方法、裝置、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。該方法包括：獲取在可視化編輯組件上的UDF編輯操作以獲取UDF文件信息；將UDF文件信息存儲(chǔ)至數(shù)據(jù)庫(kù)且和唯一文件標(biāo)識(shí)關(guān)聯(lián)；向集群發(fā)送目標(biāo)任務(wù)，目標(biāo)任務(wù)的參數(shù)包括唯一文件標(biāo)識(shí)；參數(shù)用于指示集群在執(zhí)行目標(biāo)任務(wù)時(shí)，根據(jù)唯一文件標(biāo)識(shí)從數(shù)據(jù)庫(kù)獲取UDF文件信息，且根據(jù)UDF文件信息生成UDF類，并加載到內(nèi)存中運(yùn)行。本申請(qǐng)省略了編譯、打包、拷貝關(guān)聯(lián)軟件包等流程，開發(fā)過(guò)程中涉及Flink的部分較少，減少了開發(fā)者的學(xué)習(xí)成本，有利于快速開發(fā)和發(fā)布，節(jié)省時(shí)間。

技術(shù)領(lǐng)域

本申請(qǐng)屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種用戶定義函數(shù)實(shí)現(xiàn)方法、裝置、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

UDF(User-Defined Function，用戶定義函數(shù))，是在MySQL、Interbase、Firebird、Fluent中，根據(jù)用戶實(shí)際應(yīng)用的需要而自行開發(fā)的函數(shù)。基本用戶定義函數(shù)是一類代碼，對(duì)MYSQL服務(wù)器功能進(jìn)行擴(kuò)充，通過(guò)添加新函數(shù)，性質(zhì)就像使用本地MYSQL函數(shù)abs()或concat()。

Apache Flink是由Apache軟件基金會(huì)開發(fā)的開源流處理框架，其核心是用Java和Scala編寫的分布式流數(shù)據(jù)流引擎。

Flink任務(wù)里面，通過(guò)注冊(cè)用戶定義函數(shù)(UDF)可以提供更貼合業(yè)務(wù)功能的實(shí)現(xiàn)，方便用戶擴(kuò)展SQL查詢功能。目前，用戶擴(kuò)展UDF需要編寫Java或者Scala等程序，然后打包，將打包好的程序與flink的jar軟件包一起提交到集群中運(yùn)行。

如果UDF程序出現(xiàn)問(wèn)題，還需要重新進(jìn)行編寫、調(diào)試、打包、發(fā)布等一系列重復(fù)工作。通過(guò)這種方式開發(fā)UDF，需要經(jīng)過(guò)大量的前序工作，極大地增加了開發(fā)工作量，并且用戶需要有一定的Flink程序開發(fā)能力，學(xué)習(xí)成本也較高。同時(shí)，企業(yè)在使用實(shí)時(shí)計(jì)算技術(shù)時(shí)，需要培養(yǎng)很多的Flink程序員，對(duì)公司用人成本也有很大的負(fù)擔(dān)，也增加了業(yè)務(wù)上線的開發(fā)時(shí)間。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種用戶定義函數(shù)實(shí)現(xiàn)方法、裝置、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，UDF程序開發(fā)者可以通過(guò)可視化編輯組件編輯UDF文件信息，將UDF文件的唯一文件標(biāo)識(shí)作為目標(biāo)任務(wù)的參數(shù)提交到集群中運(yùn)行，簡(jiǎn)化了UDF開發(fā)的流程。

第一方面，本申請(qǐng)實(shí)施例提供了一種用戶定義函數(shù)實(shí)現(xiàn)方法，應(yīng)用于終端設(shè)備，包括：

獲取在可視化編輯組件上的UDF編輯操作；

根據(jù)所述UDF編輯操作，獲取UDF文件信息；

將所述UDF文件信息存儲(chǔ)至數(shù)據(jù)庫(kù)，并將所述UDF文件信息和唯一文件標(biāo)識(shí)關(guān)聯(lián)；

向集群發(fā)送目標(biāo)任務(wù)，所述目標(biāo)任務(wù)的參數(shù)包括所述唯一文件標(biāo)識(shí)；

其中，所述參數(shù)用于指示所述集群在執(zhí)行所述目標(biāo)任務(wù)時(shí)，根據(jù)所述唯一文件標(biāo)識(shí)，從所述數(shù)據(jù)庫(kù)獲取所述UDF文件信息，且根據(jù)所述UDF文件信息生成UDF類后，將所述UDF類加載到內(nèi)存中運(yùn)行。

其中，所述UDF文件信息包括UDF的標(biāo)量函數(shù)的參數(shù)、參數(shù)類型以及對(duì)所述參數(shù)進(jìn)行處理的代碼。獲取在可視化編輯組件上的UDF編輯操作，包括：

在編輯頁(yè)面上顯示可視化編輯組件，所述可視化編輯組件包括選擇類控件和文本類控件；

獲取在所述可視化編輯組件上選擇所述參數(shù)和所述參數(shù)類型的操作，以及編輯所述代碼的操作。

進(jìn)一步的，所述UDF文件信息還包括關(guān)聯(lián)軟件包信息；

獲取在可視化編輯組件上的UDF編輯操作，還包括：

獲取在所述可視化編輯組件上錄入所述關(guān)聯(lián)軟件包信息的操作。

其中，向集群發(fā)送目標(biāo)任務(wù)，包括：