[發(fā)明專利]模型訓(xùn)練方法、數(shù)據(jù)標(biāo)簽的生成方法及裝置

有效

• 申請?zhí)枺?/td>: 201911212643.1
• 申請日: 2019-12-02
• 公開（公告）號: CN112988699B
• 公開（公告）日: 2022-04-26
• 發(fā)明（設(shè)計）人: 李國琪
• 申請（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/2457
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 楊春香

本申請?zhí)峁┮环N模型訓(xùn)練方法、數(shù)據(jù)標(biāo)簽的生成方法及裝置，模型訓(xùn)練方法包括：從樣本數(shù)據(jù)中獲取第一屬性信息，第一屬性信息至少包括：樣本數(shù)據(jù)的數(shù)據(jù)源、數(shù)據(jù)格式；樣本數(shù)據(jù)設(shè)有業(yè)務(wù)標(biāo)簽；從樣本數(shù)據(jù)中獲取第二屬性信息，第二屬性信息至少包括：樣本數(shù)據(jù)的表描述信息、表名；從預(yù)設(shè)的標(biāo)簽集合中確定與樣本數(shù)據(jù)相匹配的目標(biāo)標(biāo)簽；將第一屬性信息、第二屬性信息、目標(biāo)標(biāo)簽、業(yè)務(wù)標(biāo)簽作為訓(xùn)練樣本存儲至訓(xùn)練樣本集，以利用訓(xùn)練樣本集訓(xùn)練出數(shù)據(jù)標(biāo)簽生成模型，數(shù)據(jù)標(biāo)簽生成模型用于為待處理數(shù)據(jù)生成對應(yīng)的業(yè)務(wù)標(biāo)簽。應(yīng)用該方法，可實現(xiàn)利用已訓(xùn)練的數(shù)據(jù)標(biāo)簽生成模型自動生成未知標(biāo)簽數(shù)據(jù)的數(shù)據(jù)標(biāo)簽，從而提高對數(shù)據(jù)進行標(biāo)簽管理的效率，節(jié)省人力物力。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種模型訓(xùn)練方法、數(shù)據(jù)標(biāo)簽的生成方法及裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)大數(shù)據(jù)的發(fā)展，標(biāo)簽管理已成為大數(shù)據(jù)時代的重要組成部分，其通過為數(shù)據(jù)定義具有關(guān)鍵字特性的數(shù)據(jù)標(biāo)簽，可以便于后續(xù)的數(shù)據(jù)索引與數(shù)據(jù)查找。然而，隨著海量數(shù)據(jù)的誕生，很多數(shù)據(jù)由于歷史原因或者其他種種原因，導(dǎo)致數(shù)據(jù)分布零碎、散亂，從而形成了多個數(shù)據(jù)孤島。

現(xiàn)有技術(shù)中，為了解決數(shù)據(jù)孤島，可以通過人工進行數(shù)據(jù)梳理，對數(shù)據(jù)進行分門別類并定義數(shù)據(jù)標(biāo)簽。該種方式無疑將耗費大量的人力物力，同時，受人為經(jīng)驗的影響，通過該種方式為數(shù)據(jù)定義的數(shù)據(jù)標(biāo)簽的準(zhǔn)確性也有待商榷。

發(fā)明內(nèi)容

有鑒于此，本申請?zhí)峁┮环N模型訓(xùn)練方法、數(shù)據(jù)標(biāo)簽的生成方法及裝置，以解決現(xiàn)有技術(shù)中通過人工對數(shù)據(jù)定義數(shù)據(jù)標(biāo)簽，將耗費大量的人力物力，同時無法保證數(shù)據(jù)標(biāo)簽準(zhǔn)確性的問題。

根據(jù)本申請實施例的第一方面，提供一種模型訓(xùn)練方法，所述方法包括：

從樣本數(shù)據(jù)中獲取第一屬性信息，所述第一屬性信息至少包括：所述樣本數(shù)據(jù)的數(shù)據(jù)源、數(shù)據(jù)格式；所述樣本數(shù)據(jù)設(shè)有業(yè)務(wù)標(biāo)簽；

從所述樣本數(shù)據(jù)中獲取第二屬性信息，所述第二屬性信息至少包括：所述樣本數(shù)據(jù)的表描述信息、表名；

從預(yù)設(shè)的標(biāo)簽集合中確定與所述樣本數(shù)據(jù)相匹配的目標(biāo)標(biāo)簽；

將所述第一屬性信息、第二屬性信息、所述目標(biāo)標(biāo)簽、所述業(yè)務(wù)標(biāo)簽作為訓(xùn)練樣本存儲至訓(xùn)練樣本集，以利用所述訓(xùn)練樣本集訓(xùn)練出數(shù)據(jù)標(biāo)簽生成模型，所述數(shù)據(jù)標(biāo)簽生成模型用于為待處理數(shù)據(jù)生成對應(yīng)的業(yè)務(wù)標(biāo)簽。

根據(jù)本申請實施例的第二方面，提供一種數(shù)據(jù)標(biāo)簽的生成方法，所述方法包括：

將待處理數(shù)據(jù)分別輸入至按照如權(quán)利要求1至3任一方法訓(xùn)練出的N個數(shù)據(jù)標(biāo)簽生成模型，得到N個標(biāo)簽預(yù)測參數(shù)，所述標(biāo)簽預(yù)測參數(shù)至少包括預(yù)測標(biāo)簽，所述N為大于0的自然數(shù)；

依據(jù)所述N個標(biāo)簽預(yù)測參數(shù)確定所述待處理數(shù)據(jù)的數(shù)據(jù)標(biāo)簽。

根據(jù)本申請實施例的第三方面，提供一種模型訓(xùn)練裝置，所述裝置包括：

第一獲取模塊，用于從樣本數(shù)據(jù)中獲取第一屬性信息，所述第一屬性信息至少包括：所述樣本數(shù)據(jù)的數(shù)據(jù)源、數(shù)據(jù)格式；所述樣本數(shù)據(jù)設(shè)有業(yè)務(wù)標(biāo)簽；

第二獲取模塊，用于從所述樣本數(shù)據(jù)中獲取第二屬性信息，所述第二屬性信息至少包括：所述樣本數(shù)據(jù)的表描述信息、表名；

第一確定模塊，用于從預(yù)設(shè)的標(biāo)簽集合中確定與所述樣本數(shù)據(jù)相匹配的目標(biāo)標(biāo)簽；

模型訓(xùn)練模塊，用于將所述第一屬性信息、第二屬性信息、所述目標(biāo)標(biāo)簽、所述業(yè)務(wù)標(biāo)簽作為訓(xùn)練樣本存儲至訓(xùn)練樣本集，以利用所述訓(xùn)練樣本集訓(xùn)練出數(shù)據(jù)標(biāo)簽生成模型，所述數(shù)據(jù)標(biāo)簽生成模型用于為待處理數(shù)據(jù)生成對應(yīng)的業(yè)務(wù)標(biāo)簽。

根據(jù)本申請實施例的第四方面，提供一種數(shù)據(jù)標(biāo)簽的生成裝置，所述裝置包括：