[發(fā)明專利]一種數(shù)據(jù)處理方法及數(shù)據(jù)處理裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202111453147.2
• 申請(qǐng)日: 2021-11-30
• 公開（公告）號(hào): CN116205306A
• 公開（公告）日: 2023-06-02
• 發(fā)明（設(shè)計(jì)）人: 沈雯;喬楠;張雷;陶建軍
• 申請(qǐng)（專利權(quán)）人: 華為云計(jì)算技術(shù)有限公司
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00;G06N5/02;G06N3/08;G16H50/20;G16H50/70;G06F16/36
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 石翰林

本申請(qǐng)實(shí)施例公開了一種數(shù)據(jù)處理方法以及數(shù)據(jù)處理裝置，用于提升AI任務(wù)模型的預(yù)測(cè)準(zhǔn)確率。本申請(qǐng)實(shí)施例方法包括：獲取多種數(shù)據(jù)，多種數(shù)據(jù)中的各種數(shù)據(jù)具有不同的來源和不同的數(shù)據(jù)類型。對(duì)多種數(shù)據(jù)進(jìn)行知識(shí)抽取，獲得知識(shí)圖譜，知識(shí)圖譜包括多個(gè)知識(shí)實(shí)體以及多個(gè)知識(shí)實(shí)體之間的關(guān)聯(lián)關(guān)系，多個(gè)知識(shí)實(shí)體包括不同的數(shù)據(jù)類型。利用與每個(gè)知識(shí)實(shí)體的數(shù)據(jù)類型對(duì)應(yīng)的知識(shí)表征算法對(duì)每個(gè)知識(shí)實(shí)體進(jìn)行知識(shí)表征，且對(duì)知識(shí)圖譜中多個(gè)知識(shí)實(shí)體之間的關(guān)系進(jìn)行權(quán)重的初始化，獲得向量圖，向量圖用于訓(xùn)練人工智能AI任務(wù)模型。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及人工智能領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法及數(shù)據(jù)處理裝置。

背景技術(shù)

近年來，人工智能(artificial?intelligence，AI)的相關(guān)技術(shù)在各行各業(yè)得到了越來越廣泛的應(yīng)用。其中，深度學(xué)習(xí)技術(shù)是一種基于深層神經(jīng)網(wǎng)絡(luò)的算法的AI技術(shù)，通過模擬人腦的工作機(jī)制來進(jìn)行數(shù)據(jù)的處理。目前，常采用AI模型(例如：深度學(xué)習(xí)模型)來完成各種應(yīng)用場(chǎng)景的任務(wù)，AI模型也可以稱為AI任務(wù)模型。

目前的AI技術(shù)中，AI模型需要大量的樣本數(shù)據(jù)進(jìn)行訓(xùn)練，目前的一些技術(shù)方案常常僅采用數(shù)據(jù)類型較為單一的樣本數(shù)據(jù)對(duì)AI模型進(jìn)行訓(xùn)練。例如，AI技術(shù)應(yīng)用在醫(yī)療領(lǐng)域的臨床決策支持系統(tǒng)(clinical?decision?support?system，CDSS)中時(shí)，CDSS中基于深度學(xué)習(xí)的疾病診斷模型訓(xùn)練的所需的樣本數(shù)據(jù)的來源往往僅采用電子病歷，樣本數(shù)據(jù)的類型是電子病歷中的文本。由于樣本數(shù)據(jù)來源和類型單一，導(dǎo)致疾病診斷模型的預(yù)測(cè)準(zhǔn)確率低，輔助臨床決策效果差。

在一些場(chǎng)景中，用于AI模型訓(xùn)練的樣本數(shù)據(jù)可以采用具有不同的數(shù)據(jù)來源和不同的數(shù)據(jù)類型。然而，目前樣本數(shù)據(jù)用于AI模型的訓(xùn)練時(shí)，由于對(duì)于不同來源和不同數(shù)據(jù)類型的樣本數(shù)據(jù)不能進(jìn)行較好的表征，使得在訓(xùn)練AI模型的過程中，AI模型不能學(xué)習(xí)到樣本數(shù)據(jù)中的特征，從而導(dǎo)致訓(xùn)練得到的AI任務(wù)模型的任務(wù)預(yù)測(cè)準(zhǔn)確率低。

因此，如何對(duì)來自不同來源和不同數(shù)據(jù)類型的樣本數(shù)據(jù)進(jìn)行表征，使得采用經(jīng)過表征后的數(shù)據(jù)訓(xùn)練得到的AI任務(wù)模型提高任務(wù)的預(yù)測(cè)準(zhǔn)確率，是當(dāng)前急需解決的技術(shù)問題。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)處理方法以及數(shù)據(jù)處理裝置，用于提升AI任務(wù)模型的預(yù)測(cè)準(zhǔn)確率。

本申請(qǐng)實(shí)施例第一方面提供了一種數(shù)據(jù)處理的方法。該方法由計(jì)算機(jī)設(shè)備執(zhí)行，也可以由計(jì)算機(jī)設(shè)備的部件，例如計(jì)算機(jī)設(shè)備的處理器、芯片或芯片系統(tǒng)等執(zhí)行，還可以由能實(shí)現(xiàn)全部或部分設(shè)備功能的邏輯模塊或軟件實(shí)現(xiàn)。以計(jì)算機(jī)設(shè)備為例，該數(shù)據(jù)處理方法包括：計(jì)算機(jī)設(shè)備獲取多種數(shù)據(jù)，多種數(shù)據(jù)中具有不同的數(shù)據(jù)來源和不同的數(shù)據(jù)類型，數(shù)據(jù)的來源與所要訓(xùn)練的任務(wù)類型相關(guān)，包括人產(chǎn)生的數(shù)據(jù)或機(jī)器產(chǎn)生的數(shù)據(jù)，數(shù)據(jù)的類型包括文本、數(shù)值或圖像。計(jì)算機(jī)設(shè)備對(duì)多種數(shù)據(jù)進(jìn)行知識(shí)抽取獲得知識(shí)圖譜，知識(shí)圖譜包括多個(gè)知識(shí)實(shí)體以及多個(gè)知識(shí)實(shí)體之間的關(guān)聯(lián)關(guān)系，知識(shí)實(shí)體包括多種數(shù)據(jù)中提取出的關(guān)鍵要素，多個(gè)知識(shí)實(shí)體包括不同的數(shù)據(jù)類型。計(jì)算機(jī)設(shè)備利用與每個(gè)知識(shí)實(shí)體的數(shù)據(jù)類型對(duì)應(yīng)的知識(shí)表征算法對(duì)每個(gè)知識(shí)實(shí)體進(jìn)行知識(shí)表征，且對(duì)知識(shí)圖譜中多個(gè)知識(shí)實(shí)體之間的關(guān)系進(jìn)行權(quán)重的初始化，獲得向量圖，向量圖用于訓(xùn)練人工智能AI任務(wù)模型。

本申請(qǐng)實(shí)施例中計(jì)算機(jī)設(shè)備用于訓(xùn)練AI任務(wù)模型的樣本數(shù)據(jù)為多種來源和多種類型的數(shù)據(jù)，同時(shí)，計(jì)算機(jī)設(shè)備通過不同數(shù)據(jù)類型所對(duì)應(yīng)的知識(shí)表征算法將抽象的知識(shí)圖譜表征為計(jì)算機(jī)設(shè)備可識(shí)別的向量圖。計(jì)算機(jī)設(shè)備基于多種來源和多種類型的數(shù)據(jù)所獲得的向量圖對(duì)AI任務(wù)模型進(jìn)行訓(xùn)練，提升了AI任務(wù)模型的預(yù)測(cè)準(zhǔn)確性。

一種可能的實(shí)施方式中，計(jì)算機(jī)設(shè)備對(duì)多種數(shù)據(jù)進(jìn)行知識(shí)抽取獲得知識(shí)圖譜的過程中，計(jì)算機(jī)設(shè)備基于不同的知識(shí)層面對(duì)多種數(shù)據(jù)進(jìn)行知識(shí)抽取，從而獲得多知識(shí)層面的知識(shí)圖譜。例如，計(jì)算機(jī)設(shè)備對(duì)多種醫(yī)療數(shù)據(jù)進(jìn)行知識(shí)抽取獲得治療領(lǐng)域的知識(shí)圖譜時(shí)，可以根據(jù)表征癥狀層面、基因?qū)用婊蛭⑸飳用娴榷鄠€(gè)知識(shí)層面進(jìn)行知識(shí)抽取，從而獲得具備多個(gè)知識(shí)層面關(guān)聯(lián)的知識(shí)圖譜。