[發(fā)明專利]提升和矩陣分解

在審

• 申請(qǐng)?zhí)枺?/td>: 202180006754.6
• 申請(qǐng)日: 2021-03-26
• 公開（公告）號(hào): CN115413345A
• 公開（公告）日: 2022-11-29
• 發(fā)明（設(shè)計(jì)）人: 王剛;何鵬宇
• 申請(qǐng)（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號(hào): G06N5/00
• 分類號(hào): G06N5/00;G06N20/00
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 周亞榮;鄧聰惠

1.一種計(jì)算機(jī)實(shí)現(xiàn)的方法，包括：

獲得包括多個(gè)訓(xùn)練樣本的訓(xùn)練數(shù)據(jù)集，其中，每個(gè)訓(xùn)練樣本包括特征變量和一個(gè)或多個(gè)輸出變量；

使用所述訓(xùn)練數(shù)據(jù)集生成第一矩陣，所述第一矩陣是所述訓(xùn)練數(shù)據(jù)集的稀疏表示，其中，生成所述第一矩陣包括：

基于所述特征變量中的每個(gè)數(shù)值特征變量來生成所述特征變量的分類表示；

通過對(duì)每個(gè)分類特征變量進(jìn)行編碼來生成所述特征變量中的每個(gè)分類特征變量的編碼表示；

對(duì)所述訓(xùn)練數(shù)據(jù)集的所述矩陣表示進(jìn)行因數(shù)分解，以生成包括第二矩陣的一個(gè)或多個(gè)矩陣；

使用(i)所述第二矩陣和(ii)正則化項(xiàng)來生成第三矩陣；

基于(i)一個(gè)或多個(gè)矩陣和(ii)所述第三矩陣來生成第四矩陣；

使用包括多個(gè)可調(diào)參數(shù)的向量來表示所述第一矩陣的每個(gè)特征；以及

使用(i)損失函數(shù)、(ii)所述第四矩陣和(iii)所述第一矩陣的組合來調(diào)整所述可調(diào)參數(shù)的值。

2.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中，所述損失函數(shù)是提供與以下形式的特定損失函數(shù)所提供的給定結(jié)果對(duì)應(yīng)的結(jié)果的損失函數(shù)：

其中，R是殘差，y_i是所述輸出變量、c是常數(shù)并且E是所述編碼表示。

3.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中，基于每個(gè)數(shù)值特征變量來生成所述特征變量的分類表示包括：

選擇節(jié)點(diǎn)集合；

將所述數(shù)值特征表示為：(i)嵌入的加權(quán)和、或(ii)所述嵌入的加權(quán)平均值；

使用插值技術(shù)來生成所述嵌入的對(duì)應(yīng)權(quán)重；以及

使用所述對(duì)應(yīng)權(quán)重來表示所述第一矩陣中的每個(gè)數(shù)值變量。

4.根據(jù)權(quán)利要求3所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中，生成所述嵌入的所述對(duì)應(yīng)權(quán)重的所述插值技術(shù)包括樣條插值。

5.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，進(jìn)一步包括：

生成所述訓(xùn)練樣本中所包括的序數(shù)特征集合的分類表示，包括：

對(duì)所述序數(shù)特征集合執(zhí)行離散傅里葉變換(DFT)或離散小波變換(DWT)；以及

至少部分地基于所述DFT或DWT變換矩陣將分類表示分配給所述序數(shù)特征集合。

6.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中，調(diào)整所述可調(diào)參數(shù)的值包括迭代地生成序列模型，以預(yù)測(cè)所述損失函數(shù)的殘差，直到所述損失函數(shù)的殘差不能再減少、模型質(zhì)量的度量滿足質(zhì)量閾值、或所述模型的大小已經(jīng)達(dá)到了最大模型大小閾值。

7.根據(jù)權(quán)利要求6所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中，調(diào)整所述可調(diào)參數(shù)的值進(jìn)一步包括基于所述損失函數(shù)的導(dǎo)數(shù)生成偽殘差。

8.根據(jù)權(quán)利要求5所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中，每個(gè)后續(xù)生成的模型被訓(xùn)練來預(yù)測(cè)模型序列中的先前生成的模型的組合殘差值。

9.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中，調(diào)整所述可調(diào)參數(shù)的值包括至少部分地基于訓(xùn)練或調(diào)用模型的設(shè)備的內(nèi)存約束，迭代地調(diào)整所述可調(diào)參數(shù)的所述值，直到所述模型的大小達(dá)到了模型大小閾值。