[發(fā)明專利]大規(guī)模網(wǎng)絡(luò)表征學(xué)習(xí)的超參數(shù)優(yōu)化方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910515890.2
• 申請(qǐng)日: 2019-06-14
• 公開（公告）號(hào): CN110322021B
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計(jì)）人: 朱文武;涂珂;崔鵬
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張潤(rùn)

1.一種大規(guī)模網(wǎng)絡(luò)表征學(xué)習(xí)的超參數(shù)優(yōu)化方法，其特征在于，所述方法包括以下步驟：

對(duì)原始網(wǎng)絡(luò)進(jìn)行采樣，得到多個(gè)子網(wǎng)絡(luò)；

根據(jù)預(yù)設(shè)算法提取所述原始網(wǎng)絡(luò)的第一圖像特征和所述多個(gè)子網(wǎng)絡(luò)中每個(gè)子網(wǎng)絡(luò)的第二圖像特征；

根據(jù)高斯過程回歸擬合所述多個(gè)子網(wǎng)絡(luò)中每個(gè)子網(wǎng)絡(luò)的第二圖像特征和超參數(shù)到最終效果的映射；

根據(jù)相似度函數(shù)對(duì)所述第一圖像特征和每個(gè)第二圖像特征計(jì)算，獲取所述原始網(wǎng)絡(luò)和每個(gè)子網(wǎng)絡(luò)的網(wǎng)絡(luò)相似度；

根據(jù)所述原始網(wǎng)絡(luò)和每個(gè)子網(wǎng)絡(luò)的網(wǎng)絡(luò)相似度，學(xué)習(xí)所述多個(gè)子網(wǎng)絡(luò)中每個(gè)子網(wǎng)絡(luò)的第二圖像特征和超參數(shù)到最終效果的映射生成所述原始網(wǎng)絡(luò)的最優(yōu)超參，以便通過所述原始網(wǎng)絡(luò)進(jìn)行信息識(shí)別。

2.如權(quán)利要求1所述的方法，其特征在于，所述對(duì)原始網(wǎng)絡(luò)進(jìn)行采樣，得到多個(gè)子網(wǎng)絡(luò)，包括：

根據(jù)多源隨機(jī)游走采樣算法，在所述原始網(wǎng)絡(luò)的節(jié)點(diǎn)中隨機(jī)選取多個(gè)節(jié)點(diǎn)為起點(diǎn)；

根據(jù)預(yù)設(shè)的概率隨機(jī)游走到所述多個(gè)節(jié)點(diǎn)的鄰節(jié)點(diǎn)，再從所述鄰節(jié)點(diǎn)開始隨機(jī)移動(dòng)，直至達(dá)到預(yù)設(shè)次數(shù)，生成所述多個(gè)子網(wǎng)絡(luò)。

3.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)高斯過程回歸擬合所述多個(gè)子網(wǎng)絡(luò)中每個(gè)子網(wǎng)絡(luò)的第二圖像特征和超參數(shù)到最終效果的映射，包括：

將所述相似度函數(shù)作為高斯過程的核函數(shù)，對(duì)所述第一圖像特征和每個(gè)第二圖像特征計(jì)算，獲取所述原始網(wǎng)絡(luò)和每個(gè)子網(wǎng)絡(luò)的網(wǎng)絡(luò)相似度。

4.如權(quán)利要求1所述的方法，其特征在于，所述獲取所述原始網(wǎng)絡(luò)和每個(gè)子網(wǎng)絡(luò)的網(wǎng)絡(luò)相似度，包括：

獲取所述原始網(wǎng)絡(luò)和每個(gè)子網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)相似度和超參相似度。

5.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)預(yù)設(shè)算法提取所述原始網(wǎng)絡(luò)的第一圖像特征和所述多個(gè)子網(wǎng)絡(luò)中每個(gè)子網(wǎng)絡(luò)的第二圖像特征，包括：

計(jì)算在拉普拉斯矩陣下所述原始網(wǎng)絡(luò)的第一候選特征向量，和所述每個(gè)子網(wǎng)絡(luò)的第二候選特征向量；

對(duì)所述第一候選特征向量和所述第二候選特征向量進(jìn)行低通濾波，獲取所述原始網(wǎng)絡(luò)的第一圖像特征和所述每個(gè)子網(wǎng)絡(luò)的第二圖像特征。

6.一種大規(guī)模網(wǎng)絡(luò)表征學(xué)習(xí)的超參數(shù)優(yōu)化裝置，其特征在于，所述裝置包括：

采樣模塊，用于對(duì)原始網(wǎng)絡(luò)進(jìn)行采樣，得到多個(gè)子網(wǎng)絡(luò)；

提取模塊，用于根據(jù)預(yù)設(shè)算法提取所述原始網(wǎng)絡(luò)的第一圖像特征和所述多個(gè)子網(wǎng)絡(luò)中每個(gè)子網(wǎng)絡(luò)的第二圖像特征；

擬合模塊，用于根據(jù)高斯過程回歸擬合所述多個(gè)子網(wǎng)絡(luò)中每個(gè)子網(wǎng)絡(luò)的第二圖像特征和超參數(shù)到最終效果的映射；

計(jì)算模塊，用于根據(jù)相似度函數(shù)對(duì)所述第一圖像特征和每個(gè)第二圖像特征計(jì)算，獲取所述原始網(wǎng)絡(luò)和每個(gè)子網(wǎng)絡(luò)的網(wǎng)絡(luò)相似度；

生成模塊，用于根據(jù)所述原始網(wǎng)絡(luò)和每個(gè)子網(wǎng)絡(luò)的網(wǎng)絡(luò)相似度，學(xué)習(xí)所述多個(gè)子網(wǎng)絡(luò)中每個(gè)子網(wǎng)絡(luò)的第二圖像特征和超參數(shù)到最終效果的映射生成所述原始網(wǎng)絡(luò)的最優(yōu)超參，以便通過所述原始網(wǎng)絡(luò)進(jìn)行信息識(shí)別。

7.如權(quán)利要求6所述的裝置，其特征在于，所述采樣模塊，具體用于：

根據(jù)多源隨機(jī)游走采樣算法，在所述原始網(wǎng)絡(luò)的節(jié)點(diǎn)中隨機(jī)選取多個(gè)節(jié)點(diǎn)為起點(diǎn)；

根據(jù)預(yù)設(shè)的概率隨機(jī)游走到所述多個(gè)節(jié)點(diǎn)的鄰節(jié)點(diǎn)，再從所述鄰節(jié)點(diǎn)開始隨機(jī)移動(dòng)，直至達(dá)到預(yù)設(shè)次數(shù)，生成所述多個(gè)子網(wǎng)絡(luò)。

8.如權(quán)利要求6所述的裝置，其特征在于，所述擬合模塊，具體用于：

將所述相似度函數(shù)作為高斯過程的核函數(shù)，對(duì)所述第一圖像特征和每個(gè)第二圖像特征計(jì)算，獲取所述原始網(wǎng)絡(luò)和每個(gè)子網(wǎng)絡(luò)的網(wǎng)絡(luò)相似度。

9.如權(quán)利要求6所述的裝置，其特征在于，所述計(jì)算模塊，具體用于：

獲取所述原始網(wǎng)絡(luò)和每個(gè)子網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)相似度和超參數(shù)相似度。

10.如權(quán)利要求6所述的裝置，其特征在于，所述提取模塊，具體用于：

計(jì)算在拉普拉斯矩陣下所述原始網(wǎng)絡(luò)的第一候選特征向量，和所述每個(gè)子網(wǎng)絡(luò)的第二候選特征向量；

對(duì)所述第一候選特征向量和所述第二候選特征向量進(jìn)行低通濾波，獲取所述原始網(wǎng)絡(luò)的第一圖像特征和所述每個(gè)子網(wǎng)絡(luò)的第二圖像特征。