[發(fā)明專利]一種數(shù)據(jù)采樣方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011232806.5
• 申請(qǐng)日: 2020-11-06
• 公開（公告）號(hào): CN112256653A
• 公開（公告）日: 2021-01-22
• 發(fā)明（設(shè)計(jì)）人: 楊冠;林悅
• 申請(qǐng)（專利權(quán)）人: 網(wǎng)易（杭州）網(wǎng)絡(luò)有限公司
• 主分類號(hào): G06F16/174
• 分類號(hào): G06F16/174;G06F16/176;G06F16/182;G06N20/00
• 代理公司: 北京潤澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 吳文心

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)采樣方法和裝置，應(yīng)用于采樣系統(tǒng)，所述采樣系統(tǒng)包含多個(gè)訓(xùn)練節(jié)點(diǎn)和多個(gè)采樣節(jié)點(diǎn)，所述訓(xùn)練節(jié)點(diǎn)中具備與網(wǎng)絡(luò)文件系統(tǒng)連接的臨時(shí)文件系統(tǒng)，其中，所述方法包括：采用所述多個(gè)采樣節(jié)點(diǎn)從所述網(wǎng)絡(luò)文件系統(tǒng)中確定目標(biāo)采樣策略，并執(zhí)行目標(biāo)采樣策略進(jìn)行采樣得到采樣數(shù)據(jù)；通過網(wǎng)絡(luò)文件系統(tǒng)存儲(chǔ)所述采樣數(shù)據(jù)至所述訓(xùn)練節(jié)點(diǎn)的臨時(shí)文件系統(tǒng)中；采用所述多個(gè)訓(xùn)練節(jié)點(diǎn)從臨時(shí)文件系統(tǒng)中讀取所述采樣數(shù)據(jù)，對(duì)預(yù)設(shè)初始策略模型進(jìn)行訓(xùn)練得到目標(biāo)策略模型。通過引入網(wǎng)絡(luò)文件系統(tǒng)和臨時(shí)文件系統(tǒng)，構(gòu)建了一套高效的異步采樣框架，從而引入了異步采樣的高效性和高拓展性，提升了讀取采樣數(shù)據(jù)的速度。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)采樣方法和一種數(shù)據(jù)采樣裝置。

背景技術(shù)

強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)領(lǐng)域，探討智能體如何基于環(huán)境而行動(dòng)，以取得最大的預(yù)期利益。相較于監(jiān)督學(xué)習(xí)，強(qiáng)化學(xué)習(xí)不需要正確的輸入/輸出對(duì)，其更注重規(guī)劃，嘗試在已有知識(shí)和新獲得的知識(shí)之間找到一個(gè)合理的平衡。探索對(duì)于強(qiáng)化學(xué)習(xí)是一個(gè)非常重要的部分，當(dāng)數(shù)據(jù)分布空間較大時(shí)，強(qiáng)化學(xué)習(xí)需要大量的采樣數(shù)據(jù)進(jìn)行探索/訓(xùn)練才能學(xué)習(xí)到比較好的策略。

現(xiàn)有技術(shù)中，主要有同步采樣和異步采樣兩種采樣方法，其中，同步采樣方法通過同時(shí)啟動(dòng)若干環(huán)境，運(yùn)行一定時(shí)間后將采樣的結(jié)果返回，這種采樣方法訓(xùn)練的優(yōu)點(diǎn)是采樣時(shí)各環(huán)境的采樣策略一定是最新的采樣策略，但缺點(diǎn)也非常明顯，需要等待所有環(huán)境的采樣結(jié)束才可以進(jìn)行后續(xù)的訓(xùn)練，環(huán)境復(fù)雜度增加或者環(huán)境數(shù)目增多都會(huì)極大地影響整體采樣的速度，采樣速度慢，拓展性較差。異步采樣方法通過構(gòu)建一個(gè)存儲(chǔ)隊(duì)列來儲(chǔ)存采樣的結(jié)果，每個(gè)環(huán)境采樣完成并將結(jié)果返回給儲(chǔ)存隊(duì)列后，主訓(xùn)練程序和采樣環(huán)境完全解耦，不需要等待所有環(huán)境采樣結(jié)束，直接從存儲(chǔ)隊(duì)列中讀取數(shù)據(jù)即可。異步采樣的優(yōu)勢(shì)是一次采樣不需要等待所有環(huán)境的采樣結(jié)束，采樣環(huán)境數(shù)目增加和復(fù)雜度增加都不會(huì)影響整體采樣的速度，但缺點(diǎn)是異步采樣不能夠保證所有環(huán)境的采樣策略都是最新的采樣策略，并且異步采樣往往都涉及到多臺(tái)服務(wù)器之間的網(wǎng)絡(luò)通信，而多個(gè)采樣節(jié)點(diǎn)之間的策略參數(shù)同步隨著策略參數(shù)的增大，以及節(jié)點(diǎn)數(shù)目的增多會(huì)導(dǎo)致采樣速度降低和帶寬占用過大等問題。

發(fā)明內(nèi)容

鑒于上述問題，提出了本發(fā)明實(shí)施例以便提供一種克服上述問題或者至少部分地解決上述問題的一種數(shù)據(jù)采樣方法和相應(yīng)的一種數(shù)據(jù)采樣裝置。

第一方面，本發(fā)明實(shí)施例公開了一種數(shù)據(jù)采樣方法，包括：

采用所述多個(gè)采樣節(jié)點(diǎn)從所述網(wǎng)絡(luò)文件系統(tǒng)中確定目標(biāo)采樣策略，并執(zhí)行所述目標(biāo)采樣策略進(jìn)行采樣得到采樣數(shù)據(jù)；

通過所述網(wǎng)絡(luò)文件系統(tǒng)存儲(chǔ)所述采樣數(shù)據(jù)至所述訓(xùn)練節(jié)點(diǎn)的臨時(shí)文件系統(tǒng)中；

采用所述多個(gè)訓(xùn)練節(jié)點(diǎn)從所述臨時(shí)文件系統(tǒng)中讀取所述采樣數(shù)據(jù)，對(duì)預(yù)設(shè)初始策略模型進(jìn)行訓(xùn)練得到目標(biāo)策略模型。

可選地，所述執(zhí)行目標(biāo)采樣策略進(jìn)行采樣得到采樣數(shù)據(jù)，包括：

針對(duì)所述多個(gè)采樣節(jié)點(diǎn)配置采樣環(huán)境；

在所述采樣環(huán)境下，執(zhí)行所述目標(biāo)采樣策略進(jìn)行采樣得到采樣數(shù)據(jù)。

可選地，所述采用所述采樣節(jié)點(diǎn)從所述網(wǎng)絡(luò)文件系統(tǒng)中確定目標(biāo)采樣策略，包括：

采用所述多個(gè)采樣節(jié)點(diǎn)從所述網(wǎng)絡(luò)文件系統(tǒng)中獲取策略參數(shù)；

根據(jù)所述策略參數(shù)更新所述采樣節(jié)點(diǎn)對(duì)應(yīng)的原始采樣策略，得到目標(biāo)采樣策略。

可選地，在所述通過所述網(wǎng)絡(luò)文件系統(tǒng)存儲(chǔ)所述采樣數(shù)據(jù)至所述訓(xùn)練節(jié)點(diǎn)的臨時(shí)文件系統(tǒng)中的步驟之前，還包括：

對(duì)所述采樣數(shù)據(jù)進(jìn)行壓縮處理。

可選地，所述通過所述網(wǎng)絡(luò)文件系統(tǒng)存儲(chǔ)所述采樣數(shù)據(jù)至所述訓(xùn)練節(jié)點(diǎn)的臨時(shí)文件系統(tǒng)中，包括：

將所述采樣數(shù)據(jù)發(fā)送到所述網(wǎng)絡(luò)文件系統(tǒng)；