[發(fā)明專利]基于用戶行為的遠(yuǎn)程圖像顯示方法、裝置、系統(tǒng)及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011398071.3
• 申請(qǐng)日: 2020-12-04
• 公開（公告）號(hào): CN112559099A
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 賈滇寧;王澤興;藺會(huì)光;鄒廣才
• 申請(qǐng)（專利權(quán)）人: 北京新能源汽車技術(shù)創(chuàng)新中心有限公司
• 主分類號(hào): G06F9/451
• 分類號(hào): G06F9/451;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京一品慧誠知識(shí)產(chǎn)權(quán)代理有限公司 11762
• 代理人: 鄧樹山

1.一種基于用戶行為的遠(yuǎn)程圖像顯示方法，其特征在于，所述遠(yuǎn)程圖像顯示方法包括：

利用數(shù)據(jù)集生成與預(yù)設(shè)用戶行為類別對(duì)應(yīng)的采樣圖像，標(biāo)注標(biāo)簽訓(xùn)練生成預(yù)測(cè)模型；

獲取預(yù)設(shè)時(shí)序長度的用戶操作圖像，通過特征提取器提取所述預(yù)設(shè)時(shí)序長度的用戶操作圖像的圖像特征，輸出特征序列；

將所述特征序列輸入循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，結(jié)合預(yù)測(cè)模型確定用戶行為類別；根據(jù)所述用戶行為類別確定遠(yuǎn)程圖像傳輸顯示配置。

2.如權(quán)利要求1所述基于用戶行為的遠(yuǎn)程圖像顯示方法，其特征在于，所述方法還包括：

獲取與所述用戶操作圖像相對(duì)應(yīng)的用戶操作交互信息以及多媒體音頻流；

結(jié)合所述循環(huán)神經(jīng)網(wǎng)絡(luò)分類結(jié)果的置信度修正所述用戶行為類別。

3.如權(quán)利要求1所述基于用戶行為的遠(yuǎn)程圖像顯示方法，其特征在于，所述“獲取預(yù)設(shè)時(shí)序長度的用戶操作圖像，通過特征提取器提取所述預(yù)設(shè)時(shí)序長度的用戶操作圖像的圖像特征，輸出特征序列”的步驟包括：

按照預(yù)設(shè)采樣頻率獲取用戶操作圖像，將預(yù)設(shè)時(shí)序長度的用戶操作圖像進(jìn)行裁剪縮放，按照預(yù)設(shè)尺寸存儲(chǔ)所述用戶操作圖像；

采用ResNet網(wǎng)絡(luò)作為特征提取器提取所述用戶操作圖像的特征，所述ResNet網(wǎng)絡(luò)經(jīng)過激活函數(shù)的卷積層并通過最大池化層對(duì)卷積的結(jié)果進(jìn)行池化，利用全連接層定義預(yù)設(shè)特征維度對(duì)應(yīng)的用戶行為類別；

輸出預(yù)設(shè)時(shí)序長度的預(yù)設(shè)特征維度的特征序列。

4.如權(quán)利要求1所述基于用戶行為的遠(yuǎn)程圖像顯示方法，其特征在于，所述“將所述特征序列輸入循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，結(jié)合預(yù)測(cè)模型確定用戶行為類別”的步驟包括：

將所述特征序列作為LSTM網(wǎng)絡(luò)的輸入，預(yù)設(shè)隱藏層、序列長度及dropout值，將輸出的隱藏層輸入最后的全連接層，并以激活函數(shù)對(duì)輸入的特征序列進(jìn)行分類預(yù)測(cè)。

5.如權(quán)利要求1所述基于用戶行為的遠(yuǎn)程圖像顯示方法，其特征在于，所述“利用數(shù)據(jù)集生成與預(yù)設(shè)用戶行為類別對(duì)應(yīng)的采樣圖像，標(biāo)注標(biāo)簽訓(xùn)練生成預(yù)測(cè)模型”的步驟包括：

基于ImageNet數(shù)據(jù)集進(jìn)行圖像分類，訓(xùn)練預(yù)訓(xùn)練模型；

在預(yù)訓(xùn)練模型基礎(chǔ)上，生成與預(yù)設(shè)用戶行為類別相對(duì)應(yīng)的場(chǎng)景的采樣圖像，并標(biāo)注標(biāo)簽進(jìn)行遷移學(xué)習(xí)模型訓(xùn)練，生成預(yù)測(cè)模型；或者

基于遠(yuǎn)程圖像實(shí)際顯示的內(nèi)容截取預(yù)設(shè)數(shù)量的采樣圖像進(jìn)行基于卷積神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)模型訓(xùn)練，生成預(yù)測(cè)模型。

6.如權(quán)利要求1-5任意一項(xiàng)所述基于用戶行為的遠(yuǎn)程圖像顯示方法，其特征在于，所述預(yù)設(shè)用戶行為類別至少包括輕量級(jí)桌面應(yīng)用、文字表格幻燈片處理應(yīng)用、三維設(shè)計(jì)及圖像渲染應(yīng)用、多媒體音視頻應(yīng)用及混合應(yīng)用或未定義應(yīng)用。

7.如權(quán)利要求6所述基于用戶行為的遠(yuǎn)程圖像顯示方法，其特征在于，所述“根據(jù)所述用戶行為類別確定遠(yuǎn)程圖像傳輸顯示配置”的步驟包括：

當(dāng)用戶行為類別為輕量級(jí)桌面應(yīng)用時(shí)，遠(yuǎn)程圖像傳輸顯示配置調(diào)整為將客戶端緩存提升至第一預(yù)設(shè)數(shù)值；

當(dāng)用戶行為類別為文字表格幻燈片處理應(yīng)用時(shí)，遠(yuǎn)程圖像傳輸顯示配置調(diào)整為增加壓縮效率，并在預(yù)設(shè)范圍內(nèi)降低最大圖像質(zhì)量參數(shù)及幀率，降低所述用戶占用的平均帶寬；

當(dāng)用戶行為類別為三維設(shè)計(jì)及圖像渲染應(yīng)用時(shí)，遠(yuǎn)程圖像傳輸顯示配置調(diào)整為默認(rèn)開啟無損圖像，先發(fā)送初始圖像組成到客戶端，然后構(gòu)建感覺上無損圖像，預(yù)設(shè)時(shí)間后再逐步構(gòu)建完全無損的圖像；

當(dāng)用戶行為類別為多媒體音視頻應(yīng)用時(shí)，遠(yuǎn)程圖像傳輸顯示配置調(diào)整為選擇UDP作為傳輸協(xié)議，同時(shí)設(shè)置語音通信占據(jù)的帶寬在第二預(yù)設(shè)數(shù)值以下。