[發(fā)明專利]一種語義驅(qū)動的混合現(xiàn)實(shí)場景下的虛擬寵物行為生成方法

有效

• 申請?zhí)枺?/td>: 202010783037.1
• 申請日: 2020-08-06
• 公開（公告）號: CN111932683B
• 公開（公告）日: 2022-12-30
• 發(fā)明（設(shè)計(jì)）人: 梁瑋;于馨喆
• 申請（專利權(quán)）人: 北京理工大學(xué)
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T17/20;G06N3/00;G06N20/00;G06N3/04
• 代理公司: 北京理工大學(xué)專利中心 11120
• 代理人: 劉西云;李微微

1.一種語義驅(qū)動的混合現(xiàn)實(shí)場景下的虛擬寵物行為生成方法，應(yīng)用于混合現(xiàn)實(shí)頭戴式顯示器，其特征在于，所述方法包括以下步驟：

S1：使用訓(xùn)練好的寵物行為模型生成虛擬寵物的行為序列S＝{s₁，s₂，...，s_n...，s_N}，其中，n＝1，2，...，N，N為設(shè)定的行為數(shù)量，且s₁～s_N為虛擬寵物可能發(fā)生的各個行為；

S2：采用Mask R-CNN法從待生成虛擬寵物的真實(shí)場景二維圖像中檢測并分割出相關(guān)物體，并將相關(guān)物體的數(shù)量記為I，其中，所述相關(guān)物體為虛擬寵物各行為可能的發(fā)生位置，且虛擬寵物的每一個行為均至少對應(yīng)一個相關(guān)物體，同時，所述真實(shí)場景二維圖像由混合現(xiàn)實(shí)頭戴式顯示器內(nèi)置的相機(jī)拍攝得到；

S3：利用投影矩陣法將真實(shí)場景二維圖像轉(zhuǎn)換為混合現(xiàn)實(shí)頭戴式顯示器坐標(biāo)系下的三維場景，得到相關(guān)物體的三維坐標(biāo)；

S4：將三維場景中各相關(guān)物體的表面進(jìn)行網(wǎng)格劃分，然后分別將行為序列s中的各行為作為當(dāng)前行為執(zhí)行位置獲取操作，得到行為序列s中各行為的發(fā)生位置序列l(wèi)＝{l₁，l₂，...，l_n，...，l_N}，其中，l_n為行為s_n對應(yīng)的最終發(fā)生位置，且所述位置獲取操作包括以下步驟：

S41：獲取當(dāng)前行為s_n發(fā)生在各個相關(guān)物體上的先驗(yàn)概率：

其中，θ_n(i)為第n個行為s_n發(fā)生在第i個相關(guān)物體上先驗(yàn)概率，i＝1，2，...，I，f_n(i)為第n個行為s_n在第i個相關(guān)物體上發(fā)生的頻率，O₀為虛擬寵物的當(dāng)前位置，O_i是第i個相關(guān)物體的位置，D(O₀，O_i)為虛擬寵物與第i個相關(guān)物體之間的歐氏距離，d_max為真實(shí)場景中各相關(guān)物體之間的最大距離；

S42：將當(dāng)前行為發(fā)生在各個相關(guān)物體上的先驗(yàn)概率進(jìn)行歸一化，然后按照歸一化后的先驗(yàn)概率將區(qū)間[0，1]劃分為多個子區(qū)間，且每個子區(qū)間對應(yīng)一個相關(guān)物體；

S43：獲取一個隨機(jī)數(shù)，然后將該隨機(jī)數(shù)落入的子區(qū)間對應(yīng)的相關(guān)物體作為當(dāng)前行為的最終發(fā)生物體；

S44：在最終發(fā)生物體上隨機(jī)選取一個網(wǎng)格單元，作為當(dāng)前行為的最終發(fā)生位置，并將該網(wǎng)格單元的三維坐標(biāo)記為l_n；

S5：以最小的路徑成本獲取發(fā)生位置序列L中任意兩個相鄰的最終發(fā)生位置l_n與l_n+1之間的路徑，使得虛擬寵物在位置l_n完成行為s_n后再移動到位置l_n+1完成行為s_n+1，實(shí)現(xiàn)虛擬寵物的行為生成。

2.如權(quán)利要求1所述的一種語義驅(qū)動的混合現(xiàn)實(shí)場景下的虛擬寵物行為生成方法，其特征在于，步驟S1中所述寵物行為模型的訓(xùn)練方法為：

S11：通過在真實(shí)環(huán)境中安裝的攝像機(jī)拍攝真實(shí)寵物的日常行為，得到真實(shí)寵物的真實(shí)行為數(shù)據(jù)；

S12：根據(jù)所述真實(shí)行為數(shù)據(jù)構(gòu)建真實(shí)寵物的行為序列，其中，所述真實(shí)寵物的行為序列表示真實(shí)寵物發(fā)生的不同類別行為的順序；

S13：以真實(shí)寵物的行為序列作為輸入，真實(shí)寵物的行為序列中最后一個行為的下一個行為作為輸出對長短時記憶網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到寵物行為模型。