[發(fā)明專(zhuān)利]基于異構(gòu)特征降維的二維角色卡通生成方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201110052585.8
• 申請(qǐng)日: 2011-02-28
• 公開(kāi)（公告）號(hào): CN102129707A
• 公開(kāi)（公告）日: 2011-07-20
• 發(fā)明（設(shè)計(jì)）人: 肖俊;梁璋;莊越挺
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江大學(xué)
• 主分類(lèi)號(hào): G06T13/80
• 分類(lèi)號(hào): G06T13/80
• 代理公司: 杭州求是專(zhuān)利事務(wù)所有限公司 33200
• 代理人: 張法高

1.一種基于異構(gòu)特征降維的二維角色卡通生成方法，其特征在于它的步驟如下：

1)從二維卡通視頻中提取包含角色卡通完整動(dòng)作的視頻段，并按照角色卡通的動(dòng)作內(nèi)容和朝向，拍攝對(duì)應(yīng)的由真實(shí)人物表演的動(dòng)作視頻，對(duì)角色卡通的動(dòng)作視頻和真實(shí)人物表演的動(dòng)作視頻經(jīng)過(guò)視頻圖像技術(shù)處理后，利用自定義的關(guān)鍵幀提取方法提取角色卡通的動(dòng)作視頻和真實(shí)人物表演的動(dòng)作視頻的關(guān)鍵幀，得到卡通關(guān)鍵幀和真實(shí)關(guān)鍵幀，并對(duì)卡通關(guān)鍵幀和真實(shí)關(guān)鍵幀進(jìn)行歸一化與中心化處理；對(duì)卡通關(guān)鍵幀和真實(shí)關(guān)鍵幀利用不同的特征提取方法，獲得卡通關(guān)鍵幀特征表達(dá)矩陣和真實(shí)關(guān)鍵幀特征表達(dá)矩陣，并對(duì)特征表達(dá)矩陣按照自定義的動(dòng)作類(lèi)別進(jìn)行分類(lèi)，建立“卡通-真實(shí)”角色數(shù)據(jù)庫(kù)；

2)從拍攝的真實(shí)人物表演的動(dòng)作視頻中，利用自定義的關(guān)鍵幀提取方法提取真實(shí)人物表演的動(dòng)作視頻的關(guān)鍵幀，得到檢索真實(shí)關(guān)鍵幀，并對(duì)檢索真實(shí)關(guān)鍵幀進(jìn)行歸一化與中心化處理；對(duì)檢索真實(shí)關(guān)鍵幀利用特征提取方法獲得檢索真實(shí)關(guān)鍵幀特征表達(dá)矩陣；

3)卡通關(guān)鍵幀特征表達(dá)矩陣和真實(shí)關(guān)鍵幀特征表達(dá)矩陣通過(guò)自定義的異構(gòu)特征降維算法，經(jīng)過(guò)訓(xùn)練獲得卡通關(guān)鍵幀特征表達(dá)矩陣和真實(shí)關(guān)鍵幀特征表達(dá)矩陣對(duì)應(yīng)的卡通關(guān)鍵幀特征表達(dá)矩陣的降維投影方向矩陣和真實(shí)關(guān)鍵幀特征表達(dá)矩陣的降維投影方向矩陣；檢索真實(shí)關(guān)鍵幀序列特征表達(dá)矩陣，用檢索真實(shí)關(guān)鍵幀序列特征表達(dá)矩陣乘以真實(shí)關(guān)鍵幀特征表達(dá)矩陣的降維投影方向矩陣獲得檢索真實(shí)關(guān)鍵幀序列降維特征表達(dá)矩陣，并在投影空間中計(jì)算獲得的“卡通-真實(shí)”角色數(shù)據(jù)庫(kù)中和檢索真實(shí)關(guān)鍵幀序列降維特征表達(dá)矩陣距離最近的卡通關(guān)鍵幀序列，最后將計(jì)算得到的卡通關(guān)鍵幀序列返回；用戶在返回的卡通關(guān)鍵幀序列上進(jìn)行編輯和插值，來(lái)獲得最終的卡通效果視頻。

2.根據(jù)權(quán)利要求1所述的一種基于異構(gòu)特征降維的二維角色卡通生成方法，其特征在于：所述步驟1)包括：

從二維卡通角色視頻中，提取包含完整卡通角色動(dòng)作片段的卡通視頻V_cart，來(lái)由真實(shí)人物按照V_cart中卡通角色的動(dòng)作內(nèi)容和朝向在單目攝像機(jī)前進(jìn)行模仿表演，獲得包含有完整真實(shí)人物動(dòng)作片段的真實(shí)視頻V_real；

對(duì)從V_cart和V_real中渲染出來(lái)的視頻幀，利用Hausdorff距離算法特征獲得卡通距離矩陣和真實(shí)距離矩陣其中n₁和n₂分別為卡通和真實(shí)視頻所渲染出來(lái)的幀數(shù)量，表示卡通視頻幀中第i幀和第j幀之間的Hausdorff距離，表示真實(shí)視頻幀中第i幀和第j幀之間的Hausdorff距離，矩陣M_cart和M_real中的每一項(xiàng)分別乘以系數(shù)和來(lái)完成歸一化，其中的d_{cart_max}和d_{real_max}分別為矩陣M_cart和M_real中的最大值，在獲得經(jīng)過(guò)歸一化的距離矩陣M_cart和M_real之后，按照設(shè)定的閾值和來(lái)過(guò)濾矩陣中的對(duì)角值，分別將得到的和所對(duì)應(yīng)的第i幀作為關(guān)鍵幀，由此得到卡通關(guān)鍵幀和真實(shí)關(guān)鍵幀其中n為兩者的數(shù)量；

針對(duì)卡通關(guān)鍵幀按照方向性梯度直方圖特征提取方法獲得卡通關(guān)鍵幀特征表達(dá)矩陣其中d₁為每一關(guān)鍵幀對(duì)應(yīng)的特征表達(dá)向量的維度；同樣地，針對(duì)真實(shí)關(guān)鍵幀按照占據(jù)圖特征提取方法獲得真實(shí)關(guān)鍵幀特征表達(dá)矩陣其中d₂為每一關(guān)鍵幀對(duì)應(yīng)的特征表達(dá)向量的維度；將X₁和X₂中所有的關(guān)鍵幀都按照動(dòng)作內(nèi)容的不同分為r類(lèi)，使得每一類(lèi)中都有相同數(shù)量的卡通和真實(shí)關(guān)鍵幀從而形成X₁和X₂在類(lèi)別層面上的一一對(duì)應(yīng)；

對(duì)所獲得的X₁和X₂，分別經(jīng)過(guò)如下變換獲得中心化的矩陣：

X1=-12HX1H,]]>X2=-12HX2H---1]]>

其中并且N為X₁與X₂的樣本數(shù)量n，至此完成歸一化與中心化操作，從而建立了“卡通-真實(shí)”角色數(shù)據(jù)庫(kù)。

3.根據(jù)權(quán)利要求1所述的一種基于異構(gòu)特征降維的二維角色卡通生成方法，其特征在于：所述步驟3)包括：

歸一化和中心化的卡通和真實(shí)特征表達(dá)矩陣X₁和X₂，按照如下的目標(biāo)函數(shù)算法來(lái)進(jìn)行計(jì)算獲得卡通關(guān)鍵幀特征表達(dá)矩陣的降維投影方向矩陣W₁和真實(shí)關(guān)鍵幀特征表達(dá)矩陣的降維投影方向矩陣W₂：

minF,W1,W2tr(FTLsynF)-α||X1W1-F||F2+γ1||W1||F2+β||X2W2-F||F2+γ2||W2||F2+]]>

δ||F-Y||F2---2]]>

α，γ₁，β，γ₂，δ為復(fù)雜平衡度系數(shù)，矩陣Y＝[y₁，y₂，...，y_n]∈{0，1}^n×r，其中當(dāng)卡通樣本和真實(shí)樣本都屬于第k個(gè)類(lèi)別時(shí)，則Y_ik＝1；否則Y_ik＝0；和屬于同一類(lèi)別，形成滿秩的Y矩陣；tr(.)為跡操作符；卡通關(guān)鍵幀特征表達(dá)矩陣和卡通關(guān)鍵幀特征表達(dá)矩陣的拉格朗日矩陣L¹＝D¹-A¹，L²＝D²-A²。

L_syn＝[((L¹+L²)/²)′+((L¹+L²)/2)]/2?????????3

因此L_syn＝L′_syn；其中表示弗羅貝尼烏斯范式，并且滿足所有的矩陣Z；經(jīng)過(guò)求導(dǎo)，最后可以得到：

W₁＝δB₁(αU+βV+E)^-1Y????4

W₂＝δB₂(αU+βV+E)^-1Y????5

其中：

U=B1TX1TX1B1-X1B1-B1TX1T+1---6]]>

V=B2TX2TX2B2-X2B2-B2TX2T+1---7]]>

E=Lsyn+γ1B1TB1+γ2B2TB2+δI---8]]>

其中：

B1=(αX1TX1+γ1I)-1αX1T---9]]>

B2=(βX2TX2+γ2I)-1βX2T---10]]>

至此，獲得了獲得卡通關(guān)鍵幀特征表達(dá)矩陣的降維投影方向矩陣W₁和真實(shí)關(guān)鍵幀特征表達(dá)矩陣的降維投影方向矩陣W₂；

在輸入檢索真實(shí)關(guān)鍵幀時(shí)，按照占據(jù)圖特征提取方法獲得對(duì)應(yīng)的檢索真實(shí)關(guān)鍵幀特征表達(dá)矩陣其中m為檢索真實(shí)關(guān)鍵幀的數(shù)量；根據(jù)獲得的真實(shí)關(guān)鍵幀特征表達(dá)矩陣的降維投影方向矩陣W₂，計(jì)算檢索真實(shí)關(guān)鍵幀在降維后的空間中的檢索降維真實(shí)特征表達(dá)式根據(jù)獲得的卡通關(guān)鍵幀特征表達(dá)矩陣的降維投影方向矩陣W₁，計(jì)算“卡通-真實(shí)”角色數(shù)據(jù)庫(kù)中的卡通關(guān)鍵幀特征表達(dá)矩陣在降維后的空間中的降維卡通特征表達(dá)式X′₁＝X₁W₁∈R^n×r，其中r為降維空間的維度；

在降維空間中，以檢索降維真實(shí)特征表達(dá)式中的每個(gè)元素作為單獨(dú)索引，計(jì)算和降維卡通特征表達(dá)式X₁′中的每個(gè)元素的歐式距離，并返回距離最小的若干個(gè)作為卡通索引結(jié)果X_result，完成以真實(shí)關(guān)鍵幀作為索引返回得到的卡通關(guān)鍵幀的過(guò)程；

用戶在卡通索引結(jié)果X_result上進(jìn)行形變、拉伸、替換等操作來(lái)增強(qiáng)卡通關(guān)鍵幀的趣味性，最后通過(guò)線性插值的方法獲得最終的卡通視頻。