[發(fā)明專利]一種基于GPU的各向異性視頻過分割方法

有效

• 申請?zhí)枺?/td>: 202110295652.2
• 申請日: 2021-03-19
• 公開（公告）號: CN113012165B
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 董瀟;陳中貴;劉永進(jìn);姚俊峰;郭小虎
• 申請（專利權(quán)）人: 廈門大學(xué)
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/194;G06T7/215;G06T7/269
• 代理公司: 廈門南強(qiáng)之路專利事務(wù)所(普通合伙) 35200
• 代理人: 馬應(yīng)森

1.一種基于GPU的各向異性視頻過分割方法，其特征在于包括以下步驟：

1)加載視頻到顯存中，計(jì)算視頻的光流場；

2)給定種子點(diǎn)的初始位置，根據(jù)光流場計(jì)算種子點(diǎn)的各向異性矩陣，加載信息到顯存中；

所述給定種子點(diǎn)的初始位置，根據(jù)光流場計(jì)算種子點(diǎn)的各向異性矩陣的具體方法為：

種子點(diǎn)的各向異性矩陣M_i必須是半正定矩陣，滿足PSD約束；首先求得一個對稱矩陣再判斷其是否滿足PSD約束；由于矩陣是對稱的，包含6個未知量，將其表達(dá)為一個向量：然后構(gòu)建超定方程來求解這6個未知量：

其中，A是18×6的矩陣，b是18維的向量[b₁，b₂，...，b₁₈]；求解處對稱矩陣的未知量；假設(shè)一個種子點(diǎn)s_i落在第t幀，那么其在t+1幀中有9個鄰居點(diǎn)，在t-1幀中也有9個鄰居點(diǎn)；為了構(gòu)建各向異性的矩陣，約束鄰居點(diǎn)的運(yùn)動量為期望值b；針對這18個鄰居點(diǎn)的約束，得到上式；通過使用Eigen庫來求解超定方程組，計(jì)算得到對稱矩陣

當(dāng)像素與周圍的鄰居具有相似的顏色和相似的運(yùn)動時(shí)，光流法無法準(zhǔn)確地檢測其運(yùn)動幅度，若種子點(diǎn)落在該像素，其矩陣可能不滿足PSD約束；對于不滿足PSD約束的矩陣，計(jì)算一個最接近的PSD矩陣來進(jìn)行修正；

所述對于不滿足PSD約束的矩陣，采用以下方法進(jìn)行修正：

①基于局部一致性，考慮計(jì)算出鄰居像素的PSD矩陣，這類鄰居與該種子點(diǎn)的運(yùn)動方向一致，然后以均值矩陣作為該種子點(diǎn)矩陣的候選；

②當(dāng)種子點(diǎn)的鄰居也無法幫助解決矩陣的PSD性質(zhì)時(shí)，計(jì)算矩陣的最接近PSD矩陣：

首先將對稱陣奇異值分解，將對角矩陣D中的負(fù)值替換成0，得到對角矩陣D₊，然后計(jì)算得到nearest?PSD矩陣作為當(dāng)前種子點(diǎn)矩陣的替代；

當(dāng)?shù)玫綕M足PSD約束的所有種子點(diǎn)的矩陣之后，將其參數(shù)加載到顯存中，以備后續(xù)處理使用；

3)根據(jù)泛洪并行框架，每個像素都以一系列的步長查詢周圍的種子點(diǎn)信息，并更新距離自己最近的種子點(diǎn)，所有像素點(diǎn)都記錄最近種子點(diǎn)，得到視頻分割結(jié)果；

所述泛洪并行框架使用OpenGL技術(shù)，繪制所有像素點(diǎn)，需要用到GLSL語言來編寫shader文件，定義像素點(diǎn)在繪制過程中需要執(zhí)行的操作；在shader里，查詢每個像素p的一定步長l的鄰居信息，如果某個鄰居保存了種子點(diǎn)s，那么計(jì)算p和s的各向異性距離；如果s是目前與p距離最近的種子點(diǎn)，則將s保存在p的信息結(jié)構(gòu)中；上述步驟重復(fù)若干次，p查詢到其周邊的所有像素保存的信息，能夠找到距離其最近的種子點(diǎn)，就得到了視頻的分割結(jié)果；

4)將種子點(diǎn)的位置更新到當(dāng)前簇的中心，然后重新計(jì)算種子點(diǎn)在新位置的各向異性矩陣；

5)重復(fù)步驟3)和4)，直到分割結(jié)果趨于穩(wěn)定或達(dá)到指定的迭代次數(shù)。

2.如權(quán)利要求1所述一種基于GPU的各向異性視頻過分割方法，其特征在于在步驟1)中，所述加載視頻到顯存中，計(jì)算視頻的光流場的具體方法為：加載視頻到顯存中，利用OpenCV庫提供的方法，來計(jì)算視頻的光流場，包括前向光流場和后向光流場的信息。

3.如權(quán)利要求1所述一種基于GPU的各向異性視頻過分割方法，其特征在于在步驟4)中，所述重新計(jì)算種子點(diǎn)在新位置的各向異性矩陣是對步驟3)得到的分割結(jié)果進(jìn)行下一輪的優(yōu)化；首先要計(jì)算當(dāng)前簇的中心，即位置的平均值，然后將種子點(diǎn)移動到中心位置，根據(jù)步驟2)，重新計(jì)算種子點(diǎn)在新位置處的各向異性矩陣。

4.如權(quán)利要求1所述一種基于GPU的各向異性視頻過分割方法，其特征在于在步驟5)中，所述重復(fù)步驟3)和4)是為了得到新一輪的視頻分割，這個迭代過程是用來優(yōu)化目標(biāo)函數(shù)，使得視頻的分割準(zhǔn)確率進(jìn)一步提高，該迭代次數(shù)手動指定，當(dāng)分割結(jié)果趨于穩(wěn)定再停止。