[發(fā)明專利]兼容真實(shí)人臉和漫畫人臉的跨域關(guān)鍵點(diǎn)檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110343531.0
• 申請(qǐng)日: 2021-03-30
• 公開（公告）號(hào): CN115147886A
• 公開（公告）日: 2022-10-04
• 發(fā)明（設(shè)計(jì)）人: 王磊;章潔;蔣東樺;劉熙堯;蔡汪洋
• 申請(qǐng)（專利權(quán)）人: 中南大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/44;G06V10/764;G06N20/00
• 代理公司: 長(zhǎng)沙市融智專利事務(wù)所(普通合伙) 43114
• 代理人: 歐陽迪奇

1.一種兼容真實(shí)人臉和漫畫人臉的跨域關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，包括以下步驟：

步驟A，建立人臉定性形狀模型即QSM模型，并訓(xùn)練五官檢測(cè)器、局部關(guān)鍵點(diǎn)檢測(cè)器和整體關(guān)鍵點(diǎn)微調(diào)器；

步驟B，使用五官檢測(cè)器對(duì)人臉圖像進(jìn)行五官位置的初始檢測(cè)得到候選五官框，然后使用QSM模型進(jìn)行篩選以確定正確的五官框；

步驟C，使用局部關(guān)鍵點(diǎn)檢測(cè)器分別對(duì)五官檢測(cè)以得到關(guān)鍵點(diǎn)；

步驟D，使用整體關(guān)鍵點(diǎn)微調(diào)器對(duì)關(guān)鍵點(diǎn)位置進(jìn)行調(diào)整。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的步驟A中，建立人臉定性形狀模型包括以下步驟：

步驟A1，將人臉五官分為4個(gè)獨(dú)立的五官，分別是包含左眉毛的左眼、包含右眉毛的右眼、鼻子和嘴巴；計(jì)算人臉圖像中各五官的中心點(diǎn)坐標(biāo)，并確定五官之間的上下左右定性空間關(guān)系屬性；

步驟A2、根據(jù)上下左右定性空間關(guān)系屬性生成五官樣例，使用當(dāng)前最佳假說算法在生成的所有樣例上，進(jìn)行歸納學(xué)習(xí)，獲得五官的初始一階邏輯定義；

步驟A3、使用三原色相似度方法并結(jié)合上下左右定性空間關(guān)系，進(jìn)行對(duì)稱性檢測(cè)；將對(duì)稱性的檢測(cè)結(jié)果轉(zhuǎn)換成對(duì)稱性定性空間關(guān)系屬性；以析取的方式將對(duì)稱性定性空間關(guān)系屬性加入到步驟A2學(xué)習(xí)到的五官一階邏輯定義中，從而組成人臉定性形狀模型即QSM模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述的步驟A1包括：

步驟A11，對(duì)于真實(shí)人臉數(shù)據(jù)集的每個(gè)樣本，基于樣本所提供的關(guān)鍵點(diǎn)標(biāo)簽，找出每個(gè)五官包含的關(guān)鍵點(diǎn)的最小橫坐標(biāo)x₁、最小縱坐標(biāo)y₁，最大橫坐標(biāo)x₂和最大縱坐標(biāo)y₂；計(jì)算每個(gè)五官中心點(diǎn)(x₀，y₀)：

x₀＝(x₁+x₂)/2

y₀＝(y₁+y₂)/2

步驟A12，根據(jù)五官中心點(diǎn)坐標(biāo)，確定所有五官與其他五官之間的上下左右定性空間關(guān)系屬性，其中包括horiLE，horiRE，horiN和horiM四個(gè)用于描述水平定性空間關(guān)系的屬性，其中horiLE表示當(dāng)前五官與左眼在水平方向的關(guān)系，horiRE表示當(dāng)前五官與右眼在水平方向的關(guān)系，horiN表示當(dāng)前五官與鼻子在水平方向的關(guān)系，horiM表示當(dāng)前五官與嘴巴在水平方向的關(guān)系，屬性的取值為表示當(dāng)前五官處于相應(yīng)五官左邊的left、當(dāng)前五官處于相應(yīng)五官相同水平位置的equal或者當(dāng)前五官處于相應(yīng)五官右邊的right；

還包括vertLE，vertRE，vertN和vertM四個(gè)用于描述豎直定性空間關(guān)系的屬性，其中vertLE表示當(dāng)前五官與左眼在豎直方向的關(guān)系，vertRE表示當(dāng)前五官與右眼在豎直方向的關(guān)系，vertN表示當(dāng)前五官與鼻子在豎直方向的關(guān)系，vertM表示當(dāng)前五官與嘴巴在豎直方向的關(guān)系，屬性的取值為表示當(dāng)前五官處于相應(yīng)五官上方的up、當(dāng)前五官處于相應(yīng)五官相同豎直位置的equal或者當(dāng)前五官處于相應(yīng)五官下方的down。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述的步驟A2包括：

步驟A21，對(duì)于真實(shí)人臉數(shù)據(jù)集的每個(gè)樣本，對(duì)每一個(gè)五官x分別生成歸納學(xué)習(xí)的正例和負(fù)例：以在人臉中除去五官x的其他五官組成的集合稱為set，對(duì)五官x與集合set中每個(gè)五官成立的上下左右定性空間關(guān)系屬性進(jìn)行合取，得到五官x的正例；對(duì)集合set中的每一個(gè)五官，也分別將它們與set中的每一個(gè)五官成立的上下左右定性空間關(guān)系屬性進(jìn)行合取，得到五官x的負(fù)例；

步驟A22，對(duì)于每一個(gè)五官，使用Current-best-hypothesis即當(dāng)前最佳假說算法在該五官所有的正例和負(fù)例中進(jìn)行歸納學(xué)習(xí)，且初始假說隨機(jī)設(shè)置為該五官的其中某一個(gè)正例，在學(xué)習(xí)時(shí)若遇到假負(fù)例，即當(dāng)前假說判定為負(fù)例，但實(shí)際為正例，則對(duì)當(dāng)前假說進(jìn)行泛化操作；若遇到假正例，即當(dāng)前假說判定為正例，但實(shí)際為負(fù)例，則對(duì)當(dāng)前假說進(jìn)行狹化操作；若遇到真正例和真負(fù)例，則維持當(dāng)前假說不變；歸納學(xué)習(xí)完成后得到各個(gè)五官的初始一階邏輯定義。