[發(fā)明專利]基于深度的人體圖像美化方法及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202010117261.7
• 申請日: 2020-02-25
• 公開（公告）號: CN113382154A
• 公開（公告）日: 2021-09-10
• 發(fā)明（設(shè)計）人: 劉夢瑩;鐘順才;朱聰超
• 申請（專利權(quán)）人: 榮耀終端有限公司
• 主分類號: H04N5/232
• 分類號: H04N5/232
• 代理公司: 北京匯思誠業(yè)知識產(chǎn)權(quán)代理有限公司 11444
• 代理人: 馮偉

1.一種基于深度的人體圖像美化方法，其特征在于，應(yīng)用于具有顯示屏和攝像頭的電子設(shè)備，所述方法包括：

檢測到用戶用于打開相機(jī)的第一操作；

響應(yīng)于所述第一操作，在所述顯示屏顯示用戶界面，所述用戶界面包括預(yù)覽框，所述預(yù)覽框內(nèi)包括被拍攝人物的第一人體圖像，所述第一人體圖像包括深度圖像及彩色圖像；

利用預(yù)設(shè)的關(guān)鍵點檢測模型確定所述彩色圖像中的多個人體關(guān)鍵點，并根據(jù)所述深度圖像及所述攝像頭的參數(shù)確定所述多個人體關(guān)鍵點的位置信息；

根據(jù)所述多個人體關(guān)鍵點的位置信息確定所述被拍攝人物的身材比例參數(shù)；

檢測到所述用戶用于指示體型模板的第二操作；

響應(yīng)于所述第二操作，在所述預(yù)覽框內(nèi)顯示所述被拍攝人物的第二人體圖像，所述第二人體圖像中所述被拍攝人物的身材比例參數(shù)根據(jù)所述體型模板的身材比例參數(shù)自適應(yīng)進(jìn)行了調(diào)整處理。

2.如權(quán)利要求1所述的方法，其特征在于，檢測到所述用戶用于指示體型模板的第二操作，包括：

檢測到所述用戶將拍攝的人體圖像作為體型模板的第二操作；或

檢測到所述用戶從預(yù)設(shè)的體型模板庫中選擇體型模板的第二操作；或

檢測到所述用戶從預(yù)設(shè)的圖庫中選擇的人體圖像作為體型模板的第二操作。

3.如權(quán)利要求1～2所述的方法，其特征在于，所述身材比例參數(shù)包括頭身比、上下身比、下身比、頭肩比、頭腰比、頭臀比及肩身比中的一種或多種；所述第二人體圖像中所述被拍攝人物的身材比例參數(shù)根據(jù)所述體型模板的身材比例參數(shù)自適應(yīng)進(jìn)行了調(diào)整處理，包括：

將所述被拍攝人物的身材比例參數(shù)與所述體型模板的身材比例參數(shù)一一進(jìn)行比對，將參數(shù)差值超出預(yù)設(shè)范圍的身材比例參數(shù)確定為待調(diào)整的身材比例參數(shù)；

根據(jù)所述體型模板的身材比例參數(shù)調(diào)整所述待調(diào)整的身材比例參數(shù)；

根據(jù)調(diào)整后所述被拍攝人物的身材比例參數(shù)確定相應(yīng)的關(guān)鍵點所需要的調(diào)整位置信息；

根據(jù)所述關(guān)鍵點所需要的調(diào)整位置信息對所述關(guān)鍵點進(jìn)行調(diào)整，以使得所述被拍攝人物的身材比例參數(shù)與所述體型模板的身材比例參數(shù)相適應(yīng)。

4.如權(quán)利要求1～2所述的方法，其特征在于，所述用戶界面還包括：拍攝控件；所述方法還包括：

響應(yīng)于檢測到的作用于所述拍攝控件的用戶操作，保存所述預(yù)覽框中顯示的所述第二人體圖像。

5.如權(quán)利要求1所述的方法，其特征在于，在所述利用預(yù)設(shè)的關(guān)鍵點檢測算法確定所述彩色圖像中的多個人體關(guān)鍵點，并根據(jù)所述深度圖像及所述攝像頭的參數(shù)確定所述多個人體關(guān)鍵點的位置信息之前，所述方法還包括：

構(gòu)建關(guān)鍵點檢測模型，其中，所述關(guān)鍵點檢測模型由四個密集連接的沙漏網(wǎng)絡(luò)構(gòu)成；

利用預(yù)設(shè)的訓(xùn)練集對所述關(guān)鍵點檢測模型進(jìn)行訓(xùn)練，訓(xùn)練過程中采用最小均方誤差損失函數(shù)使得所述沙漏網(wǎng)絡(luò)收斂，得到訓(xùn)練好的關(guān)鍵點檢測模型。

6.如權(quán)利要求1所述的方法，其特征在于，所述利用所述深度圖像及所述攝像頭的參數(shù)確定所述多個人體關(guān)鍵點的位置信息，包括：

根據(jù)所述彩色圖像中識別得到的人體關(guān)鍵點的坐標(biāo)，從所述深度圖像確定相同坐標(biāo)下的所述人體關(guān)鍵點的深度值；

根據(jù)所述人體關(guān)鍵點的深度值及所述人體關(guān)鍵點的坐標(biāo)得到所述人體關(guān)鍵點的位置信息。

7.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

利用攝像頭采集體型模板的彩色圖像及深度圖像；

利用預(yù)設(shè)的關(guān)鍵點檢測模型確定所述彩色圖像中的多個人體關(guān)鍵點，并利用所述深度圖像及所述攝像頭的參數(shù)確定所述多個人體關(guān)鍵點的位置信息；

根據(jù)所述體型模板的所述多個人體關(guān)鍵點的位置信息確定所述體型模板的身材比例參數(shù)；

將所述體型模板的彩色圖像及所述體型模板的身材比例參數(shù)一起保存至預(yù)設(shè)的體型模板庫中。