[發(fā)明專利]一種基于圖像內(nèi)容分析的婚戀交友推薦方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202210465285.0
• 申請(qǐng)日: 2022-04-29
• 公開（公告）號(hào): CN114936317A
• 公開（公告）日: 2022-08-23
• 發(fā)明（設(shè)計(jì)）人: 閆新宇;陳天博;樊楊俊
• 申請(qǐng)（專利權(quán)）人: 上海花千樹信息科技有限公司
• 主分類號(hào): G06F16/9535
• 分類號(hào): G06F16/9535;G06F16/9536;G06V40/16;G06V10/74;G06V10/762;G06V10/774;G06F1/20
• 代理公司: 青海中贏知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 63104
• 代理人: 蔣志稅

1.一種基于圖像內(nèi)容分析的婚戀交友推薦方法，其特征在于，包括以下步驟：

S1、使用公開的數(shù)據(jù)集訓(xùn)練人臉識(shí)別模型和人臉檢測(cè)模型，作為圖像特征的提取器，離線提取用戶照片的圖像特征；

S2、根據(jù)用戶行為數(shù)據(jù)，離線訓(xùn)練ALS作為召回模型，為每個(gè)用戶生成待推薦用戶列表；

S3、根據(jù)用戶喜歡的異性照片，并結(jié)合照片的人臉圖像特征，為每個(gè)用戶推薦相似人臉用戶擴(kuò)充待推薦用戶列表，綜合考慮人臉相似度和ALS模型打分情況，對(duì)召回用于進(jìn)行重新排序；

S4、獲取用戶基本屬性、擇偶條件、圖像特征數(shù)據(jù)，用戶點(diǎn)擊數(shù)據(jù)，訓(xùn)練WideDeep模型用于在線排序；

S5、借助Web服務(wù)技術(shù)，提供用戶推薦服務(wù)，該服務(wù)可實(shí)現(xiàn)ALS加圖像特征召回，WD模型精排，業(yè)務(wù)規(guī)則過濾的流程，為每個(gè)用戶實(shí)現(xiàn)個(gè)性化精準(zhǔn)推薦。

2.根據(jù)權(quán)利要求1所述的基于圖像內(nèi)容分析的婚戀交友推薦方法，其特征在于，所述步驟S1中圖像特征的提取器包括人臉檢測(cè)模型和人臉特征提取模型，其中人臉檢測(cè)模型使用的是scrfd模型，該模型通過網(wǎng)絡(luò)搜索的方法，在計(jì)算量固定的前提下，獲取最佳的網(wǎng)絡(luò)結(jié)構(gòu)，并保證backbone,neck,head部分結(jié)構(gòu)均衡，通過訓(xùn)練樣本均衡、ATSS、DIOU的策略提升模型檢測(cè)的精度，獲得訓(xùn)練模型。

3.根據(jù)權(quán)利要求2所述的基于圖像內(nèi)容分析的婚戀交友推薦方法，其特征在于，所述人臉識(shí)別模型采用insightface結(jié)構(gòu)，insightface網(wǎng)絡(luò)通過在損失函數(shù)上添加margin的方式，使得人臉特征在空間的分布上提高了類間可分性，同時(shí)加強(qiáng)類內(nèi)緊度和類間差異，從而提升人臉識(shí)別的精度，為了模型具有較好的實(shí)時(shí)性，主干網(wǎng)絡(luò)使用了輕量級(jí)的mobilenetv2結(jié)構(gòu)。

4.根據(jù)權(quán)利要求3所述的基于圖像內(nèi)容分析的婚戀交友推薦方法，其特征在于，使用所述訓(xùn)練模型，提取用戶上傳照片的人臉特征，并將結(jié)果存儲(chǔ)到hive表格中，方便召回時(shí)讀取。

5.根據(jù)權(quán)利要求4所述的基于圖像內(nèi)容分析的婚戀交友推薦方法，其特征在于，所述步驟S3中召回用戶采用相似人臉召回策略，為用戶推薦和自己喜歡的用戶相似的照片，將人臉特征進(jìn)行PQ編碼。

6.根據(jù)權(quán)利要求5所述的基于圖像內(nèi)容分析的婚戀交友推薦方法，其特征在于，所述PQ編碼的方法是將512維的人臉特征劃分成N維子空間，每個(gè)子空間使用Kmeans算法進(jìn)行M類別的聚類，聚類后的類別ID作為PQ編碼，由于聚類中心分布在特征空間中，因此獲取PQ編碼附近的特征編碼，根據(jù)臨近的特征編碼值進(jìn)行匹配，大幅度提升全局搜索的速度。

7.根據(jù)權(quán)利要求6所述的基于圖像內(nèi)容分析的婚戀交友推薦方法，其特征在于，在離線搜索的過程中所述用戶照片的PQ編碼以及臨近的PQ編碼分別寫入到hive表格中，使用用戶喜歡照片的臨近PQ編碼和待搜索照片的PQ編碼作為匹配規(guī)則，并借助spark的運(yùn)算能力，實(shí)現(xiàn)快速的離線全局搜索功能，結(jié)合步驟S2中ALS的打分和人臉相似度，對(duì)召回結(jié)果進(jìn)行粗排。

8.根據(jù)權(quán)利要求7所述的基于圖像內(nèi)容分析的婚戀交友推薦方法，其特征在于，所述步驟S4中獲取用戶基本屬性，基本屬性包括但不限于性別、年齡、身高、星座、愛好、收入、長(zhǎng)居工作地省份、縣市、擇偶條件、顏值分?jǐn)?shù)據(jù)進(jìn)行整合，用戶在卡片推薦頁能夠左右滑，并訓(xùn)練widedeep模型，綜合Accuracy、Recall、F1-score、AUC指標(biāo)、gAUC指標(biāo)得到當(dāng)前條件下的最優(yōu)離線模型，為了提升推薦服務(wù)端的響應(yīng)速度，我們將離線訓(xùn)練的模型參數(shù)和用戶特征的編碼結(jié)果分別進(jìn)行緩存，線上推理部分使用基于pytorh自搭建的widedeep框架實(shí)現(xiàn)ms級(jí)的inference。