[發明專利]一種基于異步機制的人臉建模入庫服務實現方法及裝置

有效

• 申請號: 202111507515.7
• 申請日: 2021-12-10
• 公開（公告）號: CN114168684B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 吳志雄;吳曉梅;陳耿坤
• 申請（專利權）人: 清華大學;南威軟件股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2458;G06F9/46;G06F9/50
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 陳雪瑩

本發明實施例公開了一種基于異步機制的人臉建模入庫服務實現方法，包括：接收到客戶端的建模入庫請求后，將獲取到的圖像基本信息及圖像URL地址寫入數據庫；根據基本信息，增加一建模狀態標志位及數據為空的向量ID，建模狀態為未建模，然后向客戶端發送建模入庫服務響應消息；批量讀取數據庫中狀態為未建模的記錄，調用人臉建模服務對圖像進行處理，得到人臉特征編碼；將人臉特征編碼寫入向量搜索引擎并獲取返回對應的向量ID，將所述向量ID更新到數據庫對應記錄的向量ID并更新建模狀態標志位。本發明提供的一種基于異步機制的人臉建模入庫服務實現方法及裝置，實現快速響應客戶端，解決了同步機制下數據庫和向量搜索引擎數據量不一致的問題。

技術領域

本發明涉及數據庫技術領域，特別涉及一種基于異步機制的人臉建模入庫服務實現方法及裝置。

背景技術

所謂人臉建模入庫服務，就是給定批量圖片基本信息和圖片，檢測圖片中的人臉并裁剪出來，將裁剪出來的人臉送入人臉識別模型，提取人臉特征編碼，最后將圖片基本信息寫入數據庫，將人臉特征編碼寫入向量搜索引擎，供上層應用使用。

人臉建模入庫，常規實現方法基于同步機制，也就是經過檢測人臉、提取人臉特征編碼，圖片基本信息入庫，向量特征編碼入庫等一系列步驟完成后，再返回消息給客戶端。

由于常規實現方法是基于同步機制，而人臉檢測、人臉識別等模型推理運算比較費時，受GPU資源限制，在高峰請求期間，超時嚴重，對于客戶端來說，響應超時就會重調，同一批圖片調多次調用，服務端重復入庫，嚴重浪費計算資源，數據庫可以通過主鍵判斷，覆蓋重復數據，而向量搜索引擎一般采用自動生成主鍵策略，不會覆蓋重復數據，最終導致數據庫和向量搜索引擎數據量不一致。

發明內容

本發明要解決的技術問題，在于提供一種基于異步機制的人臉建模入庫服務實現方法及裝置，實現快速響應客戶端，避免重復調用，解決了同步機制下數據庫和向量搜索引擎數據量不一致的問題。

第一方面，本發明提供了一種基于異步機制的人臉建模入庫服務實現方法，包括：

步驟10、接收到至少一個客戶端的建模入庫請求后，將獲取到的圖像基本信息及圖像URL地址寫入數據庫；

步驟20、根據每一條圖像基本信息，增加一建模狀態標志位及數據為空的向量ID，建模狀態為未建模，然后所述至少一個向客戶端發送建模入庫服務響應消息；

步驟30、批量讀取數據庫中狀態為未建模的記錄，調用人臉建模服務對圖像進行處理，得到人臉特征編碼；

步驟40、將人臉特征編碼寫入向量搜索引擎，向量搜索引擎返回對應的向量ID，將所述向量ID更新到數據庫對應記錄的向量ID并更新建模狀態標志位為已建模。

進一步地，所述數據庫為分布式搜索引擎。

進一步地，所述步驟30具體包括：

調用人臉建模任務輪詢，批量讀取分布式搜索引擎中狀態為未建模的記錄，使用多進程調用人臉建模服務對圖像進行處理，得到人臉特征編碼，將人臉特征編碼寫入Redis緩存。

進一步地，所述步驟30中，在調用人臉建模任務輪詢之前，還包括：

根據GPU可用數量，啟動多個人臉建模服務程序；創建多進程池，進程池中初始化分布式搜素引擎連接和Redis服務連接。

第二方面，本發明提供了一種基于異步機制的人臉建模入庫服務實現裝置，包括：數據獲取模塊、服務響應模塊、人臉建模模塊以及向量更新模塊；

所述數據獲取模塊，用于接收到至少一個客戶端的建模入庫請求后，將獲取到的圖像基本信息及圖像URL地址寫入數據庫；