[發明專利]多gpu集群并行人臉搜索方法與系統

有效

• 申請號: 202011507376.3
• 申請日: 2020-12-18
• 公開（公告）號: CN112613390B
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 楊帆;湯靜波
• 申請（專利權）人: 小視科技（江蘇）股份有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06F15/16
• 代理公司: 南京行高知識產權代理有限公司 32404
• 代理人: 王培松;王菊花

1.一種多gpu集群并行人臉搜索方法，其特征在于，包括以下步驟：

構建包括前置管理端和搜索服務端構成的人臉搜索系統，其中：

-前置管理端用于接收人臉搜索請求并轉發至搜索服務端，并管理連接的搜索服務端，以及重組分析合并返回的搜索結果并輸出；

-搜索服務端用于存儲人臉特征數據，以及接收前置管理端的人臉搜索請求，控制搜索服務端的所有gpu并發進行人臉搜索計算并將搜索結果返回給前置管理端；

以前述構建的人臉搜索系統進行新增人臉特征數據及人臉信息的存儲，在存儲過程中，前置管理端根據所有連接的搜索服務端的所有gpu的剩余容量的最大值確定存儲的搜索服務端，所述搜索服務端根據本地所有的gpu剩余容量的進行存儲，直到新增的人臉特征數據存儲完畢；

所述前置管理端在接收到外部的人臉搜索請求時，將請求同時發送至所有連接的搜索服務端，接收到請求的搜索服務端同時在本地gpu存儲的人臉特征數據中計算搜索出結果，并返回給前置管理端，前置管理端將所有搜索服務端返回結果計算合并出最優解，最后輸出；

其中，對于新增人臉特征數據及人臉信息的存儲，其具體存儲處理過程包括以下步驟：

步驟2-1、前置管理端接收新增人臉特征數據及相關人臉信息，記錄新增人臉特征數據所需容量A；

步驟2-2、前置管理端根據與其連接的所有搜索服務端的剩余容量而計算獲得搜索服務端的gpu剩余容量最大的搜索服務端，并記錄其剩余容量值B；

步驟2-3、判斷剩余容量值B是否大于新增人臉特征數據所需容量A：若大于，則將新增人臉特征數據及相關人臉信息發送至該搜索服務端，并置該搜索服務端的剩余容量為B-A；若小于，則裁剪出B容量大小的人臉特征數據及相關人臉信息，發送至該搜索服務端并將其剩余容量置0，然后將裁剪剩余的新增人臉特征數據及相關人臉信息作為新增人臉特征數據主體并置A=A-B，轉至步驟2-2，直到所有的新增人臉特征數據存儲完畢；

步驟2-4、搜索服務端收到前置服務端新增人臉特征數據請求后，若搜索服務端為子系統搜索服務端，則轉至步驟2-1進行遞歸操作，否則，搜索服務機持久化人臉特征數據及其人臉相關信息并記錄新增人臉特征數據所需容量C；

步驟2-5、搜索服務端計算找出本地所有gpu中剩余容量最大的gpu并記錄其剩余容量D；

步驟2-6、判斷剩余容量D是否大于新增人臉特征數據所需容量C：若大于，則將新增人臉特征數據存入該gpu顯存中并且置該gpu剩余容量為D-C；如小于，裁剪出容量D大小的人臉特征數據加入該gpu顯存，然后將裁剪剩余的新增人臉特征數據作為新增人臉特征數據的主體并置C=C-D，轉至步驟2-5；

其中，對于接收到外界調用對象的人臉搜索請求，所述人臉搜索系統被配置按照下述方式進行人臉搜索和結果返回：

步驟3-1、前置管理端接收人臉搜索請求，將請求發送給所有連接到前置管理端的搜索服務端，并等待所有的返回結果；

步驟3-2、搜索服務端接收到人臉搜索請求后，若搜索服務端為子系統搜索服務端則轉至步驟3-1進行遞歸操作，否則控制節點搜索服務端同時開啟與節點搜索服務端本地的gpu數量相同的線程數進行人臉搜索，并使得每個線程與唯一的一個gpu綁定；

步驟3-3、線程開始后，對其所對應的gpu存儲的所有人臉特征數據進行歐式距離計算，并得出歐式距離最小的特征所對應的人臉信息；

步驟3-4、待所有線程工作結束，主線程接收所有線程得出的結果，并確定所有線程結果中歐式距離最小的特征對應的人臉信息；

步驟3-5、搜索服務端將歐式距離最小特征對應的人臉信息和歐式距離信息返回給前置管理端；

步驟3-6、前置管理端等待所有連接的搜索服務端返回結果，并比較所有搜索服務端返回結果的歐式距離，找出對應歐式距離最小及其對應的人臉信息返回給外界調用對象。