[發明專利]一種基于聯邦學習的視頻片段檢索方法及系統

有效

• 申請號: 202210849763.8
• 申請日: 2022-07-20
• 公開（公告）號: CN114925238B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 羅昕;王妍;王娜;陳振鐸;許信順
• 申請（專利權）人: 山東大學
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06F16/78;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本發明提供了一種基于聯邦學習的視頻片段檢索方法及系統，屬于聯邦學習技術領域，所述方案通過采用基于串行學習策略的聯邦學習方法，有效提高了視頻檢索模型的訓練效率，解決了現有集中式進行模型訓練花費巨大的數據傳輸成本和存儲成本，以及容易造成隱私泄露的問題；所述方案在局部模型聚合階段，通過客戶端之間的驗證集定量地測量局部模型的性能進而更好地指導模型聚合，提升了模型性能；所述方案通過將提出的分布差異損失引入到基于聯邦學習的視頻分析技術中，使局部模型的預測分布努力逼近總體樣本的實際分布，能進一步提升模型性能。

技術領域

本發明屬于聯邦學習技術領域，尤其涉及一種基于聯邦學習的視頻片段檢索方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

隨著大數據時代的發展，視頻分析技術的應用越來越頻繁和廣泛，視頻片段檢索(Video moment retrieval， VMR)作為視頻分析技術的其中一種，目前已經引起了學術界和工業界廣泛的關注，其目的是檢索出長視頻中最符合自然語言查詢語句描述的目標視頻片段，并返回相應的開始時間點和結束時間點。根據處理單元的不同，現有的VMR工作可以分為基于排序的方法和基于定位的方法，其中，基于排序的方法通過對提取的候選時刻進行排序來確定檢索結果，并可以進一步分為預設候選的方法和有指導地生成候選片段的方法；基于定位的方法直接處理整個視頻并返回開始和結束時間點；同時，根據是否需要迭代，基于定位的方法可分為一次定位和迭代定位。

發明人發現，盡管許多新的方法已經被引入VMR，并獲得了不錯的性能，但目前大多數包括VMR技術在內的視頻分析技術，大都需要大量的視頻數據和繁瑣的人工標注，并且隱含地假設這些數據被發送到一個中央服務器來訓練它們的模型；而在實際應用中，視頻可能分布在不同的客戶端，由不同的數據所有者擁有(例如，個人設備和組織機構)。以有VMR任務需求的監控視頻數據為例，監控視頻數據不僅通常占用的存儲空間較大，將它們統一上傳到服務器會花費很大的傳輸成本和存儲成本，而且對數據隱私有很高的要求。因此集中式地在服務器訓練VMR模型不僅會花費巨大的數據傳輸成本和存儲成本，甚至可能會造成視頻數據的隱私泄露。

發明內容

本發明為了解決上述問題，提供了一種基于聯邦學習的視頻片段檢索方法及系統，所述方案通過采用基于串行學習策略的聯邦學習方法，有效提高了視頻檢索模型的訓練效率，解決了現有集中式進行模型訓練花費巨大的數據傳輸成本和存儲成本，以及容易造成隱私泄露的問題。

根據本發明實施例的第一個方面，提供了一種基于聯邦學習的視頻片段檢索方法，包括：

獲取查詢語句以及預先指定的待檢索視頻；

將所述查詢語句以及待檢索視頻輸入預先訓練的視頻檢索模型，獲得所述查詢語句對應的視頻片段；

其中，所述視頻檢索模型的訓練，采用串行學習策略的聯邦學習方法，具體包括：對于攜帶有不同訓練數據的若干客戶端，使客戶端按照預設順序逐個的對所述視頻檢索模型進行局部訓練，前一個客戶端訓練的局部模型參數傳輸至下一個客戶端并作為其模型訓練的初始化參數；所有客戶端完成訓練后，將所有的局部模型參數傳輸至中心服務器進行聚合，獲得當前輪次的全局模型參數，并將所述全局模型參數下發至所述客戶端繼續迭代執行，直至滿足預設迭代要求。

進一步的，考慮到模型訓練的效率，將若干客戶端進行分組，所述客戶端在組內按照預設順序逐個執行模型的訓練，組間并行執行模型的訓練。

進一步的，所述視頻檢索模型在客戶端中進行局部訓練的過程中，基于客戶端內樣本的時序類別分布，引入分布差異損失函數參與客戶端的模型更新，其中，所述分布差異損失函數具體表示如下：

其中，表示所有時序類別的集合，x表示中的某一個時序類別，為客戶端k預測的時序類別分布，為真實的總體時序類別分布。