[發明專利]一種基于插件式模型的可重用、可擴展機器學習方法

在審

• 申請號: 202110422430.2
• 申請日: 2021-04-20
• 公開（公告）號: CN113111587A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 王玉亭;陳亮;劉英杰;于文月;張俊青
• 申請（專利權）人: 北京理工雷科電子信息技術有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N20/00;G06F111/08
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 田亞琪

本發明公開了一種基于插件式模型的可重用、可擴展機器學習方法，以輕量級特征學習模型作為基本單元，構造可復用、插件化模型實現目標部件定位與屬性分析，為描述部件特征與部件組成方式提供生成式語義描述框架所必需的語義內容，形成樣本數據的時、空間概率分布，并作為目標模式匹配的重要依據，完成目標的智能分析、學習與精準、快速辨識任務，本發明方法可在有限的樣本與計算資源條件下，精簡模型自身復雜度，大幅提升數據樣本的利用效率。

技術領域

本發明屬于機器學習的技術領域，具體涉及一種基于插件式模型的可重用、可擴展機器學習方法。

背景技術

當前，很多成熟的“智能化”模型設計在本質上屬于基于“大數據、小任務范式(bigdata for small task)”的范疇。數據在規律上的復雜性給通識化特定任務帶來了巨大挑戰：“噪聲”干擾下的數據類間差異小易導致模式識別系統的虛警，而數據紛繁變化下的類內差異大則容易導致辨識失敗。

于是，基于“大數據、小任務范式”的模型通常以海量數據來催生、塑造智能系統和模型。而現有的深度學習網絡模型結構復雜龐大，參數繁多，模型的訓練與實際運行計算開銷巨大，依賴如FPGA、GPU等集群并行計算平臺，因此有限的星上計算與存儲資源勢必會影響到模型運行效能。同時，以高容量、參數多為特點的模型必須需要基于大量樣本訓練進而防止過擬合現象，因此高價值訓練樣本的匱乏極易導致模型過擬合，喪失泛化能力。

發明內容

有鑒于此，本發明提供了一種基于插件式模型的可重用、可擴展機器學習方法，能夠解決現有的“大數據、小任務范式(big data for small task)”的通識化特定任務。

實現本發明的技術方案如下：

一種基于插件式模型的可重用、可擴展機器學習方法，以輕量級特征學習模型作為基本單元，構造可復用、插件化模型實現目標部件定位與屬性分析，為描述部件特征與部件組成方式提供生成式語義描述框架所必需的語義內容，形成樣本數據的時、空間概率分布，并作為目標模式匹配的重要依據，完成目標的智能分析、學習與精準、快速辨識任務。

進一步地，具體包括以下步驟：

步驟一、設計基于模型復雜度控制的輕量級特征學習模型；

步驟二、提取樣本復雜度控制的目標基礎視覺概念；

步驟三、得到樣本、模型復雜度協同控制的共性特征學習與生成模型。

進一步地，步驟一具體為：

步驟1.1對深度學習網絡進行壓縮、調優處理；

步驟1.2設計基于多層條件隨機投影的特征學習網絡。

進一步地，步驟1.1具體為：

首先分析嵌入式平臺在資源方面對輕量級模型的需求，接著根據特征學習網絡自身的結構特點，在初始權重隨機的條件下，研究網絡結構變換、壓縮技術，最后在結構壓縮的基礎上，對網絡中參數進行壓縮、調優處理。

進一步地，步驟1.2具體為：

對特征數據進行隨機投影，并通過投影后數據的標簽信息尋找類內最優的投影方向，以此使得不同類別的數據投影方向差異最大，以此來達到區分不同類別的目的，通過VC維與隱層節點數量之間的關聯，將VC維進行近似改進，使其成為凹函數，通過尋找最低點來找到最優的節點數，通過分析各個節點上參數權重的概率分布，尋找最優的節點參數進行網絡訓練，實現具有指向性的特征映射模型，增強非線性隨機特征的類間可分性。

有益效果：