[發明專利]任務處理方法及裝置、電子設備和存儲介質

在審

• 申請號: 202011261159.0
• 申請日: 2020-11-12
• 公開（公告）號: CN112328398A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 施路平;趙蓉;吳郁杰;劉發強;楊哲宇
• 申請（專利權）人: 清華大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/04;G06N3/08
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種任務處理方法及裝置、電子設備和存儲介質，所述方法包括：將目標任務的待處理信息輸入調制網絡，獲得與目標任務對應的調制信息；根據調制信息，從任務網絡的多個網絡節點中，確定出用于處理待處理信息的目標網絡節點；通過目標網絡節點對待處理信息進行處理，獲得目標任務的處理結果。根據本公開的實施例的任務處理方法，可通過調制網絡生成的調制信息對任務網絡中用于處理任務的網絡節點進行選擇，可減少參數間的相互干擾，緩解災難性遺忘，并且通過調制信息可提高相似任務中網絡節點的復用率，提高網絡參數的利用效率，并提高神經網絡的訓練效率。

本公開涉及計算機技術領域，尤其涉及一種任務處理方法及裝置、電子設備和存儲介質。

背景技術

連續學習指人工智能模型或系統(例如，神經網絡)順序的學習一系列任務，并且在學習新任務時不能使用已學任務的數據。這種學習范式適合數據連續不斷輸入的實際應用場景，是通用人工智能的基本要求。實現連續學習的關鍵是學得的新知識不能覆蓋已學的舊知識，從而避免發生災難性遺忘(catastrophic forgetting)。

在相關技術中，就神經網絡的連續學習算法而言，一種方法是通過一定的正則化項來約束網絡的參數，使神經網絡在學習任務的同時，也能保持在已學任務上的良好性能。彈性權重固化(elastic weight consolidation)算法是這種方法的代表，它通過選擇性的降低對已學任務重要的權重的學習率來克服災難性遺忘。另外一種是通過一定機制為不同的任務動態分配不同的參數，使不同任務的參數減少耦合，從而避免重要參數在學習中被覆蓋。場景依賴門控(context-dependent gating)算法是這種方法的代表，它通過在處理不同任務時隨機掩蔽部分神經元來緩解學習新任務時對網絡參數的干擾，減緩遺忘。場景依賴門控算法為不同任務分配一個隨機的二值掩蔽向量，來控制隱層神經元的激活狀態。在學習一個特定任務時，將根據該任務對應的掩蔽向量來關閉網絡的部分神經元，從而避免與之相關的參數在學習這個任務時被修改。這相當于用不相交參數集合來處理不同的任務，減少參數間的相互干擾，緩解災難性遺忘。然而，該方法只緩解了不相關任務間的參數干擾，沒有利用任務相關性來復用網絡參數，從而提高網絡參數的利用效率。

發明內容

本公開提出了一種任務處理方法及裝置、電子設備和存儲介質。

根據本公開的一方面，提供了一種任務處理方法，包括：將目標任務的待處理信息輸入調制網絡，獲得與所述目標任務對應的調制信息，所述目標任務是多個預設任務中的任意一個；根據所述調制信息，從任務網絡的多個網絡節點中，確定出用于處理所述待處理信息的目標網絡節點；通過所述目標網絡節點對所述待處理信息進行處理，獲得所述目標任務的處理結果。

在一種可能的實現方式中，所述預設任務包括第一任務和第二任務，所述第一任務對應的調制信息與所述第二任務對應的調制信息的信息相似度，與所述第一任務和所述第二任務的任務相似度正相關。

在一種可能的實現方式中，所述預設任務包括第一任務和第二任務，所述第一任務對應的調制信息與所述第二任務對應的調制信息的信息相似度，與所述任務網絡中的第一網絡節點和第二網絡節點中網絡節點的重復率正相關，其中，所述第一網絡節點為所述任務網絡中用于處理第一任務的待處理信息的目標網絡節點，所述第二網絡節點為所述任務網絡中用于處理第二任務的待處理信息的目標網絡節點。

在一種可能的實現方式中，所述調制網絡包括人工神經網絡和脈沖神經網絡中的任意一種，所述任務網絡包括脈沖神經網絡和人工神經網絡中的任意一種。

在一種可能的實現方式中，所述方法還包括：將訓練任務的訓練樣本輸入所述調制網絡，獲得所述訓練樣本的第一訓練調制信息，所述訓練任務是多個任務中的任意一個；根據所述訓練任務的多個訓練樣本的第一訓練調制信息，獲得所述訓練任務的第二訓練調制信息；根據所述第一訓練調制信息和所述第二訓練調制信息，訓練所述調制網絡。