[發明專利]在低功率控制器上執行遺傳算法

在審

• 申請號: 202010311148.2
• 申請日: 2020-04-20
• 公開（公告）號: CN112668706A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: S·M·A·侯賽因
• 申請（專利權）人: 激發認知有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06N3/12
• 代理公司: 北京律盟知識產權代理有限責任公司 11287
• 代理人: 章蕾

本申請案涉及在低功率控制器上執行遺傳算法。一種方法包含從多個模型選擇模型的子集。所述多個模型是基于遺傳算法生成且對應于所述遺傳算法的第一時期。所述多個模型中的每一者包含代表神經網絡的數據。所述方法包含關于所述子集的至少一個模型執行所述遺傳算法的至少一個遺傳操作以生成可訓練模型。所述方法包含確定與先前反向傳播迭代相關聯的改進率。所述方法包含基于所述改進率選擇所述可訓練模型或先前可訓練模型中的一者作為所選擇的可訓練模型。所述方法包含通過訓練所述所選擇的可訓練模型生成經訓練模型。所述方法包含將所述經訓練模型作為輸入添加到所述第一時期之后的所述遺傳算法的第二時期。

技術領域

本發明涉及遺傳算法，特定來說，涉及低功率控制器上的遺傳算法。

背景技術

計算機通常用于解決復雜的定量及定性問題。對于涉及較大數據集的問題，通常會雇用經過專門訓練的專業人員，被稱數據科學家。數據科學家解譯數據集并構造可由計算機處理以解決問題的模型。然而，對許多組織來說，雇用數據科學家的成本過高。

對于某些類型的問題，先進的計算技術(例如遺傳算法或反向傳播)可用于開發一模型(例如神經網絡)，其在準確性方面比得上可由數據科學家創建的模型。然而，遺傳算法可采用大量迭代來收斂于可接受的神經網絡，且當對較大數據集建模時或當神經網絡包含大量節點、連接或層時反向傳播可能較慢。

在真實世界應用中，神經網絡通常必須基于大量數據進行訓練。處理此大量數據可能超過了某些控制器或處理器(例如“低功率”控制器或處理器)的能力。能夠處理用于神經網絡訓練的大量數據的專用處理器可為昂貴的且耗電量較大。

發明內容

本申請案描述自動化模型建立系統及方法，其利用遺傳算法及選擇性反向傳播生成神經網絡且以與功率及存儲器約束降低的低功率硬件(例如通常并入于傳感器中的類型的控制器/處理器)可兼容的方式訓練神經網絡。所描述的自動化模型建立技術可使普遍方法能夠生成可適用于回歸、分類及強化學習問題的神經網絡。如本文描述那樣組合遺傳算法與選擇性反向傳播可使得能夠生成神經網絡，所述神經網絡在可接受準確度下及在比單獨使用遺傳算法或反向傳播少的時間內對特定數據集建模。

揭示用以實現在低功率硬件上執行的各種調適。舉例來說，存儲器使用情況及功耗可通過篩選輸入數據(例如從傳感器接收的數據及/或在傳感器處測量的數據)及使用經篩選數據(而非全部數據)作為訓練數據來訓練神經網絡或其它模型而降低。為了說明，可選擇性地丟棄相對類似于已在訓練數據集中的數據點的數據點(例如輸入數據點)。輸入數據可進行分批處理(例如實時或近實時)以在神經網絡訓練期間減小最大瞬時存儲器占據面積。反向傳播(或其它優化過程)可通過選擇性地更新具有相對較大誤差比重的神經網絡節點的連接權重更快地執行(例如，借此降低功耗)。在反向傳播期間可能發生的問題(例如局部極小值及不收斂的權重向量)可通過監測改進率并且在檢測到低改進率的情況下選擇性地“回滾(rolling back)”一些反向傳播迭代而最小化或避免。

作為連同優化使用遺傳算法的說明性非限制性實例，考慮具有分別周期性地收集客廳(L)、餐廳(D)、主臥(M)及客臥(G)的溫度讀數的四個溫度傳感器的住宅。在此實例中，數據集可包含四個列，其中每一列對應于來自特定房間中的特定傳感器的溫度讀數，且其中每一行對應于四個傳感器獲取溫度讀數的特定時間。在一些實例中，數據集的每一行對應于向量空間中的數據點。可能有意思的是，在給定另外三個房間(例如D、M及G)中的溫度的情況下預測房間中的一個房間(例如L)中的溫度。神經網絡可適于此問題，其中神經網絡將D、M及/或G的溫度作為輸入節點且將L的溫度作為輸出節點。舉例來說，給定D、M及/或G的溫度的輸入值，在90％準確度下預測L的溫度的輸出值的神經網絡可為可接受的解。