[發明專利]基于二值神經網絡的輕量化Web AR識別方法及系統

有效

• 申請號: 201910458117.7
• 申請日: 2019-05-29
• 公開（公告）號: CN110232338B
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 喬秀全;黃亞坤;商彥磊
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06F16/957
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王慶龍;李相雨

1.一種基于二值神經網絡的輕量化Web AR識別方法，其特征在于，應用于移動Web瀏覽器，包括：

加載目標圖像并對所述目標圖像進行預處理，向邊緣服務器發送圖像識別任務請求，以供所述邊緣服務器接收所述圖像識別任務請求，向所述移動Web瀏覽器發送預先訓練好的二值神經網絡模型以及相關的可執行腳本；

將經過預處理的所述目標圖像作為輸入，通過加載所述預先訓練好的二值神經網絡模型以及相關的可執行腳本來執行二值神經網絡前饋計算，獲得圖像識別結果，并在前饋計算的過程中暫存所述二值神經網絡模型的第一卷積層輸出結果；

計算所述圖像識別結果的標準交叉熵值，判斷所述標準交叉熵值是否滿足預先設定的閾值，若滿足，則輸出所述圖像識別結果；或者，

若不滿足，則將暫存的所述第一卷積層輸出結果推送至所述邊緣服務器，以供所述邊緣服務器基于所述第一卷積層輸出結果執行剩余的全精度神經網絡前饋計算，獲得最終的圖像識別結果，并將所述最終的圖像識別結果返回至所述移動Web瀏覽器。

2.一種基于二值神經網絡的輕量化Web AR識別方法，其特征在于，應用于邊緣服務器，包括：

接收移動Web瀏覽器發送的圖像識別任務請求，向所述移動Web瀏覽器發送預先訓練好的二值神經網絡模型以及相關的可執行腳本，以供所述移動Web瀏覽器通過加載所述預先訓練好的二值神經網絡模型以及相關的可執行腳本來執行二值神經網絡前饋計算，獲得圖像識別結果，并在前饋計算的過程中暫存所述二值神經網絡模型的第一卷積層輸出結果；

若接收到所述移動Web瀏覽器發送的第一卷積層輸出結果，將所述第一卷積層輸出結果輸入至預先訓練好的全精度神經網絡模型來完成剩余的全精度神經網絡前饋計算，獲得最終的圖像識別結果，并將所述最終的圖像識別結果返回至所述移動Web瀏覽器。

3.根據權利要求2所述的基于二值神經網絡的輕量化Web AR識別方法，其特征在于，所述接收移動Web瀏覽器發送的圖像識別任務請求的步驟之前，還包括：

構建復合神經網絡識別結構，其中，所述復合神經網絡識別結構包括應用于移動Web瀏覽器的二值神經網絡分支結構和應用于邊緣服務器的全精度神經網絡分支結構，所述二值神經網絡分支結構和全精度神經網絡分支結構共享第一卷積層；

對所述復合神經網絡識別結構進行聯合訓練，獲得訓練完成的二值神經網絡模型和全精度神經網絡模型；

基于C++實現所述訓練完成的二值神經網絡模型的前饋推理庫，利用Emscripten對所述前饋推理庫進行優化轉換，生成JavaScript腳本和WASM腳本。

4.根據權利要求3所述的方法，其特征在于，對所述復合神經網絡識別結構進行聯合訓練，獲得訓練完成的二值神經網絡模型和全精度神經網絡模型的步驟，具體為：

訓練所述全精度神經網絡分支結構直至收斂；

固定第一卷積層的權重參數，采用二值神經網絡的訓練方法來訓練所述二值神經網絡分支結構直至收斂；

保存訓練好的全精度神經網絡分支結構的參數和二值神經網絡分支結構的參數，獲得訓練完成的二值神經網絡模型和全精度神經網絡模型。

5.一種移動Web瀏覽器，其特征在于，包括：

圖像識別請求模塊，用于加載目標圖像并對所述目標圖像進行預處理，向邊緣服務器發送圖像識別任務請求，以供所述邊緣服務器接收所述圖像識別任務請求，向所述移動Web瀏覽器發送預先訓練好的二值神經網絡模型以及相關的可執行腳本；

第一前饋計算模塊，用于將經過預處理的所述目標圖像作為輸入，通過加載所述預先訓練好的二值神經網絡模型以及相關的可執行腳本來執行二值神經網絡前饋計算，獲得圖像識別結果，并在前饋計算的過程中暫存所述二值神經網絡模型的第一卷積層輸出結果；

判斷模塊，用于計算所述圖像識別結果的標準交叉熵值，判斷所述標準交叉熵值是否滿足預先設定的閾值，若滿足，則輸出所述圖像識別結果；或者，

若不滿足，則將暫存的所述第一卷積層輸出結果推送至所述邊緣服務器，以供所述邊緣服務器基于所述第一卷積層輸出結果執行剩余的全精度神經網絡前饋計算，獲得最終的圖像識別結果，并將所述最終的圖像識別結果返回至所述移動Web瀏覽器。