[發明專利]一種基于語法規則的深度神經網絡自動生成方法

在審

• 申請號: 202111471925.0
• 申請日: 2021-11-30
• 公開（公告）號: CN114265581A
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 房春榮;何云;劉佳瑋;顧明政;張振平;陳振宇
• 申請（專利權）人: 南京大學
• 主分類號: G06F8/30
• 分類號: G06F8/30;G06F8/41;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

一種基于語法規則的深度神經網絡自動生成方法，包括語法規則模塊、安全檢查模塊、迭代生成模塊、任務管理模塊和數據處理模塊。通過語法規則模塊建立和更新語法規則，確保生成的深度神經網絡模型的靜態可用性；安全檢查模塊負責模擬深度神經網絡模型的動態執行情況，以檢查模型中的張量和拓撲關系，確保生成的深度神經網絡模型的動態可用性；迭代生成模塊逐層添加深度神經網絡模型；任務管理模塊生成和驗證深度神經網絡，實現對生成和驗證任務的新建、查詢、刪除等操作；數據處理模塊實現對待測框架類型和版本的新增和刪除，同時對執行結果進行分析。多模塊相互協同，以得到深度神經網絡模型的生成報告及模型源文件，并提供測試結果預測等功能。

技術領域

本發明屬于軟件工程和深度學習領域，尤其是針對基于語法規則的深度神經網絡自動生成方法在軟件工程領域的應用，用于測試深度學習框架中是否存在缺陷。

背景技術

在過去的數年里，隨著人們對神經網絡研究的不斷深入，深度神經網絡模型在醫療診斷、自動駕駛、智能合約、智慧法院等領域展現了廣闊的前景。這些模型是基于設計好的邏輯結構從訓練數據中學到的推理方法的表示形式。開發者們通過組合不同的層等組件實現深度學習模型的邏輯結構。

與傳統軟件系統相比，基于深度學習的軟件系統通常涉及更多復雜的組件，如深度學習框架。深度學習框架能夠屏蔽底層實現，讓開發人員無需重復實現每一層的計算單元，只關注模型的邏輯結構，在簡化了計算的同時，降低了深度學習入門門檻，提高了開發效率。在深度學習模型的廣泛使用中，深度學習框架功不可沒。深度學習框架將模型的邏輯結構中的層和其他組件的實現封裝成接口，并提供給開發者使用。深度學習框架降低了深度學習模型開發的難度，使得模型的開發者們可以將更多的精力放在模型的邏輯結構上。深度學習框架是基礎平臺，為簡化、加速、優化DL開發和部署提供了通用工具。

深度學習框架已應用在豐富的應用場景中，它提供了子類化的接口進行研究，幫助開發者省去了大量繁瑣的外圍工作，專注于業務場景和模型設計。在這些階段中，深度學習框架提供的接口實例化了模型的推理邏輯，模型也反映出了深度學習框架的缺陷和欠優化的部分。

深度學習框架的質量從根本上影響到了深度學習系統的質量，因此必須要通過測試來保證深度學習框架的質量，避免這些缺陷被引入到深度學習模型之中。深度學習軟件的測試區別于傳統的軟件測試的一個特征在于他的核心底層行為會隨著輸入的新數據的變化而變化。這種面臨新數據時的未知性也是其缺陷隱藏的地方。

深度學習框架作為一種特殊的深度學習軟件，他的測試輸入是深度學習模型。隨著新的模型的生成，更多的深度學習框架的缺陷將會在深度學習模型依賴于深度學習框架的階段暴露出來。

除了一些功能的未實現，深度學習框架的缺陷也會表現在優化方面。后者容易跟模型的邏輯結構中的缺陷混淆，難以通過少數幾個模型暴露出來。

在模型檢查方面，已經有一些研究者做了初步的工作，但是現有的工作局限于單個或是少量張量，很難針對任意張量進行檢查，缺少較強的泛化能力。

總之，目前關于深度學習框架的測試還存在技術上的瓶頸。因此我們提出了一種基于語法規則的深度神經網絡自動生成方法，旨在生成大量的深度學習模型，深入到深度學習框架提供支撐工作的訓練、測試、轉換和遷移階段，研究深度學習框架的測試，并以工程化的方式實現了一個基于語法規則的深度神經網絡自動生成系統。

發明內容

本發明要解決的問題是：如何獲得大量的深度學習模型，并將深度學習框架的缺陷顯性的表示出來，從而檢測深度學習框架中是否存在缺陷，推動人工智能領域發展。

本發明的技術方案為：一種基于語法規則的深度神經網絡自動生成方法，其特征是能夠在有限的模型結構的基礎上構造出大量的模型，并在模型生成階段，基于語法規則隨機抽取新的層來生成新的模型。為了能夠進一步的暴露出深度學習框架中的缺陷，設計一套能夠放大深度學習框架中缺陷的蛻變方法，最終開發出一套獨立的基于語法規則的深度神經網絡自動生成系統。該方法包含以下五個模塊：