[發明專利]基于人工智能的可回收垃圾圖像分類方法及系統

在審

• 申請號: 202010512980.9
• 申請日: 2020-06-08
• 公開（公告）號: CN111767804A
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 孫錟鋒;趙澤宇;蔣興浩;許可
• 申請（專利權）人: 上海交通大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/40;G06K9/62;G06N3/04
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

1.一種基于人工智能的可回收垃圾圖像分類方法，其特征在于，包括：

步驟S1：部署硬件環境，建立攝像頭、開發板主體和外接顯示設備之間的聯系；

步驟S2：攝像頭檢測垃圾后拍攝圖片；

步驟S3：對圖片進行預處理，按照預設的清晰度判別標準，對拍攝的圖片進行清晰度比較，篩選出清晰度最高的一張圖片；

步驟S4：對篩選出的圖片進行背景分割，分割出圖片中包含的物體；

步驟S5：將分割出的物體圖片放入到卷積神經網絡中進行圖片分類，輸出對應的概率分布；

步驟S6：對概率分布進行判別并做出對應措施。

2.根據權利要求1所述的基于人工智能的可回收垃圾圖像分類方法，其特征在于，所述步驟S2包括：

步驟S2.1：在基于Linux的Ubuntu系統下，動態編譯整體算法框架所依賴的darknet深度學習網絡框架，形成算法庫；

步驟S2.2：利用控制流的方式，動態地從攝像頭持續獲取圖像，并顯示在外接顯示設備上形成監控畫面；

步驟S2.3：利用PyQt5編寫的跨平臺的可視化界面對監控畫面進行初始化，顯示基本的信息以及控制按鈕；

建立深度學習框架和動態攝像頭圖像采集的過程包括以下步驟：

步驟A：構建darknet深度學習網絡框架，配置所需要的CUDA深度學習加速模塊以及cudnn工具模塊，安裝OpenCV圖像處理模塊；

步驟B：對整體網絡框架進行編譯后，設置攝像頭的流模式參數，保證拍攝效果。

3.根據權利要求1所述的基于人工智能的可回收垃圾圖像分類方法，其特征在于，所述步驟S3包括：利用拉普拉斯算子對圖片進行卷積操作，計算處理后的圖片方差，根據方差值得大小，設定閾值比較圖片的清晰度。

4.根據權利要求1所述的基于人工智能的可回收垃圾圖像分類方法，其特征在于，所述步驟S4包括：利用圖形學分割背景的方法，對篩選出的圖片進行處理，得到物體占比符合預設要求的圖像，具體步驟為：

步驟S4.1：對篩選出的圖像進行灰度化處理；

步驟S4.2，對灰度化處理后的圖像進行Sobel算子卷積運算，獲取圖像的橫向梯度值圖像gradX和縱向梯度值圖像gradY；

步驟S4.3，對橫向梯度值圖像gradX和縱向梯度值圖像gradY做差值，獲取圖像的邊緣檢測結果；

步驟S4.4，對圖像的邊緣檢測結果進行圖形學的腐蝕與膨脹算子卷積操作，去除噪音并突出邊緣；

步驟S4.5，對去除噪音并突出邊緣后的圖像進行位置檢測并標定主體，獲取標定坐標點之后按照坐標點對原圖像進行裁剪，獲取圖片中物體的圖像。

5.根據權利要求1所述的基于人工智能的可回收垃圾圖像分類方法，其特征在于，所述步驟S5包括：卷積神經網絡的結構為基于tiny-darknet網絡所優化得到的卷積神經網絡，在自建的可回收垃圾圖像數據集上進行訓練并測試后部署于Jetson Nano開發板中，并在darknet深度學習網絡框架中運行。

6.根據權利要求1所述的基于人工智能的可回收垃圾圖像分類方法，其特征在于，所述步驟S6包括：對概率分布做信息熵計算，若信息熵大于預設的閾值，則判定為分類錯誤，對用戶進行提示，依靠用戶來決定是否信任判定結果；反之則輸出概率最高的預測標簽作為結果告知用戶。

7.一種基于人工智能的可回收垃圾圖像分類系統，其特征在于，包括：

模塊M1：部署硬件環境，建立攝像頭、開發板主體和外接顯示設備之間的聯系；

模塊M2：攝像頭檢測垃圾后拍攝圖片；

模塊M3：對圖片進行預處理，按照預設的清晰度判別標準，對拍攝的圖片進行清晰度比較，篩選出清晰度最高的一張圖片；

模塊M4：對篩選出的圖片進行背景分割，分割出圖片中包含的物體；

模塊M5：將分割出的物體圖片放入到卷積神經網絡中進行圖片分類，輸出對應的概率分布；

模塊M6：對概率分布進行判別并做出對應措施。