[發明專利]一種使用神經網絡鑒別商品真偽的方法

在審

• 申請號: 202011318059.7
• 申請日: 2020-11-23
• 公開（公告）號: CN112597798A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 何嘉麒
• 申請（專利權）人: 廣州創品知識產權服務有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 吉林長春新紀元專利代理有限責任公司 22100
• 代理人: 白冬冬

1.一種使用神經網絡鑒別商品真偽的方法，其步驟是：

S1、采集商品圖像并構建數據庫；

其特征在于：

S2、對采集商品圖案進行變形并構建訓練庫：

操作一，隨機選取商品訓練庫內圖片，沿水平軸以隨機角度翻轉，生成新的圖像，保存至圖像鑒別信息訓練庫；

操作二，隨機選取商品訓練庫內圖片，沿垂直軸以隨機角度翻轉，生成新的圖像，保存至圖像鑒別信息訓練庫；

操作三，隨機選取商品訓練庫內圖片，沿水平方向隨機平移圖像若干個像素，生成新的圖像，保存至圖像鑒別信息訓練庫；

操作四，隨機選取商品訓練庫內圖片，沿垂直方向隨機平移圖像若干個像素，生成新的圖像，保存至圖像鑒別信息訓練庫；

操作五，隨機選取商品訓練庫內圖片，隨機縮放圖像，生成新的圖像，保存至圖像鑒別信息訓練庫；

S3、構建并部署圖片灰度信息模型，提取訓練庫內商品圖案的灰度信息與邊緣信息，形成灰度信息數據庫：

第一步，使用灰度算法依次將圖像鑒別信息訓練庫內圖像信息分割為R(紅)，G(綠)，B(藍)三個通道，轉換完成后保存上述圖像鑒別信息訓練庫內所有圖像的灰度圖片，保存上述圖片至灰度圖片庫內；

第二步，使用DnCNN神經網絡去除上述灰度圖像中每個顏色通道中的噪音，并替換上述第一步中所述的原始灰度圖片；

第三步，使用Sobel算子提取上述第二步中所述的去噪音后的灰度圖片的水平和梯度信息，并替換上述第二步中所述的原始灰度圖片；

第四步，并行使用Isotropic Sobel，Robertsl，Prewitt算子分別提取上述第三步中所述的灰度圖片邊緣信息，使上述第三步中所述的原始灰度圖片分別生成三張新的，對應不同算子的灰度圖片，并替換上述第三步中所述的原始灰度圖片；

第五步，使用im2bw和ycbcr2rgb反向轉換算法獲取上述第四步中所述原始灰度圖片的灰度信息圖片的邊緣信息，形成灰度信息數據庫；

S4、使用多重神經網絡對灰度信息數據庫內圖片信息進行訓練和測試，輸出鑒別模型：

第一步，隨機選取上述灰度信息模型內圖片生成模型訓練集，模型測試集和獨立測試集，其中，模型訓練集，模型測試集和獨立測試集內所有圖片互不重復且均從灰度信息數據庫內提取；

第二步，構建基于多重神經網絡的鑒別模型，通過對灰度信息數據庫圖片進行訓練，參數調整和圖片特征提取，根據辨識準確率選取針對不同狀態下圖片的性能最佳的若干個模型，構成合議算法，構建形成辨識模型；

模型結構包括至少一個輸入層，若干卷積層，若干激勵層，若干池化層，若干連接層和一個輸出層；

輸入層：模型輸入層對上述訓練集圖片進行預處理操作，將每張圖片轉換為三維矩陣A，即：A＝W*H*D，其中，W為訓練集輸入圖片的寬度，H為訓練集輸入圖片的高度，D為訓練集輸入圖片的深度；

卷積層：通過卷積層計算，將輸入圖片中的每一個特征首先局部感知，然后針對下一層次對局部進行綜合操作，從而得到全局信息；

卷積層計算公式為：

其中i為第i個卷積層，Wi、Bi為當前層需要求解的未知數；

激勵層：通過激勵函數對卷積層的輸出結果做一次非線性映射

采用ReLU激勵函數，如果ReLU失效的情況下，則使用Leaky ReLU和Maxout函數進行映射其中ReLu激勵函數的計算公式為：ReLU(f(x)＝(0，x))；

池化層：在構建相關辨真模型中引入池化層，用于針對輸入的訓練圖片的特征降維，壓縮數據和參數的數量，減小過擬合，同時提高模型的容錯性；

其中池層所用計算公式為：

其中i為第i個池化層，g為卷積層的輸出依次取一小塊矩陣緯度為3*3*3，Wi、Bi為當前層需要求解的未知數；

連接層：經過若干次卷積層+激勵層+池化層訓練后，模型構建得到的一個高質量的特征圖片全連接層，成為一個簡單的多分類神經網絡，且可使用通過softmax函數得到最終的輸出，至此，整個模型訓練完畢；

全連接層計算公式為：t(i)＝f(Wⁱx+Bⁱ)

其中i為第i個全連接層，x為上一層，Wi、Bi為當前層需要求解的未知數；

輸出層：通過softmax函數將多分類神經網絡中每一輪的圖片輸出的1*2設為二維向量轉化為概率分布，得出最終輸出，完成模型訓練過程

Softmax函數計算公式為：

其中，

第三步，將上述鑒別模型上傳至專用云服務端，并開通相關API接口供使用。

2.根據權利要求1所述的一種使用神經網絡鑒別商品真偽的方法，其特征在于：樣本訓練：

S1、訓練樣本設計：訓練樣本來源為通過相關機構驗證的，被檢驗為真品或假冒產品的，通過不同設備在不同環境下拍攝，劃分為訓練樣本集和測試樣本集；訓練樣本集用于訓練實物面缺陷識別網絡，測試樣本集用于驗證實物面缺陷識別網絡的有效性；訓練樣本集中的圖像分為兩類：非仿冒或仿制商品圖像和仿冒或仿制商品圖像；非仿冒或仿制商品圖像是包含有真實缺陷的圖像，用于提高網絡對真實缺陷的識別能力；仿冒或仿制商品圖像是不含有真實缺陷的圖片；

S2、訓練樣本實物圖像的目標定位：

(1)輸入測試圖像

(2)輸入一張圖像，利用selective search得到2000個region proposal，對所有region proposal變換到固定尺寸并作為已訓練好的CNN網絡的輸入，得到f7層的4096維特征，所以f7層的輸出是2000*4096；

(3)對每個類別，采用已訓練好的這個類別的svm分類器對提取到的特征打分，所以SVM的weight matrix是4096*N，N是類別數,即20，因此得分矩陣是2000*20，表示每個regionproposal屬于某一類的得分；

(4)對于2000*20中的某一列得分，找到分數最高的一個region proposal，然后只要該列中其他region proposal和分數最高的IOU超過某一個閾值，則剔除該region proposal，這一輪剔除完后，再從剩下的region proposal找到分數最高的，然后計算別的regionproposal和該分數最高的IOU是否超過閾值，超過的繼續剔除，直到沒有剩下regionproposal，對每一列都這樣操作，這樣最終每一列都可以得到一些region proposal；

(5)用N＝20個回歸器對第4步得到的20個類別的region proposal進行回歸，要用到pool5層的特征，pool5特征的權重W是在訓練階段的結果，測試的時候直接用，最后得到每個類別的修正后的bounding box，即目標物的定位；

S3、訓練樣本實物圖像的目標分割：

(1)輸入目標物的初步定位信息

(2)使用CRF模型建立目標特征的弱分類器的虛假預測方程，相關模型為：

其中，x是像素的分配標簽，上面公式分為一元勢能函數θi(xi)和二元勢能函數θij(xi,yj)，

且，θ_i(x_i)＝-log P(x_i),其中P(xi)P(x_{i})P(xi)為DCNN對像素i處分配的標簽的概率

且，θ_ij(x_i，x_j)＝μ(x_i，x_j)其中k^m是高斯核心，其值取決于像素i和j的提取特征，并通過ω_m加權后得到目標分割內核公式為：

其中p為目標物體的像素位置，I為目標問題像素位置的顏色強度，和為高斯核的邊緣超參數；

S4、訓練樣本實物圖像的缺陷點檢測和提取：

(1)輸入被成功提取的目標分割像素信息

(2)提取訓練樣本中非假冒產品圖像，運行上述步驟1-4后，在圖像中建立n個特征點，生成一個2n緯度的特征點集合，即：

{(x₁，y₁)，(x₂，y₂)…，(x_n，y_n)}

其中，x＝(x₁，…x_n，y₁…y_n)^T,T為特征緯度；

S5、缺陷檢測模型的構建：

(1)設置檢測模型的主要架構，檢測模式基礎使用DCNN(Deep ConvolutionalNetwork，多層級深度卷積神經網絡)模型，并通過人工干預進行相關調整，調整后的DCNN由四個Level構成，Level-1由3個CNN(Convolutional Neural Network，卷積神經網絡)組成；Level-2由10個CNN組成(每個關鍵點采用兩個CNN)；Level-3同樣由10個CNN組成；Level-4為最終處理及輸出單元；

(2)Level-1設置：Level-1分3個CNN，分別是F1、EN1、NM1；F1輸入尺寸為39*39，輸出5個關鍵點的坐標；EN1輸入尺寸為39*31，輸出是3個關鍵點的坐標；NM11輸入尺寸為39*31，輸出是3個關鍵點，Level-1的輸出是由三個CNN輸出取平均得到；

(3)Level-2設置：Level-2，由10個CNN構成，輸入尺寸均為15*15，每兩個組成一對，一對CNN對一個關鍵點進行預測，預測結果同樣是采取平均；

(4)Level-3設置：Level-3與Level-2一樣，由10個CNN構成，輸入尺寸均為15*15，每兩個組成一對，Level-2和Level-3是對Level-1得到的粗定位進行微調，得到精細的關鍵點定位；

(5)Level-4的輸入是將Level-3輸出的inner point進行一定的旋轉，最終將缺陷點的位置進行輸出判定；

S6、缺陷檢測模型的計算過程

(1)將訓練庫中的彩色圖像輸入并導出R(紅色)G(綠色)B(藍色)三個通道數值，其中每個值的數值介于0-255，并與圖片的特征緯度數據進行關聯

(2)使用上述圖片的RGB數據生成圖片卷積核數據，即：

其中B為所處理圖片的卷積數據，K是卷積核數據，A為圖像的輸入矩陣

(3)使用激勵函數結合卷積數據結果激活卷積神經網絡，即通過卷積層計算，將輸入圖片中的每一個特征首先局部感知，然后針對下一層次對局部進行綜合操作，從而得到全局信息；本發明主要ReLU激勵函數，如果ReLU失效的情況下，則使用Leaky ReLU和Maxout函數進行映射其中ReLu激勵函數的計算公式為：ReLU(f(x)＝(0，x))

(4)使用池化層提取通過激勵函數處理的圖像信息的特征，減少階段傳遞的數據量用于針對輸入的訓練圖片的特征降維，壓縮數據和參數的數量，減小過擬合，同時提高模型的容錯性，即：

其中i為第i個池化層，g為卷積層的輸出依次取一小塊矩陣緯度為3*3*3，Wi、Bi為當前層需要求解的未知數

(5)經過若干次卷積層和池化層訓練后，模型構建得到的一個高質量的特征圖片全連接層，成為一個簡單的多分類神經網絡，且可使用通過softmax函數得到最終的輸出，使用分布式特征表示的方式，將計算結果映射到樣本圖像信息的標記空間，輸出最終計算矩陣與一個1×1尺寸的卷基層進行卷積運算結果，并最終展開為一個1×n的向量結果，輸出最終缺陷檢測模型；

其中，使用Softmax進行運算結果映射所使用的計算公式為：

其中，