[發明專利]一種基于深度學習的復雜背景菌落的測量方法

在審

• 申請號: 202010879927.2
• 申請日: 2020-08-27
• 公開（公告）號: CN114120314A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 北京晟易機器人科技有限公司
• 主分類號: G06V20/69
• 分類號: G06V20/69;G06V40/00;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度學習的復雜背景菌落測量方法，該方法提出了一種結合對抗學習網絡與關鍵點檢測網絡為一體的菌落尺寸測量方法：首先通過對抗學習網絡實現對菌落區域樣本的擴增，很大的減少了深度學習網絡對樣本的需求量；然后將對抗網絡中的特征提取部分的權值遷移到菌落區域中關鍵點檢測網絡中，這樣大大的提高了檢測網絡中對樣本特征的提取能力，對菌落尺寸的測量具有很高的魯棒性和精確性，同時也大大的減少對菌落樣本數量的需求。

2.根據權利要求1所述的一種基于深度學習的復雜背景菌落測量方法，其特征在于該方法主要包括以下步驟：

步驟 1：菌落區域采集：利用視覺光路系統裝置，對生物培養皿中的菌落區域進行拍攝，獲取到菌落區域的圖像樣本。

3.步驟2：菌落樣本的擴增：1）首先把采集的菌落圖像進行歸為集合A={a1,s2,…,an}，然后采集一些相近場景的圖像歸為集合B={b1,b2,…,bn}；2）構建對抗學習網絡樣本：隨機從樣本集合A和樣本集合B中分別各取一張圖像組成對抗學習樣本組，輸入到數據擴增的對抗網絡中，設計的數據擴增的對抗網絡包含一個生成器和兩個辨別器，隨機的結合生成器和判別器，并對其中一個判別器采用結構相似損失函數（如式1所示）進行調節，生成器是一個2K層網路，其中前K層中每層網路包含一個3x3的卷積層和1x1的卷積層，間隔兩層包含一個Dropout層，并采用ELU進行激活，后K層網絡進行升維，每層將前K層中每層所得到的特征層進行相加和相乘處理；兩個判別器都是K+1層網路，其中一個判別器1采用殘差網絡結構的深度網絡，且第K+1層為全連接網絡層，另一個判別器2采用金字塔網絡結構并與生成器中的前K層權值共享，且第K+1層為全連接網絡層；3）菌落數據網絡訓練：首先保持生成器不變，對判別器1和判別器2進行訓練，當判別器1和2 都收斂，然后在保持判別器1和判別器2不變，對生成器進行訓練，當生成器網絡收斂后，最后對生成器、判別器1和判別器2一起進行訓練，當整體網絡收斂后，生成大量菌落區域樣本。

4. 式1

步驟 3：菌落區域關鍵點檢測網絡：1）對菌落數據進行標注：在步驟2生成的數據集中選取典型的菌落圖像進行數據標定，首先對菌落的區域進行標注，有菌落的部分涂成黑色，其他部分涂為白色；然后根據幾何的先驗知識，通過對標注的圖像進行處理，得到每個菌落單元的關鍵點，如圖2所示；2）構建菌落區域關鍵點檢測網絡：將1）中菌落圖像和相對應的關鍵點輸入到關鍵點檢測網絡中進行訓練，設計的關鍵點檢測網絡是一個2K+2層模型，其中前K層與數據擴增的對抗網絡中的生成器網絡的前K層權值共享，后K層進行升維操作，每一層升維中包含一個卷積核為3x3的卷積操作、一個ELU卷積操作和一個升維操作，后K層中每N=2n（n為1、2、、、K/2）層時與前2n層進行進行相加，即：F(y)=H(x)+x，其中x為2n（n為1、2、、、K/2）；后K層中每N=2n+1（n為1，2、、、K/2-1）層與前K層網絡中的2n+1（n為1，2、、、K/2-1）層進行相乘，即：W(z)=H(v)*v，其中v為2n+1（n為1，2、、、K/2-1），對K-1層分別進行全卷積操作得到F_s1和進行卷積核為3x3的卷積操作、ELU卷積操作和升維操作，然后對第K層進行全卷積操作得到F_s2，對F_s1和F_s2進行相加并進行全卷積操作得到F_o，最后對F_s1和F_o相加并進行全卷積操作得到G_o，即G_o=g(F_o，F_s2 )，其中g表為全卷積操作；3）將樣本圖像輸入到關鍵點檢測網絡中，網絡輸出為相應圖像的關鍵點。

5.步驟4：菌落尺寸的精確測量：由步驟3可得菌落區域的關鍵點，由公式2可得菌落區域的長度R，即為菌落測長度。

6. 式2

其中x_i、y_i為菌落區域的關鍵點，、，λ為調節系數。