[發明專利]一種基于深度學習圖像識別技術的化學信息識別方法

有效

• 申請號: 201810098220.0
• 申請日: 2018-01-31
• 公開（公告）號: CN108334839B
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 井建軍;魏凱;鄭成偉;黃麒展;張帥;劉威;李勇
• 申請（專利權）人: 青島清原精準農業科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06F40/126;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度學習圖像識別技術的化學信息識別方法，其特征在于，包括以下步驟：

（1）對輸入的圖像使用基于深度學習圖像識別技術的節點目標識別器進行節點的識別；

（2）對步驟（1）中識別的節點使用基于深度學習圖像識別技術的手寫字體目標識別器進行文本內容的識別，進而確定節點對應的具體原子；

（3）將上述多個識別出的原子兩兩結合，再次使用基于深度學習圖像識別技術的化學鍵目標識別器對兩原子間的化學鍵進行識別；

（4）在數據庫中查找上述識別出的原子的屬性，計算結構式的相關屬性，輸出；

或者，將上述識別出的原子及原子間的化學鍵存儲為自定義king格式的文件，輸出；

或者，將上述識別出的原子及原子間的化學鍵繪制在新的圖片中，輸出。

2.根據權利要求1所述的一種基于深度學習圖像識別技術的化學信息識別方法，其特征在于，還包括以下步驟：

（5）對輸入的圖像使用基于深度學習圖像識別技術的箭頭目標識別器進行箭頭的識別；

然后將上述識別出的箭頭與步驟（2）（3）識別出的原子及原子間的化學鍵存儲為自定義king格式的文件，輸出；

或者，將上述識別出的箭頭與步驟（2）（3）識別出的原子及原子間的化學鍵繪制在新的圖片中，輸出。

3.根據權利要求2所述的一種基于深度學習圖像識別技術的化學信息識別方法，其特征在于，步驟（1）（2）（3）（5）中所述的基于深度學習圖像識別技術的目標識別器是預先使用基于深度學習圖像識別技術進行離線訓練得到的。

4.根據權利要求3所述的一種基于深度學習圖像識別技術的化學信息識別方法，其特征在于，對所述的目標識別器進行離線訓練的步驟包括采用圖像集來離線訓練所述目標識別器。

5.根據權利要求4所述的一種基于深度學習圖像識別技術的化學信息識別方法，其特征在于，訓練所述目標識別器使用的圖像集包括：（a）手寫字體圖片；（b）多種及多類型化學鍵連接的節點；（c）常用化學鍵；（d）化學中常用箭頭圖片。

6.根據權利要求5所述的一種基于深度學習圖像識別技術的化學信息識別方法，其特征在于，使用所述圖像集（a）在LeNet模型中訓練一個手寫字體識別器，用于確定節點是元素周期表中的元素還是純文本或者是不用顯示的“碳”元素；

使用所述圖像集（b）在faster-rcnn算法中訓練一個節點目標識別器，用于確定圖像中所有節點及其空間坐標；

使用所述圖像集（c）在faster-rcnn算法中訓練一個化學鍵目標識別器，用于確定原子間的化學鍵類型及原子間是否存在化學鍵；

使用所述圖像集（d）在faster-rcnn算法中訓練一個箭頭目標識別器，用于確定輸入圖像中是否存在箭頭及其空間位置坐標。

7.根據權利要求1~6任意一項所述的一種基于深度學習圖像識別技術的化學信息識別方法，其特征在于，步驟（3）具體包括以下步驟：

步驟（31），對于識別出的所有原子，兩兩組合，使用所述化學鍵目標識別器，識別其中是否含有化學鍵，并在含有化學鍵時識別出化學鍵的類型；

步驟（32），根據上述識別出是否含有化學鍵及化學鍵的類型，對兩原子添加關聯，關聯類型為識別出的化學鍵類型。

8.根據權利要求1~6任意一項所述的一種基于深度學習圖像識別技術的化學信息識別方法，其特征在于，在步驟（4）中所述的計算結構式的相關屬性包括：

步驟（41），根據原子及原子間的化學鍵，保證原子最外層8電子穩定結構，自動補氫，統計原子的類型及原子的個數，生成化學結構式的分子式；

步驟（42），根據原子及原子間的化學鍵轉通用的smiles名稱，按照公開的smiles協議格式將結構式轉smiles名稱；

步驟（43），通過對應的smiles在數據庫中查找化學結構式對應的英文名稱；

步驟（44），計算分子式的精準分子質量、相對分子質量、質荷比對應豐度。