[發(fā)明專利]一種基于深度學(xué)習(xí)圖像識(shí)別技術(shù)的化學(xué)信息識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810098220.0
• 申請(qǐng)日: 2018-01-31
• 公開（公告）號(hào): CN108334839B
• 公開（公告）日: 2021-09-14
• 發(fā)明（設(shè)計(jì)）人: 井建軍;魏凱;鄭成偉;黃麒展;張帥;劉威;李勇
• 申請(qǐng)（專利權(quán)）人: 青島清原精準(zhǔn)農(nóng)業(yè)科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06F40/126;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明屬于圖像識(shí)別技術(shù)領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)圖像識(shí)別技術(shù)的化學(xué)信息識(shí)別方法。所述方法包括以下步驟：(1)對(duì)輸入的圖像使用節(jié)點(diǎn)目標(biāo)識(shí)別器進(jìn)行識(shí)別；(2)對(duì)步驟(1)中識(shí)別的節(jié)點(diǎn)使用手寫字體目標(biāo)識(shí)別器進(jìn)行文本內(nèi)容的識(shí)別，進(jìn)而確定節(jié)點(diǎn)對(duì)應(yīng)的具體原子；(3)將上述多個(gè)識(shí)別出的原子兩兩結(jié)合，再次使用化學(xué)鍵目標(biāo)識(shí)別器對(duì)兩原子間的化學(xué)鍵進(jìn)行識(shí)別；(4)在數(shù)據(jù)庫中查找上述識(shí)別出的原子的屬性，計(jì)算結(jié)構(gòu)式的相關(guān)屬性，輸出；或者，將上述識(shí)別出的原子及原子間的化學(xué)鍵存儲(chǔ)為自定義king格式的文件或繪制在新的圖片中，輸出。本發(fā)明可解決手繪及圖片上的化學(xué)結(jié)構(gòu)式或反應(yīng)式識(shí)別問題，可廣泛應(yīng)用于化學(xué)工作者的日常工作中。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像識(shí)別技術(shù)領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)圖像識(shí)別技術(shù)的化學(xué)信息識(shí)別方法。

背景技術(shù)

目前，深度學(xué)習(xí)在圖像識(shí)別方面已廣泛應(yīng)用，其主要應(yīng)用場(chǎng)景為人臉識(shí)別、車牌識(shí)別、常用物體識(shí)別及植物識(shí)別。但是深度學(xué)習(xí)圖像識(shí)別技術(shù)在化學(xué)結(jié)構(gòu)式或反應(yīng)式圖像識(shí)別方面并沒有應(yīng)用。

發(fā)明內(nèi)容

為解決手繪及圖片上的化學(xué)結(jié)構(gòu)式或反應(yīng)式識(shí)別問題，本發(fā)明的目的是將用戶在工具或紙上繪制的化學(xué)結(jié)構(gòu)式或反應(yīng)式拍照上傳后得到相應(yīng)結(jié)構(gòu)式或反應(yīng)式的組成及結(jié)構(gòu)式的相關(guān)屬性。

為實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于深度學(xué)習(xí)圖像識(shí)別技術(shù)的化學(xué)信息識(shí)別方法，其包括以下步驟：

(1)對(duì)輸入的圖像使用基于深度學(xué)習(xí)圖像識(shí)別技術(shù)的節(jié)點(diǎn)目標(biāo)識(shí)別器進(jìn)行節(jié)點(diǎn)的識(shí)別；

(2)對(duì)步驟(1)中識(shí)別的節(jié)點(diǎn)使用基于深度學(xué)習(xí)圖像識(shí)別技術(shù)的手寫字體目標(biāo)識(shí)別器進(jìn)行文本內(nèi)容的識(shí)別，進(jìn)而確定節(jié)點(diǎn)對(duì)應(yīng)的具體原子；

(3)將上述多個(gè)識(shí)別出的原子兩兩結(jié)合，再次使用基于深度學(xué)習(xí)圖像識(shí)別技術(shù)的化學(xué)鍵目標(biāo)識(shí)別器對(duì)兩原子間的化學(xué)鍵進(jìn)行識(shí)別；

(4)在數(shù)據(jù)庫中查找上述識(shí)別出的原子的屬性，包括相對(duì)原子質(zhì)量、同位素質(zhì)量及豐度、常用化學(xué)價(jià)等信息，計(jì)算結(jié)構(gòu)式的相關(guān)屬性，輸出；

或者，將上述識(shí)別出的原子及原子間的化學(xué)鍵存儲(chǔ)為自定義king格式的文件，輸出；

或者，將上述識(shí)別出的原子及原子間的化學(xué)鍵繪制在新的圖片中，輸出。

另外，還包括以下步驟：

(5)對(duì)輸入的圖像使用基于深度學(xué)習(xí)圖像識(shí)別技術(shù)的箭頭目標(biāo)識(shí)別器進(jìn)行箭頭的識(shí)別；

然后將上述識(shí)別出的箭頭與步驟(2)(3)識(shí)別出的原子及原子間的化學(xué)鍵存儲(chǔ)為自定義king格式的文件，輸出；

或者，將上述識(shí)別出的箭頭與步驟(2)(3)識(shí)別出的原子及原子間的化學(xué)鍵繪制在新的圖片中，輸出。

其中，步驟(1)(3)(5)中所述的基于深度學(xué)習(xí)圖像識(shí)別技術(shù)的目標(biāo)識(shí)別器是預(yù)先使用基于深度學(xué)習(xí)圖像識(shí)別技術(shù)，Ross Girshick團(tuán)隊(duì)提出的faster-rcnn算法進(jìn)行離線訓(xùn)練得到的，用于識(shí)別圖像中的箭頭、原子及其空間坐標(biāo)以及化學(xué)鍵。

其中，步驟(2)中所述的基于深度學(xué)習(xí)圖像識(shí)別技術(shù)的手寫字體目標(biāo)識(shí)別器是預(yù)先使用基于深度學(xué)習(xí)圖像識(shí)別技術(shù)，Caffe的LeNet模型進(jìn)行離線訓(xùn)練得到的，用于識(shí)別圖像中的文本內(nèi)容。

優(yōu)選地，對(duì)所述的目標(biāo)識(shí)別器進(jìn)行離線訓(xùn)練的步驟包括采用圖像集來離線訓(xùn)練所述目標(biāo)識(shí)別器。

訓(xùn)練所述目標(biāo)識(shí)別器使用的圖像集包括：(a)手寫字體圖片；(b)多種及多類型化學(xué)鍵連接的節(jié)點(diǎn)；(c)單鍵、雙鍵、三鍵等常用化學(xué)鍵；(d)化學(xué)中常用箭頭圖片。

更優(yōu)選地，使用所述圖像集(a)在LeNet模型中訓(xùn)練一個(gè)手寫字體識(shí)別器，用于確定節(jié)點(diǎn)是元素周期表中的元素還是純文本或者是不用顯示的“碳”元素。