[發(fā)明專利]一種基于計(jì)算機(jī)視覺和知識(shí)圖譜的輔助方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211403713.3
• 申請(qǐng)日: 2022-11-10
• 公開（公告）號(hào): CN115687654A
• 公開（公告）日: 2023-02-03
• 發(fā)明（設(shè)計(jì)）人: 李洋;周文豪;李桂堯;潘利;陳士哲;李洪濱;王露紅;趙策;胡振升
• 申請(qǐng)（專利權(quán)）人: 浪潮海鏈易貿(mào)（山東）信息科技有限公司
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36;G06N3/0464;G06N3/08
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 闞恭勇

本發(fā)明提供一種基于計(jì)算機(jī)視覺和知識(shí)圖譜的輔助方法，屬于人工智能和知識(shí)圖譜領(lǐng)域，本發(fā)明將自然語言處理技術(shù)中的Transformer架構(gòu)應(yīng)用于計(jì)算機(jī)視覺中，并改寫網(wǎng)絡(luò)結(jié)構(gòu)，為下游圖像分類和圖像分割任務(wù)提供統(tǒng)一的編解碼架構(gòu)。隨后，圖像階段的輸出結(jié)果輸送到知識(shí)圖譜中，形成分門別類的建議，為術(shù)前救治提供及時(shí)準(zhǔn)確的輔助決策。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能和知識(shí)圖譜領(lǐng)域，尤其涉及一種基于計(jì)算機(jī)視覺和知識(shí)圖譜的輔助方法。

背景技術(shù)

計(jì)算機(jī)視覺在系統(tǒng)中的應(yīng)用分圖像分類和語義分割兩大任務(wù)。海量數(shù)據(jù)是完成兩大任務(wù)的前提與關(guān)鍵。長(zhǎng)久以來，卷積神經(jīng)網(wǎng)絡(luò)(CNN)憑借優(yōu)良的特征表達(dá)能力成為計(jì)算機(jī)計(jì)算機(jī)視覺各項(xiàng)任務(wù)的標(biāo)準(zhǔn)配置。然而，Transformer在NLP領(lǐng)域橫掃千軍的戰(zhàn)果啟發(fā)計(jì)算機(jī)視覺對(duì)基礎(chǔ)組件的替代。

利用CNN進(jìn)行圖像分類，在卷積和上采樣的過程中丟失細(xì)節(jié)信息，即特征圖尺寸逐漸變小，所以不能很好地指出物體的具體輪廓、指出每個(gè)像素具體屬于哪個(gè)物體，無法做到精確的分割。

發(fā)明內(nèi)容

為了解決以上技術(shù)問題，本發(fā)明提供了一種基于計(jì)算機(jī)視覺和知識(shí)圖譜的輔助方法。摒棄統(tǒng)治已久的CNN，應(yīng)用并改寫Transformer結(jié)構(gòu)單元，形成圖像和文本處理基于Transformer的大一統(tǒng)局面。

本發(fā)明的技術(shù)方案是：

一種基于計(jì)算機(jī)視覺和知識(shí)圖譜的輔助方法，將自然語言處理技術(shù)中的Transformer架構(gòu)應(yīng)用于計(jì)算機(jī)視覺中，并改寫網(wǎng)絡(luò)結(jié)構(gòu)，為下游圖像分類和圖像分割任務(wù)提供統(tǒng)一的編解碼架構(gòu)。隨后，圖像階段的輸出結(jié)果輸送到知識(shí)圖譜中，形成分門別類的建議，提供及時(shí)準(zhǔn)確的輔助決策。

進(jìn)一步的，

知識(shí)圖譜通過前期的數(shù)據(jù)積累，構(gòu)建專家知識(shí)庫，可以將圖像模型得到的圖像分類和語義分割結(jié)果作為輸入，完成圖搜索匹配，得出圖像分析建議。

再進(jìn)一步的，

通過大數(shù)據(jù)技術(shù)，構(gòu)建重大創(chuàng)傷大數(shù)據(jù)系統(tǒng)，通過對(duì)接目前體系下的重大創(chuàng)傷數(shù)據(jù)、文件系統(tǒng)、Hadoop、NoSQL等各種數(shù)據(jù)源，快速實(shí)現(xiàn)大量庫表全量/增量數(shù)據(jù)同步；面向?qū)崟r(shí)數(shù)據(jù)，提供高效采集、傳輸、分發(fā)能力，幫助快速構(gòu)建完備便捷的重大創(chuàng)傷臨床數(shù)據(jù)大數(shù)據(jù)底座。

基于Transformer的圖像分類任務(wù)受Self-Attention機(jī)制啟發(fā)，在編解碼階段應(yīng)用Multi-Head Attention，從全局捕獲上下文信息，避免CNN堆疊造成的計(jì)算量過大、前置偏執(zhí)歸納等缺陷。通常基于Transformer的圖像模型需要比基于CNN更多的訓(xùn)練數(shù)據(jù)，通過大數(shù)據(jù)湖底座和深度學(xué)習(xí)GAN生成方式使得數(shù)據(jù)增廣，即使在真實(shí)影像數(shù)據(jù)稀缺的情況下就可以學(xué)習(xí)較好的模型。本發(fā)明使用開創(chuàng)性的視覺Transformer技術(shù)用于圖像進(jìn)行分類，判別程度，在對(duì)圖像經(jīng)過patch embedding將視覺問題轉(zhuǎn)化為時(shí)序問題，并加入位置編碼，輸送到Transformer編碼單元，此時(shí)加入一個(gè)特殊的token，該token的輸出將預(yù)測(cè)最終的類別。

圖像分割模型對(duì)圖像進(jìn)行像素級(jí)分割，得出患病面積占比數(shù)據(jù)，本發(fā)明改寫Transformer編解碼結(jié)構(gòu)為滑窗式Swin-Transformer，應(yīng)用到影像分割網(wǎng)絡(luò)UNet之中，減弱神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)集的強(qiáng)依賴，降低計(jì)算量，得到實(shí)時(shí)性和精度上的平衡。

將人工智能階段得到的模型輸出作為基于數(shù)據(jù)湖底座構(gòu)建的知識(shí)圖譜的輸入，通過圖匹配機(jī)制，得出診療建議

本發(fā)明的有益效果是

在人工智能技術(shù)方面，圖像模型摒棄傳統(tǒng)的基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)，借鑒并改進(jìn)自然語言處理技術(shù)(NLP)中流行的Transformer編解碼架構(gòu)，通過專業(yè)的創(chuàng)傷訓(xùn)練模型準(zhǔn)確實(shí)時(shí)地得出圖像分類和語義分割圖，取得速度和精度的平衡，滿足系統(tǒng)實(shí)時(shí)性和高精度要求。知識(shí)圖譜通過圖像分析階段的結(jié)果進(jìn)行圖匹配，精準(zhǔn)召回匹配結(jié)果。