[發明專利]結合光學影像與熱影像的檢查判斷系統及方法

在審

• 申請號: 202010104231.2
• 申請日: 2020-02-20
• 公開（公告）號: CN113362267A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 黃彥銘
• 申請（專利權）人: 艾科科技股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 鄭裕涵

一種結合光學影像與熱影像的檢查判斷系統，包括：光學接收單元，接收一場域的光學影像信息；熱能接收單元，接收所述場域的熱影像信息；運算單元，根據第一模型對所述光學影像信息進行處理以擷取光學影像特征，根據第二模型對所述熱影像信息進行處理以擷取熱影像特征，根據第三模型對所述光學影像特征與所述熱影像特征進行合并處理以取得耦合特征，并得出所述場域不同情況的可能性，且得到最有可能的檢查判斷結果；以及顯示單元，顯示所述檢查判斷結果。

技術領域

本發明涉及一種檢查判斷系統，尤指一種關于結合光學影像與熱影像的檢查判斷系統及方法。

背景技術

現有技術中，醫護人員在照護病人的傷口時，往往是以肉眼觀察，并通過文字記錄描述傷口的狀況。然而，通過肉眼辨識傷口，除了可能有誤判的疑慮外，也可能因為照護人員的主觀認定而造成失真。并且，以目視的方式觀察傷口，雖能明確的描述出傷口的大小或深淺，但對于傷口的狀態，例如組織壞死或發炎，就只能靠醫護人員的經驗評估，而容易失準。

因此，如果能開發一種可自動分析傷口狀態的工具，可以精確且客觀的分析傷口的狀態，提供醫護人員照護傷口的依據，顯然能大幅降低醫療疏失發生的機會，進而提升醫護質量。

發明內容

為解決現有技術的問題，本發明提供一種結合光學影像與熱影像的檢查判斷系統，包括：光學接收單元，接收一場域的光學影像信息；熱能接收單元，接收所述場域的熱影像信息；運算單元，根據第一模型對光學影像信息進行處理以擷取光學影像特征，根據第二模型對熱影像信息進行處理以擷取熱影像特征，根據第三模型對光學影像特征與熱影像特征進行合并處理以取得耦合特征，并得出所述場域不同情況的可能性，且得到最有可能的檢查判斷結果；以及顯示單元，顯示檢查判斷結果。

在一實施例中，所述檢查判斷系統還包括無線傳輸單元，用以將所述光學接收單元所接收的所述光學影像信息或是所述熱能接收單元所接收的所述場域的熱影像信息傳送至所述運算單元。

在一實施例中，所述第一模型、第二模型與第三模型內建于所述運算單元中。

在一實施例中，所述第一模型包括卷積神經網絡，所擷取所述光學影像特征包含一維結果與二維結果，其中所述一維結果包含判斷初步分級以及影像是否有效，所述二維結果包含關注場域(ROI)與周圍環境特征。

在一實施例中，所述第二模型包括卷積神經網絡，所擷取所述熱影像特征包含一維結果與二維結果，其中所述一維結果包含判斷初步分級以及影像是否有效，所述二維結果包含關注場域(ROI)與周圍環境特征。

在一實施例中，所述第三模型包括卷積神經網絡與多層感知器，所述第三模型以所述關注場域為卷積屏蔽產生新特征，以所述初步分級調整特征權重，將一維特征重復、排列而組合生成新特征，第三模型的耦合方式則包含位移、縮放、調整關注區域，并進行特征數據的整合判斷，產生判斷結果。

本發明也提供一種結合光學影像與熱影像的檢查判斷方法，包括下列步驟：接收一場域的光學影像信息；接收所述場域的熱影像信息；使用卷積神經網絡對所述光學影像信息進行處理以擷取光學影像特征；使用卷積神經網絡對所述熱影像信息進行處理以擷取熱影像特征；及使用卷積神經網絡與多層感知器對所述光學影像特征與所述熱影像特征進行合并處理以取得耦合特征。

在一實施例中，所擷取所述光學影像特征包含一維結果與二維結果，其中所述一維結果包含判斷初步分級以及影像是否有效，所述二維結果包含關注場域(ROI)與周圍環境特征。

在一實施例中，所擷取熱影像特征包含一維結果與二維結果，其中所述一維結果包含判斷初步分級以及影像是否有效，所述二維結果包含關注場域(ROI)與周圍環境特征。

在一實施例中，所述對光學影像特征與熱影像特征進行合并處理的步驟還包括：以所述關注場域為卷積屏蔽生成新特征；以所述一維結果的所述初步分級調整特征權重；將所述一維特征重復、排列組合生成新特征。