[發明專利]用于手語交流的人工智能云平臺系統及智能藥盒

在審

• 申請號: 202110502573.4
• 申請日: 2021-05-09
• 公開（公告）號: CN113191288A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 張宏偉;劉明;盧璐
• 申請（專利權）人: 劉明;北京福樂云數據科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06N3/04;G06N3/08;G16H20/10
• 代理公司: 北京春江專利商標代理事務所(普通合伙) 11835
• 代理人: 曹潔

本發明公開了一種用于手語交流的人工智能云平臺系統及智能藥盒，涉及互聯網醫療技術領域，系統包括患者終端用于獲取包含預設人物關節的手語視頻；衛生管理部門用終端用于將手語視頻中的每幀圖像進行關節分割處理，獲得每幀關節分割圖像；對所有幀關節分割圖像進行語義分割，獲得各組語義幀圖像集；將每組語義幀圖像集中的所有幀圖像進行合并，獲得語義圖像；將所有語義圖像輸入訓練好的卷積神經網絡模型中，獲得相應的文本信息并據此獲得相應的處方信息；智能醫盒用于根據處方信息在服藥時間調取并播放預設手語視頻。本發明可以根據患者手語視頻出具處方，分配藥品，并通過預設手語視頻提醒患者服藥。

技術領域

本發明涉及互聯網醫療技術領域，具體涉及一種用于手語交流的人工智能云平臺系統及智能藥盒。

背景技術

慢病患者，例如哮喘病患者，能否全程、規律地服藥是治療成功的關鍵，也是避免產生耐藥的重要措施。現有技術中提供了一些設備，以試圖幫助患者服藥依從性，但是這些設備大多僅包括具有聲音提示功能的模塊，通過設置定時提醒控制發出提示音等以提醒患者服藥，但對聽力有缺陷的人卻無能為力。

所以利用手勢識別能夠很好的解決上述問題，但是目前尚沒有一種能夠通過手語實現對患者自動服藥提醒的系統。手勢識別一般是通過圖像的方式識別出手部、上軀部等姿勢，從而對手勢進行分類，但是由于手指之間相似性較高，且比較靈活容易相互遮擋；而且在手勢追蹤過程中噪聲較大，所以導致識別精度較低。

發明內容

因此，為了克服上述缺陷，本發明實施例提供一種用于手語交流的人工智能云平臺系統及智能藥盒，可以根據患者手語出具處方，分配藥品，并通過手語視頻提醒患者服藥。

為此，本發明實施例的一種用于手語交流的人工智能云平臺系統，包括通過網絡連接的患者終端、衛生管理部門用終端和智能醫盒；

所述患者終端包括視頻獲取模塊和視頻發送模塊；

視頻獲取模塊用于獲取包含預設人物關節的手語視頻并輸出；

視頻發送模塊用于獲取所述手語視頻并發送給所述衛生管理部門用終端；所述衛生管理部門用終端包括圖像識別模塊和控制模塊；

圖像識別模塊包括：

視頻接收單元，用于獲取所述手語視頻；

關節分割單元，用于將手語視頻中的每幀圖像進行關節分割處理，獲得每幀關節分割圖像；

語義分割單元，用于對所有幀關節分割圖像進行語義分割，獲得各組語義幀圖像集；

語義合并單元，用于將每組語義幀圖像集中的所有幀圖像進行合并，獲得語義圖像；

文本轉換單元，用于將所有語義圖像輸入訓練好的卷積神經網絡模型中，獲得相應的文本信息并輸出；

控制模塊用于獲取所述文本信息；根據文本信息查詢處方數據庫，獲得相應的處方信息并輸出，所述處方信息包括服藥藥品名稱及其對應的服藥數量和服藥時間；

所述智能醫盒用于獲取所述處方信息并據此在服藥時間調取并播放預設手語視頻，以提醒患者服藥。

優選地，所述關節分割單元用于將手語視頻中的每幀圖像進行高斯平滑濾波處理，獲得處理后的第一圖像；

計算第一圖像中每個像素點(x，y)的梯度特征Q(x，y)，計算公式為：

其中，為x方向上相鄰像素點的像素梯度均值，其計算公式為[|s(x，y)-s(x-1，y)|+|s(x+1，y)-s(x，y)|]/2，s(x，y)為像素點(x，y)的像素值；為y方向上相鄰像素點的像素梯度均值，其計算公式為[|s(x，y)-s(x，y-1)|+|s(x，y+1)-s(x，y)|]/2；