[發明專利]用于手語交流的人工智能云平臺系統及智能藥盒

在審

• 申請號: 202110502573.4
• 申請日: 2021-05-09
• 公開（公告）號: CN113191288A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 張宏偉;劉明;盧璐
• 申請（專利權）人: 劉明;北京福樂云數據科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06N3/04;G06N3/08;G16H20/10
• 代理公司: 北京春江專利商標代理事務所(普通合伙) 11835
• 代理人: 曹潔

1.一種用于手語交流的人工智能云平臺系統，其特征在于，包括通過網絡連接的患者終端、衛生管理部門用終端和智能醫盒；

所述患者終端包括視頻獲取模塊和視頻發送模塊；

視頻獲取模塊用于獲取包含預設人物關節的手語視頻并輸出；

視頻發送模塊用于獲取所述手語視頻并發送給所述衛生管理部門用終端；

所述衛生管理部門用終端包括圖像識別模塊和控制模塊；

圖像識別模塊包括：

視頻接收單元，用于獲取所述手語視頻；

關節分割單元，用于將手語視頻中的每幀圖像進行關節分割處理，獲得每幀關節分割圖像；

語義分割單元，用于對所有幀關節分割圖像進行語義分割，獲得各組語義幀圖像集；

語義合并單元，用于將每組語義幀圖像集中的所有幀圖像進行合并，獲得語義圖像；

文本轉換單元，用于將所有語義圖像輸入訓練好的卷積神經網絡模型中，獲得相應的文本信息并輸出；

控制模塊用于獲取所述文本信息；根據文本信息查詢處方數據庫，獲得相應的處方信息并輸出，所述處方信息包括服藥藥品名稱及其對應的服藥數量和服藥時間；

所述智能醫盒用于獲取所述處方信息并據此在服藥時間調取并播放預設手語視頻，以提醒患者服藥。

2.根據權利要求1所述的系統，其特征在于，所述關節分割單元用于將手語視頻中的每幀圖像進行高斯平滑濾波處理，獲得處理后的第一圖像；

計算第一圖像中每個像素點(x，y)的梯度特征Q(x，y)，計算公式為：

其中，為x方向上相鄰像素點的像素梯度均值，其計算公式為[|s(x，y)-s(x-1，y)|+|s(x+1，y)-s(x，y)|]/2，s(x，y)為像素點(x，y)的像素值；為y方向上相鄰像素點的像素梯度均值，其計算公式為[|s(x，y)-s(x，y-1)|+|s(x，y+1)-s(x，y)|]/2；

判斷像素點(x，y)的梯度特征Q(x，y)是否為其8領域內的最大值；

當像素點(x，y)的梯度特征Q(x，y)是其8領域內的最大值時，將該像素點作為邊緣像素點，獲得所有邊緣像素點，將所有邊緣像素點連接，獲得第一圖像中包含預設人物關節的輪廓，獲得每幀關節分割圖像。

3.根據權利要求1或2所述的系統，其特征在于，所述語義分割單元用于按照每幀關節分割圖像的時間順序順次判斷相鄰兩幀關節分割圖像中的所有邊緣像素點連接所圍圖形的變形量是否超過形變閾值；

當相鄰兩幀關節分割圖像中的所有邊緣像素點連接所圍圖形的變形量超過形變閾值時，將該相鄰兩幀關節分割圖像中的前一幀關節分割圖像分入上一組語義幀圖像集，后一幀關節分割圖像分入下一組語義幀圖像集，獲得各組語義幀圖像集。

4.根據權利要求1-3任一項所述的系統，其特征在于，所述語義合并單元用于將每組語義幀圖像集中的第一幀關節分割圖像按照時間順序依次疊加其分別與之后每幀關節分割圖像作差運算后獲得的差圖像，獲得該組語義幀圖像集的一個語義圖像。

5.根據權利要求1-4任一項所述的系統，其特征在于，所述患者終端還包括服藥提醒模塊；

服藥提醒模塊用于獲取所述處方信息并據此在服藥時間調取并播放預設手語視頻，以提醒患者服藥。

6.根據權利要求5所述的系統，其特征在于，所述服藥提醒模塊還用于同時生成并輸出振動信號和/或光提示信號。

7.一種智能醫盒，其特征在于，包括：控制裝置、發光裝置和視頻播放裝置；

控制裝置用于獲取如權利要求1-6任一項所述的用于手語交流的人工智能云平臺系統的衛生管理部門用終端輸出的處方信息，所述處方信息包括服藥藥品名稱及其對應的服藥數量和服藥時間；在所述服藥時間調取預設手語視頻并輸出，以及生成發光控制信號并輸出，所述預設手語視頻的內容包含服藥藥品名稱及其對應的服藥數量；

視頻播放裝置用于接收所述預設手語視頻并播放，以提醒患者服藥；

發光裝置用于接收所述發光控制信號并在其控制下發光。

8.根據權利要求7所述的智能醫盒，其特征在于，還包括：藥品分配裝置；

控制裝置還用于根據所述處方信息在服藥時間生成包含所需分配的服藥藥品名稱及其對應的服藥數量信息的分配控制信號并輸出；

藥品分配裝置用于接收所述分配控制信號并在其控制下輸出所需分配的服藥藥品名稱對應的藥品及服藥數量。