[發明專利]一種云邊端協同智能嬰兒護理系統及方法

在審

• 申請號: 202211398455.4
• 申請日: 2022-11-08
• 公開（公告）號: CN115715671A
• 公開（公告）日: 2023-02-28
• 發明（設計）人: 譚明奎;陳良瑋;陳耀佛;胡瑋文;游增;曾景輝;吉冬昱;連梓豪;鄧煒滔
• 申請（專利權）人: 華南理工大學
• 主分類號: A61B5/0205
• 分類號: A61B5/0205;A61B5/107;A61B5/00;G06N3/098
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 鄭宏謀

1.一種云邊端協同智能嬰兒護理系統，其特征在于，包括：

傳感器模塊，用于采集嬰兒床上的圖像信息和聲音信息；

邊緣設備，用于根據采集的圖像信息和聲音信息進行哭聲識別以及體征識別，其中體征識別包括心率與呼吸頻率測量、口鼻遮掩檢測、身高測量、骨架識別或體溫檢測中的至少一種；

云端設備，用于對檢測模型進行訓練以及更新，以及根據識別結果輸出提示信息；

其中，采用跨邊云的協同框架來實現邊緣端與云端設備之間的應用管理、外設管理、部署以及通信。

2.根據權利要求1所述的一種云邊端協同智能嬰兒護理系統，其特征在于，所述哭聲識別和體征識別采用神經網絡模型來實現；邊緣設備和云端設備通過參數共享和裁剪的方式，減少對任務不敏感的模型參數，從而降低模型存儲和通信開銷、減少網絡規模和降低算力需求；

在網絡通信良好的情況下，神經網絡模型將會被分割，先由云端設備執行模型前端的計算任務，然后云端設備將中間結果傳輸給邊緣設備，由邊緣端執行剩下的檢測工作，得出最終結果；

在網絡通信不好的情況下，邊緣端承擔任全部的檢測工作，以確保能夠實時、快速地獲得最終結果；

此外，云端設備還會根據邊緣設備上傳的數據來訓練模型，并更新邊緣設備上的模型；

邊緣設備根據傳感器采集到的信息，使用最新的模型執行檢測任務。

3.根據權利要求1所述的一種云邊端協同智能嬰兒護理系統，其特征在于，所述傳感器模塊包括紅外攝像頭、RGB攝像頭、熱傳感器和麥克風。

4.根據權利要求1所述的一種云邊端協同智能嬰兒護理系統，其特征在于，根據聲音信息進行哭聲識別的具體步驟如下：

對聲音信息進行預處理，獲取音頻信號；

對音頻信息進行重采樣以及提取特征，根據提取的特征和預設的支持向量機進行分類識別，獲得識別結果；所述識別結果包括嬰兒哭聲、安靜場景、嘈雜場景和嬰兒笑聲；

所述支持向量機通過以下方式獲得；

獲取數據集，對數據集進行重采樣，并進行特征提取；其中，提取的特征包括梅爾頻率倒譜系數、頻譜滾降點、頻譜質心、過零率、頻譜頻寬、均方根能量；

根據提取的特征擬合獲得支持向量機。

5.根據權利要求4所述的一種云邊端協同智能嬰兒護理系統，其特征在于，所述頻譜質心定義如下：

C＝∑_kS^kf^k/∑_kS^k

頻譜頻寬為二階頻譜頻寬，定義如下：

其中，S_k表示第k個窗口的頻譜，f_k表示頻譜第k個數據點對應的頻率。

6.根據權利要求1所述的一種云邊端協同智能嬰兒護理系統，其特征在于，云端設備是一臺Linux操作系統的服務器，邊緣端設備是一臺嵌入式設備；

通過以下方式采集獲取聲音信息：

調用Linux操作系統的ALSA驅動接口，初始化麥克風，設置采集參數；

從ALSA獲取聲卡硬件時間戳，以及讀取音頻的波形數據；

通過消息隊列將波形數據和時間戳、采樣率進行打包，作為聲音信息并發送至后續處理進程。

7.根據權利要求6所述的一種云邊端協同智能嬰兒護理系統，其特征在于，在進行哭聲識別前，對聲音信息進行以下處理：

從消息隊列中讀取消息；

對比當前讀取到的消息的時間戳和當前時間，若時間相差超過預設閾值，判定目前檢測延遲過高，丟棄所有時間戳在n秒前的未處理的數據包；其中，n為預設的檢測窗口長度；根據時間戳判斷當前音頻片段是否和之前緩沖的內容連續，若不連續則清空緩沖和檢測結果隊列；

將當前消息中的音頻波形數據加入緩沖；

當緩沖中的音頻波形數據達到或超過n秒后，將這些數據進行拼接，并送入模型中進行哭聲識別。