[發明專利]一種基于表型測量早期發現綜合征的系統

在審

• 申請號: 202010779409.3
• 申請日: 2020-08-05
• 公開（公告）號: CN111862091A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 詹國棟;李明;鄒小兵;潘悅然;蔡昆京;程銘
• 申請（專利權）人: 昆山杜克大學;中山大學附屬第三醫院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/00;G06T17/20;G16H50/20
• 代理公司: 佛山幫專知識產權代理事務所(普通合伙) 44387
• 代理人: 顏春艷

1.一種基于表型測量早期發現綜合征的系統，其特征在于，包括：

數據采集模塊，用于多角度瞬間采集被測試者人體頭部的RGBD圖像數據；其中，所述RGBD圖像數據包括顏色信息和(x,y,z)坐標信息；

數據拼接模塊，用于拼接由數據采集模塊所采集的多角度RGBD圖像數據；

3D建模模塊，用于根據拼接好的RGBD圖像數據還原并重建成3D頭部曲面模型；

標志識別模塊，用于識別3D頭部曲面模型中人體的標志性特征點，所述標志性特征點包括但不限于與眉毛、眼睛、鼻子、嘴巴和臉輪廓相關的特征點；

表型計算模塊，用于根據所識別的特征點以及相關器官和部位的RGBD圖像數據，計算和/或訓練人體表型；

綜合癥模型訓練模塊，用于基于人體表型的相關數據訓練患有不同綜合癥的模型；

綜合癥預測模塊，用于計算被測量者患有各綜合征的概率以及其中可能性最大的綜合癥，并寫入測量報告模塊中；

測量報告模塊，用于生成測量報告，展示計算所得的表型性狀和綜合癥預測報告。

2.根據權利要求1所述基于表型測量早期發現綜合征的系統，其特征在于，所述表型計算模塊包括幾何計算單元和類型計算單元，其中

幾何計算單元，用于根據所識別的特征點以及相關器官和部位的RGBD圖像數據，根據幾何空間坐標計算人體表型中的距離、角度、面積；

類型計算單元，用于根據所識別的特征點，選取預設指定區域的表型，將被選擇區域的RGBD圖像數據輸入機器學習模型，進行表型類型的訓練和預測。

3.根據權利要求1所述基于表型測量早期發現綜合征的系統，其特征在于，表型計算模塊中，所述人體表型包括但不限于內眼角眼距表型和魚泡眼表型，其中

內眼角眼距表型的計算，具體通過識別左右內眼角標志點及分別對應的空間坐標(x₁,y₁,z₁)和(x₂,y₂,z₂)，根據距離計算公式可得所需計算的內眼角眼距為

魚泡眼表型的計算，具體根據眼部器官的定義，確定左眼或右眼的標志點，并根據所確定的標志點的空間坐標確定左眼或右眼區域的RGB圖像數據；最后根據所確定的左眼或右眼區域的RGB圖像數據輸入深度神經網絡模型，確定被測量者的魚泡眼表型類型。

4.根據權利要求1所述基于表型測量早期發現綜合征的系統，其特征在于，

所述數據采集模塊包括至少3個可用于無閃光燈瞬間拍攝的深度相機，所述深度相機環繞在被試者人體頭部四周，以完整采集頭部的RGBD圖像數據。

5.根據權利要求1所述基于表型測量早期發現綜合征的系統，其特征在于，所述數據拼接模塊通過迭代最近點算法進行拼接，包括對應點搜索單元、變換求解單元和拼接單元，其中

對應點搜索單元，用于將任意兩個相鄰深度攝像頭設備所采集的關于被測量者人體頭部不同角度的點云數據分別標記點云P＝{p₁,p₂,...p_n}和Q＝{q₁,q₂,...q_n}；然后通過對應點進行搜索，計算篩選和調整點云P、Q儲存的順序，對于點云P中的一點p_i，在Q中尋找距離距離最近的一點q_i，使得P和Q中的點一一對應，即∨p_i-q_i∨＝min，其中i＝1,2,...,n；

變換求解單元，用于根據對應點，通過目標函數確定變換關系(R,t)，其中目標函數為

拼接單元，用于在確定變換關系(R,t)后，根據公式RP+t＝P′，可得到點云P經過變換后在點云Q坐標系下的點云P’，點云Q和點云P’結合起來就是拼接的點云；最后根據各深度攝像頭設備所采集到的圖像進行拼接的點云完成拼接。