[發明專利]用于生成信息的方法和裝置

在審

• 申請號: 202011179663.6
• 申請日: 2020-10-29
• 公開（公告）號: CN112307947A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 謝佩;趙俊
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;G16H50/30;G16H50/70
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本公開的實施例公開了用于生成信息的方法和裝置。該方法的一具體實施方式包括：從待評估視頻中采樣出第一預設數量的圖像幀；基于各圖像幀的時間戳對各圖像幀排序，得到圖像幀序列；從圖像幀中確定出評估對象面部的關鍵點；對關鍵點的坐標進行歸一化，并基于歸一化后的關鍵點坐標從圖像幀中提取出如下特征：面部運動、雙眼注視方向、鼻尖關鍵點與上嘴唇關鍵點的距離、左右嘴角關鍵點之間的距離、嘴部區域面積以及該圖像幀中各關鍵點相對于參考幀中各關鍵點的偏移量，參考幀為圖像幀序列中時間戳最小的圖像幀；對圖像幀中提取出的特征編碼，得到圖像幀的特征向量；將各圖像幀的特征向量輸入預先訓練的抑郁程度預測模型，估計出評估對象的抑郁指數。

技術領域

本公開的實施例涉及人工智能技術領域，具體涉及智慧醫療領域，尤其涉及一種用于生成信息的方法和裝置。

背景技術

抑郁癥作為一種典型的心境障礙，主要表現為顯著而持久的心境低落，不同程度的抑郁癥將會對病人的生活和工作產生不同程度的影響，嚴重的甚至會引起自殺并造成一些社會危害。據世界衛生組織(WHO)數據披露顯示，截止2019年全球已有超過3.5億人罹患抑郁癥，中國也有超過9500萬人受到抑郁癥的困擾，抑郁癥已經成為威脅人類健康的前三大疾病之一。

隨著人工智能技術的發展，可以通過采集抑郁癥患者的視頻或音頻數據，評估其抑郁癥嚴重程度。

相關技術中，基于視頻進行抑郁癥檢測的方法通過對視頻圖像序列進行編碼，訓練識別評估對象的情緒狀態的機器學習模型，并進一步根據情緒狀態的統計結果來估計其抑郁程度。

發明內容

本公開的實施例提出了用于生成信息的方法和裝置。

第一方面，本公開的實施例提供了一種用于生成信息的方法，該方法包括：從待評估視頻中采樣出第一預設數量的圖像幀，圖像幀中包括評估對象的面部圖像；基于各圖像幀的時間戳，對各圖像幀排序，得到圖像幀序列；對于圖像幀序列中的每一個圖像幀，分別執行如下特征提取步驟，確定出每一個圖像幀的特征向量：從圖像幀中確定出評估對象面部的關鍵點；對關鍵點的坐標進行歸一化，并基于歸一化后的關鍵點坐標從圖像幀中提取出如下特征：面部運動、雙眼注視方向、鼻尖關鍵點與上嘴唇關鍵點的距離、左右嘴角關鍵點之間的距離、嘴部區域面積以及該圖像幀中各關鍵點相對于參考幀中各關鍵點的偏移量，參考幀為圖像幀序列中時間戳最小的圖像幀；對圖像幀中提取出的特征編碼，得到圖像幀的特征向量；將各圖像幀的特征向量輸入預先訓練的抑郁程度預測模型，估計出評估對象的抑郁指數，抑郁指數用于表征評估對象的抑郁程度。

在一些實施例中，待評估視頻經由如下步驟獲取：向評估對象呈現預先構建的交互問題；實時采集評估對象回答交互問題時的視頻，并將視頻確定為待評估視頻。

在一些實施例中，從待評估視頻中采樣出第一預設數量的圖像幀，包括：基于評估對象回答各交互問題的時長，從待評估視頻中確定出第二預設數量的視頻片段，每個視頻片段對應一個交互問題；分別從每個視頻片段中提取出第三預設數量的圖像幀，得到各視頻片段對應的圖像幀集合；基于圖像幀的時間戳，分別對各圖像幀集合中的圖像幀排序，得到每個視頻片段對應的圖像幀序列；以及，將各圖像幀的特征向量輸入預先訓練的抑郁程度預測模型，估計出評估對象的抑郁指數，包括：對同一個圖像幀序列中的各圖像幀的特征向量編碼，得到該圖像幀序列的特征向量序列；將特征向量序列輸入預先訓練的抑郁程度預測模型，估計出評估對象的抑郁指數。

在一些實施例中，對關鍵點的坐標進行歸一化之前，該方法還包括：采用仿射變換，將圖像幀中評估對象的面部圖像的朝向調整至與圖像幀的法向量一致。