[發明專利]屏幕顯示監控方法及裝置、電子設備、存儲介質

在審

• 申請號: 202010428063.2
• 申請日: 2020-05-20
• 公開（公告）號: CN111340808A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 聶偉;趙彬
• 申請（專利權）人: 北京小米移動軟件有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N20/00;H04N5/76
• 代理公司: 北京善任知識產權代理有限公司 11650
• 代理人: 康艷青

1.一種屏幕顯示監控方法，其特征在于，所述方法包括：

檢測到第一事件時，生成屏幕的錄制指令；

響應于所述錄制指令，為所述屏幕創建錄屏虛擬設備以及圖層傳輸接口；

觸發所述錄屏虛擬設備采集所述屏幕的顯示圖層數據，通過所述圖層傳輸接口將所述顯示圖層數據向多媒體模塊發送，所述多媒體模塊將所述顯示圖層數據渲染合并為圖像視頻數據；

對所述圖像視頻數據進行分析，確定所述屏幕的圖像顯示是否存在顯示缺陷；

在所述屏幕存在顯示缺陷時，獲取支持所述屏幕顯示的處理單元的狀態參數，將所述顯示缺陷信息及所述狀態參數向指定的端口發送。

2.根據權利要求1所述的方法，其特征在于，所述檢測到第一事件，包括：

檢測到臟區域在顯示區域的占比超出第一設定閾值，持續時間達到設定時段；或

檢測到運行的應用數量超出第二設定閾值。

3.根據權利要求1所述的方法，其特征在于，所述為所述屏幕創建錄屏虛擬設備以及圖層傳輸接口，包括：

通過系統服務線程調用媒體投影線程，利用所述媒體投影線程為所述屏幕創建所述錄屏虛擬設備；

調用媒體編解碼器接口線程，為所述錄屏虛擬設備創建圖層傳輸接口Surface。

4.根據權利要求3所述的方法，其特征在于，所述多媒體模塊將所述顯示圖層數據渲染合并為圖像視頻數據，包括：

所述多媒體模塊基于所述Surface獲取所述錄屏虛擬設備的所述屏幕的顯示圖層數據，將所述屏幕的顯示圖層數據渲染合并為所述圖像視頻數據。

5.根據權利要求1所述的方法，其特征在于，所述對所述圖像視頻數據進行分析之前，所述方法還包括：

獲取來自于不同電子設備的存在顯示缺陷的圖像視頻數據，以及出現缺陷時對應的電子設備中支持所述屏幕顯示的處理單元的狀態參數；或獲取本地存在顯示缺陷的圖像視頻數據，出現缺陷時對應的電子設備中支持所述屏幕顯示的處理單元的狀態參數；

將所獲取的所述存在顯示缺陷的圖像視頻數據、以及支持所述屏幕顯示的處理單元的狀態參數輸入屏幕顯示分析初級模型，通過所述屏幕顯示分析初級模型對訓練數據進行訓練分析，生成訓練分析結果；

基于所述訓練分析結果調整所述屏幕顯示分析初級模型的分析參數，將調整完分析參數的所述屏幕顯示分析初級模型作為屏幕顯示分析模型。

6.根據權利要求5所述的方法，其特征在于，所述方法還包括：

所述屏幕顯示分析模型獲取所述圖像視頻數據后，逐圖像幀進行數據識別，確定所述圖像視頻數據中是否存在顯示缺陷；

存在顯示缺陷時調用錄制所述圖像視頻數據時對應的所述支持所述屏幕顯示的處理單元的狀態參數，將所述支持所述屏幕顯示的處理單元的狀態參數與所述屏幕顯示分析模型中已訓練的與所確定的所述顯示缺陷對應的支持所述屏幕顯示的處理單元的狀態參數模型進行匹配，滿足匹配條件時輸出顯示缺陷的信息。

7.根據權利要求5或6所述的方法，其特征在于，所述支持所述屏幕顯示的處理單元的狀態參數包括以下參數的至少之一：

出現缺陷時對應的電子設備中的顯示器、圖形處理器的運行狀態信息、寄存器占用狀態信息。

8.根據權利要求1所述的方法，其特征在于，所述方法包括：

通過所述指定的端口接收基于所述處理單元的狀態參數確定的所述屏幕的顯示缺陷的解決方案，基于所述解決方案對所述屏幕顯示的處理單元的相關參數進行配置。