[發明專利]屏幕內容分析方法、裝置、計算設備及存儲介質

有效

• 申請號: 201711423613.6
• 申請日: 2017-12-25
• 公開（公告）號: CN108229481B
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 陳若鵬;徐志成;楊希
• 申請（專利權）人: 中國移動通信集團江蘇有限公司;中國移動通信集團公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/46;G06F40/126
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 賀琳

本發明實施例公開了一種屏幕內容分析的方法、裝置、計算設備及存儲介質。該方法包括：基于應用圖像模型庫，識別屏幕圖像中的活動窗口區域及其對應的應用；基于應用的應用圖像模型，將活動窗口區域劃分為一個或多個文本區和非文本區；以及識別文本區中的文字，得到字符串文本。通過本發明的技術方案，能夠提高運維操作識別的準確性，提升IT運維操作審計的效率。

技術領域

本發明涉及IT系統運維技術領域，尤其涉及一種屏幕內容分析的方 法、裝置、計算設備及存儲介質。

背景技術

目前，IT系統運維操作審計中，運維終端的屏幕錄像是一種常見的審 計方法。但是，在日常審計過程中，尤其是當進行安全事件追溯時，面對 海量的運維操作圖像，審計操作員無法基于錄像中的操作內容進行檢索審 計，需要逐幀查看錄像，效率低下。

因此，需要一種能夠提高審計效率的屏幕內容分析方法。

發明內容

本發明實施例提供了一種屏幕內容分析方法、裝置、計算設備及存儲 介質，能夠提高運維操作識別的準確性，提升IT運維操作審計的效率。

第一方面，本發明實施例提供了一種屏幕內容分析方法，方法包括：

基于應用圖像模型庫，識別屏幕圖像中的活動窗口區域及其對應的應 用；

基于應用的應用圖像模型，將活動窗口區域劃分為一個或多個文本區 和非文本區；以及

識別文本區中的文字，得到字符串文本。

優選地，基于應用的應用圖像模型將活動窗口區域劃分為一個或多個 文本區和非文本區的步驟包括：

在應用的窗口界面模式已知的情況下，基于應用的窗口界面模式將活 動窗口區域劃分為一個或多個文本區和非文本區；以及/或者

在應用的窗口界面模式未知的情況下，基于文本和圖片的固有特征將 活動窗口區域劃分為一個或多個文本區和非文本區，并且根據劃分結果更 新所述應用圖像模型中記載的窗口界面模式。

優選地，識別文本區中的文字得到字符串文本的步驟包括：

對文本區進行行切分，得到文本行圖像；

基于分隔符進行詞切分，得到單詞或短語圖像；

基于語法和經驗模型進行字符切分，得到字符圖像；

計算字符圖像的特征向量；

基于特征向量識別字符圖像對應的字符或字。

可選地，結合詞切分和行切分的結果，對字符或字進行組合得到字符 串文本。

可選地，基于預設的一種或多種語言識別文本區中的文字。

優選地，該方法還包括：

確定與應用對應的業務場景；

根據業務場景對所識別的文本進行處理。

可選地，根據業務場景將所識別的文本分類為一個或多個部分。

優選地，該屏幕內容分析方法還包括：

提取屏幕錄像中的非重復幀，屏幕圖像是非重復幀的屏幕圖像。

優選地，提取屏幕錄像中的非重復幀的步驟包括：

從當前非重復幀開始，以設定的初始抽樣間隔，進行循環抽樣，直到 相鄰兩次抽樣的幀的幀序號小于或等于預定閾值，以相鄰兩次抽樣中前向 抽樣得到的幀作為下一個非重復幀，其中，循環抽樣包括：

響應于在前向抽樣中查找到與當前非重復幀不相似的幀，將抽樣間隔 減半，并執行后向抽樣；