[發明專利]一種基于人工智能的互聯網媒體內容安全監測系統及方法

在審

• 申請號: 201910776477.1
• 申請日: 2019-08-21
• 公開（公告）號: CN110598075A
• 公開（公告）日: 2019-12-20
• 發明（設計）人: 高燕;桂承波;唐聃;岳希;曾瓊;劉敦龍
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/35;G06F16/9535
• 代理公司: 11308 北京元本知識產權代理事務所
• 代理人: 王紅霞

1.一種基于人工智能的互聯網媒體內容安全監測系統，其特征在于，所述基于人工智能的互聯網媒體內容安全監測系統包括：

基礎設施模塊，用于為監測平臺提供硬件支撐；

數據處理模塊，用于為監測平臺提供數據支撐，從互聯網、APP內容采集器、微信、微博抓取新媒體內容，完成對相關互聯網和新媒體內容的采集；

媒體數據中心，用于為視圖像的識別模型訓練；

內容分析模塊，用于為監測平臺提供內容分析支撐，包括不良內容監測專用設備、全媒體內容智能分析系統；不良內容監測專用設備應用于特定場所，根據客戶推送的數據進行視覺有害信息的快速識別；

應用服務模塊，用于為監測平臺提供各類監管應用的業務邏輯，實現互聯網和新媒體內容的監管以及指定微博、微信、移動APP的內容監測；

人機交互模塊，用于為監測平臺提供“黑白名單”監管業務配置，以WEB網頁形式將各類功能進行展示及配置；用戶通過WEB瀏覽器對系統進行登錄和訪問，根據權限調用不同功能模塊，下發及管理各類監管任務；

運維管理模塊，用于為監測平臺提供系統配置，以WEB網頁形式將各類功能進行展示及配置；包括系統的平臺配置管理、系統健康狀態、權限管理、安全審計等運維服務與管理。

2.如權利要求1所述的基于人工智能的互聯網媒體內容安全監測系統，其特征在于，所述基礎設施模塊包含網絡設備、主機服務器、安全設備、存儲設備、監管終端；

將基礎設施分為三個區域，包括數據采集區、數據處理分析存儲區和辦公區；數據采集隔離區域內架設各種搜索采集服務器、WEB服務器；數據處理分析存儲隔離區域架設數據庫服務器、存儲服務器、敏感內容識別服務器、分布式數據處理集群；辦公區監看員通過監看終端對需要監測的任務列表進行配置，并對監測到的違規視聽內容進行查看。

3.如權利要求1所述的基于人工智能的互聯網媒體內容安全監測系統，其特征在于，所述媒體數據中心包括訓練、存儲、標注三個部分；標注通過指定的規則對數據進行標注；訓練采用分布式超算技術框架，通過深度學習對標注的數據進行模型訓練；存儲采用分布式存儲架構對數據進行存儲。

4.如權利要求1所述的基于人工智能的互聯網媒體內容安全監測系統，其特征在于，所述數據處理模塊對指定的媒體平臺進行內容的采集，采集的數據類型包括文本、聲音、圖像和視頻，數據采集的方式有三種：開放數據集下載、API讀取和爬蟲；包括互聯網爬蟲、公共搜索引擎、app內容采集、微博爬蟲、微信搜索引擎、視頻圖像內容下載和規則庫爬蟲；同時對數據進行預處理，包括數據清洗與排重、數據歸一化、關鍵幀抽取、違規內容快照。

5.如權利要求1所述的基于人工智能的互聯網媒體內容安全監測系統，其特征在于，所述內容分析模塊為監測平臺提供內容分析支撐，包括不良內容監測專用設備、全媒體內容智能分析系統；

不良內容監測專用設備應用于特定場所，根據客戶推送的數據進行視覺有害信息的快速識別，具體包括視圖像指紋庫、智能識別模型和敏感語料庫。

6.一種運行權利要求1所述基于人工智能的互聯網媒體內容安全監測系統的基于人工智能的互聯網媒體內容安全監測方法，其特征在于，所述基于人工智能的互聯網媒體內容安全監測方法包括以下步驟：

第一步，自定義監管任務，設置監測內容和目標；

第二步，通過分布式數據采集技術從設置的轄區網站、直播平臺、微信公眾號或微博等渠道抓取新媒體內容，完成對相關互聯網和新媒體內容的采集；

第三步，在大數據處理集群中對采集的數據進行清洗、數據歸一化、標注等預處理后并通過機器學習框架完成數據的模型訓練；

第四步，在文本分析服務器對文本采用上下文理解技術，通過分詞，段落語義理解技術，在聯合規則制定的基礎上，進行詞、句、文的安全鑒定；在語音識別服務器上利用語音識別技術完成對音頻數據的分析；在圖文識別服務器和視頻指紋服務器上利用多種上下文結構與深度特征挖掘的圖像識別、分類技術，融合不同語義層次的特征，并結合情感分析技術，對圖像及視頻進行分析；

第五步，通過文本、語音、視圖像的情感分析技術完成對采集數據的綜合分析；

第六步，對數據進行分析后完成對數據的統計，通過圖表等方式進行展示。