[發(fā)明專利]一種基于關(guān)系圖的海量電子郵件分析方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201310054990.2
• 申請(qǐng)日: 2013-02-20
• 公開（公告）號(hào): CN103106573A
• 公開（公告）日: 2013-05-15
• 發(fā)明（設(shè)計(jì)）人: 李書豪;云曉春;張永崢;郝志宇;霍永亮
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)院信息工程研究所
• 主分類號(hào): G06Q10/10
• 分類號(hào): G06Q10/10;G06F17/30
• 代理公司: 北京輕創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11212
• 代理人: 楊立

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)絡(luò)信息安全技術(shù)領(lǐng)域，涉及電子郵件檢測(cè)與分析技術(shù)，特別是涉及一種基于關(guān)系圖的海量電子郵件分析方法及系統(tǒng)。

背景技術(shù)

電子郵件，英文名稱“Electronic?mail”（簡稱“Email”），是一種通過電子通信系統(tǒng)進(jìn)行信息交換的通信工具，現(xiàn)在往往與互聯(lián)網(wǎng)（Internet）聯(lián)系在一起，成為了最受歡迎的互聯(lián)網(wǎng)應(yīng)用服務(wù)之一。隨著互聯(lián)網(wǎng)的高速發(fā)展與網(wǎng)民數(shù)量的持續(xù)增長，電子郵件的服務(wù)商與用戶越來越多，功能也趨于多樣化；產(chǎn)生的數(shù)據(jù)量越來越大，格式也趨于復(fù)雜化。即時(shí)通信、社交網(wǎng)絡(luò)、微博等流行的互聯(lián)網(wǎng)應(yīng)用服務(wù)與電子郵件有著密切的關(guān)系，例如：用戶能夠利用郵箱來驗(yàn)證其他應(yīng)用服務(wù)的賬戶或找回密碼，也可以通過電子郵件獲得其他應(yīng)用服務(wù)推送的信息。可見，用戶通過電子郵件進(jìn)行信息交流，構(gòu)建成了一個(gè)基于通信行為的社會(huì)化網(wǎng)絡(luò)，可稱其為“電子郵件網(wǎng)絡(luò)”。電子郵件網(wǎng)絡(luò)不僅反映了電子郵件用戶之間的關(guān)系，而且可以利用節(jié)點(diǎn)屬性與邊的權(quán)值，進(jìn)一步表示用戶間的通信頻率、通信時(shí)間、通信內(nèi)容和社交范圍等特征。

電子郵件在給人類的工作與生活帶來便利的同時(shí)，也帶來了許多網(wǎng)絡(luò)信息安全問題。攻擊者利用軟硬件漏洞與社會(huì)工程學(xué)手段，通過發(fā)送大量電子郵件從事多種非法活動(dòng)，例如：推送廣告、散布謠言、宣揚(yáng)色情暴力、反動(dòng)串聯(lián)、網(wǎng)絡(luò)釣魚和傳播惡意代碼等，我們把這些電子郵件統(tǒng)稱為“垃圾郵件”。為了應(yīng)對(duì)垃圾郵件的危害與威脅，電子郵件服務(wù)商與安全研究人員設(shè)計(jì)并實(shí)現(xiàn)多種反垃圾郵件系統(tǒng)來檢測(cè)、過濾、追蹤、定位垃圾郵件與其制造者。垃圾郵件防御者首先對(duì)大量垃圾郵件的源碼與行為進(jìn)行分析研究，提取其區(qū)別于正常郵件的特征與屬性，然后根據(jù)這些特征和屬性對(duì)未知郵件進(jìn)行分類識(shí)別。現(xiàn)有的技術(shù)包括基于黑名單的檢測(cè)技術(shù)、基于特征串的檢測(cè)技術(shù)以及基于模式序列的檢測(cè)技術(shù)等。

在反垃圾郵件技術(shù)中，垃圾郵件的檢測(cè)與過濾技術(shù)比較成熟，主要針對(duì)單個(gè)用戶的收發(fā)電子郵件內(nèi)容進(jìn)行分析，很多電子郵件服務(wù)系統(tǒng)都有垃圾郵件過濾功能，能夠較為準(zhǔn)確識(shí)別垃圾郵件并采取相應(yīng)措施；垃圾郵件的追蹤與定位技術(shù)相對(duì)滯后，防御者只有通過對(duì)海量電子郵件與大量相關(guān)用戶進(jìn)行關(guān)聯(lián)分析，進(jìn)而構(gòu)造出特定的電子郵件網(wǎng)絡(luò)進(jìn)行深入挖掘，并綜合其他信息數(shù)據(jù)庫的線索，才有可能真正定位攻擊源，抓到犯罪分子。然而，業(yè)界和學(xué)術(shù)界尚缺乏對(duì)海量電子郵件的快速解析與深入挖掘技術(shù)，也沒有與其他信息數(shù)據(jù)庫相關(guān)聯(lián)的綜合分析手段，從而無法有效追蹤與定位垃圾郵件攻擊源與制造者，達(dá)到“治標(biāo)治本”與懲戒不法分子的目的。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是提供一種基于關(guān)系圖的海量電子郵件分析方法及系統(tǒng)，用于解決現(xiàn)有電子郵件分析方法無法快速有效處理海量電子郵件數(shù)據(jù)及追蹤定位垃圾郵件攻擊源的問題。

本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下：一種基于關(guān)系圖的海量電子郵件分析方法，包括：

并行解析步驟：采用并行處理方式解析電子郵件源數(shù)據(jù)，并提取出電子郵件頭部信息、正文信息和附件信息，將電子郵件頭部信息和正文信息保存到海量電子郵件數(shù)據(jù)庫的電子郵件表中。

附件存儲(chǔ)檢測(cè)步驟：將并行解析步驟中得到的附件信息的摘要信息以設(shè)定的文件存儲(chǔ)結(jié)構(gòu)存儲(chǔ)至海量電子郵件數(shù)據(jù)庫的電子郵件附件表中，并進(jìn)行檢測(cè)；

關(guān)系圖生成步驟：基于并行解析步驟與附件存儲(chǔ)檢測(cè)步驟得到的電子郵件相關(guān)數(shù)據(jù)，構(gòu)建實(shí)時(shí)更新的電子郵件關(guān)系表，并根據(jù)用戶需求和電子郵件關(guān)系表生成單點(diǎn)關(guān)系圖或多點(diǎn)關(guān)系圖；

關(guān)聯(lián)分析步驟：引入IP地址地理信息數(shù)據(jù)庫與電子郵件用戶身份信息數(shù)據(jù)庫，并將這兩個(gè)數(shù)據(jù)庫與電子郵件表進(jìn)行關(guān)聯(lián)，并基于生成的關(guān)系圖進(jìn)行關(guān)聯(lián)分析，再把關(guān)聯(lián)分析過程與結(jié)果在關(guān)系圖中展示。

對(duì)于上述技術(shù)方案，相關(guān)名詞解釋如下：

所述電子郵件頭部信息，是基于電子郵件源碼可獲取的除電子郵件正文與附件之外的所有信息，一般包括發(fā)件人IP地址、路由信息、發(fā)送時(shí)間、發(fā)件人姓名、發(fā)件人電子郵箱地址、收件人姓名、收件人電子郵箱地址、抄送人姓名、抄送電子郵箱地址、密送人姓名、密送人電子郵箱地址、電子郵件標(biāo)題、編碼格式等字段信息。

所述電子郵件表，是指海量電子郵件數(shù)據(jù)庫中存放解析后的電子郵件頭部信息、正文信息與其他屬性信息的數(shù)據(jù)表。

所述電子郵件附件表，是指海量電子郵件數(shù)據(jù)庫中存放解析后的電子郵件附件相關(guān)信息的數(shù)據(jù)表，該表包括附件文件名、附件存儲(chǔ)路徑、處理狀態(tài)、檢測(cè)結(jié)果等字段。另外，由于附件文件本身占用空間較大，因此附件文件本身直接存儲(chǔ)到服務(wù)器磁盤中，而不在海量電子郵件數(shù)據(jù)庫中保存。