[發(fā)明專利]一種數(shù)據(jù)特征的處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201610066847.9
• 申請(qǐng)日: 2016-01-29
• 公開（公告）號(hào): CN107025233B
• 公開（公告）日: 2020-04-28
• 發(fā)明（設(shè)計(jì)）人: 張研;楊冠軍;蔣程誠
• 申請(qǐng)（專利權(quán)）人: 蘇寧云計(jì)算有限公司
• 主分類號(hào): G06F16/953
• 分類號(hào): G06F16/953
• 代理公司: 江蘇圣典律師事務(wù)所 32237
• 代理人: 許峰;蘇一幟

1.一種數(shù)據(jù)特征的處理方法，其特征在于，包括：

從業(yè)務(wù)日志獲取明文樣本，所述明文樣本至少包括特殊字段和特征字段，所述特殊字段包括用于表示執(zhí)行命令和操作命令的字段；

根據(jù)預(yù)先配置的特征類，從所述特征字段獲取特征明文，并記錄樣本簽名，其中，內(nèi)容相同的特殊字段對(duì)應(yīng)同一個(gè)樣本簽名；

提取對(duì)應(yīng)所述樣本簽名的一個(gè)特殊字段，并將所獲取的特征明文，拼接至所述一個(gè)特殊字段，得到拼接后的字段；

將所述拼接后的字段作為特征樣本輸出；

還包括：

所述明文樣本為所述業(yè)務(wù)日志中的非加密字符，所獲取的明文樣本表現(xiàn)為符合tab分隔的文本形式，包括用于表示“存在展現(xiàn)”和“點(diǎn)擊”的特殊字段；

map階段的服務(wù)器讀取預(yù)先配置的特征類，所述特征類中包括按照先后順序配置的字段到所述特征類里，所述特征類中的字段與所述明文樣本中的至少一條字段的內(nèi)容相同；所述map階段的服務(wù)器根據(jù)預(yù)先配置的特征類，以key-value方式讀取輸入的明文樣本，并以map方式存在內(nèi)存中；

所述map階段的服務(wù)器剝離所述明文樣本中用于表示“存在展現(xiàn)”和“點(diǎn)擊”的特殊字段；再根據(jù)預(yù)先配置的特征類中記載的字段內(nèi)容，從所述明文樣本中依次抽取特征字段。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)預(yù)先配置的特征類從所述特征字段獲取特征明文，包括：

依次讀取所述特征類中的字段，所述特征類中的字段與所述明文樣本中的至少一條字段的內(nèi)容相同；

根據(jù)所述特征類中的字段的內(nèi)容，從所述明文樣本中依次讀取具有相同內(nèi)容的字段作為所述特征字段；

將從所述明文樣本中依次讀取的所述特征字段記錄在特征集合中。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述拼接后的字段作為特征樣本輸出，包括：

通過MapReduce框架，將所述特征樣本和所述特征集合導(dǎo)入Reduce階段；

所述將從所述明文樣本中依次讀取的所述特征字段記錄在特征集合中，包括：將從所述明文樣本中讀取的相同的特征字段輸出到相同計(jì)算節(jié)點(diǎn)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

讀取基本特征類，并通過反射機(jī)制更新所述基本特征類；

將最近一次更新的基本特征類作為所述預(yù)先配置的特征類。

5.一種數(shù)據(jù)特征的處理裝置，其特征在于，包括：

提取單元，用于從業(yè)務(wù)日志獲取明文樣本，所述明文樣本至少包括特殊字段和特征字段，所述特殊字段包括用于表示執(zhí)行命令和操作命令的字段；

識(shí)別單元，用于根據(jù)預(yù)先配置的特征類，從所述特征字段獲取特征明文，并記錄樣本簽名，其中，內(nèi)容相同的特殊字段對(duì)應(yīng)同一個(gè)樣本簽名；

拼接單元，用于提取對(duì)應(yīng)所述樣本簽名的一個(gè)特殊字段，并將所獲取的特征明文，拼接至所述一個(gè)特殊字段，得到拼接后的字段；

輸出單元，用于將所述拼接后的字段作為特征樣本輸出；

還包括：

所述明文樣本為所述業(yè)務(wù)日志中的非加密字符，所獲取的明文樣本表現(xiàn)為符合tab分隔的文本形式，包括用于表示“存在展現(xiàn)”和“點(diǎn)擊”的特殊字段；

map階段的服務(wù)器讀取預(yù)先配置的特征類，所述特征類中包括按照先后順序配置的字段到所述特征類里，所述特征類中的字段與所述明文樣本中的至少一條字段的內(nèi)容相同；所述map階段的服務(wù)器根據(jù)預(yù)先配置的特征類，以key-value方式讀取輸入的明文樣本，并以map方式存在內(nèi)存中；

所述map階段的服務(wù)器剝離所述明文樣本中用于表示“存在展現(xiàn)”和“點(diǎn)擊”的特殊字段；再根據(jù)預(yù)先配置的特征類中記載的字段內(nèi)容，從所述明文樣本中依次抽取特征字段。

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述識(shí)別單元，具體用于依次讀取所述特征類中的字段，所述特征類中的字段與所述明文樣本中的至少一條字段的內(nèi)容相同；并根據(jù)所述特征類中的字段的內(nèi)容，從所述明文樣本中依次讀取具有相同內(nèi)容的字段作為所述特征字段；再將從所述明文樣本中依次讀取的所述特征字段記錄在特征集合中。