[發明專利]一種基于大數據的決策方法和系統

在審

• 申請號: 201410398787.1
• 申請日: 2014-08-13
• 公開（公告）號: CN104123395A
• 公開（公告）日: 2014-10-29
• 發明（設計）人: 程恒炎;高偉;李登彪;陳燁
• 申請（專利權）人: 北京賽科世紀數碼科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

技術領域

本發明屬于基于大數據的數據挖掘和處理技術領域，尤其涉及一種基于大數據的決策方法和系統。

背景技術

當前，人們生活在大數據時代，各種數據爆炸式增長，每天均有大量的資訊、娛樂、財經、醫療、教育等各行各業的信息數據注入網絡，形成海量數據。

從這些海量數據中挖掘出有價值的數據，并對其進行分析作出有效決策可為各行業的企業或個人提供參考、輔助作用，例如從海量數據中挖掘醫療行業中某病癥的病例、治療方法及治療效果等信息，通過對各病例采用的治療方法及相應的治療效果進行分析，得出治療該病癥的最優方法，為后續醫生對該病癥的治療提供參考。然而，現有基于大數據的決策方法或系統不具有通用性，不能滿足不同行業、不同業務的決策需求。

發明內容

有鑒于此，本發明的目的在于提供一種基于大數據的決策方法和系統，以解決現有基于大數據的決策方法或系統不具有通用性的問題。

為此，本發明公開如下技術方案：

一種基于大數據的決策方法，包括：

基于用戶依據其業務需求所設置的采集規則，從數據源中獲取相應的原始數據，并將所述原始數據作為待分類數據，所述采集規則包含預先集成的各采集因素的用戶設置信息；

利用預先建立的分類模型結合用戶依據其業務需求設置的輔助信息對所述待分類數據進行分類，得到各個類別的數據，并將所述各個類別的數據中與用戶的業務需求相對應的類別的數據作為目標數據；

基于用戶依據其業務需求所設置的決策規則對所述目標數據進行處理和決策，得出決策結果，所述決策規則包含預先集成的各決策因素的用戶設置信息。

上述方法，優選的，所述采集因素包括行業類型、數據關鍵字、數據相似度、反監控策略及數據抓取策略，所述行業類型包括資訊、娛樂、財經、教育、醫療、體育、汽車、時尚、科技、房產。

上述方法，優選的，所述決策因素包含關聯規則策略、決策目的、決策成本和決策耗時，其中，所述關聯規則策略包含關鍵參量之間的支持度和置信度，所述關鍵參量由用戶依據其業務需求而定。

上述方法，優選的，所述輔助信息包括分類方法和分類角度，所述分類方法包括決策樹分類、貝葉斯分類、神經網絡分類。

上述方法，優選的，還包括:

對所述原始數據進行選樣，利用所選出的樣本數據，對所述分類模型進行驗證，并在驗證結果未達到期望目標時，依據所述驗證結果對所述分類模型進行調整。

上述方法，優選的，還包括:

利用設定的預處理規則對所述原始數據進行預處理，并將經過預處理的數據作為新的待分類數據，所述預處理規則包含至少一個設定了操作方式的預處理操作，某一預處理操作的操作方式由用戶基于預先集成的所述預處理操作的操作方式集設置而定。

上述方法，優選的，所述預處理包括：數據清理、數據集成、數據轉換、數據歸約和壓縮，其中：

所述數據清理，包括填寫空缺值，平滑噪聲數據，識別、刪除孤立點；

所述數據集成，包括將數據集成多個數據庫、數據立方體或文件；

所述數據轉換，包括數據的規范化和聚集。

上述方法，優選的，還包括依據用戶的業務需求對所述原始數據進行如下分類存儲：

將不需要實時分析的數據以文件的形式通過分布式系統基礎架構Hadoop的分布式文件系統HDFS進行分布式存儲；

將需要實時分析的數據通過面向文檔存儲的數據庫MongoDB或關系型數據庫進行存儲。

上述方法，優選的，采用數據爬蟲技術實現從數據源中獲取原始數據。

一種基于大數據的決策系統，包括獲取模塊、分類模塊和決策模塊，其中：

所述獲取模塊，用于基于用戶依據其業務需求所設置的采集規則，從數據源中獲取相應的原始數據，并將所述原始數據作為待分類數據，所述采集規則包含預先集成的各采集因素的用戶設置信息；

所述分類模塊，用于利用預先建立的分類模型結合用戶依據其業務需求設置的輔助信息對所述待分類數據進行分類，得到各個類別的數據，并將所述各個類別的數據中與用戶的業務需求相對應的類別的數據作為目標數據；

所述決策模塊，用于基于用戶依據其業務需求所設置的決策規則對所述目標數據進行處理和決策，得出決策結果，所述決策規則包含預先集成的各決策因素的用戶設置信息。

上述系統，優選的，還包括：