魔方(大數據模型平臺)
大數據模型平臺是壹款基於服務總線與分布式雲計算兩大技術架構的壹款數據分析、挖掘的工具平臺,其采用分布式文件系統對數據進行存儲,支持海量數據的處理。采用多種的數據采集技術,支持結構化數據及非結構化數據的采集。通過圖形化的模型搭建工具,支持流程化的模型配置。通過第三方插件技術,很容易將其他工具及服務集成到平臺中去。數據分析研判平臺就是海量信息的采集,數據模型的搭建,數據的挖掘、分析最後形成知識服務於實戰、服務於決策的過程,平臺主要包括數據采集部分,模型配置部分,模型執行部分及成果展示部分等。
大數據平臺數據抽取工具
大數據平臺數據抽取工具實現db到hdfs數據導入功能,借助Hadoop提供高效的集群分布式並行處理能力,可以采用數據庫分區、按字段分區、分頁方式並行批處理抽取db數據到hdfs文件系統中,能有效解決大數據傳統抽取導致的作業負載過大抽取時間過長的問題,為大數據倉庫提供傳輸管道。數據處理服務器為每個作業分配獨立的作業任務處理工作線程和任務執行隊列,作業之間互不幹擾靈活的作業任務處理模式:可以增量方式執行作業任務,可配置的任務處理時間策略,根據不同需求定制。采用異步事件驅動模式來管理和分發作業指令、采集作業狀態數據。通過管理監控端,可以實時監控作業在各個數據處理節點作業任務的實時運行狀態,查看作業的歷史執行狀態,方便地實現提交新的作業、重新執行作業、停止正在執行的作業等操作。
互聯網數據采集工具
網絡信息雷達是壹款網絡信息定向采集產品,它能夠對用戶設置的網站進行數據采集和更新,實現靈活的網絡數據采集目標,為互聯網數據分析提供基礎。
未至·雲(互聯網推送服務平臺)
雲計算數據中心以先進的中文數據處理和海量數據支撐為技術基礎,並在各個環節輔以人工服務,使得數據中心能夠安全、高效運行。根據雲計算數據中心的不同環節,我們專門配備了系統管理和維護人員、數據加工和編撰人員、數據采集維護人員、平臺系統管理員、機構管理員、輿情監測和分析人員等,滿足各個環節的需要。面向用戶我們提供面向政府和面向企業的解決方案。
顯微鏡(大數據文本挖掘工具)
文本挖掘是指從文本數據中抽取有價值的信息和知識的計算機處理技術, 包括文本分類、文本聚類、信息抽取、實體識別、關鍵詞標引、摘要等。基於Hadoop MapReduce的文本挖掘軟件能夠實現海量文本的挖掘分析。CKM的壹個重要應用領域為智能比對, 在專利新穎性評價、科技查新、文檔查重、版權保護、稿件溯源等領域都有著廣泛的應用。
數據立方(可視化關系挖掘)
大數據可視化關系挖掘的展現方式包括關系圖、時間軸、分析圖表、列表等多種表達方式,為使用者提供全方位的信息展現方式。