背景
随着云计算和大数据的兴起和发展,云计算已经成为处理大数据很重要的一个组成部分,伴随着数据量的几何增长,传统的数据挖掘平台系统架构模式已经远远不能适应现代数据挖掘的建设要求。DataSense就是建立在数据立方基础上针对海量的数据的集中计算与挖掘,建立一套具有高可靠、可在线弹性伸缩,提供数据内在关系和价值的数据挖掘计算平台。为业务决策提供便捷、快速和高效的平台支撑。
产品介绍
DataSense是南京云创大数据科技股份有限公司自主研发的分布式数据挖掘平台。具有高处理性能和高可靠性,可不间断接受任务。
系统实现了大多数主流的数据挖掘功能,包括属性选择、分类预测、回归预测、聚类分析、关联分析、时间序列分析等6大类。为适应不同业务数据的特点,对同一个数据挖掘功能,通过多种算法进行实现,例如“分类预测”有决策树、分类回归树、支撑向量机分类、神经网络分类、贝叶斯网络、朴素贝叶斯、逻辑回归、分类组合模型等算法可供用户选用,共计包含了27个数据挖掘算法。
系统基本组成
DataSense分布式数据挖掘平台总体架构
DataSense数据挖掘系统分为前台管理平台以及后台数据挖掘平台两部分组成。其总体架构如下图:
其中采用了数据立方作为对系统海量数据的底层存储平台,提供了高效的ETL工具,能够对海量数据进行高效快速的清洗。前端WEB部分方便用户管理和使用系统,对于数据挖掘的结果提供了饼图、散点图、折线图、面积图、柱状图、雷达图、线箱图、分布图、多折线图、帕累托图等10类可视化手段,利于用户对数据和模型的观察和理解。
DataSense数据挖掘核心模块系统架构如下图所示:
分布式数据挖掘可靠性设计
DataSense采用了JobKeeper作为整个系统的可靠性调度平台。调度平台提供了一套基于Web的管理化界面,可以实时的观察各个处理节点的任务运行状态,以及任务列表的分配情况,机器的负载情况等。用户在管理系统界面上可以完成所有的工作,如新任务的添加,任务的手动调度以及集群日志的查看与分析等。
分布式机器任务处理节点和管理节点之间维护一个心跳时间,实时向管理节点汇报任务处理信息,同时,任务处理节点在每个心跳时间内向管理节点获取该处理的任务列表,并和 本机正在处理的任务列表进行比对,完成相关的任务调度工作。若一个处理节点在多个心跳时间范围内仍然没有主动的和管理节点相互联系,那么管理节点将会根据 各机器的负载情况,将失去心跳连接的处理节点上的任务进行任务的重新分配和执行。
产品优势和特点
大数据挖掘平台是一套软件与硬件相结合的系统,其中专有技术和软件是高附加值部分,可以广泛应用于需要海量数据挖掘的应用场合(如广电、电信、互联网、银行等领域)。该系统相比传统数据挖掘系统有如下技术优势:
高度可靠
大数据挖掘系统采用云架构,底层数据被分块存储在不同的存储节点上,数据采用先进的1:1容错机制进行容错,可在任意损坏一个存储服务器节点的情况下实现数据完整可靠,系统对外存储访问服务不间断。
云存储的管理节点采用了主备双机镜像热备的高可用机制,在主管理节点出现故障时,备管理节点自动接替主管理节点的工作,成为新的主管理节点,待故障节点修复并重启服务后,它则成为新的备管理节点,保障系统的7×24小时不间断服务。
数据挖掘采用了先进任务调度框架JobKeeper,当出现故障节点后,JobKeeper会自动转移处理任务,保证数据挖掘过程的完整性和正确性。
优异性能
数据挖掘采用分布式并行计算技术,将海量数据的计算处理转化为各个存储节点上并行读写和计算,这样减少了网络的带宽使用,提高了数据的处理速度。同时随着处理节点数目的增多,整个系统的计算性能将呈线性增长。
同时,JobKeeper采用负载均衡技术,自动均衡各服务器负载,使得各处理节点的性能调节到很高,实现资源优化配置。
海量存储
数据挖掘平台所依赖的数据存储层数据立方容量仅受限于卷管理服务器内存,可支撑的容量接近无限,经推算,理论容量为1024×1024×1024 PB (1G个PB容量)。这样为超大规模的数据挖掘提供了数据支撑。
在线伸缩
大数据挖掘系统扩容非常方便,支持不停止服务的情况下,动态加入新的处理节点,无需任何操作,即实现扩容;同时,无需人为干预,也可以摘下任意节点,系统自动缩小规模而不影响挖掘业务,运行在此节点上的计算将会重新运行到其他节点上。
通用易用
大数据挖掘系统提供专用的API接口,供开发人员调用。
智能管理
提供基于WEB的管理控制平台,所有的管理工作均由大数据挖掘管理模块自动完成,使用人员无需任何专业知识便可以轻松管理整个系统。通过管理平台,可以对数据立方中的数据源进行挖掘业务,同时提供挖掘结果的可视化查询界面,可以方面的查看挖掘结果,为业务决策做支持。此外,用户还可以通过监控界面可以清楚地了解到每一个处理节点的负载、存储和运行情况。
快速高效
大数据挖掘平台算法库采用了分布式并行算法能够在较短的时间内完整各种算法,同时随着机器的增加系统性能线性增长。
平台界面介绍
DataSense分布式数据挖掘平台提供对集群机器的负载监控,磁盘监控等基本管理功能。用户可以快速方便的监控整个集群的运行状态。
数据导入
负责对数据的导入,支持数据库,文件系统两种数据抽取方式。将数据抽取保存到数据立方。
元数据信息管理
对数据本身结构信息管理,提供新建、删除、修改表等操作。
数据管理
可以查询不同表的数据信息,可以导出原始数据文件。
任务管理
由于算法的输入规模的不同,部分数据挖掘业务可能运行时间过长,系统提供了挖掘任务的查看、管理功能。
用户管理
大数据挖掘平台提供了多用户使用,系统管理员可以通过用户信息管理功能实现对系统多用户的管理。
系统配置
提供系统平台自身的参数信息管理。
可视化查询介绍
系统提供了对于已有数据的可视化查询,用户可以自定义查询逻辑,系统会在后台自动提交查询任务。目前查询支持了标准SQL 60%的查询功能。
分类算法介绍
分类算法目前提供了对于数据集的学习、分类的功能。同时用户还可以保存数据训练模型以便决策者或者第三方系统能够在线获取模型,并基于模型进行企业经营行为的决策或计算。分类结束后系统会通过可视化的方式展示系统训练分类后的结果,如下图所示:
聚类算法介绍
聚类分是对未知事物的分类,系统提供了对结构化数据的聚类,用户可以选择不同纬度的聚类。
上图为聚类设计页面,用户可以选择数据源,聚类属性,聚类本身的相关属性等信息。
聚类完成后,系统通过可视化的查询,目前提供了饼图、散点图、折线图、面积图、柱状图、雷达图、线箱图、分布图、多折线图、帕累托图等10类可视化手段,利于用户对数据和模型的观察和理解。
市场应用
应用范围 | 应用描述 |
互联网行业 | 基于用户行为的智能推荐 |
移动行业 | 智能化移动业务的准确推荐 |
电力行业 | 海量运营数据的预测,设备负载预测 |
... | ... |
联系方式 总机:400-8855-360
市场部
区域 |
销售人员 |
分 机 |
手机号 |
邮 箱 |
腾讯QQ |
项目总监 |
袁高峰 |
8008 |
15051887778 |
![]() |
|
市场部总经理 |
张军方 |
8059 |
18662385792 |
![]() |
|
新疆分公司 |
任家瑞 |
8019 |
13851763165 |
![]() |
|
北京 安徽 天津 辽宁 黑龙江 吉林 |
骆梦阳 |
8052 |
13952028557 |
![]() |
|
山东 浙江 四川 广西 |
杨 剑 |
8030 |
18751869256 |
![]() |
|
内蒙古 |
何家乐 |
8031 |
18616794962 |
![]() |
|
云南、福建、河北、江西、上海 |
刘立宏 |
8034 |
13815414773 |
![]() |
|
山西 |
刘连鹏 |
8018 |
18021395113 |
![]() |
|
海南 |
左 赛 |
8033 |
18017566211 |
![]() |
|
河南 重庆 湖北 贵州 陕西 |
王 军 |
8035 |
13851877991 |
![]() |
|
广东 |
单明月 |
8056 |
13770311887 |
![]() |
|
湖南 |
张绪文心 |
8027 |
18602548008 |
![]() |
|
青岛 甘肃 西藏 宁夏 |
马阳阳 |
8006 |
18651810931 |
![]() |
|
新疆 |
陈鑫磊 |
15899133730 |
![]() |
||
徐翠兰 |
13815871642 |
![]() |
|||
王 玮 |
8054 |
15077865340 |
![]() |
||
谢久军 |
8042 |
13805153062 |
![]() |
||
河南办事处 |
刘宏 (河南办事处 主任) |
13333831976 |
![]() |
||
湖北办事处 |
周俊 (湖北办事处) |
13995587166 |
![]() |
||
贵州办事处 |
汤添智 (贵州办事处) |
13602805009 |
![]() |
||
重庆办事处 |
曾娟 (重庆办事处) |
13628383332 |
![]() |
教育行业代理
区域/行业 | 代理商 | 联系人 | 手机号 | 邮 箱 |
山西省教育行业总代理 | 太原太工天宇教育科技有限公司 | 朱晓军 | 13903518848 | [email protected] |
天津市教育行业总代理 | 天津沃翔科技有限公司 | 胥海涛 | 18622559355 | [email protected] |
四川省教育行业 | 阿一丁科技 | 周洋 | 18623655301 | [email protected] |
成都优越科技(总代理) | 陈小林 | 13568881906 | [email protected] | |
内蒙古教育行业 | 清华海旗 | 李杨 | 13901247452 | [email protected] |
内蒙古智盟文化旅游发展有限公司 | 陈振 | 15502999934 | [email protected] | |
北京教育行业 | 华夏聚商(北京)科技有限公司 | 马志坚 | 13241834645 | [email protected] |
清华海旗 | 李杨 | 13901247452 | [email protected] | |
湖南省教育行业 | 湖南星云智能科技有限公司 | 陈桂生 | 18611990635 | [email protected] |
湖南正硕科技有限公司 | 黄正祥 | 18611540068 | [email protected] | |
湖南优利帝科技有限公司 | 沈凯丰 | 18674895858 | [email protected] | |
湖南神州宜达信息技术有限公司 | 袁舜 | 17308480199 | [email protected] | |
辽宁省教育行业总代理 | 沈阳天拓系统集成科技有限公司 | 苏勇 | 13940401319 | [email protected] |
吉林省教育行业总代理 | 长春智爱科技有限公司 | 左延凌 | 18626623543 | [email protected] |
广东省教育行业总代理 | 广州天子骄子电子科技有限公司 | 李元 | 13022085595 | [email protected] |
山东省教育行业 | 济南华朗电子设备有限公司 | 梁传凯 | 18605310122 | [email protected] |
山东泰和佳宜信息科技有限公司 | 杨德福 | 13305336850 | [email protected] | |
青岛华星科电子设备有限公司 | 赵林 | 15665728160 | [email protected] | |
济南掌中万象信息技术服务有限公司 | 胡克明 | 13306405566 | [email protected] | |
山东泰山教育创新研究院 | 常继涛 | 13697663323 | [email protected] | |
陕西省教育行业总代理 | 陕西精测电子仪器有限公司 | 康耀 | 13991342692 | [email protected] |
浙江省教育行业 | 浙江掌尊信息技术有限公司(总代理) | 张成成 | 18267120032 | [email protected] |
浙江广电集团 | 张帆 | 18968053960 | [email protected] | |
安徽省教育行业总代理 | 安徽康源物联信息科技有限公司 | 曹先操 | 18905605095 | [email protected] |
重庆市教育行业总代理 | 重庆杉臣教育科技有限公司 | 李方清 | 13320264154 | [email protected] |
广西省教育行业 | 广西国邦志成科技有限公司(总代理) | 黄真强 | 18607714559 | [email protected] |
广西南宁上广视音频网络技术有限公司 | 王静静 | 13977136549 | [email protected] | |
广西省南宁西乡塘培训学校 | 张华 | 18077241960 | [email protected] | |
上海市教育行业 | 上海速文网络科技有限公司(总代理) | 张结平 | 13120822448 | [email protected] |
赛服(上海)网络科技有限公司 | 杨穆超 | 18616681775 | [email protected] | |
江西省教育行业总代理 | 江西臻宸科技有限公司 | 张伟 | 18172891221 | [email protected] |
福建省教育行业 | 福建网誉信息科技有限公司(总代理) | 祝传兵 | 18905901215 | [email protected] |
福建超联信息科技有限公司 | 陈增超 | 18695729557 | [email protected] | |
河北省教育行业 | 河北惠美电子科技有限公司 | 张慧 | 15383231728 | [email protected] |
石家庄展思科技有限公司 | 徐楠 | 18603297744 | [email protected] | |
江苏省教育行业 | 江苏首创高科信息工程技术有限公司 | 吴云亮 | 13815027641 | [email protected] |
南京可瑞尔教育科技有限公司 | 史超 | 15722927758 | [email protected] | |
新疆教育行业总代理 | 新疆亿航云翔信息科技有限公司 | 刘志勇 | 18690880877 | [email protected] |
公安行业代理
区域/行业 | 代理商 | 联系人 | 手机号 | 邮 箱 |
山东省公安行业代理 | 山东闻远通信技术有限公司 | 戴宇 | 18761674128 | you.[email protected] |
山东尊启信息技术有限公司 | 张为晓 | 13954141334 | [email protected] | |
山东融御中安信息安全有限公司 | 赵慧奇 | 18660862096 | [email protected] | |
海南省公安行业 | 海南怡盟电子科技有限公司(总代理) | 熊桂霞 | 15298946071 | [email protected] |
海南阿福企业策划有限公司 | 黄振福 | 18789630559 | [email protected] | |
浙江省公安行业代理 | 杭州联洲科技有限公司 | 史慧平 | 18968188988 | [email protected] |
杭州宁杭信息技术有限公司 | 许其元 | 13738038938 | [email protected] | |
福建省公安行业代理 | 杭州宁杭信息技术有限公司 | 许其元 | 13738038938 | [email protected] |
贵州省公安行业总代理 | 北京云教互动科技有限公司贵州分公司 | 穆俊玲 | 17311090120 | |
江苏省公安行业代理 | 徐州麒麟物联网科技有限公司 | 迟明秋 | 15862186070 | [email protected] |
陕西省公安行业总代理 | 陕西乐享电子科技股份有限公司 | 张化斌 | 13909215859 | [email protected] | 安徽省公安行业总代理 | 南京点道数据科技有限公司 | 李天宇 | 15951823701 | [email protected] |
河北省公安行业代理 | 河北惠美电子科技有限公司 | 马瑞泽 | 19933158868 | [email protected] |
重庆市公安行业代理 | 重庆贵飞科技有限公司 | 秦龙 | 18623001736 | [email protected] |
河南省公安行业代理 | 河南翰林网络技术开发有限公司 | 张磊 | 15617216616 | [email protected] |
四川省公安行业总代理 | 成都国策正义文化传媒中心 | 李斌 | 18620323772 | [email protected] |
山西省公安行业代理 | 中泰鼎晟(北京)科技有限公司 | 田泽雨 | 13835177588 | [email protected] |
内蒙古公安行业代理 | 中泰鼎晟(北京)科技有限公司 | 田泽雨 | 13835177588 | [email protected] |
诚征全国代理 总机:400-8855-360