虎鱼大数据

二十一世纪将是一个大数据的时代,对这一观点认同的人越来越多。那么大数据意味着什么,他到底会改变什么?
单从技术层面回答,已不足以解惑。我们需要把大数据放在人的背景中加以透视,理解它作为时代变革力量之所然。

大数据处理流程

大数据的处理方法确实有很多,根据我们长时间的实践,总结了一种较适用的大数据处理流程,
这个流程应该对大家处理大数据有所帮助。整个处理流程可以分为四步,即 采集、导入、统计和分析与数据挖掘。

1

大数据采集

大数据的采集是指利用多个数据库来接收Web、App发自客户端的数据,也可以通过这些数据库来进行简单查询和处理工作。各B2C平台会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据,另外,MongoDB和Redis这样的NoSQL数据库也经常用于数据的采集。

在大数据的采集过程中,其主要特点和挑战是并发数高,因为同时有可能会有成千上万的用户来进行访问和操作,比如京东网和淘宝,它们并发的访问量在峰值时达到上千万,所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

2

大数据的预处理

虽然采集端本身会有很多数据库,但是如果要对这些海量数据进行有效的分析,还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库,或者分布式存储集群,并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算,来满足部分业务的实时计算需求。
导入与预处理过程的特点和挑战主要是导入的数据量大,每秒钟的导入量经常会达到百兆,甚至千兆级别。

3

大数据的统计分析

统计与分析主要利用分布式数据库,或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等,以满足大多数常见的分析需求,在这方面,一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata,以及基于MySQL的列式存储Infobright等,而一些批处理,或者基于半结构化数据的需求可以使用Hadoop。

4

大数据的统计分析

数据挖掘一般没有什么预先设定好的主题,主要是在现有数据上面进行基于各种算法的计算,从而起到预测(Predict)的效果,从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes,主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂,并且计算涉及的数据量和计算量都很大,常用数据挖掘算法都以单线程为主。

在整个大数据处理的流程中至少都应该满足这四个方面的步骤,才能算得上是一个比较完整的大数据处理

大数据平台实现流程及优势

用户特征

利用用户特征评价体系和特征算法特征,
算模型挖掘用户特征,清晰定义出用户标签。

服务经验

面向高购买力女性用户群互联网广告投放曝光次数超过500亿次
专业的行业服务团队组合 | 数据分析师 | 广告投放优化师 | 行业专家

技术实力

专注于研究互联网高购买力女性用户行为习惯,
领先的用户标签、用户场景、分析模型数据与算法

虎鱼DPM

企业级大数据管理平台 | 专注于互联网高购买力
女性品牌细分消费市场,数字营销大数据应用研究

极致的定位

我们的大数据管理服务平台仅面向高端女性 | 高端女性数据广度与深度
追求极致分析数据算法多样化、多维度、细粒度的标签定义

快速与高效

采用Hadoop与Spark、云计算技术、让数据分析速度飞起来

虎鱼的目标

像打开盒子一样打开你的互联网数字媒体资源和客户详细列表。
根据预先规划好的营销方案,通过媒体与您感兴趣的用户接连互动起来。
无论何时何地,每个链接通道价值最大化,高效运行着。

营销技术

根据客户数据集和实时人群标签头像定制个性化营销策划方案