关于从0到1搭建大数据平台，之前的一篇博文《如何从0到1搭建大数据平台》已经给大家介绍过了，接下来我们会分步讲解搭建大数据平台的具体注意事项。

一、“大”数据

海量的数据

当你需要搭建大数据平台的时候一定是传统的关系型数据库无法满足业务的存储计算要求了，所以首先我们面临的是海量的数据。

复杂的数据

复杂数据的概念和理想数据完全相反。所有数据集都有一定的复杂性，但有一些天生更难处理。通常这些复杂数据集没有定义结构(没有行列结构)，经常变化，数据质量很差。比如更新的网页日志，json数据，xml数据等。

高速的数据

高速数据通常被认为是实时的或是准实时的数据流。数据流本质上是在生成后就发给处理器的数据包，比如物联网的穿戴设备，制造业的传感器，车联网的终端芯片等等。处理实时数据流有很多挑战，包括在采集时不丢失数据、处理数据流中的重复记录、数据如何实时写入磁盘存储、以及如何进行实时分析。

二、采集工具

日志采集

我们业务平台每天都会有大量用户访问，会产生大量的访问日志数据，比如电商系统的浏览，加入购物车，下订单，付款等一系列流程我们都可以通过埋点获取到用户的访问路径以及访问时长这些数据；再比智能穿戴设备，实时都会采集我们的血压、脉搏、心率等数据实时上报到云端。通过分析这些日志信息，我们可以得到出很多业务价值。通过对这些日志信息进行日志采集、收集，然后进行数据分析，挖掘公司业务平台日志数据中的潜在价值。为公司决策和公司后台服务器平台性能评估提高可靠的数据保证。系统日志采集系统做的事情就是收集日志数据提供离线和在线的实时分析使用。目前常用的开源日志收集系统有Flume、Logstash、Filebeat。可以根据自己公司的技术栈储备或者组件的优缺点选择合适的日志采集系统，目前了解到的Flume使用的比较多。各个采集工具的对别如下：

具体组价的相关配置可以参考之前的文章《日志收集组件—Flume、Logstash、Filebeat对比》。

数据库抽取

企业一般都会会使用传统的关系型数据库MySQL或Oracle等来存储业务系统数据。每时每刻产生的业务数据，以数据库一行记录的形式被直接写入到数据库中保存。

大数据分析一般是基于历史海量数据，多维度分析，我们不能直接在原始的业务数据库上直接操作，因为分析的一些复杂SQL查询会明显的影响业务数据库的效率，导致业务系统不可用。所以我们通常通过数据库采集系统直接与企业业务后台数据库服务器结合，在业务不那么繁忙的凌晨，抽取我们想要的数据到分析数据库或者到HDFS上，最后有大数据处理系统对这些数据进行清洗、组合进行数据分析。

常用数据库抽取工具：

• 阿里开源软件：DataX

DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。开源的DataX貌似只能单机部署。

• Apache开源软件：Sqoop

Sqoop(发音:skup)是一款开源的工具，主要用于在HADOOP(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。可以集群化部署。

爬虫爬取

有很多外部数据，比如天气、IP地址等数据，我们通常会爬取相应的网站数据存储。目前常用的爬虫工具是Scrapy，它是一个爬虫框架，提供给开发人员便利的爬虫API接口。开发人员只需要关心爬虫API接口的实现，不需要关心具体框架怎么爬取数据。Scrapy框架大大降低了开发人员开发速率，开发人员可以很快的完成一个爬虫系统的开发。

三、数据存储

HDFS

2003年，Google发布论文GFS，启发Apache Nutch开发了HDFS。2004年，Google 又发布了论文《MapReduce: Simplified Data Processing on Large Clusters》，Doug Cutting等人实现计算框架MapReduce ，并与HDFS结合来更好的支持该框架。2006年项目从Butch搜索引擎中独立出来，成为了现在的Hadoop。

GFS隐藏了底层的负载均衡，切片备份等细节，使复杂性透明化，并提供统一的文件系统接口。其成本低，容错高，高吞吐，适合超大数据集应用场景。

• HDFS原理:
  横向扩展，增加“数据节点”就能增加容量。
• 增加协调部门，“命名节点”维护元数据，负责文件系统的命名空间，控
• 外部访问，将数据块印射到数据节点。还会备份元数据从命名节点，它只与命名节点通信。
• 数据在多个数据节点备份。

通常关系型数据库存储的都是结构化的数据，我们抽取后会直接放到HDFS上作为离线分析的数据源。

HBase

在实际应用中，我们有很多数据可能不需要复杂的分析，只需要我们能存储，并且提供快速查询的功能。HBase在HDFS基础上提供了Bigtable的能力; 并且基于列的模式进行存储。列存储设计的有事减少不必要的字段占用存储，同时查询的时候也可以只对查询的指定列有IO操作。HBase可以存储海量的数据，并且可以根据rowkey提供快速的查询性能，是非常好的明细数据存储方案，比如电商的订单数据就可以放入HBase提供高效的查询。

当然还有其他的存储引擎，比如ES适合文本搜索查询等。

总结

了解了上面的技术栈后，在实际数据接入中，你还会面临各种问题，比如如何考虑确保数据一致性，保障数据不能丢失，数据采集存储的效率，不能产生数据积压等，这些都需要对每个组件进行研究，适配适合你自己业务系统的参数，用最少的资源，达到最好的结果。

免责声明：本文版权归原作者所有，文章系作者个人观点不代表蜗牛派立场，如若转载请联系原作者；本站仅提供信息存储空间服务，内容仅为传递更多信息之目的，如涉及作品内容、版权等其它问题都请联系kefu@woniupai.net反馈！

大数据时代这个词被提出已有10年了吧，越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，随着大家都在使用欧冠大数据，大数据平台的搭建门槛也越来越低。借助开源的力量，任何有基础研发能力的组织完全可以搭建自己的大数据平台。但是对于没有了解过大数据平台、数据仓库、数据挖掘概念的同学可能还是无法顺利完成搭建，因为你去百度查的时候会发现太多的东西，和架构，你不知道如何去选择。今天给大家分享下大数据平台是怎么玩的。

架构总览

通常大数据平台的架构如上，从外部采集数据到数据处理，数据显现，应用等模块。

数据采集

用户访问我们的产品会产生大量的行为日志，因此我们需要特定的日志采集系统来采集并输送这些日志。Flume是目前常用的开源选择，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。

对于非实时使用的数据，可以通过Flume直接落文件到集群的HDFS上。而对于要实时使用的数据来说，则可以采用Flume+Kafka，数据直接进入消息队列，经过Kafka将数据传递给实时计算引擎进行处理。

业务数据库的数据量相比访问日志来说小很多。对于非实时的数据，一般定时导入到HDFS/Hive中。一个常用的工具是Sqoop，Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ：MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。而对于实时的数据库同步，可以采用Canal作为中间件，处理数据库日志（如binlog），将其计算后实时同步到大数据平台的数据存储中。

数据存储

无论上层采用何种的大规模数据计算引擎，底层的数据存储系统基本还是以HDFS为主。HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。具备高容错性、高可靠、高吞吐等特点。

HDFS存储的是一个个的文本，而我们在做分析统计时，结构化会方便需要。因此，在HDFS的基础上，会使用Hive来将数据文件映射为结构化的表结构，以便后续对数据进行类SQL的查询和管理。

数据处理

数据处理就是我们常说的ETL。在这部分，我们需要三样东西：计算引擎、调度系统、元数据管理。

对于大规模的非实时数据计算来讲，目前一样采用Hive和spark引擎。Hive是基于MapReduce的架构，稳定可靠，但是计算速度较慢；Spark则是基于内存型的计算，一般认为比MapReduce的速度快很多，但是其对内存性能的要求较高，且存在内存溢出的风险。Spark同时兼容hive数据源。

从稳定的角度考虑，一般建议以Hive作为日常ETL的主要计算引擎，特别是对于一些实时要求不高的数据。Spark等其他引擎根据场景搭配使用。

实时计算引擎方面，目前大体经过了三代，依次是：storm、spark streaming、Flink。Flink已被阿里收购，大厂一直在推，社区活跃度很好，国内也有很多资源。

调度系统上，建议采用轻量级的Azkaban，Azkaban是由Linkedin开源的一个批量工作流任务调度器。https://azkaban.github.io/

一般需要自己开发一套元数据管理系统，用来规划数据仓库和ETL流程中的元数据。元数据分为业务元数据和技术元数据。

• 业务元数据，主要用于支撑数据服务平台Web UI上面的各种业务条件选项，比如，常用的有如下一些：移动设备机型、品牌、运营商、网络、价格范围、设备物理特性、应用名称等。这些元数据，有些来自于基础数据部门提供的标准库，比如品牌、价格范围等，可以从对应的数据表中同步或直接读取；而有些具有时间含义的元数据，需要每天通过ETL处理生成，比如应用信息。为支撑应用计算使用，被存储在MySQL数据库中；而对于填充页面上对应的条件选择的数据，则使用Redis存储，每天/月会根据MySQL中的数据进行加工处理，生成易于快速查询的键值对类数据，存储到Redis中。
• 技术元数据，主要包括数据仓库中的模型说明、血缘关系、变更记录、需求来源、模型字段信息等，详细的可以查看数据分析师应该了解的数据仓库(3)

数据流转

通过上面一张图了解数据采集，数据处理，到数据展现的数据流转。通常我们在实际工作中，从数据源到分析报告或系统应用的过程中，主要包括数据采集同步、数据仓库存储、ETL、统计分析、写入上层应用数据库进行指标展示。这是最基础的一条线，现在还有基于数据仓库进行的数据分析挖掘工作，会基于机器学习和深度学习对已有模型数据进一步挖掘分析，形成更深层的数据应用产品。

数据应用

俗话说的好，“酒香也怕巷子深”。数据应用前面我们做了那么多工作为了什么，对于企业来说，我们做的每一件事情都需要体现出价值，而此时的数据应用就是大数据的价值体现。数据应用包括辅助经营分析的一些报表指标，商城上基于用户画像的个性化推送，还有各种数据分析报告等等。

好的数据应用一定要借助可视化显现，比如很多传统企业买的帆软。开源界推荐一款可视化工具Superset，可视化种类很多，支持数据源也不少，使用方便。最近数砖收购的redash，也为了自己能一统大数据处理平台。可以看出可视化对于企业数据价值体现是很重要的。

结尾

通过本文，可以对大数据平台处理做初步了解，知道包含哪些技术栈，数据怎么流转，想要真正从0到1搭建起自己的大数据平台，还是不够的。了解了流程，你还需要真正的上手搭建Hadoop集群，Spark集群，数据仓库建设，数据分析流程规范化等等都需要很多工作，想了解更多的读者欢迎留言，或者关注公众号后添加我微信一起探讨。

免责声明：本文版权归原作者所有，文章系作者个人观点不代表蜗牛派立场，如若转载请联系原作者；本站仅提供信息存储空间服务，内容仅为传递更多信息之目的，如涉及作品内容、版权等其它问题都请联系kefu@woniupai.net反馈！