通用banner
您当前的位置 :首页 > 新闻资讯 > m6米乐官网

从Hadoop Summit 2016看大数据行业与Hadoop的发展

2024-06-09 19:48:02 m6米乐官网

  1)Hadoop及其生态圈(包括Spark等等)在各行各业落地并且得到普遍的应用。

  目前在美国,无论行业是IT,金融相关(包括银行保险),电信,制造业,还是餐饮,百货零售都已经广泛的用上了Hadoop。看了一些有意思的演讲,比如说

  Progressive(美国最大的车保公司之一)通过实时采集用户驾驶的数据(比如说加、减速行为;车辆经过的路线等等)来决定是不是需要改变用户的车保价格。可以借鉴一篇老一点的文章:

  福特公司也有一个类似的演讲,通过采集汽车里面的设置的传感器,实时反馈给服务端来优化驾驶的体验。

  对于这些非IT企业,利用Hadoop生态圈里面的套件可以在一定程度上完成超大的数据处理规模(比如说福特汽车总共产生的数据能够达到一天TB级别),实时性(信用卡反欺诈需要在秒以内返回结果),丰富的分析手段(SQL、机器学习等)。这些新的数据分析的手段能够实实在在的产生商业经济价值,比如说只要保险公司能够降低1%的风险,产生的利润就非常可观了。

  相对于去年来说,这三个话题的曝光率大幅度的提升。今年总共有160多场演讲,其中物联网就有近20场演讲,机器学习有10多场演讲,实时有近10场演讲。

  这三个话题其实互相关联,比如说物联网通过传感器采集了N多的数据(飞机引擎能够每小时产生35TB的数据,还有比如上面提到的福特汽车),这一些数据需要立刻决定保留或者丢弃,对于保留的那部分的数据也要能够很快的做出决定。实时起到了很大的作用。在这次的某一个演讲中(忘了是哪家公司了),需要采集飞机上的雷达数据来预测天气是否危险,若无法做到实时那几乎就是草菅人命了。

  对于这种大规模的数据只用传统的SQL进行数据处理是远远不足的,特别是一些非结构化的数据(比如说雷达云图)。那么很多的机器学习的方法就能够排上用场了。这三个方向一定会在未来更火的。

  对于Hadoop项目本身是个人工作也是我关注得最多的方向,这里也总结一下。

  关于易用主要是两个方面,a. 方便安装部署, b. 方便运维。对于安装部署来说这几年的一些工具已能把问题解决得很好了,比如说Apache Ambari。对于运维来说则在今年涌现了很多的新的亮点,比如说来自Hortonworks的Service Asembly,Service Asembly也就是服务的组合,举个例子来说一个数据服务要安设ZooKeeper、Kafka、HBase、Spark,并且需要让他们工作在一起。传统的方式是分别部署这些项目并且手动的把他们互相配置起来。现在能够最终靠Docker container加上预先写好的配置文件模板让这些服务一次性的在YARN上面启动和关闭。

  相对于普通的mapreduce、spark程序,长时间服务需要跑几天甚至几个月,YARN对于LRS的支持在近一年内有很大的进展。一些新完成、正在开发中的功能有类似于

  HDFS Tiered Storage: 更好的在HDFS中支持管理不同的文件系统(比如说内存、SSD、本地磁盘、云存储)

  如果你的公司的足够多的数据,看看能不能用Hadoop生态圈的项目(不管是Hive还是Spark)来优化,传统行业会一个一个被公司占据掉,比如说阿里占据了零售业、金融业,赶不上这趟车就晚了!

  如果你是初学者并且希望学大数据相关的技术,流行的开源项目是很好的选择。如果你想学Hadoop的话记得要学新一点的版本比如说。

  如果你对贡献开源项目有兴趣,可优先考虑考虑YARN,里面能做的东西还很多,并且社区很友好。返回搜狐,查看更加多