问题描述:
大数据的技术要点
问题解答:
我来补答4、 对于大数据工程师而言,您至少要掌握以下技能:一门JVM系语言:当前大数据生态JVM系语言类的比重极大,某种程度上说是垄断也不为过。 这里我推荐大家学习Java或Scala,至于Clojure这样的语言上手不易,其实并不推荐大家使用。
3、 总的来说,在底层技术框架这块,大数据域已经基本好了基础,接下来要做的是如何利用这些技术为企业提供最佳用户体验的产品,以解决用户的实际业务问题,或者说未来大数据的侧重点将从底层走向上层。 之前的大数据创新更偏向于 IAAS 和 PAAS ,未来你将看到更多 SAAS 类型的大数据产品和创新。
1、 总结了大数据的几个要点:1)大数据主要侧重于数据的处理,流数据、批量数据、图计算等。 在数据处理过程中,批量的数据处理的代表工具是Hadoop,流数据的数据处理代表的是Storm技术。 2)无论是Hadoop还是Spark的架构原理都侧重于分为三部分:资源的管理、服务计算状态的监控、服务的运行。
2、 大数据学习内容主要有:①JavaSE核心技术;②Hadoop平台核心技术、Hive开发、HBase开发;③Spark相关技术、Scala基本程;④掌握Python基本使用、核心库的使用、Python爬虫、简单数据分析;理解Python机器学习;⑤大数据项目开发实战,大数据系统管理优化等。