问题描述:
大数据开发需要哪些能力
问题解答:
我来补答1、 大数据分析哪家好?就找上海数阖信息技术有限公司,我司是一家专业的第三方大数据分析公司,基于不同业务场景,为客户提供量身定的大数据分析服务,洞察业务问题,创造数据价值。 数字几何(上海数阖信息技术有限公司 )是一家专业的第三方大数据分析公司,通过量身定的服务,将项目目标和数据分析结合起来,为客户创造基于数据分析的有效决策。 数字几何的团队来自数据源公司、咨询公司以及互联网公司,拥有跨域的解决方构建能力,致力于为城规划师、房地产开发商、品牌方、咨询方、研究机构提供项目全过程数据服务。
3、 1、熟练精通至少一门程语言 掌握Java是必不可少的,要是能同时熟悉Python、Scala就更好了。 2、掌握Linux作系统 百分之八十以上的企业使用Linux作系统进行云计算、大数据平台的构建,所以做大数据开发,Linux必备。
4、 2,Redis、Kafka、ElasticSearch这些都得懂原理,深入了解,会使用,会作,会调优。 3,impala和kylin这些尽量也要了解会用。 4,Python这个要是有能力,有精力,建议也要往深处学习,我目前正在自学中。 5,集群的问题,包括一些简单的运维知识。 6,大数据数据倾斜的问题,包括Spark JVM内存调优问题等等。
2、 1、大数据开发工程师在Linux和Java方面要熟练掌握,这是最基本的,需要同时掌握。 学习顺序不分先后。 2、掌握与大数据处理相关的技术,包括但不限于Hadoop,Hbase,Hive等。 3、有强大的开发能力,需要精通相关开发语言的使用,精通MapReduce设计方法或Spark计算框架。