大数据入门教程

带你掌握大数据核心技能,从此轻松入门大数据

大数据入门实战课程

导学视频
Michael__PK

全栈工程师

四年互联网大数据研发经验,五年Java EE研发经验。近年来主要从事Hadoop生态圈和Spark生态圈技术的研发和落地。参与过Spark论文的中文翻译工作,且带队完成北京、上海等省份的移动大数据平台建设。

了解讲师
新手入门大数据 Hadoop基础与电商行为日志分析

只要有Java基础,就可入门大数据,掌握Hadoop开发的核心技能
涵盖HDFS 、YARN 、MapReduce的搭建及框架的应用
第一时间收获企业大数据的真技术,了解Hadoop 3.x 的新特性

... 已有705同学加入学习
加购物车 立即学习

大数据相关文章

手记文章

靠转型大数据涨薪的日子一去不复返了

全文长度:  2115字阅读时间:  7分钟TL;DR(too long don't read)大数据还是值得转型的,但是想着只靠一个技能翻身的机会没了前言在 2013 年,大数据刚刚崭露头角,有一大批程序员,在那个时间点,踏上了靠转型大数据升职加薪的日子。在那个时候,只要稍微懂一点点 Hadoop,会写一点点 HQL,工资翻一番是分分钟的事情。但是现在是9102年,哦不,是2019年了。单单靠一个技能就想转型到大数据已经没什么机会了。原因有这么几个。1. 数据开发平台化比较成熟,普通的开发人员已经可以完成绝大部分的大数据开发,不需要专业的数据开发人员介入,所以靠单一简单技能已经不吃香了。2.市场已经趋于饱和,红利期已经过去,对于数据开发人员的要求也随着变高。3.各种培训机构已经批量产出了大批大批的大数据人才,一个个体是拼不过这批经过包装的职业培训的人的。4.市场对于大数据已经不反应过度了,已经不会给出几年前那种趋之若鹜那么高的待遇了,就是一个普通的工程师当然,也不是说

浏览76推荐0
手记文章

Python进阶量化交易专栏场外篇12-股票分笔数据跨周期处理

欢迎大家订阅《教你用 Python 进阶量化交易》专栏!为了能够提供给大家更轻松的学习过程,笔者在专栏内容之外已陆续推出一些手记来辅助同学们学习本专栏内容,目前推出的扩展篇链接如下: 第一篇《管理概率==理性交易》 第二篇《线性回归拟合股价沉浮》 第三篇《最大回撤评价策略风险》 第四篇《寻找最优化策略参数》 第五篇《标记A股市场涨跌周期》 第六篇《Tushare Pro接口介绍》 第七篇《装饰器计算代码时间》 第八篇《矢量化计算KDJ指标》 第九篇《移植量化交易小工具》 第十篇

浏览369推荐1
手记文章

寻找接地气的Python实战项目-基于股票的金融数据量化分析

Python作为一门高级语言是非常好用的,语法简单,通俗易懂,非常容易上手,丰富的第三方库支持使得开发速度非常快,相对于其他编程语言来说,初学者入门并不困难。 大部分从零基础开始学习Python的同学,学完了基础会开始迷茫了……接下来去怎么进阶Python呢? Python只是一门语言工具,最终还是要将这门工具应用到一个领域中。Python的存在就是为了帮助我们快速解决实际问题,因此选择一个接地气的练手项目比什么都重要。 适合应用Python开发的项目有很多,比如WEB开发、爬虫开发、云计算、

浏览2696推荐35
手记文章

Presto Event Listener开发

简介 同Hive Hook一样,Presto也支持自定义实现Event Listener,用于侦听Presto引擎执行查询时发生的事件,并作出相应的处理。我们可以利用该功能实现诸如自定义日志记录、调试和性能分析插件,帮助我们更好的运维Presto集群。但是不同于Hive Hook的是,在Presto集群中,一次只能有一个Event Listener处于活动状态。 Event Listener作为Plugin监听以下事件: Query Creation(查询建立相关信息) Query completion (success or failure)(查询执行相关信息,包含成功查询的细节信息,

浏览197推荐0
手记文章

帝都搬砖四年,我决定回老家考公务员

01 码农故事汇 我叫魏子文,93年出生,是个标准的90后。 时间退到8年前,2011年的今天,高考结束的我刚刚收到北京某211高校的录取通知书,专业是软件工程。当时的我内心无比激动,不仅是因为录取我的大学是“211”,也不仅是因为就读的专业是时下大火的计算机,更是因为我要去的地方是北京。 在我的18岁之前,北京一直是个遥远的存在。尽管我的父母不止一次地告诉我,他们曾在我5岁的时候,为了替我治病,坐了近二十个小时的火车(那时还没有高铁)去了趟北京。去大医院看完病,一家人还特地

浏览260推荐1
手记文章

大厂面试Kafka,一定会问到的幂等性

本文来自靳刚同学,如需转载请私聊授权 01 幂等性如此重要 Kafka作为分布式MQ,大量用于分布式系统中,如消息推送系统、业务平台系统(如结算平台),就拿结算来说,业务方作为上游把数据打到结算平台,如果一份数据被计算、处理了多次,产生的后果将会特别严重。 02 哪些因素影响幂等性 使用Kafka时,需要保证exactly-once语义。要知道在分布式系统中,出现网络分区是不可避免的,如果kafka broker 在回复ack时,出现网络故障或者是full gc导致ack timeout,producer将会重发,如何保

浏览417推荐2
手记文章

投稿015期|亲爱的程序员,热爱的那些知识

亲爱的程序员,热爱的那些知识 知识改变命运,程序充实人生,智慧点亮生活。 我们村里流传着这样一则故事,一位很有名气的经济学教授,当年买了上海一个小区的房子,价格大概才 30 万一套。教授有钱,一买买了两套。后来突然对房子不满意,动用了许多社会关系把房子退了,然后把钱投入了股市,然后……就没有然后了。 知识改变命运啊。 类似这样的案例,在生活中,其实并不少见。 我们总觉得,那些「看上去什么都懂」的人,总是能审时度势,作出准确的判断和明智的决策,但实际上呢?他们

浏览214推荐2
手记文章

Presto安装完成之后需要做的~

​ Presto因其优秀的查询速度被我们所熟知,它本身基于MPP架构,可以快速的对Hive数据进行查询,同时支持扩展Connector,目前对Mysql、MongoDB、Cassandra、Hive等等一系列的数据库都提供了Connector进行支持。是我们常用的SQL on Hadoop的解决方案。那么我们今天就来看一下,当我们选择Presto作为我们的查询引擎之后,我们需要考虑的问题。 Presto 性能调优和稳定性 Presto 存在的问题 Coordinator单点问题(常见方案:ip漂移、nginx代理动态获取等) 大查询容易OOM(0.186+版本支持du

浏览180推荐1

大数据相关问答

相关猿问

自学编程需要看什么书籍?

最赞的回答

基础:《Java核心技术》卷 1《Java核心技术》卷 2更为适合你

相关猿问

零基础想学python要准备些什么

最赞的回答

0、心态准备编程是一门技术,也可说是一门手艺。如同书法、绘画、乐器、雕刻等,技艺纯熟的背后肯定付出了长时间的反复练习。编程的世界浩瀚无边,所以请保持一颗敬畏的心态去学习,认真对待写下的每一行代码,甚至每一个字符。收拾好自己的心态,向着编程的世界出发。1、入门阶段第一步至关重要,是关系到初学者从入门到精通还是从入门到放弃。选一条合适的入门道路,并坚持下去。1.1 配置 Python 学习环境Python2 还是 Python3?很多人都在纠结入门应该学 Python2 还是 Python3。这其实不是个问题。我从没听过某个人是 Python2 程序员或 Python3 程序员。二者只是程序不兼容...

相关猿问

Spring代替了springboot的哪些功能?

最赞的回答

Spring是Spring Boot的基础,利用了spring的诸多特性,例如注解/Java config/条件配置等等。不过由于有嵌入的web容器,预计未来很多会只提供RPC,HTTP服务的——以前用SpringMVC的项目,会用Spring Boot应用来替代。作者:林子云

相关猿问

Spring Boot中Redis如何使用?

最赞的回答

1、引入 spring-boot-starter-redis<pre>&enddependency&          &t;ogroupId&gfrorg.springframework.boot>/groupId&t;a       &priartifactId&rtespring-boot-starter-redis&  &/artifactId&cy&  &pre/dependency&e>#</pre>2、添加配置文件<pre># REDIS (RedisProperties)# Redis数据库...</pre>

相关猿问

已经学会了基本的Linux 操作,但是还在用windows,能给点建议吗?

最赞的回答

学linux,肯定要在windows上安装一个linux虚拟机呀,为什么不敢安装,网上都有超详细安装过程。不过建议初学linux命令,安装服务器版的,对学习基础命令有很大帮助,我有一篇博客是写安装ubuntu14.04-server的虚拟机,明天给你发链接,你可以参考一下

相关猿问

连接mysql数据库​有问题!!!!!!!!急!!

最赞的回答

程序写好了,要么在其他java文件里调用这个文件中你写好的连接数据库的方法,要么在本类中写一个main方法,你这个类没有main方法。运行时当然会出现找不到主类的情况

相关猿问

编程对配置到底需不需要高配

最赞的回答

编程不需要高配,但想要高效编程就得考虑高配,毕竟学大数据还是需要模拟集群环境,需要安装多台虚拟机,如果配置不够,很费劲的,电脑配置高点就不会在硬件条件上浪费自己的时间

相关猿问

大二女生想在互联网bat工作,二本计算机,请问路线可以怎么走,适合什么工作,目前在学程序

最赞的回答

你提供的信息比较少,很难看出你适合什么样的工作,但是看得出来你确实很迷茫。 建议你了解一下IT行业,或者是BAT中的各个岗位和这些岗位的工作内容。然后确定一下自己喜欢哪个岗位。确定下来之后,看一下这个岗位需要什么能力,BAT对这个岗位的求职者看中什么,然后再去努力。如果还是迷茫再回来提问吧,祝你好运~

大数据技术与实践训练营

入门大数据领域,一站式搞定大数据开发技术;行业需求大,给你更多的工作机会,让你赢在起跑线!

查看详情

高效求职全攻略

巧过经验关丨面试杀手锏丨求职通关技

查看详情

挑战AlphaGo Zero算法 走进人工智能新时代

从基础出发,强化算法知识,飞速提升学习效率!

查看详情

一气呵成!Python开发一站式学习

从入门到开发,学习 好玩 好用 好未来的Python语言。

查看详情