大数据入门教程

带你掌握大数据核心技能,从此轻松入门大数据

大数据入门实战课程

导学视频
Michael__PK

全栈工程师

四年互联网大数据研发经验,五年Java EE研发经验。近年来主要从事Hadoop生态圈和Spark生态圈技术的研发和落地。参与过Spark论文的中文翻译工作,且带队完成北京、上海等省份的移动大数据平台建设。

了解讲师
新手入门大数据 Hadoop基础与电商行为日志分析

只要有Java基础,就可入门大数据,掌握Hadoop开发的核心技能
涵盖HDFS 、YARN 、MapReduce的搭建及框架的应用
第一时间收获企业大数据的真技术,了解Hadoop 3.x 的新特性

... 已有432同学加入学习
立即学习

大数据相关文章

手记文章

工资翻了十倍,我也老了十岁

前言 首先要说明一点,题目可能有点标题党,工资之所以能翻十倍,除了自身的努力之外,还有两个很重要的原因: 起点真是太低了。09年的毕业生受当时次贷危机影响很大,又遇到一个比较坑的公司,所以起点很低,那么进步的空间就很大。 通货膨胀真是太厉害了。09年大连平均工资3231,18年已经6000多了,所以水涨船高也是理所当然。 为什么要写这篇文章呢?因为最近心血来潮,想重新一下学习大数据,然后认识了很多想学习大数据或者java的老铁,就希望把自己的经历分享一下,一开始本来是写在贴

浏览67推荐0
手记文章

深入浅析zookeeper的一致性模型及其实现

上文我们介绍了一致性模型的相关知识,现在我们来考察一下zookeeper的一致性模型。 常见误区 一开始看到网上有人说zookeeper满足了CAP的CP特性,我一直以为zookeeper至少也是Sequential Consistent。那zookeeper自己怎么说的呢?在它文档中,首先它宣称自己是“Sequential Consistency”,不过它的“Sequential Consistency”相比Leslie Lamport老哥的,似乎缩水了,怎么缩的呢?后面它羞羞答答的解释“Updates from a client will be applied in the order that they were s

浏览1179推荐1
手记文章

利用 Python 分析 MovieLens 1M 数据集

1 数据集简介 MovieLens数据集是一个关于电影评分的数据集,里面包含了从IMDB, The Movie DataBase上面得到的用户对电影的评分信息,详细请看下面的介绍。 1 links.csv 文件里面的内容是帮助你如何通过网站id在对应网站上找到对应的电影链接的。 1.1 数据格式 movieId, imdbId, tmdbId 1.1.1 movieId 表示这部电影在movielens上的id,可以通过链接https://movielens.org/movies/(movieId)来得到。 https://movielens.org/home https://movielens.org/movies/1 1.1.2 imdbId

浏览304推荐0
手记文章

Presto On Yarn 部署示例

Presto是我们所熟知的数据查询引擎,它本身的部署也是非常的简单。但是有时候我们可能会有这样的需求,比如需要动态的对Presto集群进行扩容,需要对集群的资源进行统一的管理。我们需要一个Presto On Yarn的解决方案。 Yarn是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。所以把Presto的应用提交到Yarn上可以帮助我们对Presto所需的资源进行统一管理,同时还可以根据业务需求对集群进行动态的容量控制

浏览222推荐1
手记文章

面对十亿数据量的技术挑战,如何对系统进行性能优化?

“ 这篇文章,我们来聊一聊在十亿级的大数据量技术挑战下,世界上最优秀的大数据系统之一的Hadoop是如何将系统性能提升数十倍的?如果对Hadoop这个大数据系统一点了解都没有,可以先看之前的一篇文章快速入个门:《兄弟,用大白话告诉你小白都能看懂的Hadoop架构原理》首先一起来画个图,回顾一下Hadoop HDFS中的超大数据文件上传的原理。其实说出来也很简单,比如有个十亿数据量级的超大数据文件,可能都达到TB级了,此时这个文件实在是太大了。此时,HDFS客户端会给拆成很多block,一个block就128MB。这个HDFS客户端你可以理解为是云盘系统、日志采集系统之类的东西,比如有人上传一个1TB的大文件到网盘,或者是上传个1TB的大日志文件。然后HDFS客户端把一个一个的block上传到第一个DataNode,第一个DataNode会把这个block复制一份,做一个副本发送给第二个DataNode,然后第二个DataNode发送一个block副本到第三个DataNode。所以你会发现,一个bl

浏览182推荐0
手记文章

数据库查询优化:通过 EXPLAIN 浅析数据库查询优化方法

通过 EXPLAIN 浅析数据库查询优化方法 EXPLAIN 思维导图 知识点 explain 或者 desc 命令 获取Myswl如何执行SELECT语句的信息,包括在SELECT语句执行过程中表如何连接和连接的顺序。 index: 这种类型表示是mysql会对整个该索引进行扫描。 要想用到这种类型的索引,对这个索引并无特别要求,只要是索引,或者某个复合索引的一部分,mysql都可能会采用index类型的方式扫描。 缺点是效率不高,mysql会从索引中的第一个数据一个个的查找到最后一个数据,直到找到符合判断条件的某个索

浏览585推荐6
手记文章

总结:44个Python3字符串内置方法大全及示例

概述 Python中字符串是作为一种强大的处理工具集的存在,而不是类C中使用的那么难受。因为Python提供了一系列字符串操作的方法,从大小写转换、切片操作到查找等等应有尽有,几乎满足日常的使用场景,当然如果满足不了需求还可以得助于更加强大的第三方库比如string,re等。下面就介绍了Python3中44个字符串内置方法的基本概述及简单示例。 44个字符串内置方法概述 方法 描述 capitalize 返回S的大写版本,即创建第一个字符,为大写字母,其他为小写字母 casefold 返回全小写 center

浏览665推荐1
手记文章

使用Jenkins来实现内部的持续集成流程(下)

目录配置项目构建添加任务添加源代码地址和登录凭据添加构建触发器 TFS添加WebHook 添加构建步骤后端UI API端 配置项目构建1、添加任务 2、添加源代码地址和登录凭据添加源代码地址和登录凭证此图没有填写凭证时显示的错误点击Credential后面的添加 填写能访问源代码的用户名和密码选中刚刚添加的用户名和密码不再报错 表示填写正确Branches to build可以不用填写,建议填写需要发布的对应分支3、添加构建触发器(这里选择,当推送代码到TFS远程版本仓库时,触发构建)注:如果“构建触发器”不存在此选项 请到Jenkins 插件管理安装插件Team Foundation Server Plug-in此触发方式需要在服务器上(比如TFS)添加WebHook(如果服务器不支持添加WebHook,可以考虑使用“轮询SCM”,此处未作尝试)4、TFS添加WebHook打开TFS 选中项目 右边设置 选择服务挂钩创建订阅=>Jenkins=>

浏览139推荐0

大数据相关问答

相关猿问

自学编程需要看什么书籍?

最赞的回答

基础:《Java核心技术》卷 1《Java核心技术》卷 2更为适合你

相关猿问

零基础想学python要准备些什么

最赞的回答

0、心态准备编程是一门技术,也可说是一门手艺。如同书法、绘画、乐器、雕刻等,技艺纯熟的背后肯定付出了长时间的反复练习。编程的世界浩瀚无边,所以请保持一颗敬畏的心态去学习,认真对待写下的每一行代码,甚至每一个字符。收拾好自己的心态,向着编程的世界出发。1、入门阶段第一步至关重要,是关系到初学者从入门到精通还是从入门到放弃。选一条合适的入门道路,并坚持下去。1.1 配置 Python 学习环境Python2 还是 Python3?很多人都在纠结入门应该学 Python2 还是 Python3。这其实不是个问题。我从没听过某个人是 Python2 程序员或 Python3 程序员。二者只是程序不兼容...

相关猿问

Spring代替了springboot的哪些功能?

最赞的回答

Spring是Spring Boot的基础,利用了spring的诸多特性,例如注解/Java config/条件配置等等。不过由于有嵌入的web容器,预计未来很多会只提供RPC,HTTP服务的——以前用SpringMVC的项目,会用Spring Boot应用来替代。作者:林子云

相关猿问

Spring Boot中Redis如何使用?

最赞的回答

1、引入 spring-boot-starter-redis<pre>&enddependency&          &t;ogroupId&gfrorg.springframework.boot>/groupId&t;a       &priartifactId&rtespring-boot-starter-redis&  &/artifactId&cy&  &pre/dependency&e>#</pre>2、添加配置文件<pre># REDIS (RedisProperties)# Redis数据库...</pre>

相关猿问

已经学会了基本的Linux 操作,但是还在用windows,能给点建议吗?

最赞的回答

学linux,肯定要在windows上安装一个linux虚拟机呀,为什么不敢安装,网上都有超详细安装过程。不过建议初学linux命令,安装服务器版的,对学习基础命令有很大帮助,我有一篇博客是写安装ubuntu14.04-server的虚拟机,明天给你发链接,你可以参考一下

相关猿问

连接mysql数据库​有问题!!!!!!!!急!!

最赞的回答

程序写好了,要么在其他java文件里调用这个文件中你写好的连接数据库的方法,要么在本类中写一个main方法,你这个类没有main方法。运行时当然会出现找不到主类的情况

相关猿问

编程对配置到底需不需要高配

最赞的回答

编程不需要高配,但想要高效编程就得考虑高配,毕竟学大数据还是需要模拟集群环境,需要安装多台虚拟机,如果配置不够,很费劲的,电脑配置高点就不会在硬件条件上浪费自己的时间

相关猿问

大二女生想在互联网bat工作,二本计算机,请问路线可以怎么走,适合什么工作,目前在学程序

最赞的回答

你提供的信息比较少,很难看出你适合什么样的工作,但是看得出来你确实很迷茫。 建议你了解一下IT行业,或者是BAT中的各个岗位和这些岗位的工作内容。然后确定一下自己喜欢哪个岗位。确定下来之后,看一下这个岗位需要什么能力,BAT对这个岗位的求职者看中什么,然后再去努力。如果还是迷茫再回来提问吧,祝你好运~

大数据技术与实践训练营

入门大数据领域,一站式搞定大数据开发技术;行业需求大,给你更多的工作机会,让你赢在起跑线!

查看详情

高效求职全攻略

巧过经验关丨面试杀手锏丨求职通关技

查看详情

挑战AlphaGo Zero算法 走进人工智能新时代

从基础出发,强化算法知识,飞速提升学习效率!

查看详情

一气呵成!Python开发一站式学习

从入门到开发,学习 好玩 好用 好未来的Python语言。

查看详情