大数据入门教程

带你轻松入门大数据,掌握大数据核心技能

大数据入门实战课程

导学视频
Michael__PK

JAVA开发工程师

四年互联网大数据研发经验,五年Java EE研发经验。近年来主要从事Hadoop生态圈和Spark生态圈技术的研发和落地。参与过Spark论文的中文翻译工作,且带队完成北京、上海等省份的移动大数据平台建设。

了解讲师
10小时入门大数据

只要有Java基础,就可入门大数据,掌握Hadoop开发的核心技能
从0基础上手,掌握HDFS 、YARN 、MapReduce的搭建及框架的应用
第一时间收获企业大数据的真技术,了解Hadoop 3.x 的新特性

... 已有1401同学加入学习
立即学习

大数据相关文章

手记文章

Python 数据库骚操作 -- Redis

源码 目录 前言 Redis GUI 工具 Redis 遇上 Docker Redis string Redis hash Redis list Redis set Redis zset 后记 前言 前面一篇文章介绍了 MongoDB 的库,我把 MySQL 放在了最后面,这篇文章继续介绍 Redis 的操作。Redis支持五种数据类型:string(字符串),hash(哈希),list(列表),set(集合)及zset(sorted set:有序集合)。接下来会简单介绍一下,Python 与 Redis 的化学反应。 Redis GUI 工具 首先介绍一款 Redis 的 GUI 工具 Medis,初

浏览263推荐4
手记文章

秋招季,用Python分析深圳程序员工资有多高?

源码地址 概述 前言 统计结果 爬虫技术分析 爬虫代码实现 爬虫分析实现 后记 预告 前言 多图预警、多图预警、多图预警。秋招季,毕业也多,跳槽也多。我们的职业发展还是要顺应市场需求,那么各门编程语言在深圳的需求怎么呢?工资待遇怎么样呢?zone 在上次写了这篇文章之后【用Python告诉你深圳房租有多高】,想继续用 Python 分析一下,当前深圳的求职市场怎么样?于是便爬取了某钩招聘数据。以下是本次爬虫的样本数据: 本次统计数据量为 4658 ,其中某拉钩最多能显示 30

浏览890推荐6
手记文章

Python 数据库骚操作 -- MongoDB

源码地址 前言 MongoDB GUI 工具 PyMongo(同步) Motor(异步) 后记 前言 最近这几天准备介绍一下 Python 与三大数据库的使用,这是第一篇,首先来介绍 MongoDB 吧,,走起!! MongoDB GUI 工具 首先介绍一款 MongoDB 的 GUI 工具 Robo 3T,初学 MongoDB 用这个来查看数据真的很爽。可以即时看到数据的增删改查,不用操作命令行来查看。 PyMongo(同步) 可能大家都对 PyMongo 比较熟悉了,这里就简单介绍它的增删改查等操作。 连接 # 普通连接 client =

浏览510推荐7
手记文章

CentOS7 上搭建多节点 Elasticsearch集群

本文内容脑图如下: 文章共 747字,阅读大约需要 2分钟 ! 概 述 最近学 Elasticsearch,既然学之,怎么能没有实际的集群来把玩呢,因此自己必须动手搭一个! 环境准备 节点准备 本文准备搭建 双节点 Elasticsearch集群,因此这里准备了两台 Linux CentOS 7.4 64bit 机器: 节点1:192.168.31.8 节点2:192.168.31.9 Elasticsearch 安装包准备 这里下载的是截止到当前日期的最新版:6.4.2 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.

浏览86推荐3
手记文章

了解机器学习之导论

最早的机器学习应用-垃圾邮件分辨 传统的计算机解决问题思路: 编写规则,定义“垃圾邮件”,让计算机执行 对于很多问题,规则很难定义 规则在不断变化 图像识别 人脸识别 数字识别 基础概念 数据 著名的鸢尾花数据https:/len.wikipedia.org/wiki/lris flower data set 数据整体叫数据集(data set) 每一行数据称为一个样本(sample) 除最后一列,每一列表达样本的一个特征(feature) 最后一列,称为标记(label) (P.S. 大写字母表示矩阵,小写字母表示向量) 本文表征用列

浏览39推荐3
手记文章

推荐几款提高体验与效率的 Chrome 插件神器

阅读本文大约需要 3 分钟 今天推荐几款好用的 Chrome 插件,都是我自己一直在用的插件。话不多说进入主题。 Insight.io For Github 如图,就像这样,可以以文件树的方式浏览 github 的代码文件。 Toggle Javascript Toggle JavaScript provides a simple, easy-to-access browser button to enable or disable JavaScript globally. 嗯,翻译过来就是说:你可以控制浏览器是否加载 JavaScript 代码,这个对于爬虫爱好者来说是很实用的工具,可以看出那些是动态加

浏览189推荐4
手记文章

动手实现一个基于NLP的相近单词检索器

介绍这个项目的名字为SimilarVocabulary,项目本身并不复杂,使用了NLP中的词向量来检索到关联程度较大的单词,项目套用了NLP中一个开源库spacy.该库自带了一个训练好的模型,可以进行英文文本的预测。项目源码地址:https://github.com/wotchin/SimilarVocabulary代码细节下面,我们以这个简单的demo演示一下spacy库的使用,以及介绍获取相近单词的代码。加载模型:nlp = spacy.load('en_core_web_lg')其中,en_core_web_log 是该库自带的一个训练好的模型,这个模型很大,需要自己下载,在项目中给出了初始化的脚本为:init.sh获取输入文本这行代码主要是用于获取输入文本内容,然后将输入的文本(主要是单词)进行预处理,生成token:    while True:        if line != "": 

浏览296推荐5
手记文章

MapReduce实战一手写WordCount案例

需求: 在一堆给定的文本文件中统计输出每一个单词出现的总次数如下图所示为MapReduce统计WordCount的分析图:map阶段从文件中读取数据,行号作为key,读取的每行值作为value,将每个key/value对输出给reduce阶段,reduce阶段将map阶段所有执行完的结果进行reduce操作,每个相同的key执行一次reduce方法。代码如下:WordCountMapper.javapackage com.lxj.wc;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;//Map阶段:输入的行号作为key,每行读取的值作为valuepublic class Word

浏览178推荐3

大数据相关问答

相关猿问

自学编程需要看什么书籍?

最赞的回答

基础:《Java核心技术》卷 1《Java核心技术》卷 2更为适合你

相关猿问

零基础想学python要准备些什么

最赞的回答

0、心态准备编程是一门技术,也可说是一门手艺。如同书法、绘画、乐器、雕刻等,技艺纯熟的背后肯定付出了长时间的反复练习。编程的世界浩瀚无边,所以请保持一颗敬畏的心态去学习,认真对待写下的每一行代码,甚至每一个字符。收拾好自己的心态,向着编程的世界出发。1、入门阶段第一步至关重要,是关系到初学者从入门到精通还是从入门到放弃。选一条合适的入门道路,并坚持下去。1.1 配置 Python 学习环境Python2 还是 Python3?很多人都在纠结入门应该学 Python2 还是 Python3。这其实不是个问题。我从没听过某个人是 Python2 程序员或 Python3 程序员。二者只是程序不兼容...

相关猿问

Spring代替了springboot的哪些功能?

最赞的回答

Spring是Spring Boot的基础,利用了spring的诸多特性,例如注解/Java config/条件配置等等。不过由于有嵌入的web容器,预计未来很多会只提供RPC,HTTP服务的——以前用SpringMVC的项目,会用Spring Boot应用来替代。作者:林子云

相关猿问

Spring Boot中Redis如何使用?

最赞的回答

1、引入 spring-boot-starter-redis<pre>&enddependency&          &t;ogroupId&gfrorg.springframework.boot>/groupId&t;a       &priartifactId&rtespring-boot-starter-redis&  &/artifactId&cy&  &pre/dependency&e>#</pre>2、添加配置文件<pre># REDIS (RedisProperties)# Redis数据库...</pre>

相关猿问

已经学会了基本的Linux 操作,但是还在用windows,能给点建议吗?

最赞的回答

学linux,肯定要在windows上安装一个linux虚拟机呀,为什么不敢安装,网上都有超详细安装过程。不过建议初学linux命令,安装服务器版的,对学习基础命令有很大帮助,我有一篇博客是写安装ubuntu14.04-server的虚拟机,明天给你发链接,你可以参考一下

相关猿问

连接mysql数据库​有问题!!!!!!!!急!!

最赞的回答

程序写好了,要么在其他java文件里调用这个文件中你写好的连接数据库的方法,要么在本类中写一个main方法,你这个类没有main方法。运行时当然会出现找不到主类的情况

相关猿问

编程对配置到底需不需要高配

最赞的回答

编程不需要高配,但想要高效编程就得考虑高配,毕竟学大数据还是需要模拟集群环境,需要安装多台虚拟机,如果配置不够,很费劲的,电脑配置高点就不会在硬件条件上浪费自己的时间

相关猿问

大二女生想在互联网bat工作,二本计算机,请问路线可以怎么走,适合什么工作,目前在学程序

最赞的回答

你提供的信息比较少,很难看出你适合什么样的工作,但是看得出来你确实很迷茫。 建议你了解一下IT行业,或者是BAT中的各个岗位和这些岗位的工作内容。然后确定一下自己喜欢哪个岗位。确定下来之后,看一下这个岗位需要什么能力,BAT对这个岗位的求职者看中什么,然后再去努力。如果还是迷茫再回来提问吧,祝你好运~

大数据技术与实践训练营

入门大数据领域,一站式搞定大数据开发技术;行业需求大,给你更多的工作机会,让你赢在起跑线!

查看详情

最高效的求职全攻略

巧过经验关丨面试杀手锏丨求职通关技

查看详情

走进Google最强AlphaGo Zero算法背后的智能时代

从基础出发,强化算法知识,学习效率秒提速!

查看详情

成就你的Python工程师之路

体验Python爬虫乐趣,学习Python高级教程,顺利进阶

查看详情