大数据入门教程

带你掌握大数据核心技能,从此轻松入门大数据

大数据入门实战课程

导学视频
Michael__PK

全栈工程师

四年互联网大数据研发经验,五年Java EE研发经验。近年来主要从事Hadoop生态圈和Spark生态圈技术的研发和落地。参与过Spark论文的中文翻译工作,且带队完成北京、上海等省份的移动大数据平台建设。

了解讲师

大数据相关文章

手记文章

Python进阶量化交易场外篇2——线性回归拟合股价沉浮

新年伊始,很荣幸笔者的《教你用 Python 进阶量化交易》专栏在慕课专栏板块上线了,欢迎大家订阅!为了能够提供给大家更轻松的学习过程,笔者在专栏内容之外会陆续推出一些手记来辅助同学们学习本专栏内容,因此同学们无需担心专栏内容在学习上的困难,更多的是明确自己学习的目的即可。当然笔者也欢迎同学们踊跃留言,说出自己想扩展的知识点,笔者会根据同学们的意愿选择性的推出一些内容。 在第一篇《管理概率==理性交易》中笔者结合一个简单的市场模型介绍了为什么在没有概率优势的前提下

浏览282推荐2
手记文章

Spark 的“血液” --Spark RPC(一)简述

一. Spark rpc概述 首先说明RPC,引用百度百科: RPC(Remote Procedure Call)—远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。 Spark RPC可以说 是 Spark 分布式集群的基础,若是将 Spark 类比为一个人的话,Spark RPC 就是这个人的血液部分。 有一位大神将 Spark RPC 中的 RPC 部分剥离出来,弄成一个新的可运行的 RPC 项目,地址在这Spark

浏览170推荐1
手记文章

爬取数据不保存,就是耍流氓(3)

目录 前言 Items Pipelines 瞎比比 前言 OK,通过签名两篇文章《[爬虫利器初体验(1)]》《[听说你的爬虫又被封了?(2)]》,我们初体验也过了,爬虫代码健壮性也升级为 PLUS 了。都分析到这个地步了,是不是感觉还少了点什么?对,我们还没保存数据呀?不保存,这不是瞎忙活吗? Items item 是我们保存数据的容器,其类似于 python 中的字典。使用 item 的好处在于: Item 提供了额外保护机制来避免拼写错误导致的未定义字段错误。且看栗子: import scrapy class Douban

浏览362推荐0
手记文章

利用 Kubeadm部署 Kubernetes 1.13.1 集群实践录

概 述 Kubernetes集群的搭建方法其实有多种,比如我在之前的文章《利用K8S技术栈打造个人私有云(连载之:K8S集群搭建)》中使用的就是二进制的安装方法。虽然这种方法有利于我们理解 k8s集群,但却过于繁琐。而 kubeadm是 Kubernetes官方提供的用于快速部署Kubernetes集群的工具,其历经发展如今已经比较成熟了,利用其来部署 Kubernetes集群可以说是非常好上手,操作起来也简便了许多,因此本文详细叙述之。 节点规划 本文准备部署一个 一主两从 的 三节点 Kubernetes集群,整体节

浏览546推荐0
手记文章

Spark RPC 框架源码分析(二)运行时序

前情提要: Spark RPC 框架源码分析(一)简述 一. Spark RPC 概述概述 上一篇我们已经说明了 Spark RPC 框架的一个简单例子,以及一些基本概念的说明。这一篇我们主要讲述其运行时序,从而揭露 Spark RPC 框架的运行原理。我们将分为两部分,分别从服务端和客户端来看。 所用 spark 版本:spark 2.1.0 二. Spark RPC 服务端 我们以上一篇 HelloworldServer 为线索,深入到 Spark RPC 框架来看看启动一个服务时都做了些什么。 HelloworldServer{ ...... def mai

浏览99推荐0
手记文章

ActiveReports 大数据分析报告:2018中国电影再次迎来黄金时代

 回顾2018,中国电影市场收获颇丰。先是凭借春节档《红海行动》、《唐人街探案》双双实现30亿票房突破,而后暑期档火力全开,《我不是药神》、《西虹市首富》均实现口碑票房双丰收,现实题材、情景喜剧、军事题材均取得了成功。2018年度电影票房突破400亿共用时217天,比2017年整整提前了29天,仅2018年春节档(2月16日--2月21日)就创下了近57亿的票房,较2017年的33.4亿增长了70%,成为了内地史上最强贺岁档!葡萄城ActiveReports 报表控件将为您奉上详细的2018年中国电影大数据分析报告,看看去年一年你为中国电影产业贡献了多少票房?近五年国内总票房趋势变化随着国民经济的快速增长,人民对物质和精神的追求也相对提高,看电影已经成为大家日常生活的娱乐方式之一。自2014年起,中国电影票房连续5年呈增长趋势,且在2018年出现了高速增长。  本图表由葡萄城 ActiveReports .NET报表控件制作2018年春节期间中国电影票房走势从大年初一的12.6

浏览97推荐0
手记文章

「WTF系列」深入Java中的位操作

「WTF系列」深入Java中的位操作 引 > 学完本章节你将学会位的基础概念与语法,并且还会一些骚操作!! > > - 与、或、非、位移 > - 原码、反码、补码 > - 字节、位、超区间...... 开始本章节之前,我们先思考一个问题: byte a = 33; byte b = -3; 若我们输出a、b的二进制字符串是多少? 答案是这样的么? a->// 00100001 b->// 10100001 当然同学们可能会觉得我既然问了就肯定不是这样;是吧~别着急你们试试就知道了。 在Java中输出一个值对应的二进制方法有很

浏览679推荐22
手记文章

Hbase Scan的重要参数

Scan是操作Hbase中非常常用的一个操作,虽然前面的Hbase API操作简单的介绍了Scan的操作,但不够详细,由于Scan非常常用,关于其详细的整理也是很有必要的。 Scan HBase中的数据表通过划分成一个个的Region来实现数据的分片,每一个Region关联一个RowKey的范围区间,而每一个Region中的数据,按RowKey的字典顺序进行组织。 正是基于这种设计,使得HBase能够轻松应对这类查询:"指定一个RowKey的范围区间,获取该区间的所有记录", 这类查询在HBase被称之为Scan。 1 . 构建Scan,指定star

浏览162推荐0

大数据相关问答

相关猿问

自学编程需要看什么书籍?

最赞的回答

基础:《Java核心技术》卷 1《Java核心技术》卷 2更为适合你

相关猿问

零基础想学python要准备些什么

最赞的回答

0、心态准备编程是一门技术,也可说是一门手艺。如同书法、绘画、乐器、雕刻等,技艺纯熟的背后肯定付出了长时间的反复练习。编程的世界浩瀚无边,所以请保持一颗敬畏的心态去学习,认真对待写下的每一行代码,甚至每一个字符。收拾好自己的心态,向着编程的世界出发。1、入门阶段第一步至关重要,是关系到初学者从入门到精通还是从入门到放弃。选一条合适的入门道路,并坚持下去。1.1 配置 Python 学习环境Python2 还是 Python3?很多人都在纠结入门应该学 Python2 还是 Python3。这其实不是个问题。我从没听过某个人是 Python2 程序员或 Python3 程序员。二者只是程序不兼容...

相关猿问

Spring代替了springboot的哪些功能?

最赞的回答

Spring是Spring Boot的基础,利用了spring的诸多特性,例如注解/Java config/条件配置等等。不过由于有嵌入的web容器,预计未来很多会只提供RPC,HTTP服务的——以前用SpringMVC的项目,会用Spring Boot应用来替代。作者:林子云

相关猿问

Spring Boot中Redis如何使用?

最赞的回答

1、引入 spring-boot-starter-redis<pre>&enddependency&          &t;ogroupId&gfrorg.springframework.boot>/groupId&t;a       &priartifactId&rtespring-boot-starter-redis&  &/artifactId&cy&  &pre/dependency&e>#</pre>2、添加配置文件<pre># REDIS (RedisProperties)# Redis数据库...</pre>

相关猿问

已经学会了基本的Linux 操作,但是还在用windows,能给点建议吗?

最赞的回答

学linux,肯定要在windows上安装一个linux虚拟机呀,为什么不敢安装,网上都有超详细安装过程。不过建议初学linux命令,安装服务器版的,对学习基础命令有很大帮助,我有一篇博客是写安装ubuntu14.04-server的虚拟机,明天给你发链接,你可以参考一下

相关猿问

连接mysql数据库​有问题!!!!!!!!急!!

最赞的回答

程序写好了,要么在其他java文件里调用这个文件中你写好的连接数据库的方法,要么在本类中写一个main方法,你这个类没有main方法。运行时当然会出现找不到主类的情况

相关猿问

编程对配置到底需不需要高配

最赞的回答

编程不需要高配,但想要高效编程就得考虑高配,毕竟学大数据还是需要模拟集群环境,需要安装多台虚拟机,如果配置不够,很费劲的,电脑配置高点就不会在硬件条件上浪费自己的时间

相关猿问

大二女生想在互联网bat工作,二本计算机,请问路线可以怎么走,适合什么工作,目前在学程序

最赞的回答

你提供的信息比较少,很难看出你适合什么样的工作,但是看得出来你确实很迷茫。 建议你了解一下IT行业,或者是BAT中的各个岗位和这些岗位的工作内容。然后确定一下自己喜欢哪个岗位。确定下来之后,看一下这个岗位需要什么能力,BAT对这个岗位的求职者看中什么,然后再去努力。如果还是迷茫再回来提问吧,祝你好运~

大数据技术与实践训练营

入门大数据领域,一站式搞定大数据开发技术;行业需求大,给你更多的工作机会,让你赢在起跑线!

查看详情

高效求职全攻略

巧过经验关丨面试杀手锏丨求职通关技

查看详情

挑战AlphaGo Zero算法 走进人工智能新时代

从基础出发,强化算法知识,飞速提升学习效率!

查看详情

一气呵成!Python开发一站式学习

从入门到开发,学习 好玩 好用 好未来的Python语言。

查看详情