大数据入门教程

带你掌握大数据核心技能,从此轻松入门大数据

大数据入门实战课程

导学视频
Michael_PK

全栈工程师

八年互联网公司一线研发经验,担任大数据架构师。 主要从事基于Spark/Flink为核心打造的大数据公有云、私有云数据平台产品的研发。 改造过Hadoop、Spark等框架的源码为云平台提供更高的执行性能。 集群规模过万,有丰富的大数据项目实战经验以及授课经验(授课数千小时,深受学员好评)。

了解讲师
新手入门大数据 Hadoop基础与电商行为日志分析

只要有Java基础,就可入门大数据,掌握Hadoop开发的核心技能
涵盖HDFS 、YARN 、MapReduce的搭建及框架的应用
第一时间收获企业大数据的真技术,了解Hadoop 3.x 的新特性

... 已有2005同学加入学习
加购物车 立即学习

大数据相关文章

手记文章

TiKV + Flink = 最佳人气流批一体库|TiDB Hackathon 2020 优秀项目分享

近日,由 TiDB 社区主办,专属于全球开发者与技术爱好者的顶级挑战赛事——TiDB Hackathon 2020 比赛圆满落幕。今年是 TiDB Hackathon 第四次举办,参赛队伍规模创历届之最,共有 45 支来自全球各地的队伍报名,首次实现全球联动。经过 2 天时间的极限挑战, 大赛涌现出不少令人激动的项目。为了让更多小伙伴了解这些参赛团队背后的故事, 我们开启了 TiDB Hackathon 2020 优秀项目分享系列,本篇文章将介绍 TiFlink 团队赛前幕后的精彩故事。 Flink 是一个低延迟、高吞吐

浏览575推荐0
手记文章

「我的工作是制造混沌」,我与 Chaos Mesh® 的故事

作者:殷成文,Maintainer of Chaos Mesh 这段时间北京真是冷得可怕,朋友圈晒出各种零下 20 度的照片,在这样一个寒冷的时候,总是想给自己找点温暖的事情去做。这几天闲时就回顾起自己从实习到现在这段时间的经历,前不久是 Chaos Mesh 开源一周年(2020.12.31),于是就将自己与 Chaos Mesh 一起成长的点滴整理出来和大家分享。 一方面为了庆祝,另一方面也希望能够在这个寒冷的冬天给大家带来点温暖。 与 PingCAP 结缘 开始 Chaos Mesh 故事之前,先说点自己和 PingCAP

浏览510推荐0
手记文章

DTCC 年度最佳创新产品丨真正的 HTAP 数据库是怎样炼成的?

12 月 21 日,在第十一届中国数据库技术大会(DTCC)2020 数据风云奖评选活动中,PingCAP-TiDB 荣获 2020 年度最佳创新产品奖。同时,PingCAP 数据库内核研发工程师韦万受邀在数据库内核专场进行了《使用 TiDB 列存引擎进行实时数据分析》的主题演讲。 由 PingCAP 创立的分布式关系型数据库 TiDB,为企业关键业务打造,具备「分布式强一致性事务、在线弹性水平扩展、故障自恢复的高可用、跨数据中心多活」等企业级核心特性,帮助企业最大化发挥数据价值,充分释放企业增长空间。

浏览436推荐0
手记文章

TiDB 在金融行业关键业务场景的实践(下篇)

TiDB 作为一款高效稳定的开源分布式数据库,在国内外的银行、证券、保险、在线支付和金融科技行业得到了普遍应用,并在约 20 多种不同的金融业务场景中支撑着用户的关键计算。在TiDB 在金融行业关键业务场景的实践(上篇)中,我们介绍了 TiDB 在银行核心交易场景的应用,本篇文章将主要分享 TiDB 在核心外围的关键业务场景的实践。 TiDB 在支付业务中的实践 我们在核心外围的关键业务场景也有很多的案例,例如现在比较典型的在线支付业务。TiDB 主要涉足的支付领域包括商业银行的网

浏览740推荐1
手记文章

TiDB 5.0 RC Release Notes

TiDB 5.0.0-rc 版本是 5.0 版本的前序版本。在 5.0 版本中,我们专注于帮助企业基于 TiDB 数据库快速构建应用程序,使企业在构建过程中无需担心数据库的性能、性能抖动、安全、高可用、容灾、SQL 语句的性能问题排查等问题。 在 TiDB 5.0 版本中,你可以获得以下关键特性: 开启聚簇索引功能,提升数据库的性能。例如:TPC-C tpmC 测试下的性能提升了 39%。 开启异步提交事务功能,降低写入数据的延迟。例如:Sysbench oltp-insert 测试中延迟降低了 37.3%。 通过提升优化

浏览850推荐0
手记文章

云原生数据库设计新思路

本文作者为 PingCAP 联合创始人兼 CTO 黄东旭,将分享分布式数据库的发展趋势以及云原生数据库设计的新思路。 在讲新的思路之前,先为过去没有关注过数据库技术的朋友们做一个简单的历史回顾,接下来会谈谈未来的数据库领域,在云原生数据库设计方面的新趋势和前沿思考。首先来看看一些主流数据库的设计模式。 常见的分布式数据库流派 分布式数据库的发展历程,我按照年代进行了分类,到目前为止分成了四代。第一代是基于简单的分库分表或者中间件来做 Data Sharding 和 水平扩展。第

浏览577推荐0
手记文章

使用 go-randgen 测试 join 查询

在数据库的查询中,join 是最常用的查询之一,由于 join 算法实现的复杂性,出现问题的概率较大,我们对 TiDB 中出现过的 join 问题进行分析,将易发生问题的场景归为如下几类 : 相同的 join 查询,join key 为不同的数据类型 在分区表上进行 join 相同的 join 查询,不同的 join 实现算法 特殊的查询条件 我们从这些场景入手,在过去的几个月,使用 go-randgen 框架对 TiDB 进行测试。下文将对go-randgen 测试框架,及我们测试工作中的相关内容进行详述,分为以下

浏览532推荐0
手记文章

Linux 内核 VS 内存碎片 (上)

(外部)内存碎片是一个历史悠久的 Linux 内核编程问题,随着系统的运行,页面被分配给各种任务,随着时间的推移内存会逐步碎片化,最终正常运行时间较长的繁忙系统可能只有很少的物理页面是连续的。由于 Linux 内核支持虚拟内存管理,物理内存碎片通常不是问题,因为在页表的帮助下,物理上分散的内存在虚拟地址空间仍然是连续的 (除非使用大页),但对于需要从内核线性映射区分配连续物理内存的需求来说就会变的非常困难,比如通过块分配器分配结构体对象 (在内核态很常见且频繁的操作

浏览784推荐1

大数据相关问答

相关猿问

自学编程需要看什么书籍?

最赞的回答

基础:《Java核心技术》卷 1《Java核心技术》卷 2更为适合你

相关猿问

已经学会了基本的Linux 操作,但是还在用windows,能给点建议吗?

最赞的回答

学linux,肯定要在windows上安装一个linux虚拟机呀,为什么不敢安装,网上都有超详细安装过程。不过建议初学linux命令,安装服务器版的,对学习基础命令有很大帮助,我有一篇博客是写安装ubuntu14.04-server的虚拟机,明天给你发链接,你可以参考一下

相关猿问

连接mysql数据库​有问题!!!!!!!!急!!

最赞的回答

程序写好了,要么在其他java文件里调用这个文件中你写好的连接数据库的方法,要么在本类中写一个main方法,你这个类没有main方法。运行时当然会出现找不到主类的情况

相关猿问

编程对配置到底需不需要高配

最赞的回答

编程不需要高配,但想要高效编程就得考虑高配,毕竟学大数据还是需要模拟集群环境,需要安装多台虚拟机,如果配置不够,很费劲的,电脑配置高点就不会在硬件条件上浪费自己的时间

相关猿问

非计算机专业应届生该如何拿大数据开发offer?

最赞的回答

首先网络基础要熟悉,然后linux指令也一定熟悉,因为这是最基本的要求,一般研究大数据开发的基本都可以成为一个合格的运维的,要会写脚本。然后是看你要应聘的公司主要用些什么框架和技术还有工具,一般都是应聘难,进入就好了,因为你只负责某一块,不是全部,以上一些都基本是技术,还有最主要的是一定要细心,因为大数据开发是处理数据的,有可能因为你一个小小的错误就会把数据弄错了,那是很严重的错误

相关猿问

零基础想学python要准备些什么

最赞的回答

准备决心和坚持,没有学不会的哦

相关猿问

Spring代替了springboot的哪些功能?

最赞的回答

Spring是Spring Boot的基础,利用了spring的诸多特性,例如注解/Java config/条件配置等等。不过由于有嵌入的web容器,预计未来很多会只提供RPC,HTTP服务的——以前用SpringMVC的项目,会用Spring Boot应用来替代。作者:林子云

相关猿问

Spring Boot中Redis如何使用?

最赞的回答

1、引入 spring-boot-starter-redis<pre>&enddependency&          &t;ogroupId&gfrorg.springframework.boot>/groupId&t;a       &priartifactId&rtespring-boot-starter-redis&  &/artifactId&cy&  &pre/dependency&e>#</pre>2、添加配置文件<pre># REDIS (RedisProperties)# Redis数据库...</pre>

大数据技术与实践训练营

一站式学习,入门大数据领域,搞定大数据开发技术;把握行业红利,赢得更多的工作机会!

查看详情

高效求职全攻略

巧过经验关丨面试杀手锏丨求职通关技

查看详情

掌握核心算法 挑战寒冬高薪

从基础出发,强化算法知识,飞速提升学习效率!

查看详情