为了账号安全,请及时绑定邮箱和手机立即绑定

大数据

CentOS 6 ElasticSearch 5.5.x 安装指南

背景介绍 最新稳定版的ES 5.5.x版本对系统环境要求比较苛刻,如果不满足的话,是无法正常启动的。大家可以在ElasticSearch入门学习到如何安装ES实例,这里呢,主要向大家介绍如何解决ES在CentOS 6下无法正常启动的问题。 机器环境 CentOS 6.3 x64 Oracle JDK 1.8 系统参数要求 fd 最低需要65536 vm 最低262144 max locked me...

1790浏览 9推荐 0评论

分布式协调服务☞zookeeper集群搭建

摘要: zookeeper是一个分布式协调服务,这边kafka因为是需要依赖于zookeeper提供服务 所以这里简单的搭建一下zookeeper集群部署. windows下部署zookeeper相对简单,这里不再赘述 下面以linux服务器搭建为例: 因为zk超过半数节点挂掉则不提供服务,所以建议集群节点个数为奇数个 我这里使用的是三个节点,zk版本:3.4.9 详解请看我的开源中国博客: 博客...

21浏览 1推荐 0评论

深度学习问题记录:具有隐藏层的平面数据分类

准确度公式 # Plot the decision boundary for logistic regression plot_decision_boundary(lambda x: clf.predict(x), X, Y) plt.title("Logistic Regression") # Print accuracy LR_predictions = clf.predi...

82浏览 3推荐 1评论

吴恩达深度学习课程记录

it is possible to use both L2 regularization and dropout np.sum 没有指明维度,那么np.sum计算的是整个矩阵的和 L2_regularization_cost ### START CODE HERE ### (approx. 1 line) L2_regularization_cost = np.sum((np.sum(np.squ...

220浏览 1推荐 0评论

腾讯T4之路:Java对象序列化

在微服务架构中,网络带宽成为决定并发的主要因素之一。对象的传递在不同服务直接很常见,对象的传递要经过序列化和反序列化。 序列化:将对象转换成二进制流的过程,称为序列化 反序列化:将二进制流转换成对象的过程,称为反序列化 那么,选择一种高效的序列化和反序列化方法,就可以提升整个架构的性能。 使用java原生方式实现序列化和反序列化: public void javaObjByte(Person pe...

561浏览 15推荐 1评论

Spark官方文档翻译:Spark Programming Guide

Overview At a high level, every Spark application consists of a driver program that runs the user’s main function and executes various parallel operations on a cluster. The main abstraction Spark prov...

86浏览 3推荐 0评论

Redis入门教程(二)— 基本数据类型

阅读以下内容时,手边打开一个redis-cli一起输入,输入命令敲击回车键前在心中想好你的答案,如果结果不合你的预期,请分析原因,使极大地提高学习效率。如果没有条件,每个数据类型后有代码运行结果,供你参考。 Reids作为一个key-value型存储系统,下面我们就分别从key和value说起: key key支持非二进制安全的字符类型(not binary-safe strings)。它不支持空...

69浏览 2推荐 0评论

开源数据库大会技术分享 原创

最近两天在参加开源数据库论坛大会,学习学习业界前沿的数据库解决方案和体系架构。当然分享是必不可少的。尤其咱们群里小伙伴们,第一时间必须分享到位,前几天分享的那篇 找工作的季节之简历及找工作的分享 看到评论很感动,大家加油! 分享还是要继续......非常希望手记可以加表情,嘿哈~~ 大会官网 https://www.bagevent.com/event/603566 大会照片 会议日程 很充实~...

1275浏览 18推荐 2评论

Spark入门(七):Spark运行时架构

在一个 Spark 集群中,有一个节点负责中央协调,调度各个分布式工作节点。这个中央协调节点被称为驱动器(Driver)节点,与之对应的工作节点被称为执行器(executor)节点。驱动器节点可以和大量的执行器节 点进行通信,它们也都作为独立的 Java 进程运行。驱动器节点和所有的执行器节点一起被称为一个 Spark 应用(application)。 一、Spark驱动程序 Spark 驱动器是...

136浏览 1推荐 0评论

Spark入门(六):共享变量(累加器和广播变量) 原创

1.共享变量 1.1累加器 对信息进行聚合,常见用途是在调试时对作业执行过程中的时间进行计数 使用过程 通过在驱动器中调用 SparkContext.accumulator(initialValue) 方法,创建出存有初 始值的累加器。返回值为 org.apache.spark.Accumulator[T] 对象,其中 T 是初始值 initialValue 的类型。 park闭包里的执行器代码可...

149浏览 1推荐 0评论

Spark入门(五):键值对RDD 原创

1.创建PairRDD 普通RDD转Pair RDD val rdd = sc.parallelize(Array("java","scala")) rdd.foreach(println) //java //scala val pairRdd = rdd.map(w => (w,"编程语言")) pairRdd.foreach(p...

135浏览 1推荐 0评论

Spark入门(二):打包程序、提交任务到集群 原创

1.环境工具 1.1环境 系统 centos jdk 1.8.0_144 scala 2.11.8 hadoop 2.7.3 spark 2.1.0 1.2打包工具 IDEA + sbt 2.打包 2.1安装插件 需要预先安装scala插件,点击File ->Setting ->Plugins ->输入框输入scala->install 安装完成需要重启IDE 2.2创建项...

156浏览 1推荐 0评论

Hadoop两个主要模块以及MapReduce程序的具体实现

Hadoop系统简介 Hadoop 是一个开源分布式计算平台。以hadoop 分布式文件系统(HDFS)和MapReduce分布式编程模型为核心的Hadoop 为用户提供了分布式基础架构。HDFS的高容错性,高吞吐量等优点允许用户将 Hadoop部署在低廉的硬件上,形成分布式系统。MapReduce分布式编程模型允许用户在不了解分布式系统底层细节的情况下开发并行应用程序。所以用户可以利用Hadoo...

213浏览 1推荐 0评论

@在 CentOS Linux 中安装 Hadoop-1.2.1 ( 原创

本文介绍如何在 CentOS7 中以伪分布式模式 ( Pseudo-Distributed Mode ) 运行 Hadoop-1.2.1。 前期准备 安装 Linux 系统 安装 JDK1.8 并设置环境变量 Hadoop 的安装及配置 step1:下载安装 Hadoop step2:修改环境变量 /etc/profile step3:配置hadoop hadoop-env.sh conf/*-s...

261浏览 2推荐 0评论

大数据框架Hadoop主要模块介绍 原创

本文涉及到的所有模块,都是属于Apache组织,不包括其他第三方的模块。 核心模块: Hadoop Common: 包括Hadoop常用的工具类,由原来的Hadoop core部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环境提供基本的服务,并为运行在该平台上的软件开发提供了...

6620浏览 26推荐 10评论
首页上一页1234567下一页尾页

推荐作者

热门手记

意见反馈 常见问题 APP下载
官方微信