-
执行过程查看全部
-
HDFS的特点 1.数据冗余，硬件容错 2.流式的数据访问，一旦写入，无法修改 3.存储大文件 适用性和局限性 -适合数据批量读写，吞吐量高； -不适合交互式应用，低延迟很难满足 -适合一次写入多次读取，顺序读写 -不支持多用户并发写相同文件查看全部
-
写入文件查看全部
-
文件读取查看全部
-
*datanode定期向namenode发送心跳消息 *二级namenode定期同步元数据映像文件和修改日志namenode发生故障时查看全部
-
MapReduce流程查看全部
-
数据管理策略 副本管理 每个数据块3个副本,分布在两个机架内的三个节点 心跳检测 DateNode定期向NameNode发送心跳消息 二级NameNode 对元数据定期备份 同步文件和修改日志查看全部
-
设计架构 块(block) 将文件切分成块,默认大小64M 是文件处理的逻辑单元 NameNode 管理节点 存放元数据 文件与数据块的映射表 数据块与数据节点的映射表查看全部
-
卸载原生JDK(OPEN-JDK) | 安装oracleJDK 查看安装信息 rpm -qa | grep java rpm -qa | grep jdk 根据得到的信息进行卸载 rpm -e --nodeps XXXXXX 安装JDK 通过XFTP将下载好的JDK上传到/usr/java文件夹中 修改权限 chmod 777 jdk-7u79-linux-i586.rpm rpm -ivh jdk-7u79-linux-i586.rpm 配置环境变量 vi /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_79 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin :wq 保存退出 重启机器使配置生效 reboot查看全部
-
心跳namenode 备份+状态报告查看全部
-
在LINUX上安装JDK以及配置环境变量，下载hadoop 并修改配置文件查看全部
-
把jar 文件提交给Hadoop 运行 hadoop jar WordCount.jar WordCount函数 input目录 output目录查看全部
-
HDFS使用：它提供了 shell 接口，可以进行命令行操作 hadoop namenode -format #格式化namenode hadoop fs -ls / #打印 / 目录文件列表 hadoop fs -mkdir input #创建目录 input hadoop fs -put hadoop-env.sh input/ #上传文件 hadoop-env.sh 到 input 目录下 hadoop fs -get input/abc.sh hadoop-envcomp.sh #从 input 目录中下载文件 hadoop fs -cat input/hadoop-env.sh #查看文件 input/hadoop-env.sh hadoop dfsadmin -report #dfs报告查看全部
-
hive 降低使用门槛 hbase 实现对表的访问 zookeeper 管理 监控查看全部
-
Hadoop = HDFS（分布式存储） + MapReduce（分布式计算） 优势： 1.高拓展；2.低成本；3.成熟的生态圈查看全部
举报
0/150
提交
取消