-
去洗澡了理解万岁查看全部
-
storm作业提交运行流程 1.用户编写storm Topolgy(wordCountTopology) 一个用户作业 2.使用client提交Topolgy给nimbus 3.nimbus提派Task给supervisor 4.supervisor为task启动worker 5.worker执行task -------------------------- storm采用主从结构，主Nimbus和多个从Supervisor,Nimbus只负责管理性的工作单点问题必须保证主节点是无状态的，重启就能恢复,相关元数据配置信息都是存储在zookeeper上。Supervisor主要听Nimbus的话管理启动和监控worker, worker是真正干活的进程负责数据传输和计算. ------------------------------- Storm 主从结构 Nimbus 主节点，只负责整体分配工作，不具体干活 Supervisor 从节点，维护每台机器，直接管理干活的Worker Worker 真正干活的（task）进程，数据计算和传输 DRPC Storm UI 监控WEB 运行流程 用户编写作业 使用客户端提交给Nimbus Nimbus指派Task给Supervisor Supervisor 为task启动Worker Worker 执行Task查看全部
-
Google发明的几篇论文解决了各个公司升级服务器的弊端， 分布式框架三篇论文; google file system bigTable MapReduce 流式计算和批量计算： 目前有些人希望通过同一API解决批量计算和流式计算： Summer bird Clouddataflow （ps:此API开源）查看全部
-
Nimbus挂掉,换台机器重启就可 supervisor挂掉,将上面的worker迁移走就可以 worker挂掉,利用ack机制保证数据未处理成功,会通知spout重新发送.需要对记录通过msgId进行去重.也就是spout发送tuple时指定msgId, spout也挂掉: 可以将数据记录到外部存储,设置checkpoint。查看全部
-
storm作业提交运行流程 1.用户编写storm Topolgy(wordCountTopology) 一个用户作业 2.使用client提交Topolgy给nimbus 3.nimbus提派Task给supervisor 4.supervisor为task启动worker 5.worker执行task查看全部
-
topology的组成查看全部
-
Storm作业提交运行流程查看全部
-
主从结构和对称结构查看全部
-
批量计算和流式计算的区别查看全部
-
storm作业提交运行流程查看全部
-
storm主从结构查看全部
-
批量计算和流式计算区别查看全部
-
分布式-hadoop-能解决；不能解决查看全部
-
页面可以直接kill，也可以用命令kill掉查看全部
-
提交完成，并且运行了，状态是active查看全部
举报
0/150
提交
取消