千家信息网

jstorm干货

发表于:2025-12-02 作者:千家信息网编辑
千家信息网最后更新 2025年12月02日,工作需要接触到jstorm JStorm集群包含两类节点:主控节点(Nimbus)和工作节点(Suprvisor)主控节点(Nimbus)上运行Nimbus Daemon。Nimbus负责接收Clie
千家信息网最后更新 2025年12月02日jstorm干货

工作需要接触到jstorm JStorm集群包含两类节点:主控节点(Nimbus)和工作节点(Suprvisor)

  1. 主控节点(Nimbus)上运行Nimbus Daemon。Nimbus负责接收Client提交的Topology,分发代码,分配任务给工作节点,监控集群中运行任务的状态等工作。Nimbus作用类似于Hadoop中JobTracker。
  2. 工作节点(Supervior)上运行Supervisor D。Supervior通过subscribe Zookeeper相关数据监听Nimbus分配过来任务,据此启动或停止Worker工作进程。每个Worker工作进程执行一个Topology任务的子集;单个Topology的任务由分布在多个工作节点上的Worker工作进程协同处理。
    https://blog.csdn.net/wwwxxdddx/article/details/49978311
    Nimbus和Supervisor节点之间的协调工作通过Zookeeper实现。此外,Nimbus和Supervisor本身均为无状态进程,支持Fail Fast;JStorm集群节点的状态信息或存储在Zookeeper,或持久化到本地,这意味着即使Nimbus/Supervisor宕机,重启后即可继续工作。这个设计使得JStorm集群具有非常好的稳定性

先了解他是干什么的
分布式实时计算引擎,就是你给他数据,按照你编写的规则,他处理完
标准解释:用户按照规定的变成规范实现一个任务,将任务放到jstorm上,jstorm就将任务7*24小时调度起来
优点:开发非常迅速,容易上手,就像有水龙头 -》污水池处理 --》下游
扩展性极好,一个worker坏了调度器nimbus会马上分配另外一个
准确性比较高,采用了acker机制,保证数据不丢失,
使用场景:日志分析,管道系统,消息转化,统计分析
这几个术语要知道
角色 作用
Nimbus 调度器 分配任务的
Supervisor Worker的代理角色,负责Kill掉Worker和运行Worker 污水池处理的
Worker Task的容器 工人
Task 任务的执行者 工人
ZooKeeper 系统的协调者 系统协调者
stream 流 流是一个无间断的连续的tuple元值,
spout 原始元祖的源头,就像是水龙头,这个可能是消息中间件如MQ,Kafka,TBNofity 不间断发出消息
有了源头,有了tuple,拿着这些数据的处理过程就是Bolt
Bolt 消费任意数量的输入流,污水池 ,

你的spout打开了,想得到那种类型的水就打开那种类型的Bolt,处理完就会再进行下一步处理或者流向别的容器
Tuple value list 值列表
Topology 有向无环图即拓扑,一个拓扑就是一个数据流转图,途中标注每一个节点是一个spout还是bolt,把元祖数据发送到那个bolt,
worker和task
worker表示一个进程,tash表示一个线程,一个进程对应多个线程,
Supervisor是JStorm中的工作节点,类似于MR的TT,subscribe zookeeper的任务调度结果数据,根据任务调度情况启动/停止工作进程Worker。同时Supervisor需要定期向zookeeper写入活跃端口信息以便Nimbus监控。Supervisor不执行具体处理工作,所有的计算任务都交Worker完成。从整个架构上看,Supervisor处在整个JStorm三级管理架构的中间环节,辅助管理任务调度和资源管理工作。
Supervisor单节点架构如上图所示,初始化时启动进程Supervisor,根据Nimbus分配的任务情况触发启动/停用Worker JVM进程,其中每个Worker进程启动一个或多个Task线程,其中Task须同属单个Topology。从整个Supervisor节点来看运行多个JVM进程,包括一个Supervisor进程和一个或多个Worker进程。
不同角色状态通过不同的方式维护。其中Task通过hb直接将包括时间信息和当前Task的统计信息写到zookeeper;Worker定期将包括Topology id,端口,Task id集合及当前时间写入本地;Supervisor定期将包括时间及节点资源(端口集合)写到zookeeper,同时从zookeeper读取任务调度结果,根据结果启动/停用Worker进程。

记住这个图片基本上没什么打的困难了入门了就,

了解这个也得知道一个流的概念,就是水龙头 -》污水池处理 --》下游

这个链接比较形象https://www.cnblogs.com/smartloli/p/4810362.html

任务 工作 节点 进程 处理 数据 调度 多个 分配 运行 信息 就是 污水 状态 集群 时间 架构 水龙 水龙头 消息 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 数据库安全方案设计 电梯刷卡系统数据库建立 ibmlotus服务器 有raid卡的服务器系统备份 软件网络服务器刑侦好查吗 成都绿线网络技术有限公司 70级怀旧服部落服务器 软件开发研究生考什么条件 网络安全法对电力企业的影响 怀旧服永久60级服务器现状 软件开发的项目总结 怎么查询摩尔庄园所在服务器 我的服务器 三调符号数据库 人工智能的网络安全问题有哪些 山东临沂计算机网络技术培训班 数据库品牌痛点 access数据库如何处理 曙光服务器的管理口ip 数据库的查询功能专业性如何 mdb数据库是做什么的 中小学生家庭与网络安全陕西频道 oa协同管理软件开发商 商洛市网络安全宣传周 怎么查看数据库列的字段类型 lol手游内测服务器没开启 苏州正规软件开发哪家便宜 服务器怎么设管理 保证数据库安全性的一般方法 三年级网络安全教育活动方案
0