博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
本地模式与StormSubmitter的对比
阅读量:6224 次
发布时间:2019-06-21

本文共 2101 字,大约阅读时间需要 7 分钟。

hot3.png

本地模式与StormSubmitter的对比 博客分类: 分布式计算

本地模式与StormSubmitter的对比

现在,已经使用一个名为LocalCluster的工具在本地计算机上运行Topology。在计算机上运行Storm基础设施,可以很容易地运行与调试不同的Topology。但如果你想要提交你的Topology到运行中的Storm集群呢?Storm的一个有趣特性是,它很容易发送你的Topology去运行在一个真正的集群中。你需要做的是将LocalCluster改为StormSubmitter,实现submitTopology方法,submitTopology方法负责发送Topology到集群。

可以在下面的代码中看到变化:

 

  1. // LocalCluster cluster = new LocalCluster();  
  2. // cluster.submitTopology("Count-Word-Topology-With-Refresh-Cache", conf,  
  3.     builder.createTopology());  
  4. StormSubmitter.submitTopology("Count-Word-Topology-With-Refresh-Cache", conf,  
  5.     builder.createTopology());  
  6. // Thread.sleep(1000);  
  7. // cluster.shutdown(); 

当使用StormSubmitter时,不能在代码中控制集群,这和LocalCluster是不一样的。

接下来,需要打包源代码到一个jar文件中。当运行Storm客户端命令提交Topology时,会发送该jar文件。如果你使用Maven,唯一需要做的就是到源代码文件夹下运行以下命令:

 

  1. mvn package 

一旦生成了jar文件,就可以使用storm jar命令来提交Topology。语法如下:

 

  1. Storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3 

在这个例子中,在Topology源代码项目文件夹下运行如下命令:

 

  1. storm jar target/Topologies-0.0.1-SNAPSHOT.jar countword.TopologyMain src/main/resources/words.txt 

使用完这些命令,就会提交Topology到集群中。

为了停止或者杀死Storm,可以运行如下命令:

 

  1. storm kill Count-Word-Topology-With-Refresh-Cache 

Topology的名字必须具有唯一性。

本地模式(Local mode)

本地模式在进程中模拟了一个Storm集群,用于开发和测试Topology。在本地模式下运行Topology类似于在集群上运行Topology。

只需使用LocalCluster类就可以创建一个进程内的集群,例如:

 

  1. import backtype.storm.LocalCluster;  
  2.  
  3. LocalCluster cluster = new LocalCluster(); 

然后,可以使用LocalCluster对象的submitTopology方法来提交Topology。就像在StormSubmitter中相应的方法一样,submitTopology方法需要一个名字、一个Topology配置和Topology对象。然后,你可以使用killTopology方法,将Topology名称作为参数,杀死一个Topology。

关闭一个本地集群,只需要简单地调用:

 

  1. cluster.shutdown(); 

1. 常见的本地模式的配置

acktype.storm.Config类用来配置Storm,它的继承关系如下:

 

  1. java.lang.Object  
  2.   └java.util.AbstractMap<K,V> 
  3.       └java.util.HashMap<java.lang.String,java.lang.Object> 
  4.           └backtype.storm.Config  
  5. All Implemented Interfaces:  
  6. java.io.Serializable, java.lang.Cloneable, java.util.Map<java.lang.String,  
  7. java.lang.Object> 

2. Config.TOPOLOGY_MAX_TASK_PARALLELISM

这个配置项是组件产生线程数量的上限。通常生产环境的拓扑并行度很大(数以百计的线程),可以尝试在本地模式下测试拓扑,找出不合理负荷的地方。这个配置项使你可以很容易地控制并行度。

3. Config.TOPOLOGY_DEBUG

当设置为true时,每次从Spout或者Bolt发送元组,Storm都会写进日志,这对于调试程序是非常有用的。

 

 

转载于:https://my.oschina.net/xiaominmin/blog/1597602

你可能感兴趣的文章
【git学习五】git基础之git分支
查看>>
Java多线程之wait(),notify(),notifyAll()
查看>>
精通javascript(看书笔记)
查看>>
简单工厂模式
查看>>
数据挖掘实习
查看>>
关于telnet协议的研究以及用java进行封装实现自己的telnet客户端(转)
查看>>
jQuery 效果 - 淡入淡出
查看>>
cachefiled
查看>>
oncopy和onpaste
查看>>
栈和堆之间的差
查看>>
net-snmp-5.7.3配置编译安装
查看>>
Visual Studio跨平台开发(1):Hello Xamarin!
查看>>
全新E:网站不是之前排名浮动 相比于竞争对手究竟缺少了什么?
查看>>
Json解析
查看>>
【Git使用】强制推送代码到多个远程仓库
查看>>
iis 更改asp.net 版本设置
查看>>
JS疑难点和GC原理
查看>>
用Mediawiki做百科网站资源大参考
查看>>
MVC 返回对象换成json
查看>>
springMVC文件上传
查看>>