Storm中的URLInjector该怎么理解
发表于:2026-11-02 作者:千家信息网编辑
千家信息网最后更新 2026年11月02日,今天就跟大家聊聊有关Storm中的URLInjector该怎么理解,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。介绍: URLInjector
千家信息网最后更新 2026年11月02日Storm中的URLInjector该怎么理解
今天就跟大家聊聊有关Storm中的URLInjector该怎么理解,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。
介绍: URLInjector,我封装了的一个简单的客户端,我们将要放URLs,到一个分片队列里面 【sharded queue】,只有放置到分片队列的数据才会被Storm的管线所处理。
package com.digitalpebble.storm.crawler;import java.io.BufferedReader;import java.io.File;import java.io.FileReader;import com.digitalpebble.storm.crawler.util.Configuration;import com.digitalpebble.storm.fetchqueue.ShardedQueue;public class URLInjector { private ShardedQueue queue; URLInjector() throws Exception { Configuration config = StormConfiguration.create(); queue = ShardedQueue.getInstance(config); } public void add(String url) { try { queue.add(url); } catch (Exception e) { e.printStackTrace(); } } public void close() { queue.close(); } public static void main(String[] args) throws Exception { String messages = args[0]; URLInjector client = new URLInjector(); BufferedReader reader = new BufferedReader(new FileReader(new File( messages))); String line = null; while ((line = reader.readLine()) != null) { client.add(line.trim()); } reader.close(); client.close(); }}看完上述内容,你们对Storm中的URLInjector该怎么理解有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注行业资讯频道,感谢大家的支持。
内容
队列
只有
客户
客户端
数据
更多
知识
管线
篇文章
行业
资讯
资讯频道
频道
进一
处理
封装
支持
有关
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
麻工互联网科技
互联网科技与金融科技
合肥互联网科技公司
万易互联网科技
狮子座互联网科技
互联网科技股票
卓越科技(互联网 )
百单互联网科技有限公司
丰台科技园 互联网
互联网女皇 腾讯科技
互联网金融 科技创新
互联网高科技企业
互联网公司科技股
互联网科技公司营业执照怎么办理
科技互联网海报
2021互联网科技公司排名
兰石爱特工业互联网科技分公司
长沙易易互联网科技有限公司
华人运通互联网科技公司
科技互联网专业务虚会材料
手磨咖啡
重庆互联网络科技
互联网科技公司发展
北京互联网络科技有限公司
科技互联网的估值
湖南一路畅行互联网科技
内蒙古九一互联网科技
下一代互联网重大应用科技园
广州梦谷互联网科技有限公司领导
科技互联网行业投资研究