Storm中的URLInjector该怎么理解
发表于:2025-12-03 作者:千家信息网编辑
千家信息网最后更新 2025年12月03日,今天就跟大家聊聊有关Storm中的URLInjector该怎么理解,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。介绍: URLInjector
千家信息网最后更新 2025年12月03日Storm中的URLInjector该怎么理解
今天就跟大家聊聊有关Storm中的URLInjector该怎么理解,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。
介绍: URLInjector,我封装了的一个简单的客户端,我们将要放URLs,到一个分片队列里面 【sharded queue】,只有放置到分片队列的数据才会被Storm的管线所处理。
package com.digitalpebble.storm.crawler;import java.io.BufferedReader;import java.io.File;import java.io.FileReader;import com.digitalpebble.storm.crawler.util.Configuration;import com.digitalpebble.storm.fetchqueue.ShardedQueue;public class URLInjector { private ShardedQueue queue; URLInjector() throws Exception { Configuration config = StormConfiguration.create(); queue = ShardedQueue.getInstance(config); } public void add(String url) { try { queue.add(url); } catch (Exception e) { e.printStackTrace(); } } public void close() { queue.close(); } public static void main(String[] args) throws Exception { String messages = args[0]; URLInjector client = new URLInjector(); BufferedReader reader = new BufferedReader(new FileReader(new File( messages))); String line = null; while ((line = reader.readLine()) != null) { client.add(line.trim()); } reader.close(); client.close(); }}看完上述内容,你们对Storm中的URLInjector该怎么理解有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注行业资讯频道,感谢大家的支持。
内容
队列
只有
客户
客户端
数据
更多
知识
管线
篇文章
行业
资讯
资讯频道
频道
进一
处理
封装
支持
有关
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
广告投放终端软件开发
网络安全法责任义务履行
能够简述常用的数据库的特点
公安部网络安全研究所
自建免费frp服务器
腾讯云购买香港服务器需要实名吗
技术派数据库架构设计
计算机网络安全论文答辩开场白
软件开发专业排行榜
邮件服务器实验原理
软件开发工程师职业技术证书
网络安全宣传风格
软件开发工具如何安装
为什么软件会与服务器失联
缓存服务器怎么优化
源服务器能
软件开发免费画图
加速网络技术指标
病理传输软件开发文档范例
漳平定制软件开发靠谱公司
开展网络安全周宣传活动
如何删掉电脑里的数据库
原深改服务器保存不了
河南手机软件开发团队
传播病毒是网络安全吗
网络安全技术措施主要内容
我的世界服务器假人
相城区正规网络技术优势
物性数据库
柳州管理软件开发