怎么在CDP上使用NiFi、Kafka和HBase构建可扩展流程
发表于：2025-12-03 作者：千家信息网编辑
千家信息网最后更新 2025年12月03日，本篇内容介绍了"怎么在CDP上使用NiFi、Kafka和HBase构建可扩展流程"的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大
千家信息网最后更新 2025年12月03日怎么在CDP上使用NiFi、Kafka和HBase构建可扩展流程Navistar 是全球领先的商用卡车制造商。拥有350,000辆车的车队，计划外的维护和车辆故障会造成业务持续中断。Navistar需要一个诊断平台，该平台将帮助他们预测何时需要维修车辆从而最大程度地减少停机时间。这个平台需要能够收集、分析和服务来自车队中每辆车的70多种远程信息处理和传感器数据馈送，包括测量发动机性能、冷却液温度、卡车速度和制动器磨损的数据。Navistar求助于Cloudera，以帮助构建名为OnCommand®Connection的IoT的远程诊断平台，以监控其车辆的健康状况并增加车辆的正常运行时间。 该博客演示了如何使用类似技术来解决范围更小的问题，但与Navistar面临的问题类似。数据是从经过高度修改的高性能Corvette（请参见图1）中提取的，显示了从外部源加载数据，使用 Apache NiFi 对其进行格式化，通过 Apache Kafka 将其推送到流源以及使用以下方法存储数据的步骤。并使用 Apache HBase 进行有关的其他分析。 
图 1. 2008 年克尔维特（ Corvette ）与改进的 6.8 升发动机 对于此特定示例，所讨论的Corvette已更换了所有原始的原厂发动机组件，而采用了性能更高的零件。发动机被拆下，壳体打孔，更换了曲轴和凸轮轴，并安装了新的活塞和连杆，力争达到约600马力的目标（见图2）。为了使新的引擎配置正常运行，引擎的软件进行了全面检修。当按下油门变得更加剧烈时，意想不到的结果是该车的原始诊断和错误系统不再准确，因此必须禁用。 
图 2. 使用所有新的闪亮内部零件进行引擎中间重建 为了捕获和分析Corvette的传感器数据，需要一条路径，使数据从汽车流入替代的分析和诊断平台。第一步是将便携式计算机连接到Corvette的诊断端口（参见图3），以将传感器数据导入基于云的存储位置。S3用于该项目。 图 3. 笔记本电脑通过 USB 连接到诊断端口 下一步是使用 数据 多功能 Cloudera Data Platform CDP ） 来访问将数据移至最终存储目的地进行进一步分析所需的服务。使用 CDP Public Cloud ，建立了3个Data Hub，每个Data Hub都托管一组预先打包的开源服务（请参见图4）： • 第一个设置是NiFi，该服务旨在自动执行和管理数据流。NiFi用于将Corvette的数据导入、格式化和从源移动到其最终存储点。 • 下一步是设置Kafka，这是一种实时流服务，可将大量数据作为流提供。Kafka提供了对数据进行流处理的功能，同时还允许其他用户选择订阅数据流。在此示例中，没有任何订户。但是，这是一个重要的概念，值得对如何设置进行演示。 • 最终设置是HBase，这是一个可伸缩的、面向列的操作数据库，可提供实时的读/写访问。将数据导入HBase后，Phoenix将用于查询和检索数据。 图 4. Corvette 从源到查询的数据流程图。 使用CDP构建诊断平台以监视Corvette的健康和性能是一项成功的练习。现在，使用NiFi和Kafka将传感器数据格式化并将其流式传输到HBase中，无论数据集增长多少，都可以执行高级数据工程和处理。
本篇内容介绍了"怎么在CDP上使用NiFi、Kafka和HBase构建可扩展流程"的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！
"怎么在CDP上使用NiFi、Kafka和HBase构建可扩展流程"的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注网站，小编将为大家输出更多高质量的实用文章！
数据
平台
分析
服务
传感器
车辆
存储
流程
发动机
引擎
性能
格式
这是
处理
原始
健康
内容
卡车
实时
数据流
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
SLA服务器
做好网络安全信息化
我的世界主流的起床战争服务器
反恐精英总断开服务器
安徽戴尔服务器虚拟化安装
心悦互联网科技有限公司
数据库情况说明
南派三叔软件开发
专技天下18年网络安全答案
一个程序需要多个数据库怎么写
我的世界数据库增删改查
支付宝充值找不到服务器怎么办
淄川食品软件开发价格
哪所高校有私募通数据库
ssh连接两个数据库连接
美多多互联网科技有限公司
网络技术考试试题道客巴巴
天津服务器公司有哪些品牌云空间
吉林运营网络技术服务哪家好
软件开发核心技术股票
软件开发的管理
我的世界头颅数据库
郑州国际网络安全
软件开发需要看学历吗
知名物流软件开发公司电话
服务器4u价格
erp软件开发前十名
巴音郭楞软件开发规定
茂名市桓捷互联网科技
周口网络安全
