千家信息网

为什么Flink无法实时写入MySQL

发表于:2026-11-01 作者:千家信息网编辑
千家信息网最后更新 2026年11月01日,这篇文章主要介绍"为什么Flink无法实时写入MySQL",在日常操作中,相信很多人在为什么Flink无法实时写入MySQL问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答
千家信息网最后更新 2026年11月01日为什么Flink无法实时写入MySQL

这篇文章主要介绍"为什么Flink无法实时写入MySQL",在日常操作中,相信很多人在为什么Flink无法实时写入MySQL问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答"为什么Flink无法实时写入MySQL"的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

本文主要分为以下三部分:
  1. 问题描述

  2. 解决思路

  3. 原因剖析

问题描述

Flink 1.10 使用 flink-jdbc 连接器的方式与 MySQL 交互,读数据和写数据都能完成,但是在写数据时,发现 Flink 程序执行完毕之后,才能在 MySQL 中查询到插入的数据。即,虽然是流计算,但却不能实时的输出计算结果?

相关代码片段:

JDBCAppendTableSink.builder()    .setDrivername("com.mysql.jdbc.Driver")    .setDBUrl("jdbc:mysql://localhost/flink")    .setUsername("root")    .setPassword("123456")    .setParameterTypes(    BasicTypeInfo.INT_TYPE_INFO,    BasicTypeInfo.STRING_TYPE_INFO)    .setQuery("insert into batch_size values(?,?)")   .build()

如何解决?

Flink 1.10 这个问题是知道一秒钟,不知磨洋工的 Case,在初学时候非常容易遇上,那么真的是 Flink 不能实时写入 MySQL 吗?当然不是,上面代码基础之上简单的加上一行,就解决问题了:

....setBatchSize(1) //将写入MySQL的buffer大小为1。..

原因剖析

那么问题虽然解决了,根本原因是个啥呢?也许你看到这里会说,这问题很明显,就是 Flink 设计 JDBC Sink 的时候出于性能因素考虑,对写入 buffer 做了默认值设置。

没错,这一点你说的很对,在 Flink 1.10 中 JDBC OutputFormat 的基类 AbstractJDBCOutputFormat 里面和这相关的变量 DEFAULT_FLUSH_MAX_SIZE 默认值是 5000,所以在你学习测试时候由于测试数据少(少于 5000),数据一直在 buffer 中,直到数据源数据结束,作业也结束了,才将计算结果刷入 MySQL,所以没有实时的(每条)写入 MySQL。如下:


但这里还有个因素需要注意,那就是时间因素,上面 DEFAULT_FLUSH_INTERVAL_MILLS 默认值是 0,这个相当于没有时间限制,一直等到 buffer 满了或者作业结束才能触发写出动作。

也就是有些初学者,发现问题,即使故意 debug 时候打上断点,不让作业结束,但是等到花儿都谢了,数据也没有写入到 MySQL。

在 Flink 1.10 中 AbstractJDBCOutputFormat 有两个实现类:


分别对应了如下两类 Sink:


所以在 Flink 1.10 中不论是 AppendTableSink 和 UpsertTableSink 都会有同样的问题。不过 UpsertTableSink 时用户可以设置时间,而 AppendTableSink 是连时间设置的入口都木有。

到此,关于"为什么Flink无法实时写入MySQL"的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注网站,小编会继续努力为大家带来更多实用的文章!

数据 问题 实时 学习 时候 时间 原因 因素 作业 代码 就是 更多 结果 剖析 帮助 测试 实用 明显 接下来 一行 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 江苏根荣互联网科技 小马过河互联网科技 致聘互联网科技 广州凡科互联网科技 互联网科技logo设计 互联网科技股有哪些 镁科技互联网资讯平台 深圳卡尔迅互联网科技有限公司怎么样 青岛中康互联网医疗科技有限公司 港股科技和互联网 武汉健翔互联网络科技有限公司 互联网5g黑科技有哪些 移动互联网年度科技创新 浙南科技城互联网大厦建设工程 世界互联网领先科技成果获奖 互联网营销推广黑科技 新氧科技和美国互联网有关系吗 艺电能源互联网科技有限公司招聘 互联网科技品牌 株洲百竞科技的互联网营销顾问 南京欣网互联网络科技有限公司 科技大学互联网专业好不好 互联网教育科技公司vipkid 以后互联网后是啥科技 西安小鹰速贷互联网科技有限公司 山东星卡互联网科技有限公司官网 广州百诚互联网科技有限公司官网 35岁以上互联网科技行业 张家口科技产业互联网平台 互联网科技品牌
0