flink 从mysql 读取数据 放入kafka中 用于搜索全量
发表于:2026-10-31 作者:千家信息网编辑
千家信息网最后更新 2026年10月31日,接着上一篇,将mysql的数据导入kafka中public static void main(String[] arg) throws Exception { TypeInformati
千家信息网最后更新 2026年10月31日flink 从mysql 读取数据 放入kafka中 用于搜索全量
接着上一篇,将mysql的数据导入kafka中
public static void main(String[] arg) throws Exception { TypeInformation[] fieldTypes = new TypeInformation[] { BasicTypeInfo.STRING_TYPE_INFO, BasicTypeInfo.STRING_TYPE_INFO }; String[] fieldNames = new String[] { "name", "address" }; RowTypeInfo rowTypeInfo = new RowTypeInfo(fieldTypes, fieldNames); JDBCInputFormat jdbcInputFormat = JDBCInputFormat.buildJDBCInputFormat().setDrivername("com.mysql.jdbc.Driver") .setDBUrl("jdbc:mysql://ip:3306/tablespace?characterEncoding=utf8") .setUsername("user").setPassword("root") .setQuery("select LOGIC_CODE, SHARE_LOG_CODE from table").setRowTypeInfo(rowTypeInfo).finish(); final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); DataSource s = env.createInput(jdbcInputFormat); BatchTableEnvironment tableEnv = new BatchTableEnvironment(env, TableConfig.DEFAULT()); tableEnv.registerDataSet("t2", s); Table tapiResult = tableEnv.scan("t2"); System.out.println("schema is:"); tapiResult.printSchema(); Table query = tableEnv.sqlQuery("select name, address from t2"); DataSet ds= tableEnv.toDataSet(query, Result.class); DataSet temp=ds.map(new MapFunction() { @Override public String map(Result result) throws Exception { String name = result.name; String value = result.address; return name+":->:"+value; } }); logger.info("read db end"); KafkaOutputFormat kafkaOutput = KafkaOutputFormat.buildKafkaOutputFormat() .setBootstrapServers("ip:9092").setTopic("search_test_whk").setAcks("all").setBatchSize("1000") .setBufferMemory("100000").setLingerMs("1").setRetries("2").finish(); temp.output(kafkaOutput); logger.info("write kafka end"); env.execute("Flink add data source"); }
数据
上一
搜索
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
互联网科技名片
上海睿民互联网科技有限公司
互联网科技产业
圆梦互联网科技
互联网扶贫科技
兼蜜互联网科技
上海万想互联网科技
人人互联网科技是培训
哈尔滨秒房互联网科技有限公司
银川新华互联网科技学校地址
成都铂石互联网科技做什么的
武汉健翔互联网络科技有限公司
开一家科技互联网公司需要多少钱
洛阳共同富裕互联网科技有限公司
科技大学互联网
互联网方面的科技前沿
电子商务与互联网科技的关系
卡尔迅互联网科技有限公司
广州有谷有贝互联网科技有限公司
抖集互联网科技技术咨询
涨乐互联网科技
顺玮阁互联网科技
猫创互联网科技
科技类的互联网平台
新华互联网科技2019
互联网科技寓意
华夏互联网科技业
无锡工业互联网科技有限公司
互联网方面的科技前沿
萌小萌互联网科技河南有限公司