千家信息网

如何入门ApacheFlink中的Flinksink

发表于:2025-12-02 作者:千家信息网编辑
千家信息网最后更新 2025年12月02日,如何入门ApacheFlink中的Flinksink,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。将DataSet中的数据Sink到哪里
千家信息网最后更新 2025年12月02日如何入门ApacheFlink中的Flinksink

如何入门ApacheFlink中的Flinksink,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。

将DataSet中的数据Sink到哪里去。使用的是对应的OutPutFormat,也可以使用自定义的sink,有可能写到hbase中,hdfs中。

  • writeAsText() / TextOutputFormat ,以String的形式写入

  • writeAsCsv(...) / CsvOutputFormat,以CSV的方式写进去

  • print() / printToErr() / print(String msg) / printToErr(String msg)以标准输出

writeAsText

object DataSetSinkApp {  def main(args: Array[String]): Unit = {    val environment = ExecutionEnvironment.getExecutionEnvironment    val data = 1.to(10)    val text = environment.fromCollection(data)    val filePath = "E:/test"    text.writeAsText(filePath)    environment.execute("DataSetSinkApp")  }}

如果E:/test文件或者文件夹存在,将无法执行成功。除非增加一个WriteMode.OVERWRITE

text.writeAsText(filePath, WriteMode.OVERWRITE)

这样就在E盘下新建了一个test文件,内容是1到10。

那么如何保存到文件夹中?

text.writeAsText(filePath, WriteMode.OVERWRITE).setParallelism(2)

设置并行度为2,这样就存到test文件夹下,两个文件1和2

默认情况下,不设置并行度,会把结果写到一个文件中,如果设置并行度,那么每一个并行度都对应一个输出。

Java

    public static void main(String[] args) throws Exception {        ExecutionEnvironment executionEnvironment = ExecutionEnvironment.getExecutionEnvironment();        List info = new ArrayList<>();        for(int i = 1;i <=10; i++) {            info.add(i);        }        DataSource data1 = executionEnvironment.fromCollection(info);        String filePath = "E:/test2";        data1.writeAsText(filePath, FileSystem.WriteMode.OVERWRITE);        executionEnvironment.execute("JavaDataSetSinkApp");    }

看完上述内容,你们掌握如何入门ApacheFlink中的Flinksink的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注行业资讯频道,感谢各位的阅读!

文件 内容 文件夹 方法 更多 问题 输出 成功 束手无策 为此 两个 原因 对此 形式 情况 技能 数据 方式 标准 篇文章 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 绿园区网络技术服务售后服务 网络安全保密个人承诺书 服务器操作系统是网络的核心吗 dns服务器是单独用一台电脑吗 逆战切枪加速服务器 河南app软件开发开发公司 网络安全知识竞答2021年 华为通信核心网络技术 联想服务器改中文bios 学网络技术和软件技术哪个学校好 二手服务器cpu还能打游戏吗 服务器管理器不支持安全模式 华为手机和云服务器 安卓软件开发需要多少钱 猛犸科技算是互联网行业吗 服务器玩家都残暴吗 网络技术三级四级一起考 网络安全必须考深信服吗 数据库课程设计中出现的问题 靠谱的计算机网络技术 逆战切枪加速服务器 科技互联网应用大会 百隆科技公司互联网流量 文化加互联网科技 数据库读一致性场景 职中计算机网络技术怎么样 共建网络安全生态 共享 有源光网络技术特点 数据库管理系统 记录 数据库的一级缓存和二级缓存
0