flink sink HDFS

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
Properties debeziumProperties = new Properties();
debeziumProperties.put("snapshot.locking.mode", "none");
// 使用flinkCDC从MySQL读取增量数据
DebeziumSourceFunction mySQLSource = MySqlSource.<String>builder().serverTimeZone("UTC").hostname("114.115.150.**").port(3306).databaseList("DBname").startupOptions(StartupOptions.initial()).username("user").password("ps").deserializer(new StringDebeziumDeserializationSchema()).build();
DataStreamSource dataStreamSource = env.addSource(mySQLSource);
// 写入HDFS
StreamingFileSink<String> sinkBuild = StreamingFileSink.forRowFormat(new Path("hdfs://loclhost//user//flink//test1//"), new SimpleStringEncoder<String>("UTF-8")).withRollingPolicy(DefaultRollingPolicy.builder().withRolloverInterval(TimeUnit.MINUTES.toMinutes(5)).withInactivityInterval(TimeUnit.MINUTES.toMinutes(1)).withMaxPartSize(1024 * 1024 * 1024).build()).withBucketAssigner(new MyFlinkSink()).build();dataStreamSource.addSink(sinkBuild).setParallelism(1);dataStreamSource.print();
env.execute();

flink sink HDFS相关推荐

【3】flink sink
[README] 本文记录了flink sink操作,输出目的存储器(中间件)包括 kafka: es: db: 等等有很多: 本文只给出了 sink2kafka的代码: 本文使用的flink为 1. ...
Flink Sink Hbase
文章目录 Flink将数据落地Hbase Flink主类反序列化 BeanUtil HTableBase接口 UserHTable HbaseBaseMap HtableRow HbaseSink ...
flume sink hdfs异常
1.异常消息如下: 016-08-26 14:19:17,704 (hdfs-sink1-call-runner-2) [ERROR - org.apache.flume.sink.hdfs.Abst ...
9.FLINK Sink\API\自定义sink
9.Sink 9.1.API 9.2.注意 9.3.自定义sink 9.Sink 9.1.API 1.ds.print 直接输出到控制台 2.ds.printToErr()直接输出到控制台,用红色 3 ...
Apache Flink 零基础入门（十二）Flink sink
将DataSet中的数据Sink到哪里去.使用的是对应的OutPutFormat,也可以使用自定义的sink,有可能写到hbase中,hdfs中. writeAsText() / TextOutput ...
flink sink jdbc没有数据_No.2 为什么Flink无法实时写入MySQL？
抛出疑无路? [Flink 1.10]- 使用flink-jdbc连接器的方式与MySQL交互,读数据和写数据都能完成,但是在写数据时,发现Flink程序执行完毕之后,才能在MySQL中查询到插入的数 ...
flink sink mysql 时区问题
flink sql sink mysql 时区问题以下是flink sql sink mysql 参数官网参数中是没有时区相关配置,另一种jdbc连参数配置的方式就是url中,所以在url中添加& ...
Flink Sink之Redis
5.7.2 Redis flink-connector-redis 查询Flink连接器,最简单的就是查询关键字flink-connector- 这里将Redis当作sink的输出对象. 1. pom ...
Flink sink doris案例
添加 flink-doris-connector 和必要的 Flink Maven 依赖此处参考官网的配置 Flink 1.13.* 及以前的版本 <dependency><gro ...

flink sink HDFS

flink sink HDFS相关推荐

最新文章

热门文章