FLINK 基于1.15.2的Java开发-读文件并把内容 sink到redis
需求
需求为:我们需要把如下文本,按照“,“分隔。然后把每行第二列作为主键,第三列作为value塞到Redis里。
而flink要用到Redis必须要使用以下pom依赖
<!-- redis特性-->
<dependency><groupId>org.apache.flink</groupId><artifactId>flink-connector-redis_2.11</artifactId><version>1.1.5</version><exclusions><exclusion><groupId>org.slf4j</groupId><artifactId>slf4j-log4j12</artifactId></exclusion></exclusions>
</dependency>
在使用flink redis connector时,一定要记得把slf4j-log4j12给排除掉,否则这个包日后会和我们在项目工程内的log4j2产生冲突而导致输不出日志。
完整的项目pom配置
pom.xml
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.
FLINK 基于1.15.2的Java开发-读文件并把内容 sink到redis相关推荐
- FLINK 基于1.15.2的Java开发-使用AggregateFunction解决以天为单位诸如PV、UV等统计的实时计算
什么样的业务场景适合AggregateFunction 对于这一类的: 统计的数据的窗口为一天内(24小时),然后每X秒刷新一下相关数据的实时变化,每次变化的值是在之前的值上有一个累计,然后每天归0后 ...
- FLINK 基于1.15.2的Java开发-Watermark是怎么解决延迟数据唯一正确的生产级解决方案-目前市面上的例子都有问题
至此篇,已经完成高级生产应用,至此只剩"码需求"了. 开篇 Watermark这一块国内中文相关资料没有一篇是写完整或者写对的.源于:官网的watermark理论是对的,中文相关博 ...
- java io 读文件
java io 读文件 /** * 读取文件 * @param fileName 文件名称 */ private void readFile(String fil ...
- Java开发中文件读取方式总结
JAVA开发中,免不了要读文件操作,读取文件,首先就需要获取文件的路径.路径分为绝对路径和相对路径. 在文件系统中,绝对路径都是以盘符开始的,例如C:abc1.txt. 什么是相对路径呢?相对路径就是 ...
- C++手册_阿里新版《Java 开发手册(泰山版)》内容解读(附下载地址)
阿里的<Java开发手册>距离上次发布已经过去了 10 个月了,而这次发布也增加了很多干货内容,比如:新增 34 条规约,修改描述 90 处,其中错误码规则更是第一次提出完整的解决方案,发 ...
- java读取txt文件中的内容
java读取txt文档中的内容:在这个地方我们输入一个txt文件的路径,就可以读取出txt文档中的内容: public static String readStringFromtxt(String t ...
- JAVA 删除File文件中的内容。
写android应用的时候需要删除文件中的内容.但是总是删除不掉.百度了好久..尼玛啊..没java基础会让你很蛋疼的.. public boolean delFile(String strPath) ...
- java 二叉树_拼多多Java开发1234面:二叉树+负载均衡+MySQL+Redis+高并发
说起来开始进行面试是7月第一周的早上,我还在去公司的地铁上,突然收到拼多多HR的面试电话,和我沟通了下是否有兴趣,我表示有兴趣,彼此约定了第1面的面试时间,后面就收到正式面试的通知. 在老东家工作几年 ...
- java开发常用文件后缀
文件后缀常用 package com.CloudDisk.Entity;public interface FileType {//电子文件类型public static final String PD ...
最新文章
- 误入人体的海洋细菌,能轻易吞噬你的肢体乃至生命
- Redis在windows实现将数据缓存起来定时更新读取
- 渗透测试learning日记(1)
- php框架所用到的核心概念,【PHP】PHP现代框架代表-Laravel框架核心技术特性
- Magicodes.IE Excel合并行数据导入教程
- [剑指offer][JAVA]面试题第[34]题[二叉树中和为某一值的路径][回溯]
- Mybatis中SQL注入攻击的3种方式,真是防不胜防!
- Java23种设计模式之工厂模式
- goland创建一个不限长度的字节切片_Go语言3 : 切片
- centos6.8 hugepage设置
- matlab 简单低通滤波器,简单低通滤波器设计及matlab仿真.doc
- Java分页(limit)
- zabbix开启网页报警声音方法:网页也可以有报警声音(46)
- 实时系统性能测试指标及方法
- 九、Redis三种集群模式
- 通信常识:波特率、数据传输速率与带宽的相互关系
- 怎么篡改网站html文件,首页被篡改-当我打开网页时,总是被其他网页给篡改了,我该怎么办? 爱问知识人...
- Python编写后门程序
- CentOS挂载光盘镜像安装rpm包
- 片上总线Wishbone 学习(十二)总线周期之块写操作