Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办,议程内容正式上线!

FFA 2022 官网:https://flink-forward.org.cn/

实时风控

实时风控专场将由网易互娱、字节跳动、京东、AirWallex、阿里巴巴的技术专家分享实时风控平台建设的实践案例。

网易游戏实时 HTAP 计费风控平台建设

林佳|网易互娱技术中心计费实时平台与 SDK 技术负责人,Apache Flink Contributor,Flink CDC Contributor

用户在终端设备上的一次行为动作,往往需要多个系统协作完成,其间会同时触发多个请求,产生跨越多个服务提供方和各类异构数据的一次业务会话。计费行为(登录/支付等)正是这类复杂业务会话的典型,也是关系到营收的风险控制关键阶段。要实时关联并还原业务会话,满足具体问题定位、宏观质量监控、故障分类和归因等风控需求,是业界的一大难题。

在网易互娱计费数据中心开发计费实时风控需求的实践中,基于 Flink 和 TiDB,在实时计算、非结构化存储、HTAP 实践等技术领域做了大量的探索,积淀了不少业界前沿的实践经验,本次演讲旨在与分享和讨论其中的关键技术和最佳实践,本次演讲内容将包括:

  1. 基于 Flink 的配置式跨请求复杂风控业务会话关联分析

  2. 实时异常识别与自适应修复

  3. 提升数据能效

  4. Flink + TiDB,实时 HTAP 风控平台建设

Flink CEP 在抖音电商的业务实践

张健|字节跳动数据工程师

FlinkCEP 是基于 Flink 实现的实时数据规则引擎,支持跨多个事件的规则匹配。然而,当前 FlinkCEP 在多规则处理、规则表达方面还存在易用性问题。本次分享主要介绍 FlinkCEP 在抖音电商业务的应用实践以及易用性优化:

  1. FlinkCEP 简介

  2. 抖音电商业务场景介绍

  3. 抖音电商应用实践

  4. 收益总结

  5. 未来展望

京东物流实时风控实践

周文跃|运营数据产品部-风控数据产品组架构师

京东物流风控涉及到的业务介绍(包括招投标、商家、仓、分拣、运输、配送),风控场景概括,每个业务类型中关系到的风险场景介绍,招投标涉及的围标串标、商家中的虚假商家、分拣中偷重漏重等等,本次分享包含京东对实时风控的整体思考、技术方案以及目前的实践应用情况。

  1. 京东物流业务介绍

  2. 物流风控场景概括

  3. 物流风控平台建设

  4. Flink 赋能,实时技术赋能前后对比

  5. 技术挑战,平台建设所遇到的一些挑战以及如何解决

  6. 未来规划

Flink CEP 新特性进展与在实时风控场景的落地

耿    飙|阿里云开发工程师,Flink Contributor

胡俊涛|阿里云开发工程师,Flink Contributor

Flink CEP 是基于 Flink 实现的复杂事件处理库,它可以识别出数据流中符合特定模式(Pattern)的事件序列,并允许用户作出针对性处理。依托于 Flink 的分布式特性、毫秒级处理延迟以及自身丰富的规则表达能力,Flink CEP 在实时风控、实时营销场景中扮演着越来越重要的角色。

本次分享我们会介绍 Flink 社区在 1.16 中对 Flink CEP 所做的增强与优化。

除此之外,我们还会介绍阿里云实时计算团队为了进一步提高 Flink CEP 的泛用性与易用性所做的工作,包括:

  1. 支持规则热更新、支持多规则在同一数据流上进行匹配等新特性;

  2. 拓展了 Flink SQL 的 MATCH_RECOGNIZE 语法,进一步增强 MATCH_RECOGNIZE 表达能力。

展示中,我们会针对实时反作弊场景,通过一个 Demo 来展示如何使用 Flink CEP 来构建实时反作弊应用,并在作业运行的过程中,动态热更新反作弊规则。

AirWallex 基于 Flink 打造实时风控系统

董大凡|AirWallex 风控团队研发经理

作为一家金融科技公司,Airwallex提供跨境支付,跨境收账的诸多跨境金融服务。为了应对交易过程中面对的洗钱,诈骗等金融风险, Airwallex的风控团队决定全面拥抱Flink,借助Flink的流批一体能力,打造AirWallex的实时风控系统。本次分享主要介绍我们如何基于Flink构建高可用低延时的风控服务

  1. 公司业务背景介绍

  2. 风险及应对方案

  3. 技术挑战与亮点

  4. 高可用性保证

  5. 线上表现

实时湖仓

实时湖仓专场邀请快手、bilibili、SmartNews、美团、SelectDB、OceanBase、StarRocks 等企业技术专家分享基于 Flink 的实时湖仓建设实践与思考。

Flink + Hologres:构建企业级 Streaming Warehouse 实时数仓

姜伟华|阿里云一站式实时数仓 Hologres 总负责人

随着实时数仓的普及,在线化、一站式、敏捷化成为实时数仓新的发展趋势,阿里云 Hologres 支持高吞吐写入与更新、PB 级数据秒级查询以及高并发的在线服务查询,并与 Flink 深度融合,解决传统数仓加工链路长、数据更新难等问题,提供一站式实时数仓标准解决方案。

通过 Flink Catalog、Hologres binlog 等的深度整合,Flink+Hologres 为用户提供了完整的企业级实时数仓 Streaming Warehouse 构建能力,让用户把实时数仓变的易用好用。

本次演讲内容主要包含:

  1. 实时数仓分层的技术需求

  2. 阿里云一站式实时数仓Hologres介绍

  3. Flink x Hologres:天作之合

  4. 基于Flink Catalog的Streaming Warehouse实践

快手基于 Apache Flink 的实时数仓建设实践

冯    立|快手实时数据开发工程师

羊艺超|快手实时数据开发工程师

本次演讲围绕快手在实时数仓方面的探索与实践展开,主要涉及:实时数仓建设的方法论,降本增效背景下资源优化的方法论,以及实时数仓的场景化实战。

  1. 快手实时数仓的发展

  2. 实时数仓建设方法论

  3. 实时数仓场景化实战

  4. 未来规划

B 站实时数据湖实践

周晖栋|bilibili 大数据实时团队 资深开发工程师

本次演讲分享将包括:

  1. 背景和痛点

  2. 探索:DB 入仓,埋点入仓,BI 实时报表场景

  3. 基建优化

  4. 总结展望

美团买菜基于 Flink 的实时数据建设实践

严书|美团买菜实时数仓技术负责人

美团买菜属于美团全链条自营的生鲜零售业务,Flink 在实时数据分析、业务生产实时监控、实时特征等场景下有着广泛的应用,本次分享主要介绍美团买菜基于 Flink 的实时数据建设实践经验。

SmartNews 基于 Flink 的 Iceberg 实时数据湖实践

戢清雨|SmatNews 数据平台架构师, Apache Iceberg Contributor

本次演讲分享将包括:

  1. SmartNews 数据湖介绍

  2. 基于 Iceberg v1 格式的数据湖实践

  3. 基于 Flink 实时更新的数据湖(Iceberg v2 format)解决方案

  4. Flink 实时更新带来的小文件数量性能问题

  5. 性能评估

  6. 总结

Flink Table Store 0.3 构建流式数仓最佳实践

李劲松|阿里巴巴高级技术专家,Apache Flink PMC

本次演讲分享将包括:

  1. 流式数仓核心需求

  2. Flink Table Store 最佳实践

  3. Flink Table Store 0.3 核心能力

Apache Flink X Apache Doris:构建极速易用的实时数仓架构

王磊|SelectDB 资深大数据研发专家、Apache Doris Contributor

作为一个现代化、高性能、支持实时的 OLAP 数据库,目前 Apache Doris 与 Apache Flink 结合构建的实时数仓架构已经得到众多用户的应用。与此同时,如何进一步简化数据同步链路、提升数据实时性以及高并发写入性能,也是 Apache Doris 在持续优化和迭代的重要方向。在本次分享中,我们将为大家介绍如何基于 Apache Doris 和 Apache Flink 构建极速易用的实时数仓架构。

美团增量数仓建设新进展

汤楚熙|美团数据系统研发工程师

数据生产一直以来存在离线与实时两套流程,口径不统一,维护成本高,数据生产就绪时间将会越来越难保证,伴随着实时数仓的 SQL 化和实时数仓平台的推广,一些业务团队实时与离线开发开始集中到同一批人身上,开发方式也逐渐趋同,离线与实时流程统一具备了实现的要求,基于美团长期以来的能力储备,我们适时的提出增量生产,以解决离线数仓就绪时间难保证、离线+实时两套生产流程所带来的数据正确性、开发成本等问题。

OceanBase+Flink:构建高效的实时计算解决方案

周跃跃|OceanBase 架构师

本次演讲分享将包括:

  1. 分布式数据库 OceanBase 关键技术解读

  2. OceanBase 与 Flink 生态对接以及典型应用场景

  3. OceanBase X Flink 生产实践

  4. 展望

Flink + StarRocks:实时数据分析新范式

谢寅|StarRocks 社区技术布道师

本次分享围绕以下五个方面:

  1. StarRocks 极速分析核心能力

  2. 基于Primary Key 模型实现有更新的实时数据分析

  3. Flink + StarRocks Primary Key 带来了数据分析性能怎样的改变

  4. 京东物流的实践案例

  5. StarRocks 未来实时数仓新范式

数据集成

云原生为数据集成领域注入了全新生命力,本专场邀请小红书、小米、科杰科技、易车、京东、顺丰、XTransfer、阿里等技术专家分享基于 Flink 的数据集成系统探索与实践。

基于 Flink CDC 高效构建现代数据栈

徐榜江|阿里云技术专家, Apache Flink Commiter & Flink CDC Maintainer

阮    航|阿里云高级开发工程师,Apache Flink Contributor & Flink CDC Maintainer

本次演讲分享将包括:

  1. 深入解读 Flink CDC 2.3

  2. 基于 Flink CDC 构建现代数据栈

  3. 基于 Flink CDC 的现代数据栈实践

  4. Demo

Flink 的数据集成类服务在小红书降本增效的实践与应用

袁奎|小红书高级开发工程师

小红书作为在多云架构云原生场景中的头部公司,其存在数据分布在不同云上的问题,所以基于 Flink 数据集成和传输是大数据处理和分析业务侧的基石。在降本增效的业界大环境下,不断苛刻的成本要求,对目前基于 Flink 的数据集成传输提出了更高的要求,我们在这个背景下做了两个维度的优化措施和方案。

本次演讲分享将包括:

  1. 小红书基于 Flink 的数据集成传输类服务的特点和挑战;

  2. Flink 批模式和虚拟集群部署的实践;

  3. 实践过程中遇到的问题以及解决方案;

  4. 未来展望

基于 Flink 的小米数据集成实践

胡焕|小米计算平台高级工程师

本次演讲中,我们将介绍小米在数据集成领域的思考和实践,以及正在打造的基于 Flink 的数据集成引擎。生产实践环节中,我们将展示部分小米数据集成的实战案例。

本次演讲分享将包括:

  1. MySQL 实时数据集成支持分库分表中间件

  2. TiDB 百亿级单表实时集成到 Iceberg

  3. Doris 写入支持分区覆盖语义

  4. 非结构化数据集成

  5. 数据集成产品设计

基于 Flink CDC 的实时同步系统

张军|科杰科技大数据架构师,Apache Flink、Iceberg、StreamPark Contributor

Flink CDC 技术为数据的实时同步提供了稳定、可靠的保证,但是还是存在一些不足,比如无法支持整库同步,无法支持 ddl 同步等,所以我们基于 Flink cdc 开发了一套实时同步系统,使用户通过可视化页面就能进行数据的同步,并且还对数据同步的功能做了增强,添加了很多额外的功能。

本次演讲分享将包括:

  1. 功能概览:可视化操作、库同步、多表同步、DDL 支持、多数据源支持、丰富的数据类型支持、其他功能支持

  2. 技术方案

  3. 未来规划

Flink CDC 在易车的应用实践

王林红|易车数据平台负责人

Flink 在易车实时数仓、实时数据集成、湖仓一体等方面有很广泛的应用实践,尤其是满足实时大屏、实时流量分析及实时大促等应用场景。本次分享主要介绍 Flink CDC 在易车相关应用的落地实践及经验分享:

  1. Flink CDC 全增量一体化框架介绍及基于 Flink CDC 的 DTS 平台建设实践

  2. Flink CDC 实践问题与优化

  3. Flink CDC+hudi 集成及实时数据湖应用实践

Flink CDC 在京东的探索与实践

韩飞|京东资深技术专家,Apache Flink Contributor

演讲内容大纲:

  1. 京东自研 CDC 介绍(业务规模、部署容灾、技术架构、技术特性)

  2. 京东场景的 Flink CDC 优化(指定位点、自动切库、监控告警扩展、多实例)

  3. 业务案例(业务背景、数据架构演进)

  4. 未来规划

顺丰基于 Flink CDC + Hudi 推进实时业务落地

唐尚文|顺丰科技 大数据平台研发高级工程师

主要分享顺丰基于 Flink 实时计算应用的场景, 实时数据平台的建设实践、以及我们在这个过程中对 Flink CDC 实践经验与 Hudi Schema Evolution 等一些相关的工作内容。

Flink CDC & MongoDB 联合实时数仓的探索实践

孙家宝|XTransfer 基础架构团队 技术专家

本次演讲将分享 Flink & MongoDB 构建实时数仓的一些探索,以及 MongoDB CDC Connector 和 MongoDB Connector 的实现原理和使用实践。


直播预约

PC 端

建议前往 FFA 2022 大会官网预约直播

https://flink-forward.org.cn/

点击议题,即可查看议题详情以及讲师介绍

移动端

建议关注视频号预约直播

▼ 关注「Apache Flink」,获取更多技术干货 ▼

  点击「阅读原文」,预约大会直播

FFA 2022 专场解读 - 实时风控 实时湖仓 数据集成相关推荐

  1. FFA 2022 专场解读 - 流批一体 平台建设 AI 特征工程

    Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办,议程内容正式上线! FFA 2022 官网:https://flink-forward.org.cn/ 流批一 ...

  2. FFA 2022 专场解读 - Flink 核心技术

    Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办,议程内容正式上线! FFA 2022 官网:https://flink-forward.org.cn/ 由 A ...

  3. FFA 2021 专场解读 - 行业实践

    ▼ 关注「ApacheFlink」视频号,遇见更多大咖 ▼ (注:工商银行的议题在主会场,详情可进官网了解) 12 月 4-5 日,Flink Forward Asia 2021 重磅开启,全球 40 ...

  4. FFA 2021 专场解读 - 平台建设

    公众号更名公告 「Flink 中文社区」更名为「Apache Flink」 感谢你们的关注 ▼ 关注「ApacheFlink」视频号,遇见更多大咖 ▼ 12 月 4-5 日,Flink Forward ...

  5. 直播预约|FFA 2022 主会场,11月26日正式上线

    Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办 大会官网:https://flink-forward.org.cn/ 本次 FFA 2022 主会场演讲将由阿 ...

  6. 基于 Apache Flink 和规则引擎的实时风控解决方案 ​

    对一个互联网产品来说,典型的风控场景包括: 注册风控.登陆风控.交易风控.活动风控等,而风控的最佳效果是防患于未然,所以事前事中和事后三种实现方案中,又以事前预警和事中控制最好. 这要求风控系统一定要 ...

  7. 指数级暴增、复杂场景下,揭秘百度云原生湖仓架构等系列数据产品

    9月28日,百度智能云2021"云智技术论坛"智能大数据专场在上海举办.本次会议以"云智一体,让大数据发挥大价值"为主题,百度副总裁谢广军携百度多位资深技术专家 ...

  8. Arctic的湖仓一体践行之路

    本文将系统地介绍 lakehouse.table format 概念,阐述湖仓一体作为数据湖流批一体的解决方案,可以发挥哪些价值.在这个价值驱动下,我们过去两年开发了 arctic 这个流式湖仓服务, ...

  9. 如何快速构建企业级数据湖仓?

    更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,回复[1]进入官方交流群 本文整理自火山引擎开发者社区技术大讲堂第四期演讲,主要介绍了数据湖仓开源趋势.火山引擎 EMR 的架构及特点,以及 ...

最新文章

  1. 5分钟搞懂如何使用探针检查Kubernetes健康
  2. 不对全文内容进行索引的 Loki 到底优秀在哪里
  3. HDU 1036 Average is not Fast Enough!:题目解答源码
  4. 计算机英语词汇的特点,电子商务英语词汇都有哪些特点
  5. netmiko检测linux基线,网络设备自动巡检工具
  6. matlab 导入元胞,MATLAB导入xls文件以及cell的使用方法
  7. 2008年六大创新Web技术(1)
  8. javascript基础学习
  9. 剑指offer面试题[23]-从上往下打印二叉树(按层序打印)
  10. SQL Server 导入Excel数据
  11. 伽罗华有限域_有限域 伽罗瓦域
  12. 精选1000个机械原理动图
  13. 遥感中相关光谱指数归纳
  14. 移动端切图内容包括什么_移动端切图备忘
  15. virt-manger创建虚拟机及virtio网卡
  16. 拆书帮第14期训练营——作业一:如何进行有目的的练习
  17. javaweb羽毛球教练场地预约管理系统ssm
  18. 2019年的计划,做最好的自己。
  19. 恒流恒压线性充电芯片MST4210
  20. 北京交通大学最优化方法I2020-2021第1学期期末考试试题

热门文章

  1. 运营总监直言:再招聘到不懂数据分析的运营,直接开除
  2. 看完这篇还不懂HashMap的扩容机制,那我要哭了~
  3. 苹果App Store出现故障 搜索张冠李戴
  4. Opencv4.5无法打开MP4等格式视频文件解决方案
  5. VS编译缺少unistd.h头文件
  6. 转:大数据处理与开发课程设计——纽约出租车大数据分析
  7. DDR4原理、硬件设计
  8. 走进“开源SDR实验室” 一起玩转GNU Radio:信号功率测量
  9. 串操作指令详解 MOVS,LODS,STOS,CMPS,SCAS,REP
  10. 4 月份 火火火火 的开源项目