Flink:新一代流式计算框架&Storm/JStorm: 流式计算框架的应用
收起
海数据技术沙龙第34期—Flink:新一代流式计算框架&Storm/JStorm: 流式计算框架的应用
在大数据以及AI的工程化进程中,商业场景对数据处理的实时反馈能力要求越来越高,传统的离线batch处理机制,已经不能满足商业运营的要求,流式计算框架乘势而起,但存在的问题是如何选择产品,并做到“低延迟,高并发,高吞吐率,高度容错”等优势的流式计算框架呢?
以Twitter为代表的Strom带着流式计算闪亮登场,完美替补了实时计算和分析的空白;而最近热门流式计算框架Flink也是项独特的技术,拥有丰富、高效的各种计算场景,并且支持Apache Beam标准并且统一了流式计算和离线批量计算的新一代流式处理框架。
我们本期邀请到了这个领域的资深大咖,将与您共同探讨大数据流式计算的各种问题和成功案例!
我们便带你深入了解这两大“大势”框架的魅力之处!
活动议程
14:00 - 14:25 现场签到
14:30 - 15:45 Storm/JStorm: 流式计算框架的应用
主 讲 人: 黄鑫(Jason)
分享内容:
将和大家一起深入了解storm,介绍它的原理和架构,以及它如何保证消息的可靠性、容错性,Exactly Once,和事务的一致性;随后会和大家分享我们如何在工作中用trident特性保证数据库事务的一致性,以及介绍一下阿里的JStorm和Storm的区别。
15:30 - 16:45 Flink: 新一代流式计算框架
主 讲 人: 王剑
分享内容:
主要介绍Flink整体架构、流式处理的特性:Fault Tolerance,分布式数据一致性保证, Backpressure,序列化问题, 内存管理,window机制,监控系统等等。并结合TalkingData数据分析线数据平台的ETL技术架构(Kafka+Flink+Druid)来聊一聊Flink实战的一些事,以及介绍Flink系统的设计、相关特性与实战。
16:50 - 17:30 自由交流
分享嘉宾介绍:
嘉宾:黄鑫(Jason)
资深Java工程师&架构师,曾工作于Oracle,现就职于影合众科技有限公司
1)入行多年专注于基于Java的分布式高并发后端开发、云平台PaaS层研发和大数据基础体系架构设计;
2)对JVM、大数据Hadoop体系以及storm流式计算框架有深入研究;
3)现负责影合众大数据平台的基于流式计算框架的实时BI体系和建模平台;
嘉宾:王剑
东北大学硕士,高级Java工程师,曾在用友软件,Zuora工作,现就职于TalkingData
1)对分布式高并发的后端服务、支付业务开发以及大数据流式处理flink有较深入研究;
2)曾在Zuora负责Payment与Accounts Receivable的相关开发工作;
3)现负责TalkingData数据分析线的实时流式数据的处理与报表服务;
活动主办单位:
活动支持单位:
上期回顾:
—Kafka设计模式的初探&大数据在智能交通管理的实践
欢迎关注我们的微信公众号,获取更多资讯!