FA11# Fink实时计算平台功能点整理
本文简要梳理下Flink实时计算平台提供的能力和功能点:
- 实时计算场景与特性
实时计算平台架构 功能点整理
1.常见实时计算场景归纳
实时推荐:千人千面个性化推送 实时监控:反欺诈以及触发风控的异常与预警 实时报表:促销活动实时大屏等 实时检索:实时索引的构建和检索等 实时处理:数据实时清洗和汇总的其他场景
2.Flink实时计算框架特点
- 低延迟:毫秒级延迟
- 高吞吐:千万每秒吞吐
- 准确性:Exactly-once 状态一致性
- 易用性:作业开发使用高阶的Flink SQL API&Table API
1.数据流线路图
备注:
- 数据源:Binlog数据库数据增量订阅、SDK的埋点数据、Agent的上报数据、以及事件总线类数据
- 消息队列:数据源的数据被收集到消息队列中,通常选型Kafka
- Fink实时平台:Flink从消息队列消费数据跑作业任务
- 业务场景:由Flink任务类型支撑各类场景
2.架构示意图
备注:Table & SQL API通过Apache Calcite进行SQL解析,并转换成Calcite执行计划,最终调用Flink DataStream/DataSet API。
资源上传:上传执行作业的jar文件或者gitlab地址平台进行打包编译成jar包 创建作业:配置作业的jar、并发以及一些策略等信息 作业信息:展现作业的运行状态、重启等 事件日志:记录操作的详细日志 异常日志:展现作业的日志和错误信息 SQL作业:任务SQL化,提供Flink SQL作业调试、语法校验、编辑提交等功能
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。