Flink的八种分区策略源码解读
Flink包含8中分区策略,这8中分区策略(分区器)分别如下面所示,本文将从源码的角度一一解读每个分区器的实现方式。
Apache Gobblin 是一个通用的分布式数据集成框架,用于从各种数据源(数据库,REST API,FTP / SFTP服务器,文件管理器等)提取,转换和加载大量数据到Hadoop上。使得大数据集成变得更加简单,例如流和批处理数据生态系统的数据摄取,复制,组织和生命周期管理。gobblin由LinkedIn开源,现为Apache的孵化项目。
canal是阿里巴巴旗下的一款开源项目,纯Java开发。基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了MySQL(也支持mariaDB)。