Greenplum5.9生产环境集群部署

配置系统并安装greenplum数据库

按顺序执行下面安装任务:

阅读全文

实时数仓|以upsert的方式读写Kafka数据——以Flink1.12为例

在某些场景中,比如GROUP BY聚合之后的结果,需要去更新之前的结果值。这个时候,需要将 Kafka 消息记录的 key 当成主键处理,用来确定一条数据是应该作为插入、删除还是更新记录来处理。在Flink1.11中,可以通过 flink-cdc-connectors 项目提供的 *changelog-json format *来实现该功能。关于该功能的使用,见之前的分享Flink1.11中的CDC Connectors操作实践

阅读全文

Flink on Hive构建流批一体数仓

Flink使用HiveCatalog可以通过或者的方式来处理Hive中的表。这就意味着Flink既可以作为Hive的一个批处理引擎,也可以通过流处理的方式来读写Hive中的表,从而为实时数仓的应用和流批一体的落地实践奠定了坚实的基础。本文将以Flink1.12为例,介绍Flink集成Hive的另外一个非常重要的方面——Hive维表JOIN(Temporal Table Join)与Flink读写Hive表的方式。以下是全文,希望本文对你有所帮助。

阅读全文

Flink集成Hive之Hive Catalog与Hive Dialect--以Flink1.12为例

在上一篇分享Flink集成Hive之快速入门–以Flink1.12为例中,介绍了Flink集成Hive的进本步骤。本文分享,将继续介绍Flink集成Hive的另外两个概念:Hive Catalog与Hive Dialect。本文包括以下内容,希望对你有所帮助。

阅读全文

Flink集成Hive之快速入门--以Flink1.12为例

使用Hive构建数据仓库已经成为了比较普遍的一种解决方案。目前,一些比较常见的大数据处理引擎,都无一例外兼容Hive。Flink从1.9开始支持集成Hive,不过1.9版本为beta版,不推荐在生产环境中使用。在Flink1.10版本中,标志着对 Blink的整合宣告完成,对 Hive 的集成也达到了生产级别的要求。值得注意的是,不同版本的Flink对于Hive的集成有所差异,本文将以最新的Flink1.12版本为例,阐述Flink集成Hive的简单步骤,以下是全文,希望对你有所帮助。

阅读全文

使用自定义分区器解决Spark DataSet数据分区不均匀的问题

如何管理Spark的分区一文中,介绍了Spark是如何管理分区的,分别解释了Spark提供的两种分区方法,并给出了相应的使用示例和分析,感兴趣的可以参考之前的分享。我们知道,Apache Spark通常用于以分布式方式处理大规模数据集,既然是分布式,就会面临一个问题:数据是否均匀地分布。当数据分布不均匀时,数据量较少的分区将会很快的被执行完成,而数据量较大的分区将需要很长时间才能够执行完毕,这就是我们经常所说的数据倾斜, 这可能会导致Spark作业的性能降低。那么,该如何解决类似的问题呢?我们可以使用 Spark提供的自定义分区器在RDD上应用数据分区的逻辑。以下是正文,希望对你有所帮助。

阅读全文