Amazon MSK
BladePipe 支持将 Amazon MSK 作为源端和目标端连接器，用于实时数据集成、数据迁移、数据同步和分析链路。
Amazon MSK
源端
支持
目标端
支持
使用 Amazon MSK 构建生产级数据链路
BladePipe 可以帮助团队将 Amazon MSK 与数据库、数仓、湖仓表和下游服务连接起来，构建低延迟的事件流和 CDC 投递链路。
Amazon MSK 数据源介绍
Amazon Managed Streaming for Apache Kafka (MSK) 是一个完全托管的服务，可以轻松构建和运行使用 Apache Kafka 的应用程序。
实时流动
构建低延迟的 Amazon MSK 数据链路，让数据持续保持新鲜，而不是只依赖批处理。
全量与增量
在连接器能力支持的前提下，可将 Amazon MSK 作为源端执行初始加载和持续增量更新。
运维可控
BladePipe 为生产数据团队提供可视化配置、监控、重试和运维流程。
企业可用
明确网络、权限和部署选项，让链路适配云端、BYOC 和本地部署环境。
常见的 Amazon MSK 链路模式
1
Amazon MSK 到数据仓库，用于实时分析
将事件流持续写入分析存储，让报表、监控和指标系统可以消费更新鲜的数据。
2
数据库 CDC 到 Amazon MSK，用于事件驱动应用
把数据库变更发布到 Amazon MSK，让下游服务能够响应新增、更新和删除事件。
3
Amazon MSK 到湖仓存储，用于可回放的数据链路
将流式数据沉淀到湖仓表中，用于历史分析、数据回放以及批流统一处理。
相关文章
技术教程
How to Stream Data from Kafka to Kafka
This tutorial introduces how to build a Kafka-to-Kafka data pipeline with BladePipe, enabling efficient data streaming, replication, and synchronization.
John Li
Dec 5, 2024
开始构建 Amazon MSK 数据链路
使用 BladePipe 连接 Amazon MSK，快速验证第一条链路，并在可观测、可运维的流程中推进到生产环境。