BladePipe 1.9.0: New data pipelines, faster Oracle writes, and improved stability.
跳到主要内容

Tunnel 到 MySQL

选择对端数据库:

数据链路

基本功能

功能说明
Incremental Data Sync

Sync of common DML like INSERT, UPDATE, DELETE is supported.
UPDATE and DELETE for tables without primary keys are not synced by default (manual selection required).

Subscription Modification

Add, delete, or modify the subscribed tables with support for historical data migration. For more information, see Modify Subscription.

Table Name Mapping

Support the mapping rules, namely, keeping the name the same as that in Source, converting the text to lowercase, converting the text to uppercase, truncating the name by "_digit" suffix.

Metadata Retrieval

Retrieve the target metadata with filtering conditions from the source table.

高级功能

功能说明
全量前清空目标数据

运行全量任务前清除老数据,包括重跑任务、定时全量迁移都会触发此能力

重建目标表

运行全量任务前重建目标表,包括重跑任务、定时全量迁移都会触发此能力

增量写入冲突策略

IGNORE: 主键冲突则忽略(不做写入),REPLACE: 主键冲突则整行替换

0 值时间处理

支持将 0 值时间设置成不同类型的值,防止写入对端报错

Custom Code

For more information, see Custom Code Processing, Debug Custom Code and Logging in Custom Code.

Data Filtering Conditions

Support data filtering using WHERE conditions, with SQL-92 as the SQL language. For more information, see Data Filtering.

使用示例

标题详情
跨互联网数据同步进阶

文档:跨互联网数据同步进阶

跨互联网数据互通(HTTP)

文档:跨互联网数据互通(HTTP)


源端数据源

前置条件

条件说明
网络准备

若 CloudCanal 为 docker 版本,解压后需要修改 docker-compose.yml 端口映射再安装/升级,并开放 ECS 安全组相关端口,以便远程连接

任务参数

参数名称说明
httpMaxContentSize

Tunnel 使用 HTTP 传输数据时最大内容大小,目前被使用在 netty 的 HttpObjectAggregator 中

eventStoreSize

内存队列大小(可能为事件数量或者内存大小,单位:byte)

protocol

Tunnel 传输数据使用的交互协议,目前支持 HTTP

uriPrefix

Tunnel 数据源 uri 前缀

contentCompressType

Tunnel 数据源的数据压缩类型,目前支持 DeInflater / GZIP

dbs

数据源结构定义

printDataInLog

是否将关键数据打印到日志以方便排查问题,此选项打开可能影响性能和数据安全

schemaFormat

Value Schema 类型

printCustomCodeDebugLog

打印自定义代码DEBUG日志(会打印处理前后数据,同步量大会增加磁盘使用和影响同步性能,请知悉),该参数动态生效,不需要重启任务

Tips: 通用参数配置请参考 通用参数及功能


目标端数据源

前置条件

条件说明
账号权限

文档:MySQL / MariaDB 需要的权限

网络准备

迁移同步节点(sidecar)可连接 MySQL / MariaDB 标准交互接口(如 3306)

任务参数

参数名称说明
keyConflictStrategy

增量写入遇到主键冲突策略:

  • IGNORE 冲突忽略(默认)
  • REPLACE 冲突替换(可选)

dstWholeReplace

将 INSERT 和 UPDATE 操作变成对端整行覆盖

deCycle

双向同步过滤开关,过滤特定标记的 DML/DDL

specialSqlMode

初始化数据库连接时,可以设置特定的 SQL Mode

defaultGisSRID

设置 GIS 数据类型的 SRID

dstTimeZone

目标端时区,例如 +08:00, Asia/Shanghai, America/New_York等

increParallelApplyStrategy

关系型数据库对端写入数据并行策略:

  • KEY: 以主键进行分区并行写入
  • TABLE: 以表进行分区并行写入
  • KEY_UPGRADE_TABLE: 以主键进行分区并行写入,若有更新唯一键的操作升级为表进行分区写入

Tips: 通用参数配置请参考 通用参数及功能