BladePipe 1.9.0: New data pipelines, faster Oracle writes, and improved stability.
跳到主要内容

Oracle 到 OceanBase

选择对端数据库:

数据链路

基本功能

功能说明
Schema Migration

Automatically generates destination creation statements based on source metadata and mappings if the selected table does not exist at the target.

Full Data Migration

Logical migration that sequentially scans table data and writes it in batches to the target database.

Incremental Real-time Sync

Supports common DML sync operations such as INSERT, UPDATE, DELETE.
Tables without primary keys will not sync UPDATE or DELETE operations (manual selection required).

Data Verification and Correction

Performs full data verification and optionally corrects differential data based on verification results. Supports scheduled tasks. Documentation: Create Scheduled Verification and Correction Job

Modify Subscription

Add, delete, or modify subscription tables, supporting historical data migration. Documentation: Modify Subscription

Reset Position

Backtracks the position by timestamp or Scn, reprocessing Oracle Redo Log data from a past period.

Table Name Mapping

Supports consistent with the source, lowercase conversion, uppercase conversion, suffix truncation with '_number'.

DDL Sync
  • ALTER TABLE ADD, MODIFY, DROP COLUMN
  • TRUNCATE TABLE
  • ALTER TABLE RENAME TO
  • CREATE TABLE (full database sync)
  • DROP TABLE (full database sync)
Metadata Retrieval

Retrieves metadata from the source table to the destination, querying with set filtering conditions.

高级功能

功能说明
自动建字典

如果使用离线字典解析 Oracle Redo, 则在创建任务时自动创建字典

全量前清空目标数据

运行全量任务前清除老数据,包括重跑任务、定时全量迁移都会触发此能力

重建目标表

运行全量任务前重建目标表,包括重跑任务、定时全量迁移都会触发此能力

高并发行级写入

适配分布式数据库特征,默认采用高并发行级写入策略 (ROW)

增量写入冲突策略

IGNORE: 遇到主键冲突则忽略(不做写入),REPLACE: 遇到主键冲突则整行替换

Scheduled Full Data Migration

Documentation 1: Create Scheduled Full Data Job
Documentation 2: Scheduled Full Data for Incremental Data Migration

Custom Code

Documentation 1: Create Custom Code Job
Documentation 2: Debug Custom Code Job
Documentation 3: Logging in Custom Code

Data Filtering Conditions

Supports data filtering with WHERE conditions using SQL 92 subset. Documentation: Create Data Filtering Job

Set Target Primary Key

Change the primary key to another field for easier data aggregation and other operations.

Add Virtual Columns

Supports adding custom virtual columns with fixed values, such as region, ID, etc.

限制和注意点

限制项说明
增量同步性能

因 Logminer 有性能上限,且 CloudCanal 未采用并行分析,所以以 3000 条变更/秒 为性能基准

数据类型

不支持 BLOB 及衍生类型

OceanBase 版本

当前仅支持 OceanBase for MySQL 版本

OceanBase 数据类型

不支持地理位置类型

使用示例

标题详情
Oracle 数据迁移同步优化与思考

文档:Oracle 数据迁移同步优化与思考

Oracle 数据迁移同步优化(三)

文档:Oracle 数据迁移同步优化(三)

主流 RDB 到 OceanBase 迁移同步

文档:RDB 到 OceanBase 迁移同步


源端数据源

前置条件

条件说明
账号权限

文档:Oracle 需要的权限

增量同步准备

文档:Oracle Logminer 准备

网络准备

迁移同步节点(sidecar)可连接 ORACLE 标准交互接口(如 1521)

任务参数

参数名称说明
fullFetchSize

全量扫描数据设置的 fetch size

eventStoreSize

缓存解析完毕的增量事件缓存大小

logminerUser

执行 Logminer SQL 的 Oracle 连接用户

logminerPasswd

执行 Logminer SQL 的 Oracle 连接密码

logminerConnectType

执行 Logminer SQL 的 Oracle 连接类型(PDB),包括 ORACLE_SID, ORACLE_SERVICE 两种可选

logminerSidOrService

执行 Logminer SQL 的 Oracle 连接串 SID 或服务名(PDB)

parseRedoSqlParallel

解析 Logminer 数据的并发度

parseRedoSqlBufferSize

解析 Logminer 数据的环形队列大小

redoFetchSize

单次获取 Logminer 分析数据条数

redoOfferTransMaxSize

未消费但已提交事务最大缓存数量

oraMiningSessionPauseSec

使用 Logminer 挖掘日志间隙停顿时间,单位为秒

maxEventCountPerTxInMem

内存中每个事务的最大事件数

logMiningScnStep

Oracle Logminer 分析 redo log 时指定的分析范围大小

abandonUnCommitTxTimeoutSec

不带数据变更的事务未提交超过设置的值,则自动放弃该事务

restartTxWithDataTimeoutSec

带数据变更的事务未提交超过设置的值,则自动重启任务

oraUseOnlineDic

是否使用在线日志,false 使用离线日志对 Oracle 压力较大

oraReleaseIntervalSec

重建分析链接的间隔,以释放 Oracle 服务端资源

fallBackScnStep

和 Redo log 最新数据保持的距离,0 表示紧跟

sqlCaseConversionEnabled

是否打开 DDL 大小写转换(根据当前数据库默认大小写规则)

Tips: 通用参数配置请参考 通用参数及功能


目标端数据源

前置条件

条件说明
账号权限

具备 SELECT, INSERT, DELETE, UPDATE, 常见 DDL 权限

网络准备

迁移同步节点(sidecar)可连接 OceanBase 标准交互接口(如 3306)

任务参数

参数名称说明
keyConflictStrategy

增量写入遇到主键冲突策略:

  • IGNORE 冲突忽略(默认)
  • REPLACE 冲突替换(可选)

writeStrategy

对端写入策略,包含

  • ROW (单条,默认选项)
  • MULTI_SQL (多语句)
  • BATCH (批量)

Tips: 通用参数配置请参考 通用参数及功能