Oracle 到 MariaDB
| 功能 | 说明 |
|---|---|
Schema Migration | If the target schema does not exist, BladePipe will automatically generate and execute CREATE statements based on the source metadata and the mapping rule. |
Full Data Migration | Migrate data by sequentially scanning data in tables and writing it in batches to the target database. |
Incremental Data Sync | Sync of common DML like INSERT, UPDATE, DELETE is supported. |
Data Verification and Correction | Verify all existing data. Optionally, you can correct the inconsistent data based on verification results. Scheduled DataTasks are supported. |
Subscription Modification | Add, delete, or modify the subscribed tables with support for historical data migration. For more information, see Modify Subscription. |
Position Resetting | Reset the position by timestamp or Scn to consume Oracle Redo Log in a past period again. |
Table Name Mapping | Support the mapping rules, namely, keeping the name the same as that in Source, converting the text to lowercase, converting the text to uppercase, truncating the name by "_digit" suffix. |
DDL Synchronization |
|
Metadata Retrieval | Retrieve the target metadata with filtering conditions from the source table. |
高级功能
| 功能 | 说明 |
|---|---|
自动建字典 | 如果使用离线字典解析 Oracle Redo, 则在创建任务时自动创建字典 |
全量前清空目标数据 | 运行全量任务前清除老数据，包括重跑任务、定时全量迁移都会触发此能力 |
重建目标表 | 运行全量任务前重建目标表，包括重跑任务、定时全量迁移都会触发此能力 |
增量写入冲突策略 | IGNORE: 主键冲突则忽略（不做写入），REPLACE: 主键冲突则整行替换 |
0 值时间处理 | 支持将 0 值时间设置成不同类型的值，防止写入对端报错 |
Scheduled Full Data Migration | For more information, see Create Scheduled Full Data DataJob. |
Custom Code | For more information, see Custom Code Processing, Debug Custom Code and Logging in Custom Code. |
Data Filtering Conditions | Support data filtering using WHERE conditions, with SQL-92 as the SQL language. For more information, see Data Filtering. |
Setting Target Primary Key | Change the primary key to another field to facilitate data aggregation and other operations. |
Adding Virtual Columns | Support adding custom virtual columns with fixed values, such as region, ID, etc. |
前置条件
| 条件 | 说明 |
|---|---|
账号权限 | 文档：Oracle 需要的权限 |
增量同步准备 | |
网络准备 | 迁移同步节点（sidecar）可连接 ORACLE 标准交互接口（如 1521） |
任务参数
| 参数名称 | 说明 |
|---|---|
fullFetchSize | 全量扫描数据设置的 fetch size |
eventStoreSize | 缓存解析完毕的增量事件缓存大小 |
logminerUser | 执行 Logminer SQL 的 Oracle 连接用户 |
logminerPasswd | 执行 Logminer SQL 的 Oracle 连接密码 |
logminerConnectType | 执行 Logminer SQL 的 Oracle 连接类型（PDB），包括 ORACLE_SID, ORACLE_SERVICE 两种可选 |
logminerSidOrService | 执行 Logminer SQL 的 Oracle 连接串 SID 或服务名（PDB） |
parseRedoSqlParallel | 解析 Logminer 数据的并发度 |
parseRedoSqlBufferSize | 解析 Logminer 数据的环形队列大小 |
redoFetchSize | 单次获取 Logminer 分析数据条数 |
redoOfferTransMaxSize | 未消费但已提交事务最大缓存数量 |
oraMiningSessionPauseSec | 使用 Logminer 挖掘日志间隙停顿时间，单位为秒 |
maxEventCountPerTxInMem | 内存中每个事务的最大事件数 |
logMiningScnStep | Oracle Logminer 分析 redo log 时指定的分析范围大小 |
abandonUnCommitTxTimeoutSec | 不带数据变更的事务未提交超过设置的值，则自动放弃该事务 |
restartTxWithDataTimeoutSec | 带数据变更的事务未提交超过设置的值，则自动重启任务 |
oraUseOnlineDic | 是否使用在线日志，false 使用离线日志对 Oracle 压力较大 |
oraReleaseIntervalSec | 重建分析链接的间隔，以释放 Oracle 服务端资源 |
fallBackScnStep | 和 Redo log 最新数据保持的距离，0 表示紧跟 |
sqlCaseConversionEnabled | 是否打开 DDL 大小写转换（根据当前数据库默认大小写规则） |
Tips: 通用参数配置请参考 通用参数及功能
任务参数
| 参数名称 | 说明 |
|---|---|
keyConflictStrategy | 增量写入遇到主键冲突策略:
|
dstWholeReplace | 将 INSERT 和 UPDATE 操作变成对端整行覆盖 |
deCycle | 双向同步过滤开关，过滤特定标记的 DML/DDL |
specialSqlMode | 初始化数据库连接时，可以设置特定的 SQL Mode |
defaultGisSRID | 设置 GIS 数据类型的 SRID |
dstTimeZone | 目标端时区，例如 +08:00, Asia/Shanghai, America/New_York等 |
increParallelApplyStrategy | 关系型数据库对端写入数据并行策略：
|
Tips: 通用参数配置请参考 通用参数及功能