MongoDB 到 StarRocks
| 功能 | 说明 |
|---|---|
Full Data Migration | Migrate data by sequentially scanning data in tables and writing it in batches to the target database. Supported _id types: ObjectId, Long, Integer. |
Incremental Data Sync | Sync of INSERT, UPDATE, DELETE is supported. |
Data Verification and Correction | Verify all existing data. Optionally, you can correct the inconsistent data based on verification results. Scheduled DataTasks are supported. |
Subscription Modification | Add, delete, or modify the subscribed tables with support for historical data migration. For more information, see Modify Subscription. |
Position Resetting | Reset positions by timestamp to consume the oplog in a past period again. |
Supported Deployment | Support master-slave, replica set, sharded cluster. |
Table Name Mapping | Support the mapping rules, namely, keeping the name the same as that in Source, converting the text to lowercase, converting the text to uppercase, truncating the name by "_digit" suffix. |
高级功能
| 功能 | 说明 |
|---|---|
全量前清空目标数据 | 运行全量任务前清除老数据，包括重跑任务、定时全量迁移都会触发此能力 |
重建目标表 | 运行全量任务前重建目标表，包括重跑任务、定时全量迁移都会触发此 能力 |
Stream Load 数据写入 | 采用 Stream Load 到 StarRocks Be 写入数据, 默认攒批写入，可动态调节刷出数据节奏和批次大小 |
0 值时间处理 | 支持将 0 值时间设置成不同类型的值，防止写入对端报错 |
Custom Code | For more information, see Custom Code Processing, Debug Custom Code and Logging in Custom Code. |
Adding Virtual Columns | Support adding custom virtual columns with fixed values, such as region, ID, etc. |
限制和注意点
| 限 制项 | 说明 |
|---|---|
oplog 大小和保留时间设置 | MongoDB 默认配置 replication.oplogSizeMB 过小 或 storage.oplogMinRetentionHours 过小，如数据同步延迟过大，可能导致未消费的 oplog 被清除，需调大此参数 |
MongoDB 主备架构的任务设置 | 源端 MongoDB 主备架构模式，需要将源端任务参数 oplogCollection 设置为 oplog.$main |
changeStream 模式 | MongoDB 3.6 以上支持 changeStream 获取增量变更，同步任务可以设置源端参数 captureMode 为 CHANGE_STREAM，MongoDB 分片集群可以填写 Mongos 连接串进行同步 |
oplog 模式 | 当使用 oplog 模式进行 MongoDB 源端同步时，需要确保该能够访问到 local 库 |
对端表类型 | 仅支持 主键模型(Primary Key) |
源端表类型 | 不支持 无主键表 迁移同步 |
增量写入冲突策略 | Stream Load 写入以主键进行整行替换 |
任务参数
| 参数名称 | 说明 |
|---|---|
captureMode | 配置 MongoDB 增量源端模式，支持 OP_LOG 和 CHANGE_STREAM 模式 |
changeStreamBatchSize | 配置 MongoDB Change Stream 每一批拉取变更事件的最大条数 |
deCycle | 是否开启双向同步防循环，默认关闭 |
deCycleCollection | 存 储防循环事务 marker 的 collection，默认 cloudcanal.__cc_tx_de_cycle |
deCycleTransactionCacheSize | 双向同步事务判断的本地 LRU 缓存数量，默认 10000；缓存淘汰后会回查持久化 marker |
oplogCollection | 配置 MongoDB oplog 的集合名，默认是 oplog.rs |
timezone | 需要转换的源端时区（默认 UTC） |
Tips: 通用参数配置请参考 通用参数及功能
任务参数
| 参数名称 | 说明 |
|---|---|
host | MySQL 协议交互链接，对应 StarRocks FE QueryPort |
httpHost | StarRocks stream load 链接，对应 StarRocks FE/BE HttpPort |
totalDataInMemMb | 攒批写入，内存中最大数据容量，超过此容量或超过 asyncFlushIntervalSec 则刷 出数据到写入队列 |
asyncFlushIntervalSec | 攒批写入，等待刷出的间隔时间，超过此时间或超过 totalDataInMemMb 则刷出数据到写入队列 |
flushBatchMb | 单表最大攒批容量，超过此容量则刷出数据到写入队列 |
realFlushPauseSec | 使用 stream load 刷出数据到 StarRocks 的等待时间，0 则不等待 |
soTimeoutSec | 在 QueryPort 执行操作时 tcp 超时链接 (so_timeout) |
httpSoTimeoutSec | 在 HttpPort 执行操作时 tcp 超时链接 (so_timeout) |
enableTimeZoneProcess | 是否对时间字段进行时区转换 |
timezone | 目标端 StarRocks 时区，例如 +08:00 Asia/Shanghai America/New_York |
maxInSizePerQuery | 校验任务中，对端单次查询的最大 IN 条件值数量，大于该值会自动拆分多次查询 |
Tips: 通用参数配置请参考 通用参数及功能