一、产品介绍

虚谷数据库同步软件（XGSyncer）是以虚谷分布式数据库作为数据源进行数据的全量和增量同步及分发的数据库实时同步工具。支持海量数据灵活的按需进行同步分发，满足用户基于海量数据的各类精细化数据服务需求。基于虚谷分布式数据库日志架构，完全不依赖于存储过程、函数、物化视图和触发器等，无需任何代理，对源库零侵入性，完全不影响源库应用系统。具备高稳定性、高性能、易使用的特点，核心功能包括：数据全量导出导入、异构库增量同步、增量变更查询、元数据管理、DDL同步、增量数据归档、KAFKA集成和脚本化运行等。

二、产品特性

1.灵活架构，高效平台：

• 跨平台，可扩展：多系统平台部署，轻量化平台设计，异构数据源支持，平滑部署、扩展；
• 并行架构，灵活分发数据：多线程多机并行处理技术实现大批量数据的实时复制，不同数据量精细化数据同步服务；
• 定制研发，全场景适应:提供通用解决方案和定制业务场景，低延迟日志捕获，打破技术壁垒。

2.功能全面，极致易用：提供图形化工具，覆盖全业务场景数据同步功能，包含DDL、表、对象等，提供自动管理、断点续传等自动化功能；

3.完整数据传输，安全可靠：事务级数据传输，保证数据完整性、一致性，支持数据过滤、转换、加密传输，实时传输日志记录，不依赖于存储过程、函数、物化视图和触发器，无代理。提供三方运维监控接入，数据源零侵入，数据同步零丢失、零重复。

三、产品架构

虚谷数据库数据同步软件实现全量和增量数据获取、解析、同步、分发功能。含基于B/S实现的web管理页面和支持服务器后台部署运行的控制台版本，为用户提供易用、高效、稳定、可扩展的数据同步解决方案。

四、核心指标

• 全量数据导出导入
• 基于数据库binlog零侵入性增量捕获
• 元数据自动管理
• 异构目标数据库支持
• 多维度数据过滤
• 事务、DDL和大对象支持
• 多线程、多机并行处理
• Kafka大数据集成
• 日志捕获延迟小于1s,获取效率大于100M/s
• 关系数据库同步写入效率大于10000/s
• kafka同步写入效率大于20000/s

五、应用场景

• 智慧城市：智慧城市建设，特别是数据集约化场景，如湖仓一体化建设，数据系统多样，数据来源复杂，实时性要求高。虚谷数据库同步软件降低业务数据交互耦合，数据捕获不干预源系统，保障业务系统连续性，数据准确性。
• 多元多中心业务：实现多地多中心数据业务实时备份，保证业务系统可用、可靠、安全，多集群均衡，降低业务负载，高效利用资源。进行大数据量备份，提供大数据生态系统同步，助力大数据实时、离线批量分析。
• 灰度上线：国产化场景，系统迁移需要长期稳定运行验证场景，如金融、医疗、制造，虚谷数据库库同步软件保障新旧业务系统及数据库同时上线，保障在生产环境验证替换产品，保障业务系统连续性、安全性。