maxwell同步全量历史数据
maxwell同步全量历史数据
·
CentOS安装maxwell
在上篇的基础上,我们实现了实时同步mysql数据到kafka。maxwell不仅可以同步实时数据,也可以同步全量历史数据。在这里模拟一下历史数据的场景,创建表结构如下,并写入测试数据。
CREATE TABLE `user_detail` (
`id` INT(11) NOT NULL AUTO_INCREMENT,
`username` VARCHAR(255) NOT NULL,
`email` VARCHAR(255),
`phone_number` VARCHAR(20),
`registration_date` DATETIME,
`last_login` DATETIME,
`address` TEXT,
`status` ENUM('active', 'inactive') DEFAULT 'active',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
启动maxwell守护进程:
./bin/maxwell --config config.properties --daemon
开始同步历史数据:
./bin/maxwell-bootstrap --database hadoop3 --table user_detail
也可以加入where条件:
./bin/maxwell-bootstrap --database hadoop3 --table user_detail --where "id>30"
说明:同步json中我们可以发现,type有bootstrap-start、bootstrap-insert、bootstrap-complete三种类型,其中bootstrap-start与bootstrap-complete是bootstrap开始和结束的标志,不包含任何数据,数据都存在于type为bootstrap-insert的类型中。

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
所有评论(0)