fatal error: runtime: out of memory

runtime stack: runtime.throw(0x1a59567, 0x16) D:/dev/golang/root/src/runtime/panic.go:1112 +0x72 runtime.sysMap(0xc070000000, 0x4000000, 0x3022678) D:/dev/golang/root/src/runtime/mem_linux.go:169 +0xc5 runtime.(*mheap).sysAlloc(0x300cf00, 0x400000, 0x2ba00c0, 0x0) D:/dev/golang/root/src/runtime/malloc.go:715 +0x1cd runtime.(*mheap).grow(0x300cf00, 0x1, 0x0) D:/dev/golang/root/src/runtime/mheap.go:1286 +0x11c runtime.(*mheap).allocSpan(0x300cf00, 0x1, 0x7f1943b10e00, 0x3022688, 0x7f1943332a48) D:/dev/golang/root/src/runtime/mheap.go:1124 +0x6a0 runtime.(*mheap).alloc.func1() D:/dev/golang/root/src/runtime/mheap.go:871 +0x64 runtime.systemstack(0x0) D:/dev/golang/root/src/runtime/asm_amd64.s:370 +0x66 runtime.mstart() D:/dev/golang/root/src/runtime/proc.go:1041

goroutine 64 [running]: runtime.systemstack_switch() D:/dev/golang/root/src/runtime/asm_amd64.s:330 fp=0xc0004f9880 sp=0xc0004f9878 pc=0x462a30 runtime.(*mheap).alloc(0x300cf00, 0x1, 0x10e, 0x0) D:/dev/golang/root/src/runtime/mheap.go:865 +0x81 fp=0xc0004f98d0 sp=0xc0004f9880 pc=0x425651 runtime.(*mcentral).grow(0x301d6d8, 0x0)

1. 目前多节点部署只是起到了主备的作用？因为备节点是不打开canal的所以可以理解为不工作吗？
2. 目前对于每一个onRow过来的数据处理都是串行处理，在mysql并发增删改查数量特别大时处理速度是否会存在瓶颈？
3. 能否提供一个改动方案在同步mysql数据时添加一定量的业务逻辑处理。比如同步某个表数据时需要做一些逻辑运算。

Thank！

centos7 docker logs go-mysql-transfer 2021-07-08 08:50:23.611934 I | process id: 1 2021-07-08 08:50:23.611969 I | GOMAXPROCS :16 2021-07-08 08:50:23.611973 I | source mysql(localhost:3306) 2021-07-08 08:50:23.611977 I | destination redis(127.0.0.1:7000,127.0.0.1:7001,127.0.0.1:7002#redis地址，多个用逗号分隔) dial tcp 127.0.0.1:3306: connect: connection refused

测试了mysql 使用localhost 和127.0.0.1多能进入

需求背景

这样同步redis想必大家都是为了做cache层使用的吧

过期时间设置

当前关于同步到redis 在代码中是写死的过期时间为0 实际需求中可能需要按需写入 例如10秒 1天等情况 也需要更新时自动进行续期

多纬度

举例： 用户表中有 手机号 微信号 ID 一般业务中 是会把ID全量写入cache 其他纬度 例如手机号 作为一个key 映射到id的key 在redis下就为 user:1 value:一串json字符串 user:telephone:13888888888 value: user:1 user:weid:1234 value:user:1

当然了这只是redis作为cache同步的需求 其实使用lua脚本也能实现 但是性能掉落一半 属实有点难以接受~

很不错的工具，有个建议 json格式可以再丰富一下 类似国外的一个工具 maxwell,http://maxwells-daemon.io/ 加上时间戳字段(毫秒级别） 很多时候 一条数据多次update 需要取到最新的一条

insert

{
    "database": "test",
    "table": "maxwell",
    "type": "insert",
    "ts": 1449786310,
    "xid": 940752,
    "commit": true,
    "data": { "id":1, "daemon": "Stanislaw Lem" }
  }

update 新增oldkey 这样可以知道变化内容是什么,下游可以做数据的监控过滤等

{
    "database": "test",
    "table": "maxwell",
    "type": "update",
    "ts": 1449786341,
    "xid": 940786,
    "commit": true,
    "data": {"id":1, "daemon": "Firebus!  Firebus!"},
    "old":  {"daemon": "Stanislaw Lem"}
  }

2020-09-21 11:43:11 info source mysql(rm-######.mysql.cn-chengdu.rds.aliyuncs.com:3306) 2020-09-21 11:43:11 info destination redis(192.168.2.240:6379) [2020/09/21 11:43:11] [info] binlogsyncer.go:144 create BinlogSyncer with config {1001 mysql rm-#####.mysql.cn-chengdu.rds.aliyuncs.com 3306 xinhu utf8 false false false UTC false 0 0s 0s 0 false false 0} 2020-09-21 11:43:11 info GOMAXPROCS :16 2020-09-21 11:43:16 error write tcp 192.168.9.27:33456->192.168.2.240:6379: i/o timeout 2020-09-21 11:43:17 error write tcp 192.168.9.27:33458->192.168.2.240:6379: i/o timeout 2020-09-21 11:43:17 error write tcp 192.168.9.27:33460->192.168.2.240:6379: i/o timeout 2020-09-21 11:43:17 error write tcp 192.168.9.27:33462->192.168.2.240:6379: i/o timeout 2020-09-21 11:43:17 error write tcp 192.168.9.27:33464->192.168.2.240:6379: i/o timeout 2020-09-21 11:43:18 error write tcp 192.168.9.27:33466->192.168.2.240:6379: i/o timeout 2020-09-21 11:43:18 error write tcp 192.168.9.27:33472->192.168.2.240:6379: i/o timeout 2020-09-21 11:43:19 error write tcp 192.168.9.27:33474->192.168.2.240:6379: i/o timeout 2020-09-21 11:43:20 info closing transfer [2020/09/21 11:43:20] [info] canal.go:242 closing canal [2020/09/21 11:43:20] [info] binlogsyncer.go:176 syncer is closing... [2020/09/21 11:43:20] [info] binlogsyncer.go:203 syncer is closed

[19 14:29:59 root@iZbp1i72h4fylprepdgn5nZ /data/go-mysql-transfer]# ./go-mysql-transfer -stock 2021-03-23 14:30:08.290079 I | process id: 7676 2021-03-23 14:30:08.290096 I | GOMAXPROCS :8 2021-03-23 14:30:08.290101 I | source mysql(47.99.188.92:3306) 2021-03-23 14:30:08.290105 I | destination elasticsearch(http://127.0.0.1:9200) 2021-03-23 14:30:38.313107 I | elastic: Error 503 (Service Unavailable) elastic: Error 503 (Service Unavailable) /data/go-mysql-transfer/service/stock_service.go:85:

大佬：我按照安装说明最后执行全量同步时 提示 elastic: Error 503 (Service Unavailable)，请问是什么原因？求指教

service/luaengine/actuator.go:24:2: code in directory /root/go/src/github.com/layeh/gopher-json expects import "layeh.com/gopher-json" package go-mysql-transfer imports go-mysql-transfer/metrics imports github.com/prometheus/client_golang/prometheus imports github.com/golang/protobuf/proto imports google.golang.org/protobuf/encoding/prototext imports google.golang.org/protobuf/proto imports google.golang.org/protobuf/encoding/prototext: import cycle not allowed package go-mysql-transfer imports go-mysql-transfer/metrics imports github.com/prometheus/client_golang/prometheus imports github.com/golang/protobuf/proto imports google.golang.org/protobuf/encoding/prototext imports google.golang.org/protobuf/proto imports google.golang.org/protobuf/proto: import cycle not allowed

采用本地方式运行的rocketmq。 发现go-mysql-transfer的system.log有输出发送rocketmq，但是不清楚是否正确匹配了rocketmqserver，rocketmqserver么有收到消息。 如果采用附件中工程的相同topic等配置，rocketmqserver可以收到数据。 附件是相关配置和源码： system.log

Work.zip

首先获取表的最小最大id,根据配置文件的bulk Size参数切分区间,创建$Maxprocs个worker 比如 mysql表最小id为1，最大为100万,bulk Size=5000,Maxprocs=20 会先创建20个worker等待执行任务,根据最小最大id生成下面的子任务 where id>0 and id<=5000 where id>5000 and id<=10000 where id>10000 and id<=15000

每个worker从taskChan取任务，执行完将任务结果写入resultChan通道 最后主进程汇总任务的结果

➜ go-mysql-transfer git:(master) ✗ go run main.go -stock true 2022-12-24 19:24:20.868626 I | process id: 32925 2022-12-24 19:24:20.868650 I | GOMAXPROCS :24 2022-12-24 19:24:20.868653 I | source mysql(127.0.0.1:3306) 2022-12-24 19:24:20.868657 I | destination rabbitmq(amqp://guest@guest@*****:5672/) 2022-12-24 19:24:20.918500 I | bulk size: 10 2022-12-24 19:24:20.918725 I | 开始导出 blog.blog 2022-12-24 19:24:20.918744 I | minSql select min(id) as min_id from blog.blog 2022-12-24 19:24:20.918754 I | maxSql select max(id) as max_id from blog.blog 2022-12-24 19:24:20.919563 I | minId:1,maxId:67 2022-12-24 19:24:20.923962 I | blog.blog 导入数据 10 条 2022-12-24 19:24:20.949198 I | blog.blog 导入数据 9 条 2022-12-24 19:24:20.955680 I | blog.blog 导入数据 9 条 2022-12-24 19:24:20.958201 I | blog.blog 导入数据 8 条 2022-12-24 19:24:20.958359 I | blog.blog 导入数据 7 条 2022-12-24 19:24:20.959305 I | blog.blog 导入数据 7 条 2022-12-24 19:24:20.959734 I | blog.blog 导入数据 10 条 2022-12-24 19:24:20.959745 I | 共耗时 ：41（毫秒） 2022-12-24 19:24:20.959749 I | 表:blog.blog 共导入 60条

1.程序运行支持命令行参数 --env app.yml支持读取环境变量 一般密码明文不会存储在配置文件,配环境变量较多 实际开发中需要开发/测试和生产环境 dev_app.yml/prod_app.yml env参数可以更灵活 一台机器可以运行不同环境的监听程序 2.新增一个config/examples目录 里面是转换器写入目的地的redis/kafka/mq配置 目前在一个app.yml里面混合在一起,注释和参考值放一起容易出错 放这个目录别人使用的时候可以按需找到自己的配置文件 3.日志输出 涉及带密码的脱敏改为*****

将数据同步到ES时，同步全量数据时是正常的，后台启动程序会报错： [bba@MySQL transfer2]# tail -fn 30 nohup.out 2022-08-18 17:14:38.008047 I | process id: 10254 2022-08-18 17:14:38.008113 I | GOMAXPROCS :16 2022-08-18 17:14:38.008121 I | source mysql(127.0.0.1:3306) 2022-08-18 17:14:38.008129 I | destination elasticsearch(http://192.168.4.3:9200) panic: open statics/index.html: no such file or directory

goroutine 1 [running]: html/template.Must(...) D:/dev/golang/root/src/html/template/template.go:372 github.com/gin-gonic/gin.(*Engine).LoadHTMLFiles(0xc00001b180, 0xc00075e0c0, 0x1, 0x1) D:/dev/golang/workspace/pkg/mod/github.com/gin-gonic/[email protected]/gin.go:204 +0x36e go-mysql-transfer/web.Start(0x0, 0x0) D:/dev/golang/projects/go-mysql-transfer/web/router.go:36 +0x1d6 main.main() D:/dev/golang/projects/go-mysql-transfer/main.go:132 +0x11e 后面把web监控设为false后就能正常运行。 另外，如果想同时把mysql的数据同步部分同步到redis，部分同步到es，能在一个app.yml中配置多个target吗？还是需要运行两个transfer，每个transfer只能同步一个类型的target?