kafka 问题总结

[FS1360472174]

1. kafka server down了
   重新启动后，

connector必须要重新启动，然后offset丢失了
通过设置0ffset来解决
kafka.tools.ConsoleConsumer --bootstrap-server xx:9092 --topic ds.ds.topic --partition 0 --consumer.config config/consumer.properties --offset 4020000
https://jeqo.github.io/post/2017-01-31-kafka-rewind-consumers-offset/
2. confluent 3.2.1, reactor 0.2.5写elastic search 会丢失数据
升级到3.2.2，reactor0.2.6解决

3.es中已有数据有很多时，1亿以上时，upsert很慢