0%

消费原理

启动多个 logstash 并行消费 kafka 数据。

  1. 设置相同 topic
  2. 设置相同 groupid
  3. 设置不同 clientid
  4. input 的这个参数 consumer_threads => 10 多实列相加最好等于 topic 分区数

如果一个 logstash 得参数大于 topic,则 topic 数据都会被这个 logstash 消费掉。

阅读全文 »