Kafka实际使用过程中遇到的一些问题及解决方法

 
 

  
  
Kafka实际使用过程中遇到的一些问题及解决方法：

  
  
1.关于Kafka的分区：

  
  
开始使用Kafka的时候，没有分区的概念，以为类似于传统的MQ中间件一样，就直接从程序中获取Kafka中的数据。
后来程序搭建了多套，发现永远只有一个消费者（消费者应用部署在多个tomcat上）会从Kafka中获取数据进行处理，后来才知道有分区这么一个概念。

  
  
具体不说了，网上有很多资料，总的概括：Kafka的分区，相当于把一个Topic再细分成了多个通道，一个消费者应用可以从一个分区或多个分区中获取数据。
有4个分区，1个消费者：这一个消费者需要负责消费四个分区的数据。
有4个分区，2个消费者：每个消费者负责两个分区
有4个分区，3个消费者：消费者1负责1个分区，消费者2负责1个分区，消费者3负责两个分区
有4个分区，4个消费者：一人一个
有4个分区，5个及以上消费者：4个消费者一人一个，剩下的消费者空闲不工作。

  
  
部署的时候尽量做到一个消费者对应一个分区。

  
  
2.分区数据量不均衡：

  
  
Topic上设置了四个分区，压测过程中，发现每个分区的数据量差别挺大的，极端的时候，只有一个分区有数据，其余三个分区空闲。
解决方法，在用生产者生产数据的时候，send方法需要指定key。Kafka会根据key的值，通过一定的算法，如hash，将数据平均的发送到不同的分区上。

  
  
3.spring-integration-kafka：

  
  
在使用spring-integration-kafka做消费者的时候，发现CPU和内存占用量占用非常的大，后来又发现不管生产者发送了多少数据，Kafka的Topic中一直没有数据，这时候才知道spring-integration-kafka会将Topic中的数据全拉到本地，缓存起来，等待后续的处理。
解决方法：
    <int:channel id="inputFromKafka">
        <int:queue capacity="25"/>  --这里加个配置，相当于缓存多少数据到本地
    </int:channel>
 
 

作者：忙小懒
链接：http://www.jianshu.com/p/551954909f53
來源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。