关于 tomcat 线程池调优的问题

一个小直播平台，随着用户增加，性能出现了问题，开始是消息延迟，接的是腾讯的 im，做过测试，10000 条消息可能会有 20 条会有 100 多秒的延迟才有响应，我们所有的消息是放在 spring 的异步线程池做处理，当时 spring 线程池的数量设置的最大数量是 200，队列是 1 万，策略是队列不足主线程跑，但是消息延迟更明显了，看日志发现 spring 的线程池一直开的很高，随后就把最大数量改到了 2000 队列改到 2000（这么做是不想让消息在队列里停留太久）就这样好过一阵子，然后每次感觉很卡的时候就不停的加负载（主服务 23 台负载在 4 台服务器上），对了忘记说了。架构就是 zk 加 dubbo，其实 dubbo 也没拆分很大，主要对后台管理系统提供服务。所以全部压力都在这 23 台负载上，我们运维给 tomcat 线程池设置到了 1000，后来改到了 2000，但是我发现接口响应变的更久了，切了份 nginx 日志，在高峰期，平均接口响应都在 20 秒之上，我的天那，（我一度怀疑是代码或者 db 的问题，我们的 redis mysql 都是买的阿里的）平时都是 0.00 几响应， 然后我看了负载 tomcat 的日志，惊奇的发现，高峰期 随便一个线程执行 距下次执行都是 20 秒以上，看了很多资料，觉得是线程设置太高，线程切换时间用的久。但是我们的 cpu 高峰也就只跑了 40% 而且日志里线程最高就只跑到 1400，大佬们，有谁能给我指跳路，
目前我觉得是线程设置太高了，导致引起的一系列问题。。
太难的做不了，然后人手也不够，就两个后台 java，一个运维还什么也不懂。。为难我这个没做过并发的一年小开发了。。。。