4
如题，当执行了比较长一段时间的时候，调度表任务过多，严重影响性能，这个问题有什么好的解决方案吗？
Q
[xuxueli/xxl-job]如何解决历史数据堆积的问题
A
回答
1
旧数据手动迁出去😉
0
想问一下现在的多大规模影响性能？ 两种方式： 1：集群实例扩容 2：多集群
1
主要是支撑公司爬虫，分片爬取，动不动就几百万片。最大的问题不在分发，在存储
2
额，几百万的任务量xxl-job应该是比较困难的，不管是执行，还是任务的配置，日志记录等等。 我建议你可以抽象一层抓取任务，xxl-job负责触发抓取任务，每个抓取任务再去进行内部的分片、抓取项抓取逻辑。
5
@sxjsxj1994 你好，最新版本已经支持自动清理日志，可以解决数据堆积问题。