Java 分布式定时任务：利用 Redis incrBy 和 Springboot @Scheduled 实现分片处理

本文介绍如何使用 Java、Redis 的 incrBy 操作和 Springboot 的 @Scheduled 注解实现分布式定时任务，并通过分片处理数据，有效利用集群资源。

以下代码示例展示了如何使用 Redis 存储分片索引和主机编号，并考虑了主机间时间差异导致分片数不准确的问题。

@Configuration
@EnableScheduling
public class ScheduleTask {

    @Autowired
    private RedisTemplate<String, Object> redisTemplate;

    @Value("${schedule.shard.count}")
    private int shardCount;

    @Scheduled(cron = "0 */15 * * * ?")
    public void process() {
        // 获取当前主机要处理的分片
        Long shardIndex = redisTemplate.opsForValue().increment("schedule:shard:index", 1L) % shardCount;
        // 获取当前主机的IP地址
        String hostAddress = InetAddress.getLocalHost().getHostAddress();
        // 获取当前主机的序号
        Long hostIndex = redisTemplate.opsForHash().increment("schedule:hosts", hostAddress, 1L);
        // 计算当前主机编号
        Long hostNo = shardIndex * shardCount + hostIndex;
        // 处理数据
        processShard(hostNo);
    }

    private void processShard(Long shardNo) {
        // 根据分片编号处理数据
    }

}

在上述代码中，我们使用了 Redis 的 incrBy 操作，通过对 'schedule:shard:index' 键执行 incrBy 操作获取当前主机要处理的分片编号，同时我们也用了 Redis 的 hash 数据结构来记录每个主机的编号，利用主机的 IP 地址作为键，每个主机的编号作为值，以此来区分不同的主机。我们还通过注解 @EnableScheduling 来启用 Springboot 的定时任务功能，每 15 分钟执行一次 process() 方法，该方法会根据当前主机的编号来处理对应分片的数据。

需要注意的是，由于不同主机的时间可能存在差异，因此在执行 incrBy 操作时，可能会导致分片数不准确。为了解决这个问题，我们可以使用 Redisson 等分布式锁框架来保证 incrBy 操作的原子性。