SpringBoot 实时采集指数 K 线数据：高性能限速策略与并发请求优化

本文将介绍使用 Spring Boot 开发接口，实时采集指数 K 线数据，并实现限速策略以防止请求超速，并优化并发请求效率。

需求:

现有 120 支币需要采集 K 线数据。
采集时间间隔包括 1m、5m、15m、30m、1H、4H。
采集频率：1m 的数据每分钟采集一次，其他时间段数据根据时间间隔采集。
限速规则：每个 IP 每秒最多发送 20 个请求。

解决方案:

接口设计: 创建一个 Controller 类，用于接收请求和返回响应。

@RestController
@RequestMapping("/api")
public class KlineController {

    private final KlineService klineService;

    public KlineController(KlineService klineService) {
        this.klineService = klineService;
    }

    @GetMapping("/kline")
    public ResponseEntity<?> getKlineData(@RequestParam("symbol") String symbol,
                                          @RequestParam("interval") String interval) {
        try {
            // 调用 KlineService 获取 K 线数据
            List<KlineData> klineData = klineService.getKlineData(symbol, interval);
            return ResponseEntity.ok(klineData);
        } catch (Exception e) {
            return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR).body(e.getMessage());
        }
    }
}

数据采集与限速: 创建一个 Service 类，用于处理 K 线数据的采集逻辑，并使用 Guava 的 RateLimiter 实现请求限速。

@Service
public class KlineService {

    private final Map<String, RateLimiter> rateLimiters = new ConcurrentHashMap<>();

    public List<KlineData> getKlineData(String symbol, String interval) throws InterruptedException {
        // 根据 symbol 和 interval 构造 API 请求 URL
        String url = "https://api.example.com/api/v5/market/index-candles?symbol=" + symbol + "&interval=" + interval;

        // 限速设置，每个 IP 每秒最多发送 20 个请求
        RateLimiter rateLimiter = rateLimiters.computeIfAbsent(getClientIpAddress(), k -> RateLimiter.create(20));

        // 获取令牌
        rateLimiter.acquire();

        // 发送 HTTP 请求获取 K 线数据
        HttpResponse response = HttpClient.newBuilder().build().send(HttpRequest.newBuilder()
                .uri(new URI(url))
                .GET()
                .build(), HttpResponse.BodyHandlers.ofString());

        // 解析响应数据
        List<KlineData> klineData = parseResponse(response.body());

        return klineData;
    }

    private String getClientIpAddress() {
        // 获取客户端 IP 地址的逻辑
    }

    private List<KlineData> parseResponse(String responseBody) {
        // 解析响应数据的逻辑
    }
}

并发请求优化: 使用 Java 的 ScheduledExecutorService 创建定时器，每个定时器负责采集一个时间段的数据，并使用多个线程并发请求 K 线数据。

@Configuration
@EnableScheduling
public class KlineDataScheduler {

    private final KlineService klineService;

    public KlineDataScheduler(KlineService klineService) {
        this.klineService = klineService;
    }

    @Scheduled(cron = "0 0/1 * * * ?") // 每分钟采集一次 1 分钟 K 线数据
    public void collect1mKlineData() {
        // 采集 1 分钟 K 线数据的逻辑
        List<Thread> threads = new ArrayList<>();

        for (String symbol : symbols) {
            Thread thread = new Thread(() -> {
                try {
                    klineService.getKlineData(symbol, "1m");
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            });
            threads.add(thread);
            thread.start();
        }

        for (Thread thread : threads) {
            try {
                thread.join();
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
    }

    // 同样的方式采集其他时间段的 K 线数据
    // ...
}

注意:

以上代码仅为示例，具体实现还需要根据实际情况进行调整和完善。
可以使用线程池来管理线程，提高资源利用率。
可以使用缓存机制来缓存已经采集到的数据，减少重复请求。
可以使用监控工具来监控数据采集的性能和效率。

通过以上方案，可以实现实时采集指数 K 线数据，并有效地控制请求频率，提高数据采集的效率和稳定性。