KNN 算法填充缺失数据并生成折线图

// 导入必要的库 package org.example;

import java.io.FileInputStream; // 用于读取输入文件 import java.io.FileOutputStream; // 用于写入输出文件 import java.text.DecimalFormat; // 用于格式化数字 import java.text.ParseException; // 用于解析日期 import java.text.SimpleDateFormat; // 用于格式化日期 import java.util.ArrayList; // 用于存储数据 import java.util.Collections; // 用于排序 import java.util.Comparator; // 用于排序 import java.util.Date; // 用于处理日期 import java.util.HashMap; // 用于存储数据 import java.util.List; // 用于存储数据 import java.util.Map; // 用于存储数据

import org.apache.poi.ss.usermodel.Cell; // Excel 单元格 import org.apache.poi.ss.usermodel.CellType; // Excel 单元格类型 import org.apache.poi.ss.usermodel.DataValidation; // Excel 数据验证 import org.apache.poi.ss.usermodel.DataValidationConstraint; // Excel 数据验证约束 import org.apache.poi.ss.usermodel.DataValidationHelper; // Excel 数据验证帮助器 import org.apache.poi.ss.usermodel.DataValidationConstraint.OperatorType; // Excel 数据验证约束操作类型 import org.apache.poi.ss.usermodel.DataValidationConstraint.ValidationType; // Excel 数据验证约束类型 import org.apache.poi.ss.usermodel.Row; // Excel 行 import org.apache.poi.ss.usermodel.Sheet; // Excel 工作表 import org.apache.poi.ss.usermodel.Workbook; // Excel 工作簿 import org.apache.poi.ss.usermodel.WorkbookFactory; // Excel 工作簿工厂 import org.apache.poi.ss.util.CellRangeAddressList; // Excel 单元格范围地址列表 import org.apache.poi.xssf.usermodel.XSSFChart; // Excel 图表 import org.apache.poi.xssf.usermodel.XSSFDrawing; // Excel 绘图 import org.apache.poi.xssf.usermodel.XSSFSheet; // Excel 工作表 import org.apache.poi.xssf.usermodel.XSSFWorkbook; // Excel 工作簿 import org.apache.poi.xssf.usermodel.charts.AxisPosition; // 图表轴位置 import org.apache.poi.xssf.usermodel.charts.ChartAxis; // 图表轴 import org.apache.poi.xssf.usermodel.charts.ChartDataSource; // 图表数据源 import org.apache.poi.xssf.usermodel.charts.ChartLegend; // 图表图例 import org.apache.poi.xssf.usermodel.charts.DataSources; // 图表数据源 import org.apache.poi.xssf.usermodel.charts.LineChart; // 折线图 import org.apache.poi.xssf.usermodel.charts.ValueAxis; // 值轴

public class knn {

public static void main(String[] args) {
    // 定义输入文件和输出文件的路径
    String inputFile = 'input.xlsx';
    String outputFile = 'output1.xlsx';
    String chartFile = 'chart.xlsx';
    try (Workbook workbook = WorkbookFactory.create(new FileInputStream(inputFile)); // 使用工作簿工厂创建 Excel 工作簿
         FileOutputStream outputStream = new FileOutputStream(outputFile); // 创建输出文件
         Workbook chartWorkbook = WorkbookFactory.create(true)) { // 创建图表文件
        Sheet sheet = workbook.getSheetAt(0); // 获取 Excel 工作表
        DecimalFormat df = new DecimalFormat('#.##'); // 创建 Decimal 格式化器，用于保留两位小数
        // 对每一行进行处理
        for (int i = 1; i <= sheet.getLastRowNum(); i++) {
            Row row = sheet.getRow(i); // 获取行对象
            if (row != null) {
                Cell cell = row.getCell(1); // 获取第二列单元格
                if (cell != null && cell.getCellType() != CellType.BLANK) {
                    // 如果单元格不为空，则跳过
                } else {
                    double avg = calculateKNN(sheet, i, 1); // 计算KNN邻近算法填充的值
                    if (avg > 0) { // 如果填充的值大于 0
                        if(cell == null){ // 如果单元格为空，则创建新的单元格
                            cell = row.createCell(1);
                        }
                        cell.setCellValue(Double.parseDouble(df.format(avg))); // 将填充的值填入单元格
                    }
                }
            }
        }
        // 创建新的工作表，用于展示折线图
        Sheet chartSheet = chartWorkbook.createSheet('chart');
        // 创建数据验证帮助器
        DataValidationHelper validationHelper = chartSheet.getDataValidationHelper();
        // 创建数据验证约束
        DataValidationConstraint validationConstraint = validationHelper.createNumericConstraint(ValidationType.INTEGER, OperatorType.BETWEEN, '1', '31');
        // 创建单元格范围地址列表
        CellRangeAddressList addressList = new CellRangeAddressList(0, 0, 1, 12);
        // 创建数据验证
        DataValidation validation = validationHelper.createValidation(validationConstraint, addressList);
        // 设置数据验证的错误提示信息
        validation.createErrorBox('Error', 'Please enter a number between 1 and 31.');
        // 设置数据验证的输入提示信息
        validation.createPromptBox('Prompt', 'Please enter the number of data groups for each month.');
        // 将数据验证添加到工作表中
        chartSheet.addValidationData(validation);
        // 创建表头行
        Row headerRow = chartSheet.createRow(0);
        headerRow.createCell(0).setCellValue('Month');
        for (int i = 1; i <= 12; i++) {
            headerRow.createCell(i).setCellValue('Group ' + i);
        }
        // 获取数据
        Map<Integer, List<Double>> data = getData(sheet);
        // 计算每个月的平均值
        Map<Integer, Double> averages = getAverages(data);
        // 计算每个月的标准差
        Map<Integer, Double> standardDeviations = getStandardDeviations(data, averages);
        // 补充数据
        fillData(data, averages, standardDeviations);
        // 将数据写入工作表中
        writeData(chartSheet, data);
        // 创建折线图
        createLineChart(chartSheet, chartWorkbook);
        chartWorkbook.write(new FileOutputStream(chartFile)); // 将图表文件写入磁盘
        workbook.write(outputStream); // 将工作簿写入输出文件
        System.out.println('Data filling and chart creation completed.'); // 输出信息
    } catch (Exception e) { // 捕获异常
        e.printStackTrace();
    }
}

// 获取数据
private static Map<Integer, List<Double>> getData(Sheet sheet) {
    Map<Integer, List<Double>> data = new HashMap<Integer, List<Double>>(); // 存储数据
    for (int i = 1; i <= sheet.getLastRowNum(); i++) { // 对每一行进行处理
        Row row = sheet.getRow(i); // 获取行对象
        if (row != null) {
            Cell cell = row.getCell(0); // 获取第一列单元格
            if (cell != null && cell.getCellType() == CellType.STRING) {
                String dateString = cell.getStringCellValue(); // 获取日期字符串
                Date date = parseDate(dateString); // 解析日期
                if (date != null) {
                    int month = date.getMonth() + 1; // 获取月份
                    if (!data.containsKey(month)) { // 如果该月份没有数据
                        data.put(month, new ArrayList<Double>()); // 创建新的列表
                    }
                    cell = row.getCell(1); // 获取第二列单元格
                    if (cell != null && cell.getCellType() == CellType.NUMERIC) {
                        double value = cell.getNumericCellValue(); // 获取数据
                        data.get(month).add(value); // 将数据添加到列表中
                    }
                }
            }
        }
    }
    return data;
}

// 计算每个月的平均值
private static Map<Integer, Double> getAverages(Map<Integer, List<Double>> data) {
    Map<Integer, Double> averages = new HashMap<Integer, Double>(); // 存储平均值
    for (int month : data.keySet()) { // 对每个月份进行处理
        List<Double> values = data.get(month); // 获取数据
        double sum = 0; // 总和
        int count = 0; // 计数器
        for (double value : values) { // 对每个数据进行处理
            sum += value; // 累加值
            count++; // 计数器加 1
        }
        if (count > 0) { // 如果计数器大于 0
            double average = sum / count; // 计算平均值
            averages.put(month, average); // 将平均值添加到列表中
        }
    }
    return averages;
}

// 计算每个月的标准差
private static Map<Integer, Double> getStandardDeviations(Map<Integer, List<Double>> data, Map<Integer, Double> averages) {
    Map<Integer, Double> standardDeviations = new HashMap<Integer, Double>(); // 存储标准差
    for (int month : data.keySet()) { // 对每个月份进行处理
        List<Double> values = data.get(month); // 获取数据
        double sum = 0; // 总和
        int count = 0; // 计数器
        for (double value : values) { // 对每个数据进行处理
            sum += Math.pow(value - averages.get(month), 2); // 累加平方差
            count++; // 计数器加 1
        }
        if (count > 0) { // 如果计数器大于 0
            double variance = sum / count; // 计算方差
            double standardDeviation = Math.sqrt(variance); // 计算标准差
            standardDeviations.put(month, standardDeviation); // 将标准差添加到列表中
        }
    }
    return standardDeviations;
}

// 补充数据
private static void fillData(Map<Integer, List<Double>> data, Map<Integer, Double> averages, Map<Integer, Double> standardDeviations) {
    for (int month : data.keySet()) { // 对每个月份进行处理
        List<Double> values = data.get(month); // 获取数据
        if (values.size() < 5) { // 如果数据少于 5 个
            double average = averages.get(month); // 获取平均值
            double standardDeviation = standardDeviations.get(month); // 获取标准差
            int count = 5 - values.size(); // 需要补充的数据个数
            for (int i = 0; i < count; i++) { // 对需要补充的数据进行处理
                double value = Math.max(0, average + standardDeviation * (i + 1)); // 计算补充的数据
                values.add(value); // 将数据添加到列表中
            }
        }
    }
}

// 将数据写入工作表中
private static void writeData(Sheet sheet, Map<Integer, List<Double>> data) {
    int rowIndex = 1; // 行索引
    for (int month : data.keySet()) { // 对每个月份进行处理
        Row row = sheet.createRow(rowIndex); // 创建行对象
        row.createCell(0).setCellValue(month); // 设置月份
        List<Double> values = data.get(month); // 获取数据
        for (int i = 0; i < values.size(); i++) { // 对每个数据进行处理
            row.createCell(i + 1).setCellValue(values.get(i)); // 设置数据
        }
        rowIndex++;
    }
}

// 创建折线图
private static void createLineChart(Sheet sheet, Workbook workbook) {
    int lastRow = sheet.getLastRowNum();
    XSSFDrawing drawing = ((XSSFSheet) sheet).createDrawingPatriarch();
    XSSFChart chart = drawing.createChart();
    ChartLegend legend = chart.getOrCreateLegend();
    legend.setPosition(LegendPosition.TOP_RIGHT);
    LineChart lineChart = chart.getChartFactory().createLineChart();
    ChartAxis bottomAxis = chart.getChartAxisFactory().createCategoryAxis(AxisPosition.BOTTOM);
    ValueAxis leftAxis = chart.getChartAxisFactory().createValueAxis(AxisPosition.LEFT);
    ChartDataSource<Number> xs = DataSources.fromNumericCellRange(sheet, new CellRangeAddress(0, 0, 1, lastRow));
    for (int i = 1; i <= 12; i++) {
        ChartDataSource<Number> ys = DataSources.fromNumericCellRange(sheet, new CellRangeAddress(0, 0, i + 1, i + 1));
        lineChart.addSeries(xs, ys);
    }
    chart.plot(lineChart, bottomAxis, leftAxis);
    chart.setAnchoring(0, 0, 0, 1000, 0, 0, 1000);
}

// 解析日期
private static Date parseDate(String dateString) {
    SimpleDateFormat dateFormat = new SimpleDateFormat('yyyy/MM/dd HH:mm'); // 创建日期格式化器
    try {
        return dateFormat.parse(dateString); // 解析日期
    } catch (ParseException e) { // 捕获异常
        e.printStackTrace();
        return null; // 返回 null
    }
}

// 计算KNN邻近算法填充的值
private static double calculateKNN(Sheet sheet, int rowIndex, int columnIndex) {
    List<Double> data = new ArrayList<Double>(); // 存储数据
    for (int i = 0; i <= sheet.getLastRowNum(); i++) { // 对每一行进行处理
        Row row = sheet.getRow(i); // 获取行对象
        if (row != null) {
            Cell cell = row.getCell(columnIndex); // 获取指定列的单元格
            if (cell != null && cell.getCellType() == CellType.NUMERIC) {
                data.add(cell.getNumericCellValue()); // 将数据添加到列表中
            }
        }
    }
    if (data.size() > 0) { // 如果存在数据
        double missingValue = 0; // 缺失值
        Row row = sheet.getRow(rowIndex); // 获取当前行对象
        if (row != null) {
            Cell cell = row.getCell(columnIndex); // 获取指定列的单元格
            if (cell == null || cell.getCellType() == CellType.BLANK) { // 如果单元格为空
                missingValue = 0; // 缺失值为 0
            } else if (cell.getCellType() == CellType.NUMERIC) {
                missingValue = cell.getNumericCellValue(); // 缺失值为单元格中的值
            } else if (cell.getCellType() == CellType.STRING) {
                try {
                    missingValue = Double.parseDouble(cell.getStringCellValue()); // 转换为数字类型
                } catch (NumberFormatException e) {
                    missingValue = 0; // 转换失败则缺失值为 0
                }
            }
        }
        if (missingValue > 0) { // 如果缺失值大于 0
            return missingValue; // 直接返回缺失值
        } else {
            List<Double> distances = new ArrayList<Double>(); // 存储距离
            for (double value : data) { // 遍历数据
                double distance = Math.abs(value - missingValue); // 计算距离
                distances.add(distance); // 将距离添加到列表中
            }
            Collections.sort(distances, new Comparator<Double>() { // 对距离进行排序
                @Override
                public int compare(Double o1, Double o2) {
                    return Double.compare(o1, o2);
                }
            });
            int k = 3; // 取前三个最近的邻居
            double sum = 0; // 总和
            int count = 0; // 计数器
            for (int i = 0; i < k && i < distances.size(); i++) { // 对前 k 个最近的邻居进行处理
                double value = data.get(distances.indexOf(distances.get(i))); // 获取对应的值
                sum += value; // 累加值
                count++; // 计数器加 1
            }
            if (count > 0) { // 如果计数器大于 0
                return sum / count; // 返回平均值
            } else {
                return 0; // 否则返回 0
            }
        }
    } else {
        return 0; // 如果不存在数据，则返回 0
    }
}

}