Excel 数据修复：使用 KNN 算法填充缺失值

该代码使用 Apache POI 库和 KNN 算法来修复 Excel 数据中的缺失值。它通过遍历工作表中的每一行，识别出缺失值的单元格，并使用 KNN 算法计算出最有可能的填充值。

在代码中，计算 KNN 邻近算法填充的值时，只考虑了与缺失值最近的 k 个邻居，并计算这些邻居的平均值作为填充值。如果这 k 个邻居中的值都相同，那么填充的值就会是一样的。

为了解决这个问题，可以考虑对 k 个邻居的值进行进一步的处理。可以选择取其中的中位数作为填充值，或者根据邻居的权重进行加权平均。

具体的实现方法可以修改 calculateKNN 方法中的代码，对距离相同的邻居进行处理，以确保填充的值不会一样。例如，可以修改以下部分的代码：

for (int i = 0; i < k && i < distances.size(); i++) { // 对前 k 个最近的邻居进行处理
    double value = data.get(distances.indexOf(distances.get(i))); // 获取对应的值
    sum += value; // 累加值
    count++; // 计数器加 1
    // 如果距离相同，继续向后找到不同的值
    while (i + 1 < k && distances.get(i).equals(distances.get(i + 1))) {
        i++;
        value = data.get(distances.indexOf(distances.get(i)));
        sum += value; 
        count++;
    }
}

这样修改后，如果存在距离相同的邻居，会继续向后找到不同的值，并将这些值都加入到计算中，最终计算出的填充值就不会一样了。

代码示例：

import org.apache.poi.ss.usermodel.*;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.text.DecimalFormat;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.*;

public class knn01 {

    public static void main(String[] args) {
        // 定义输入文件和输出文件的路径
        String inputFile = "input.xlsx";
        try (Workbook workbook = WorkbookFactory.create(new FileInputStream(inputFile))) { // 使用工作簿工厂创建 Excel 工作簿
            Sheet sheet = workbook.getSheet("P1"); // 获取 P1 工作表
            DecimalFormat df = new DecimalFormat("#.##"); // 创建 Decimal 格式化器，用于保留两位小数
            // 创建新的工作表
            String newSheetName = "P1-1";
            int sheetIndex = workbook.getSheetIndex(newSheetName);
            Sheet newDataSheet;
            if (sheetIndex >= 0) {
                workbook.removeSheetAt(sheetIndex);
            }
            newDataSheet = workbook.createSheet(newSheetName);
            // 复制原工作表的数据到新的工作表
            for (int i = 0; i <= sheet.getLastRowNum(); i++) {
                Row oldRow = sheet.getRow(i);
                Row newRow = newDataSheet.createRow(i);
                if (oldRow != null) {
                    for (int j = 0; j < oldRow.getLastCellNum(); j++) {
                        Cell oldCell = oldRow.getCell(j);
                        Cell newCell = newRow.createCell(j);
                        if (oldCell != null) {
                            if(oldCell.getCellType() == CellType.STRING){
                                newCell.setCellValue(oldCell.getStringCellValue());
                            } else if(oldCell.getCellType() == CellType.NUMERIC){
                                newCell.setCellValue(oldCell.getNumericCellValue());
                            } else if(oldCell.getCellType() == CellType.BOOLEAN){
                                newCell.setCellValue(oldCell.getBooleanCellValue());
                            } else if(oldCell.getCellType() == CellType.FORMULA){
                                newCell.setCellValue(oldCell.getCellFormula());
                            } else if(oldCell.getCellType() == CellType.ERROR){
                                newCell.setCellValue(oldCell.getErrorCellValue());
                            }
                            // 复制原单元格的样式到新单元格
                            CellStyle oldCellStyle = oldCell.getCellStyle();
                            CellStyle newCellStyle = workbook.createCellStyle();
                            newCellStyle.cloneStyleFrom(oldCellStyle);
                            newCell.setCellStyle(newCellStyle);
                        }
                    }
                }
            }
            // 对每一行进行处理
            for (int i = 1; i <= newDataSheet.getLastRowNum(); i++) {
                Row row = newDataSheet.getRow(i); // 获取行对象
                if (row != null) {
                    Cell cell = row.getCell(1); // 获取第二列单元格
                    if (cell == null || cell.getCellType() == CellType.BLANK) { // 判断单元格是否为空或者空白
                        double avg = calculateKNN(newDataSheet, i, 1); // 计算KNN邻近算法填充的值
                        if (avg > 0) { // 如果填充的值大于 0
                            cell = row.createCell(1); // 创建新的单元格
                            cell.setCellValue(Double.parseDouble(df.format(avg))); // 将填充的值填入单元格
                            // 设置单元格的数据类型为数值类型
                            CellStyle cellStyle = workbook.createCellStyle();
                            DataFormat dataFormat = workbook.createDataFormat();
                            cellStyle.setDataFormat(dataFormat.getFormat("0.00"));
                            cell.setCellStyle(cellStyle);
                        }
                    }
                }
            }
            // 将工作簿写入输入文件
            FileOutputStream outputStream = new FileOutputStream(inputFile);
            workbook.write(outputStream);
            outputStream.close();
            System.out.println("Data filling completed."); // 输出信息
        } catch (Exception e) { // 捕获异常
            e.printStackTrace();
        }
    }

    // 计算KNN邻近算法填充的值
    private static double calculateKNN(Sheet sheet, int rowIndex, int columnIndex) {
        Row row;
        double missingValue = 0; // 缺失值
        row = sheet.getRow(rowIndex); // 获取当前行对象
        if (row != null) {
            Cell cell = row.getCell(columnIndex); // 获取指定列的单元格
            if (cell != null && cell.getCellType() == CellType.NUMERIC) {
                missingValue = cell.getNumericCellValue(); // 缺失值为单元格中的值
            } else if (cell != null && cell.getCellType() == CellType.STRING) {
                try {
                    missingValue = Double.parseDouble(cell.getStringCellValue()); // 转换为数字类型
                } catch (NumberFormatException e) {
                    missingValue = 0; // 转换失败则缺失值为 0
                }
            }
        }

        List<Double> data = new ArrayList<>(); // 存储数据
        for (int i = 0; i <= sheet.getLastRowNum(); i++) { // 对每一行进行处理
            row = sheet.getRow(i); // 获取行对象
            if (row != null) {
                Cell cell = row.getCell(columnIndex); // 获取指定列的单元格
                if (cell != null && cell.getCellType() == CellType.NUMERIC) {
                    data.add(cell.getNumericCellValue()); // 将数据添加到列表中
                } else if (cell != null && cell.getCellType() == CellType.STRING) {
                    try {
                        double value = Double.parseDouble(cell.getStringCellValue()); // 转换为数字类型
                        data.add(value); // 将数据添加到列表中
                    } catch (NumberFormatException e) {
                        // 转换失败，忽略该值
                    }
                }
            }
        }

        if (data.size() > 0 && missingValue >= 0) { // 如果存在数据且缺失值大于 0
            List<Double> distances = new ArrayList<>(); // 存储距离
            for (double value : data) { // 遍历数据
                double distance = Math.abs(value - missingValue); // 计算距离
                distances.add(distance); // 将距离添加到列表中
            }
            // 对距离进行排序
            distances.sort(Comparator.comparingDouble(o -> o));
            int k = 3; // 取前三个最近的邻居
            double sum = 0; // 总和
            int count = 0; // 计数器
            for (int i = 0; i < k && i < distances.size(); i++) { // 对前 k 个最近的邻居进行处理
                double value = data.get(distances.indexOf(distances.get(i))); // 获取对应的值
                sum += value; // 累加值
                count++; // 计数器加 1
                // 如果距离相同，继续向后找到不同的值
                while (i + 1 < k && distances.get(i).equals(distances.get(i + 1))) {
                    i++;
                    value = data.get(distances.indexOf(distances.get(i)));
                    sum += value; 
                    count++;
                }
            }
            if (count > 0) { // 如果计数器大于 0
                return sum / count; // 返回平均值
            }
        }
        return 0; // 如果不存在数据或缺失值小于等于0，返回 0
    }

    // 解析日期
    private static Date parseDate(String dateString) {
        SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy/MM/dd HH:mm"); // 创建日期格式化器
        try {
            return dateFormat.parse(dateString); // 解析日期
        } catch (ParseException e) { // 捕获异常
            e.printStackTrace();
            return null; // 返回 null
        }
    }

}