Excel 数据修复：KNN 算法填补缺失值

Excel 数据修复：使用 KNN 算法填补缺失值

本文将介绍如何使用 KNN 算法填补 Excel 数据缺失值，并提供 Java 代码示例。

代码示例

// 导入必要的库
package 数据修复;

import org.apache.poi.ss.usermodel.*;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.text.DecimalFormat;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.*;

public class knn01 {

    public static void main(String[] args) {
        // 定义输入文件和输出文件的路径
        String inputFile = "input.xlsx";
        try (Workbook workbook = WorkbookFactory.create(new FileInputStream(inputFile))) { // 使用工作簿工厂创建 Excel 工作簿
            Sheet sheet = workbook.getSheetAt(0); // 获取 Excel 工作表
            DecimalFormat df = new DecimalFormat("#.##"); // 创建 Decimal 格式化器，用于保留两位小数
            // 对每一行进行处理
            for (int i = 1; i <= sheet.getLastRowNum(); i++) {
                Row row = sheet.getRow(i); // 获取行对象
                if (row != null) {
                    Cell cell = row.getCell(1); // 获取第二列单元格
                    if (cell != null && cell.getCellType() != CellType.BLANK) {
                        // 如果单元格不为空，则跳过
                    } else {
                        double avg = calculateKNN(sheet, i, 1); // 计算KNN邻近算法填充的值
                        if (avg > 0) { // 如果填充的值大于 0
                            if(cell == null){
                                cell = row.createCell(1);
                            }
                            cell.setCellValue(Double.parseDouble(df.format(avg))); // 将填充的值填入单元格
                        }
                    }
                }
            }
            // 创建新的工作表
            String newSheetName = "数据补";
            int sheetIndex = workbook.getSheetIndex(newSheetName);
            Sheet newDataSheet;
            if (sheetIndex >= 0) {
                newDataSheet = workbook.getSheetAt(sheetIndex);
                workbook.removeSheetAt(sheetIndex);
            } else {
                newDataSheet = workbook.createSheet(newSheetName);
            }
            // 复制原工作表的数据到新的工作表
            for (int i = 0; i <= sheet.getLastRowNum(); i++) {
                Row oldRow = sheet.getRow(i);
                Row newRow = newDataSheet.createRow(i);
                if (oldRow != null) {
                    for (int j = 0; j < oldRow.getLastCellNum(); j++) {
                        Cell oldCell = oldRow.getCell(j);
                        Cell newCell = newRow.createCell(j);
                        if (oldCell != null) {
                            newCell.setCellValue(oldCell.getStringCellValue());
                        }
                    }
                }
            }
            // 将工作簿写入输入文件
            FileOutputStream outputStream = new FileOutputStream(inputFile);
            workbook.write(outputStream);
            outputStream.close();
            System.out.println("Data filling completed."); // 输出信息
        } catch (Exception e) { // 捕获异常
            e.printStackTrace();
        }
    }

    // 计算KNN邻近算法填充的值
    private static double calculateKNN(Sheet sheet, int rowIndex, int columnIndex) {
        List<Double> data = new ArrayList<Double>(); // 存储数据
        for (int i = 0; i <= sheet.getLastRowNum(); i++) { // 对每一行进行处理
            Row row = sheet.getRow(i); // 获取行对象
            if (row != null) {
                Cell cell = row.getCell(columnIndex); // 获取指定列的单元格
                if (cell != null && cell.getCellType() == CellType.NUMERIC) {
                    data.add(cell.getNumericCellValue()); // 将数据添加到列表中
                } else if (cell != null && cell.getCellType() == CellType.STRING) {
                    try {
                        data.add(Double.parseDouble(cell.getStringCellValue())); // 将字符串类型的值转换为数字类型，并添加到列表中
                    } catch (NumberFormatException e) {
                        // 转换失败，不添加到列表中
                    }
                }
            }
        }
        if (data.size() > 0) { // 如果存在数据
            double missingValue = 0; // 缺失值
            Row row = sheet.getRow(rowIndex); // 获取当前行对象
            if (row != null) {
                Cell cell = row.getCell(columnIndex); // 获取指定列的单元格
                if (cell == null || cell.getCellType() == CellType.BLANK) { // 如果单元格为空
                    missingValue = 0; // 缺失值为 0
                } else if (cell.getCellType() == CellType.NUMERIC) {
                    missingValue = cell.getNumericCellValue(); // 缺失值为单元格中的值
                } else if (cell.getCellType() == CellType.STRING) {
                    try {
                        missingValue = Double.parseDouble(cell.getStringCellValue()); // 转换为数字类型
                    } catch (NumberFormatException e) {
                        missingValue = 0; // 转换失败则缺失值为 0
                    }
                }
            }
            if (missingValue > 0) { // 如果缺失值大于 0
                return missingValue; // 直接返回缺失值
            } else {
                List<Double> distances = new ArrayList<Double>(); // 存储距离
                for (double value : data) { // 遍历数据
                    double distance = Math.abs(value - missingValue); // 计算距离
                    distances.add(distance); // 将距离添加到列表中
                }
                Collections.sort(distances, new Comparator<Double>() { // 对距离进行排序
                    @Override
                    public int compare(Double o1, Double o2) {
                        return Double.compare(o1, o2);
                    }
                });
                int k = 3; // 取前三个最近的邻居
                double sum = 0; // 总和
                int count = 0; // 计数器
                for (int i = 0; i < k && i < distances.size(); i++) { // 对前 k 个最近的邻居进行处理
                    double value = data.get(distances.indexOf(distances.get(i))); // 获取对应的值
                    sum += value; // 累加值
                    count++; // 计数器加 1
                }
                if (count > 0) { // 如果计数器大于 0
                    return sum / count; // 返回平均值
                } else {
                    return 0; // 否则返回 0
                }
            }
        } else {
            return 0; // 如果不存在数据，则返回 0
        }
    }

    // 解析日期
    private static Date parseDate(String dateString) {
        SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy/MM/dd HH:mm"); // 创建日期格式化器
        try {
            return dateFormat.parse(dateString); // 解析日期
        } catch (ParseException e) { // 捕获异常
            e.printStackTrace();
            return null; // 返回 null
        }
    }

}

异常解决

在代码的第58行，尝试从一个NUMERIC类型的单元格中获取STRING类型的值，导致了java.lang.IllegalStateException: Cannot get a STRING value from a NUMERIC cell异常。这是因为单元格的类型不匹配，无法将NUMERIC类型的值转换为STRING类型。

为了解决这个问题，我们需要在获取单元格值之前，先判断单元格的类型。如果单元格是NUMERIC类型，可以使用getNumericCellValue()方法获取数值类型的值。如果单元格是STRING类型，可以使用getStringCellValue()方法获取字符串类型的值。

我们可以在代码的第58行之前添加一个判断条件，来处理不同类型的单元格。

修改后的代码如下：

// ... 代码省略 ...
                if (cell != null && cell.getCellType() == CellType.NUMERIC) {
                    data.add(cell.getNumericCellValue()); // 将数据添加到列表中
                } else if (cell != null && cell.getCellType() == CellType.STRING) {
                    try {
                        data.add(Double.parseDouble(cell.getStringCellValue())); // 将字符串类型的值转换为数字类型，并添加到列表中
                    } catch (NumberFormatException e) {
                        // 转换失败，不添加到列表中
                    }
                }
// ... 代码省略 ...

请注意，我们在代码的第58行之前添加了一个条件判断，来判断单元格的类型是否为STRING类型。如果是STRING类型，我们尝试将其转换为数字类型，并添加到列表中。如果转换失败，我们将不会将其添加到列表中。这样就可以避免在获取单元格值时出现类型不匹配的异常。

总结

本文介绍了使用 KNN 算法填补 Excel 数据缺失值的方法，并提供了 Java 代码示例，并解决了代码中出现的异常：java.lang.IllegalStateException: Cannot get a STRING value from a NUMERIC cell。希望本文能够帮助您更好地理解如何使用 KNN 算法修复 Excel 数据。