Java实现Excel数据修复:基于KNN算法填充缺失值
Java实现Excel数据修复:基于KNN算法填充缺失值
在数据分析和处理中,我们经常会遇到数据缺失的情况。这些缺失值可能会影响我们分析结果的准确性。为了解决这个问题,我们可以使用各种数据填充技术,其中一种常用的方法是KNN算法。
KNN算法,即K最近邻算法,是一种简单但强大的算法,可以用来填充数值型数据。它的基本思想是:对于一个缺失值的样本,找到距离它最近的K个样本,然后用这K个样本的目标变量的平均值来填充该缺失值。
本文将介绍如何使用Java语言和Apache POI库来实现一个简单的Excel数据修复程序。该程序将使用KNN算法来填充Excel表格中的缺失值。
代码实现java// 导入必要的库package 数据修复;
import org.apache.poi.ss.usermodel.*;
import java.io.FileInputStream;import java.io.FileOutputStream;import java.text.DecimalFormat;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.*;
public class knn01 {
public static void main(String[] args) { // 定义输入文件和输出文件的路径 String inputFile = 'input.xlsx'; try (Workbook workbook = WorkbookFactory.create(new FileInputStream(inputFile))) { // 使用工作簿工厂创建 Excel 工作簿 Sheet sheet = workbook.getSheetAt(0); // 获取 Excel 工作表 DecimalFormat df = new DecimalFormat('#.##'); // 创建 Decimal 格式化器,用于保留两位小数 // 创建新的工作表 String newSheetName = '数据补'; int sheetIndex = workbook.getSheetIndex(newSheetName); Sheet newDataSheet; if (sheetIndex >= 0) { newDataSheet = workbook.getSheetAt(sheetIndex); workbook.removeSheetAt(sheetIndex); } else { newDataSheet = workbook.createSheet(newSheetName); } // 复制原工作表的数据到新的工作表 for (int i = 0; i <= sheet.getLastRowNum(); i++) { Row oldRow = sheet.getRow(i); Row newRow = newDataSheet.createRow(i); if (oldRow != null) { for (int j = 0; j < oldRow.getLastCellNum(); j++) { Cell oldCell = oldRow.getCell(j); Cell newCell = newRow.createCell(j); if (oldCell != null) { if(oldCell.getCellType() == CellType.STRING){ newCell.setCellValue(oldCell.getStringCellValue()); } else if(oldCell.getCellType() == CellType.NUMERIC){ newCell.setCellValue(oldCell.getNumericCellValue()); } else if(oldCell.getCellType() == CellType.BOOLEAN){ newCell.setCellValue(oldCell.getBooleanCellValue()); } else if(oldCell.getCellType() == CellType.FORMULA){ newCell.setCellValue(oldCell.getCellFormula()); } else if(oldCell.getCellType() == CellType.ERROR){ newCell.setCellValue(oldCell.getErrorCellValue()); } // 复制原单元格的样式到新单元格 CellStyle oldCellStyle = oldCell.getCellStyle(); CellStyle newCellStyle = workbook.createCellStyle(); newCellStyle.cloneStyleFrom(oldCellStyle); newCell.setCellStyle(newCellStyle); } } } } // 对每一行进行处理 for (int i = 1; i <= newDataSheet.getLastRowNum(); i++) { Row row = newDataSheet.getRow(i); // 获取行对象 if (row != null) { Cell cell = row.getCell(1); // 获取第二列单元格 if (cell != null && cell.getCellType() != CellType.BLANK) { // 如果单元格不为空,则跳过 } else { double avg = calculateKNN(newDataSheet, i, 1); // 计算KNN邻近算法填充的值 if (avg > 0) { // 如果填充的值大于 0 if(cell == null){ // 如果单元格为空,则创建新的单元格 cell = row.createCell(1); } cell.setCellValue(Double.parseDouble(df.format(avg))); // 将填充的值填入单元格 // 复制原单元格的样式到新单元格 CellStyle oldCellStyle = row.getCell(0).getCellStyle(); CellStyle newCellStyle = workbook.createCellStyle(); newCellStyle.cloneStyleFrom(oldCellStyle); cell.setCellStyle(newCellStyle); } } } } // 将工作簿写入输入文件 FileOutputStream outputStream = new FileOutputStream(inputFile); workbook.write(outputStream); outputStream.close(); System.out.println('Data filling completed.'); // 输出信息 } catch (Exception e) { // 捕获异常 e.printStackTrace(); } }
// 计算KNN邻近算法填充的值 private static double calculateKNN(Sheet sheet, int rowIndex, int columnIndex) { List<Double> data = new ArrayList<>(); // 存储数据 for (int i = 0; i <= sheet.getLastRowNum(); i++) { // 对每一行进行处理 Row row = sheet.getRow(i); // 获取行对象 if (row != null) { Cell cell = row.getCell(columnIndex); // 获取指定列的单元格 if (cell != null && cell.getCellType() == CellType.NUMERIC) { data.add(cell.getNumericCellValue()); // 将数据添加到列表中 } } } if (data.size() > 0) { // 如果存在数据 double missingValue = 0; // 缺失值 Row row = sheet.getRow(rowIndex); // 获取当前行对象 if (row != null) { Cell cell = row.getCell(columnIndex); // 获取指定列的单元格 if (cell == null || cell.getCellType() == CellType.BLANK) { // 如果单元格为空 missingValue = 0; // 缺失值为 0 } else if (cell.getCellType() == CellType.NUMERIC) { missingValue = cell.getNumericCellValue(); // 缺失值为单元格中的值 } else if (cell.getCellType() == CellType.STRING) { try { missingValue = Double.parseDouble(cell.getStringCellValue()); // 转换为数字类型 } catch (NumberFormatException e) { missingValue = 0; // 转换失败则缺失值为 0 } } } if (missingValue > 0) { // 如果缺失值大于 0 return missingValue; // 直接返回缺失值 } else { List<Double> distances = new ArrayList<>(); // 存储距离 for (double value : data) { // 遍历数据 double distance = Math.abs(value - missingValue); // 计算距离 distances.add(distance); // 将距离添加到列表中 } // 对距离进行排序 distances.sort(Comparator.comparingDouble(o -> o)); int k = 3; // 取前三个最近的邻居 double sum = 0; // 总和 int count = 0; // 计数器 for (int i = 0; i < k && i < distances.size(); i++) { // 对前 k 个最近的邻居进行处理 double value = data.get(distances.indexOf(distances.get(i))); // 获取对应的值 sum += value; // 累加值 count++; // 计数器加 1 } if (count > 0) { // 如果计数器大于 0 return sum / count; // 返回平均值 } else { return 0; // 否则返回 0 } } } else { return 0; // 如果不存在数据,则返回 0 } }
// 解析日期 private static Date parseDate(String dateString) { SimpleDateFormat dateFormat = new SimpleDateFormat('yyyy/MM/dd HH:mm'); // 创建日期格式化器 try { return dateFormat.parse(dateString); // 解析日期 } catch (ParseException e) { // 捕获异常 e.printStackTrace(); return null; // 返回 null } }
}
代码说明
-
导入必要的库: - 代码首先导入了必要的库,包括
org.apache.poi.ss.usermodel.*用于操作Excel文件,java.io.*用于文件读写,java.text.*用于日期格式化,以及java.util.*用于使用List和Collections等数据结构。 -
主函数 (main method): - 定义输入输出文件路径:代码指定了要修复的Excel文件路径。 - 读取Excel文件: 使用
WorkbookFactory读取Excel文件。 - 创建新工作表: 创建一个名为'数据补'的新工作表,用于存放修复后的数据。 - 复制数据和格式: 将原工作表的数据和格式复制到新工作表。 - 填充缺失值: 遍历新工作表,使用calculateKNN函数计算KNN值并填充缺失值,同时保留原单元格格式。 - 保存文件: 将修复后的数据写入Excel文件。 -
calculateKNN 函数: - 提取数据: 从指定列提取有效数据到一个List中。 - 处理缺失值: 获取当前单元格的值,如果是缺失值,则进行下一步计算。 - 计算距离: 计算当前缺失值与其他所有有效值之间的距离。 - 查找K近邻: 对距离进行排序,找到K个最近的邻居。 - 计算平均值: 计算K个近邻的平均值,并将其作为填充值。
-
parseDate 函数: - 定义日期格式: 定义了日期字符串的格式。 - 解析日期: 将日期字符串解析为Date对象。
如何使用
- 将代码保存为
.java文件 (例如,knn01.java)。2. 使用Java编译器编译代码:javac knn01.java3. 运行程序:java knn01
注意: - 程序默认修复第二列 (columnIndex = 1) 的数据,可以根据需要修改代码。- KNN算法中的K值默认设置为3,可以根据实际情况调整。
这段代码已经实现了自动解析原数据中每一个单元格的格式,并将其保留到新建的工作表中。在复制原工作表数据到新工作表时,会根据原单元格的类型(字符串、数字、布尔值、公式、错误)来设置新单元格的值,并且会复制原单元格的样式到新单元格中。因此,新建的工作表中的单元格格式与原数据中的单元格格式保持一致。
原文地址: https://www.cveoy.top/t/topic/fwlC 著作权归作者所有。请勿转载和采集!