Excel 数据修复工具：自动填充缺失值并修复时间间隔
import org.apache.poi.ss.usermodel.*;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.text.DecimalFormat;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
public class EM01 {
public static void main(String[] args) {
// 定义输入文件和输出文件的路径
String inputFile = "input.xlsx";
try (Workbook workbook = WorkbookFactory.create(new FileInputStream(inputFile))) { // 使用工作簿工厂创建 Excel 工作簿
Sheet sheet = workbook.getSheet("P1"); // 获取 P1 工作表
DecimalFormat df = new DecimalFormat("#.##"); // 创建 Decimal 格式化器，用于保留两位小数
// 创建新的工作表
String newSheetName = "P1-1";
int sheetIndex = workbook.getSheetIndex(newSheetName);
Sheet newDataSheet;
if (sheetIndex >= 0) {
workbook.removeSheetAt(sheetIndex);
}
newDataSheet = workbook.createSheet(newSheetName);
// 复制原工作表的数据到新的工作表
for (int i = 0; i <= sheet.getLastRowNum(); i++) {
Row oldRow = sheet.getRow(i);
Row newRow = newDataSheet.createRow(i);
if (oldRow != null) {
for (int j = 0; j < oldRow.getLastCellNum(); j++) {
Cell oldCell = oldRow.getCell(j);
Cell newCell = newRow.createCell(j);
if (oldCell != null) {
if(oldCell.getCellType() == CellType.STRING){
newCell.setCellValue(oldCell.getStringCellValue());
} else if(oldCell.getCellType() == CellType.NUMERIC){
newCell.setCellValue(oldCell.getNumericCellValue());
} else if(oldCell.getCellType() == CellType.BOOLEAN){
newCell.setCellValue(oldCell.getBooleanCellValue());
} else if(oldCell.getCellType() == CellType.FORMULA){
newCell.setCellValue(oldCell.getCellFormula());
} else if(oldCell.getCellType() == CellType.ERROR){
newCell.setCellValue(oldCell.getErrorCellValue());
}
// 复制原单元格的样式到新单元格
CellStyle oldCellStyle = oldCell.getCellStyle();
CellStyle newCellStyle = workbook.createCellStyle();
newCellStyle.cloneStyleFrom(oldCellStyle);
newCell.setCellStyle(newCellStyle);
}
}
}
}
// 对每一行进行处理
for (int i = 1; i <= newDataSheet.getLastRowNum(); i++) {
Row row = newDataSheet.getRow(i); // 获取行对象
if (row != null) {
Cell cell = row.getCell(1); // 获取第二列单元格
if (cell == null || cell.getCellType() == CellType.BLANK) { // 判断单元格是否为空或者空白
double avg = calculateEM(newDataSheet, i, 1); // 计算EM算法填充的值
if (avg > 0) { // 如果填充的值大于 0
cell = row.createCell(1); // 创建新的单元格
cell.setCellValue(Double.parseDouble(df.format(avg))); // 将填充的值填入单元格
// 设置单元格的数据类型为数值类型
CellStyle cellStyle = workbook.createCellStyle();
DataFormat dataFormat = workbook.createDataFormat();
cellStyle.setDataFormat(dataFormat.getFormat("0.00"));
cell.setCellStyle(cellStyle);
}
}
}
}
// 填充缺失的时间数据，并修复时间间隔
checkAndInsertData(newDataSheet);
// 将工作簿写入输入文件
FileOutputStream outputStream = new FileOutputStream(inputFile);
workbook.write(outputStream);
outputStream.close();
System.out.println("Data filling completed."); // 输出信息
} catch (Exception e) { // 捕获异常
e.printStackTrace();
}
}
// 计算EM算法填充的值
private static double calculateEM(Sheet sheet, int rowIndex, int columnIndex) {
Row row;
double missingValue = 0; // 缺失值
row = sheet.getRow(rowIndex); // 获取当前行对象
if (row != null) {
Cell cell = row.getCell(columnIndex); // 获取指定列的单元格
if (cell != null && cell.getCellType() == CellType.NUMERIC) {
missingValue = cell.getNumericCellValue(); // 缺失值为单元格中的值
} else if (cell != null && cell.getCellType() == CellType.STRING) {
try {
missingValue = Double.parseDouble(cell.getStringCellValue()); // 转换为数字类型
} catch (NumberFormatException e) {
missingValue = 0; // 转换失败则缺失值为 0
}
}
}
List<Double> data = new ArrayList<>(); // 存储数据
for (int i = 0; i <= sheet.getLastRowNum(); i++) { // 对每一行进行处理
row = sheet.getRow(i); // 获取行对象
if (row != null) {
Cell cell = row.getCell(columnIndex); // 获取指定列的单元格
if (cell != null && cell.getCellType() == CellType.NUMERIC) {
data.add(cell.getNumericCellValue()); // 将数据添加到列表中
} else if (cell != null && cell.getCellType() == CellType.STRING) {
try {
double value = Double.parseDouble(cell.getStringCellValue()); // 转换为数字类型
data.add(value); // 将数据添加到列表中
} catch (NumberFormatException e) {
// 转换失败，忽略该值
}
}
}
}
if (data.size() > 0 && missingValue >= 0) { // 如果存在数据且缺失值大于 0
double sum = 0; // 总和
int count = 0; // 非缺失值个数
for (double value : data) { // 遍历数据
if (value >= 0) { // 非缺失值
sum += value; // 累加非缺失值
count++; // 非缺失值个数加一
}
}
if (count > 0) { // 如果存在非缺失值
double average = sum / count; // 计算平均值
double variance = 0; // 方差
for (double value : data) { // 遍历数据
if (value >= 0) { // 非缺失值
variance += Math.pow(value - average, 2); // 累加方差
}
}
variance /= count; // 计算方差
double stdDeviation = Math.sqrt(variance); // 标准差
double filledValue = generateRandomValue(average, stdDeviation); // 生成符合正态分布的随机值
return filledValue; // 返回填充的值
}
}
return 0; // 如果不存在数据或缺失值小于等于0，返回 0
}
// 生成符合正态分布的随机值
private static double generateRandomValue(double average, double stdDeviation) {
double value;
do {
value = average + stdDeviation * Math.random(); // 生成随机值
} while (value < 0); // 保证生成的值大于等于 0
return value;
}
// 解析日期
private static Date parseDate(String dateString) {
SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy/MM/dd HH:mm"); // 创建日期格式化器
try {
return dateFormat.parse(dateString); // 解析日期
} catch (ParseException e) { // 捕获异常
e.printStackTrace();
return null; // 返回 null
}
}
// 检查并插入数据
private static void checkAndInsertData(Sheet sheet) {
List<Date> dateList = new ArrayList<>(); // 存储日期数据
List<Double> dataList = new ArrayList<>(); // 存储数值数据
// 遍历工作表的每一行
for (int i = 1; i <= sheet.getLastRowNum(); i++) {
Row row = sheet.getRow(i); // 获取行对象
if (row != null) {
Cell dateCell = row.getCell(0); // 获取日期单元格
Cell dataCell = row.getCell(1); // 获取数值单元格
if (dateCell != null && dateCell.getCellType() == CellType.NUMERIC &&
dataCell != null && dataCell.getCellType() == CellType.NUMERIC) {
Date date = dateCell.getDateCellValue(); // 获取日期值
double data = dataCell.getNumericCellValue(); // 获取数值值
dateList.add(date); // 添加日期值到列表
dataList.add(data); // 添加数值值到列表
}
}
}
// 遍历日期列表，判断相邻日期的间隔是否超过10天
for (int i = 0; i < dateList.size() - 1; i++) {
Date currentDate = dateList.get(i); // 当前日期
Date nextDate = dateList.get(i + 1); // 下一个日期
long interval = nextDate.getTime() - currentDate.getTime(); // 计算相邻日期的间隔
if (interval > 10 * 24 * 60 * 60 * 1000) { // 如果间隔超过10天
int insertCount = (int) (interval / (10 * 24 * 60 * 60 * 1000)); // 计算需要插入的次数
for (int j = 1; j <= insertCount; j++) {
Date insertDate = new Date(currentDate.getTime() + j * (10 * 24 * 60 * 60 * 1000)); // 计算插入的日期
double insertData = (dataList.get(i + 1) - dataList.get(i)) / (insertCount + 1) * j + dataList.get(i); // 计算插入的数值
insertData(sheet, insertDate, insertData); // 插入数据
}
}
}
}
// 在指定日期之后插入新的日期和对应的数据
private static void insertData(Sheet sheet, Date date, double data) {
int lastRowNum = sheet.getLastRowNum();
Row newRow = sheet.createRow(lastRowNum + 1); // 创建新的行
Cell dateCell = newRow.createCell(0); // 创建日期单元格
Cell dataCell = newRow.createCell(1); // 创建数值单元格
dateCell.setCellValue(date); // 设置日期值
dataCell.setCellValue(data); // 设置数值值
}
}
该代码实现了一个 Excel 数据修复工具，主要功能包括：
- 自动填充缺失值：使用 EM 算法根据已有数据计算缺失值，并将其填充到空白单元格中。
- 修复时间间隔：判断每两个相邻数据所对应的时间间隔，如果超过 10 天，则在中间插入新的时间和对应的数据，直到时间间隔不超过 10 天。
代码中使用 Apache POI 库操作 Excel 文件，并使用 checkAndInsertData() 方法来判断和插入时间数据。在 main() 方法中，先使用 calculateEM() 方法填充缺失值，然后再调用 checkAndInsertData() 方法修复时间间隔，最后将修改后的数据写入文件。
使用方法：
- 将代码保存为
EM01.java文件。 - 将需要修复的 Excel 文件命名为
input.xlsx，并放在与EM01.java文件相同的目录下。 - 编译并运行
EM01.java文件。 - 修复后的 Excel 文件将覆盖原
input.xlsx文件。
注意：
- 该代码仅适用于 Excel 文件中的日期数据和数值数据。
- 代码中时间间隔的阈值为 10 天，可以根据实际情况进行修改。
- 为了更好地理解代码，建议使用 IDE 工具进行调试。
其他优化建议：
- 可以使用多线程技术加速数据填充和时间间隔修复过程。
- 可以将代码封装成独立的类库，方便重复使用。
- 可以添加用户界面，方便用户使用。
- 可以添加异常处理机制，防止程序运行时发生错误。
希望以上内容对您有所帮助。
原文地址: https://www.cveoy.top/t/topic/fPHz 著作权归作者所有。请勿转载和采集!