PostgreSQL 批量插入数据报错 'ERROR: invalid byte sequence for encoding 'UTF8': 0x00' 错误解决方法

在使用 Mybatis-Plus 插件向 PostgreSQL 批量插入从其他接口获取的 list 数据时，经常会遇到 'ERROR: invalid byte sequence for encoding 'UTF8': 0x00' 错误。这个错误通常是由于数据中包含了非法的 UTF8 字符导致的。

以下是几种解决此问题的方法：

1. 定位错误字段: 可以通过逐一排除的方式，将数据拆分成多个部分进行插入，以确定是哪个字段导致了错误。每次只插入部分字段，如果插入成功，则表示剩余字段中存在问题。通过逐步缩小范围，最终可以定位到导致错误的字段。

2. 修改 mapper 的 SQL 语句: 在插入数据时，可以使用 PostgreSQL 的 string_agg 函数将 list 数据转换为字符串后再插入。可以使用 Java 的 String.join 方法将 list 数据转换为逗号分隔的字符串，然后在 SQL 语句中使用 string_agg 函数进行插入。

   示例代码如下：

   @Insert("INSERT INTO table_name (column_name) VALUES (string_agg(#{list}, ','))")
   void batchInsert(@Param("list") List<String> list);
   

   这样可以将 list 数据转换为字符串后再插入，避免了非法的 UTF8 字符导致的错误。

3. 修改数据编码格式: 如果不修改 PostgreSQL 的编码格式，也可以尝试将 list 数据中的非法字符进行过滤或替换。可以使用 Java 的正则表达式或其他字符处理方法，将非法字符替换为合法的字符，然后再进行插入操作。

   示例代码如下：

   List<String> filteredList = new ArrayList<>();
   for (String data : list) {
     String filteredData = data.replaceAll("[\x00]", ""); // 过滤非法字符
     filteredList.add(filteredData);
   }
   // 调用批量插入方法
   batchInsert(filteredList);
   

   这样可以将非法字符过滤或替换后再进行插入，避免了错误。

以上是几种可能的解决方法，根据具体情况选择合适的方法进行处理。