Spring Boot 2.2.6 + MyBatis + Apache Hudi: 批量新增操作示例

以下是一个示例，展示如何在 Spring Boot 2.2.6 中集成 MyBatis 和 Apache Hudi，使用 Hive 3.1.2 作为数据存储。

1. 添加依赖

在 pom.xml 文件中添加以下依赖：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-jdbc</artifactId>
</dependency>
<dependency>
    <groupId>org.mybatis.spring.boot</groupId>
    <artifactId>mybatis-spring-boot-starter</artifactId>
    <version>2.1.0</version>
</dependency>
<dependency>
    <groupId>org.apache.hudi</groupId>
    <artifactId>hudi-client</artifactId>
    <version>0.12.0-incubating</version>
</dependency>
<dependency>
    <groupId>org.apache.hudi</groupId>
    <artifactId>hudi-spark-bundle_2.11</artifactId>
    <version>0.12.0-incubating</version>
</dependency>
<dependency>
    <groupId>org.apache.hudi</groupId>
    <artifactId>hudi-hadoop-mr-bundle</artifactId>
    <version>0.12.0-incubating</version>
</dependency>
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-jdbc</artifactId>
    <version>3.1.2</version>
</dependency>

2. 配置数据源

在 application.yaml 中添加以下配置：

spring:
  datasource:
    url: jdbc:hive2://<hive_host>:<hive_port>/<database>
    driver-class-name: org.apache.hive.jdbc.HiveDriver
    username: <username>
    password: <password>

hudi:
  datasource:
    url: jdbc:hive2://<hive_host>:<hive_port>/<database>
    driver-class-name: org.apache.hive.jdbc.HiveDriver
    username: <username>
    password: <password>

3. 配置 MyBatis

在 application.yaml 中添加以下配置：

mybatis:
  mapper-locations: classpath*:mapper/*.xml
  configuration:
    map-underscore-to-camel-case: true
    cache-enabled: false

4. 编写 Mapper 和 XML 文件

在 src/main/resources/mapper 目录下创建一个 UserMapper.java 文件和一个 UserMapper.xml 文件。

UserMapper.java 文件内容：

@Mapper
public interface UserMapper {
    void batchInsert(List<User> userList);
}

UserMapper.xml 文件内容：

<mapper namespace='com.example.mapper.UserMapper'>
    <insert id='batchInsert'>
        INSERT INTO hudi_users (id, name, age, gender, create_time, update_time)
        VALUES
        <foreach collection='list' item='item' separator=','>
            (#{item.id}, #{item.name}, #{item.age}, #{item.gender}, #{item.createTime}, #{item.updateTime})
        </foreach>
    </insert>
</mapper>

5. 编写实体类

在 src/main/java/com/example/entity 目录下创建一个 User.java 文件。

User.java 文件内容：

public class User {
    private Long id;
    private String name;
    private Integer age;
    private String gender;
    private Date createTime;
    private Date updateTime;

    // getter and setter methods
}

6. 编写 Service 和 Controller

在 src/main/java/com/example/service 目录下创建一个 UserService.java 文件。

UserService.java 文件内容：

@Service
@Transactional
public class UserService {
    private final UserMapper userMapper;

    public UserService(UserMapper userMapper) {
        this.userMapper = userMapper;
    }

    public void batchInsert(List<User> userList) {
        userMapper.batchInsert(userList);
    }
}

在 src/main/java/com/example/controller 目录下创建一个 UserController.java 文件。

UserController.java 文件内容：

@RestController
@RequestMapping('/users')
public class UserController {
    private final UserService userService;

    public UserController(UserService userService) {
        this.userService = userService;
    }

    @PostMapping
    public void batchInsert(@RequestBody List<User> userList) {
        userService.batchInsert(userList);
    }
}

7. 测试

启动应用程序，并使用以下命令向服务器发送 POST 请求：

curl -H 'Content-Type: application/json' -X POST -d '[{"id": 1, "name": "Alice", "age": 20, "gender": "female", "createTime": "2021-01-01 00:00:00", "updateTime": "2021-01-01 00:00:00"}, {"id": 2, "name": "Bob", "age": 25, "gender": "male", "createTime": "2021-01-01 00:00:00", "updateTime": "2021-01-01 00:00:00"}]' http://localhost:8080/users

该请求应该将两个用户批量插入到 Hudi 数据源中。

注意：在实际生产环境中，应该配置更多的参数来优化性能和可靠性。例如，使用分区表来提高查询效率，使用 Hive 的 ACID 特性来保证数据一致性等等。