SpringBoot + MyBatis 操作 Apache Hudi 数据库示例 - 新增、修改、查询

使用 SpringBoot 和 MyBatis 操作 Apache Hudi 数据库

本示例演示了如何使用 SpringBoot 和 MyBatis 操作 Apache Hudi 数据库，实现数据的新增、修改和查询功能。

1. 添加依赖

首先，在项目 pom.xml 文件中添加 Hudi 和 Hive 的依赖：xml org.apache.hudi hudi-client 0.12.0

org.apache.hive hive-jdbc 3.1.2

2. 配置 Hive 连接

在 application.properties 文件中配置 Hive 的连接信息：

spring.datasource.url=jdbc:hive2://<hive_server2>:10000/<database_name>spring.datasource.username=spring.datasource.password=

3. 编写 MyBatis Mapper 接口

创建 UserMapper 接口，用于定义数据操作方法：java@Mapperpublic interface UserMapper { @Insert('insert into users(id, name, age) values(#{id}, #{name}, #{age})') void insert(User user);

@Update('update users set name=#{name}, age=#{age} where id=#{id}')    void update(User user);

@Select('select * from users where id=#{id}')    User findById(String id);

@Select('select * from users')    List<User> findAll();}

4. 编写 Hudi 数据操作类

创建 UserHudiService 类，负责处理 Hudi 和 Hive 的数据操作：java@Servicepublic class UserHudiService { @Autowired private UserMapper userMapper;

@Autowired    private HoodieWriteClient hoodieWriteClient;

public void insert(User user) {        HoodieRecord hoodieRecord = new HoodieRecord(            new HoodieKey(user.getId()),            new AvroPayloadBuilder<User>()                .withData(user)                .build()        );

    hoodieWriteClient.insert(Collections.singletonList(hoodieRecord), null);        userMapper.insert(user);    }

public void update(User user) {        HoodieRecord hoodieRecord = new HoodieRecord(            new HoodieKey(user.getId()),            new AvroPayloadBuilder<User>()                .withData(user)                .build()        );

    hoodieWriteClient.upsert(Collections.singletonList(hoodieRecord), null);        userMapper.update(user);    }

public User findById(String id) {        return userMapper.findById(id);    }

public List<User> findAll() {        return userMapper.findAll();    }}

5. 编写 Controller

创建 UserController 类，提供数据操作的 API 接口：java@RestController@RequestMapping('/users')public class UserController { @Autowired private UserHudiService userHudiService;

@PostMapping    public void insert(@RequestBody User user) {        userHudiService.insert(user);    }

@PutMapping    public void update(@RequestBody User user) {        userHudiService.update(user);    }

@GetMapping('/{id}')    public User findById(@PathVariable String id) {        return userHudiService.findById(id);    }

@GetMapping    public List<User> findAll() {        return userHudiService.findAll();