Hive 解析 JSON 数据并按时间切分插入分区表

本教程演示如何在 Hive 中解析 JSON 数据并根据时间戳字段将其插入分区表。我们将从一个包含 JSON 字段的表开始，提取时间戳数据，并将其用于创建分区表，最后将数据插入到对应的分区中。

示例场景：

假设我们有一个名为 tb1 的表，其中包含一个名为 data 的 JSON 字段，该字段存储了时间戳信息。我们希望根据时间戳字段将数据插入到一个名为 tb 的分区表中。

表结构：

tb1 表结构如下：

| id | data | |---|---| | 1 | '{'SJSJ':'2020-01-01 01:01:01:000','id':'1'}' | | 2 | '{'SJSJ':'2021-02-02 02:02:02:000','id':'2'}' | | 3 | '{'SJSJ':'2022-03-03 03:03:03:000','id':'3'}' |

tb 表结构如下：

| id | sjsj_date | |---|---| | 1 | 2020-01-01 | | 2 | 2021-02-02 | | 3 | 2022-03-03 |

实现步骤：

创建分区表 tb

CREATE TABLE tb (
  id INT,
  sjsj_date STRING
) PARTITIONED BY (sjsj_date STRING);

解析 JSON 数据并提取时间戳

INSERT INTO TABLE tb PARTITION(sjsj_date)
SELECT id, substr(get_json_object(data, '$.SJSJ'), 1, 10) AS sjsj_date
FROM tb1;

get_json_object 函数用于解析 JSON 数据，获取 $.SJSJ 字段的值（即时间戳）。
substr 函数用于截取时间戳的前 10 个字符，得到日期部分。

查询 tb 表数据

SELECT * FROM tb;

| id | sjsj_date | 
|---|---| 
| 1 | 2020-01-01 | 
| 2 | 2021-02-02 | 
| 3 | 2022-03-03 |

总结：

本教程演示了如何使用 Hive 解析 JSON 数据，提取时间戳字段并将其用于创建分区表。通过使用 get_json_object 和 substr 函数，我们可以轻松地将 JSON 数据插入到分区表中。