Hive 解析 JSON 数据并按时间分区插入数据表

本文介绍了如何在 Hive 中解析存储在 tb1 表字段 'data' 中的 JSON 数据，并根据数据中的 'SJSJ' 字段时间，将数据插入到分区表 tb 中，实现时间维度的数据存储和分析。

假设 tb1 表中有一个名为 'data' 的字段存储了 JSON 数据 {'SJSJ':'2020-01-01 01:01:01:000','id':'1'}，我们可以使用 Hive 的内置函数来解析 JSON 数据并按照 'SJSJ' 字段的时间切分出日期，然后将数据插入到分区表 tb 中。

首先，我们需要创建一个分区表 tb，代码如下：

CREATE TABLE tb (
  id INT,
  sjsj DATE
) PARTITIONED BY (
  year INT,
  month INT,
  day INT
)

然后，我们可以使用以下语句从 tb1 表中解析出 JSON 数据并插入到 tb 表中：

INSERT OVERWRITE TABLE tb
PARTITION (year, month, day)
SELECT
  id,
  CAST(FROM_UNIXTIME(UNIX_TIMESTAMP(data['SJSJ'], 'yyyy-MM-dd HH:mm:ss:SSS')) AS DATE) AS sjsj,
  YEAR(data['SJSJ']),
  MONTH(data['SJSJ']),
  DAY(data['SJSJ'])
FROM tb1;

这条语句将从 tb1 表中选择所有数据，并将它们解析成 JSON 格式。然后，使用内置函数 FROM_UNIXTIME 和 UNIX_TIMESTAMP 将 'SJSJ' 字段转换为日期格式，并将其存储在 'sjsj' 列中。最后，使用 YEAR，MONTH 和 DAY 函数从 'SJSJ' 字段中提取年、月和日，并将它们存储在 'year'、'month' 和 'day' 分区列中。

注意，以上代码中的日期格式 'yyyy-MM-dd HH:mm:ss:SSS' 要与 JSON 数据中的 'SJSJ' 字段的日期格式保持一致。如果日期格式不同，需要相应地更改日期格式。