我现在需要开发一个数据标准系统数据标准包括表名、字段名、字段类型等数据标准可以增删改查数据存储在hive中并且不断增长需要spark筛选出其中不满足标准的数据告警请给出技术架构和具体实现

技术架构：

1. 数据标准系统采用前后端分离的架构，前端使用Vue.js框架，后端使用Spring Boot框架。
2. 数据存储采用Hive，数据增长采用Kafka实时处理。
3. Spark作为数据筛选工具，通过与Hive和Kafka进行交互实现数据的筛选和告警。
4. 数据的存储和调度采用Hadoop、Yarn、Zookeeper、Oozie等大数据平台。

具体实现：

1. 建立数据标准库：在Hive中建立数据标准库，包括表名、字段名、字段类型等。
2. 建立数据采集管道：使用Kafka实现数据采集管道，将数据实时处理并存储到Hive中。
3. 实现数据标准的增删改查：使用Vue.js框架构建前端页面，通过Restful API与后端进行交互，实现数据标准的增删改查功能。
4. 实现数据筛选和告警：使用Spark作为数据筛选工具，通过与Hive和Kafka进行交互，实现数据的筛选和告警。具体实现步骤如下： 1）使用Spark Streaming从Kafka中读取数据流。 2）使用Spark SQL查询Hive中的数据标准库，获取表名、字段名、字段类型等信息。 3）使用Spark SQL将读取到的数据流按照数据标准进行筛选。 4）将不符合数据标准的数据进行告警处理，例如通过邮件、短信等方式通知相关人员。
5. 数据的存储和调度：使用Hadoop、Yarn、Zookeeper、Oozie等大数据平台进行数据的存储和调度，实现数据的批处理和定时调度等功能