大数据平台技术中数据采集技术选型数据仓库技术选型

数据采集技术选型：

Flume：Apache Flume是一种分布式的、可靠的、高可用性的数据收集系统，可用于将大量的日志数据、事件数据等实时数据从各种数据源采集到Hadoop集群中。
Logstash：Logstash是一款开源的数据采集引擎，能够采集各种形式的日志数据，包括结构化数据、非结构化数据和半结构化数据等，并将这些数据送到指定的数据存储系统中。
Kafka：Apache Kafka是一款高吞吐量的、低延迟的分布式消息队列系统，可用于数据收集、数据传输和数据处理等多种场景。
Fluentd：Fluentd是一个开源的数据收集引擎，可用于采集各种类型的数据，包括日志、事件、监控数据等，并将这些数据发送到各种数据存储系统中。

数据仓库技术选型：

Hadoop：Apache Hadoop是一款开源的分布式数据存储和处理系统，可用于处理大规模的结构化和非结构化数据。
Hive：Apache Hive是一款基于Hadoop的数据仓库工具，可用于将结构化数据存储在Hadoop中，并提供类SQL的查询接口，使得用户可以使用SQL语句查询和分析数据。
HBase：Apache HBase是一种分布式的、可扩展的、高性能的NoSQL数据库系统，可用于存储非结构化数据，并提供快速的读写性能。
Spark：Apache Spark是一款基于内存的分布式数据处理框架，可用于处理大规模的结构化和非结构化数据，并提供高性能的数据处理能力