今天深入讲解学习了spark实时项目日志数据采集和分流还有业务数据采集和分流还拓展了git的相关知识和小组合作就以上内容写一个实训日志

日期：2021年10月15日 地点：在线实训平台

今天在实训中，我深入学习了spark实时项目日志数据采集和分流以及业务数据采集和分流。首先，我了解到实时项目日志数据采集和分流是指利用spark技术实时采集和分流项目中生成的日志数据。通过配置spark streaming的输入源和输出源，我们能够实时获取项目中产生的日志数据，并将其按照一定的规则进行分流和处理。这样可以帮助我们及时监控项目的运行状态，发现问题并做出相应的调整。

在实训中，我学习了如何使用spark streaming来实现日志数据的采集和分流。首先，我配置了spark streaming的输入源，将其设置为项目生成的日志文件所在的目录。然后，我定义了一些规则，根据日志内容的特征将日志数据进行分流，例如将错误日志和警告日志分别存储到不同的文件中。通过这种方式，我能够方便地对不同类型的日志进行监控和分析。

除了实时项目日志数据采集和分流，我还学习了业务数据的采集和分流。业务数据是指与项目业务相关的数据，例如用户的访问记录、交易记录等。在实训中，我使用spark streaming来实现了业务数据的采集和分流。我定义了一些规则，根据业务数据的特征将其分流到不同的存储介质中，例如将用户访问记录存储到HDFS中，将交易记录存储到数据库中。通过这种方式，我能够方便地对业务数据进行分析和处理。

此外，在今天的实训中，我还拓展了git的相关知识和小组合作。通过学习git的基本用法，我能够更好地管理和协作项目代码。我了解了如何使用git进行代码的版本控制、分支管理和合并操作。在小组合作中，我与小组成员共同协作完成了一个代码项目，通过git的分支管理和合并操作，我们能够方便地进行代码的合并和冲突解决，提高了团队协作效率。

总的来说，今天的实训内容丰富多样，我在spark实时项目日志数据采集和分流、业务数据采集和分流、git的相关知识和小组合作等方面都有了新的收获。通过实际操作和与他人的合作，我不仅加深了对这些知识的理解，还提升了实际应用的能力。期待在接下来的实训中继续学习和成长