使用Spark进行SQL文件的执行时,可以使用Spark的日志来查看每个INSERT语句插入了多少行数据。

Spark的日志通常会生成两个文件,一个是stdout(标准输出)文件,另一个是stderr(标准错误)文件。在stdout文件中,可以找到Spark任务的详细信息,包括每个INSERT语句插入的行数。

下面是一种查看行数的方法:

  1. 执行SQL文件并将日志输出到文件中:

    spark-sql -f your_sql_file.sql 1> stdout.log 2> stderr.log
    
  2. 打开stdout.log文件,并查找包含INSERT语句的行。INSERT语句通常以"INSERT INTO"开头。可以使用grep命令过滤出包含INSERT语句的行:

    grep "INSERT INTO" stdout.log
    
  3. 在包含INSERT语句的行中,查找类似于"Inserted 10 rows"的信息。这个信息表示该INSERT语句插入了10行数据。

通过这种方式,可以在Spark的日志中找到每个INSERT语句插入的行数信息。请注意,具体的日志格式可能因Spark的版本和配置而有所不同,上述方法仅供参考

用spark 跑sql文件日志中如何知道每段insert了多少行数据。

原文地址: https://www.cveoy.top/t/topic/iDTP 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录