在vscode中编写azure functions实现从数据湖指定位置的blob筛选数据咧指定位置的路径为参数path筛选的规则是SinkModifiedOn字段大于输入参数time同时相同数据只保留VersionNumber字段最大的。最后将筛选的数据写入数据湖的文件中。帮我构思需要几个函数来实现每个函数的功能
可以考虑如下的函数实现方案:
-
触发器函数:在指定的Blob Container中监听Blob的新建、修改等事件,当有Blob被创建或修改时,触发该函数。该函数的主要功能是根据输入的Path参数,触发后续的处理函数,对指定路径下的Blob进行筛选和写入操作。
-
筛选函数:根据输入的时间参数time,筛选出SinkModifiedOn字段大于time的Blob,并且相同的数据只保留VersionNumber字段最大的。该函数的输入参数为Path和time,输出为筛选后的Blob列表。
-
写入函数:将筛选后的Blob列表写入到数据湖的文件中。该函数的输入参数为Path、time和筛选后的Blob列表,输出为写入结果。
需要注意的是,这三个函数的参数和输入、输出数据的格式需要进行统一规定,以便于在不同函数之间传递数据。同时,还需要对数据湖的访问权限进行设置和管理,保证函数能够正确地读取和写入数据。
原文地址: https://www.cveoy.top/t/topic/hsJa 著作权归作者所有。请勿转载和采集!