在Foundry转换中保存CSV文件

问题描述

是否可以在Foundry Code Repositories transforms-python语言中保存CSV文件，而不是将它们保存为Parquet格式？

解决方法

是的，可以通过在调用write_dataset函数时指定输出数据集格式来完成。拨打电话时，您还可以包括压缩选项。例如：

@transform(
    my_input = Input('/path/to/input/dataset'),my_output = Output('/path/to/output/dataset')
)
def compute_function(my_input,my_output):
    my_output.write_dataframe(
        my_input.dataframe(),output_format = "csv",options = {
            "compression": "gzip"
        }
    )

foundry-code-repositories palantir-foundry