问题描述
我们正在寻找Foundry平台中是否存在一个工具,该工具将使我们能够获得字段描述列表,并且在建立数据集时,它可以自动填充这些描述。是否存在,如果存在,该工具称为什么?
谢谢。
解决方法
如果您将代码存储库升级到1.184.0+版本,则此版本已发布并可以使用。
用于推送输出列描述的方法是为TransformOutput.write_dataframe()
提供一个新的可选参数,即column_descriptions
。
此参数应为dict
,其中包含列名称的键和列描述的值(出于稳定性原因,长度最多为200个字符)。
该代码将自动计算pyspark.sql.DataFrame
上可用的列名和您提供的dict
中的键的交集,因此它将不会尝试将说明放在没有存在。
用于运行此过程的代码如下:
from transforms.api import transform,Input,Output
@transform(
my_output=Output("/my/output"),my_input=Input("/my/input"),)
def my_compute_function(my_input,my_output):
my_output.write_dataframe(
my_input.dataframe(),column_descriptions={
"col_1": "col 1 description"
}
)