问题描述
我正在尝试从在 python 转换中调用的 Pandas udf 登录。
因为在执行器上调用的代码没有显示在驱动程序的日志中。
我一直在寻找关于 SO 的一些选项，但到目前为止最接近的选项是 one
欢迎任何有关如何在驱动程序日志或构建下可用的任何其他日志文件中显示日志的想法。
import logging
logger = logging.getLogger(__name__)
@pandas_udf(schema,functionType=PandasUDFType.GROUPED_MAP)
def my_udf(my_pdf):
logger.info('calling my udf')
do_some_stuff()
results_df = my_df.groupby("Name").apply(my_udf)
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）