问题描述
我有一组通过ADF管道运行的本地python脚本。 python脚本作为一单元笔记本驻留在databricks工作区中。我想将所有日志记录信息放在一个地方，可能是一个日志文件，人们可以简单地引用它来了解在管道运行期间到底发生了什么。
我如何解决此问题？
我已使用SparkContext object登录到数据块群集的驱动程序日志。我的自定义记录器名称为CTP_Project，log4j日志如下所示。
问题：我只希望与“ CTP_Project”记录器关联的日志在需要时进行存储和显示。
可能的解决方案： 看来databrick集群上的 log4j configuration 可以帮助实现这一目标。我想重写log4j配置可以解决问题。但是，我不知道该怎么做。甚至一个示例log4j config初始化脚本也可以解决该问题。请提出任何解决方案。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）