问题描述
在 Spark
中创建 Azure Synapse workspace
集群时,是否可以将任意文件和目录安装到它的 cluster nodes
和/或节点的 underlying distributed filesystem
上?
任意文件和目录,我的字面意思是任意文件和目录;不仅仅是额外的 Python
库,如演示的 here。
Databricks
巧妙地提供了一种在其集群节点上执行此操作的方法(在 this document 中进行了描述)。现在我想看看是否有办法在 Azure Synapse Workspace Spark Cluster
上做同样的事情。
谢谢。
解决方法
遗憾的是,Azure Synapse Analytics 不支持任意二进制安装或写入 Spark 本地存储。
我建议您就此提供反馈:
https://feedback.azure.com/forums/307516-azure-synapse-analytics
您在这些论坛中分享的所有反馈都将由负责构建 Azure 的 Microsoft 工程团队监控和审查。