自定义 Azure Synapse 工作区 Spark 群集的节点

问题描述

Spark 中创建 Azure Synapse workspace 集群时,是否可以将任意文件和目录安装到它的 cluster nodes 和/或节点的 underlying distributed filesystem 上?

任意文件和目录,我的字面意思是任意文件和目录;不仅仅是额外的 Python 库,如演示的 here

Databricks 巧妙地提供了一种在其集群节点上执行此操作的方法(在 this document 中进行了描述)。现在我想看看是否有办法在 Azure Synapse Workspace Spark Cluster 上做同样的事情。

谢谢。

解决方法

遗憾的是,Azure Synapse Analytics 不支持任意二进制安装或写入 Spark 本地存储。

我建议您就此提供反馈:

https://feedback.azure.com/forums/307516-azure-synapse-analytics

您在这些论坛中分享的所有反馈都将由负责构建 Azure 的 Microsoft 工程团队监控和审查。