从天蓝色数据湖中读取镶木地板文件数据到存储在SharePoint Online中的Excel

问题描述

我们有以下要求将数据提取到Excel文件中。

• 从存储在天蓝色数据湖存储第2代中的拼花文件中查询数据
• 将数据提取到Excel文件中
• 将Excel文件存储在SharePoint Online中

实现此目标的最佳方法是什么？实施服务器端CSOM或其他Azure工具会更好吗？

非常感谢您的帮助。

解决方法

我可能会这样处理（很少的组件，但是最少的自定义代码）

流量

1. 使用逻辑应用将镶木地板文件复制到Azure Data Lake（或Blob）存储并触发Data Factory管道
2. 数据工厂管道将Databricks Python或Scala笔记本（均可将数据转换为Excel）作为输出
3. 使用Logic App将Excel传输回SharePoint

因为

• Logic Apps 对于SharePoint操作任务编排而言非常出色。
• 数据工厂很好地协调了数据块笔记本的执行。
• Databricks 可以轻松读取Parquets，并且可以轻松地将数据保存为Excel文件，因此这似乎是理想的选择。

虽然在最佳情况下需要使用3个组件，但实际上需要10行代码才能完成所需的工作。休息只是“点击”。

您可能会跳过数据工厂，并使用带有逻辑应用程序的REST API调用Databricks，但是为什么要在没有现成的组件来执行此操作时费心。