如何使用Databrick访问AWS公共数据集？

问题描述

我是数据砖的新手。我正在为我的学校项目寻找公共大数据数据集，然后在以下链接上遇到了AWS公共数据集：https://registry.opendata.aws/target/

我在Databricks上使用python，但我不知道如何建立与数据的连接。我发现了以下指导方法：

https://databricks.com/wp-content/uploads/2015/08/Databricks-how-to-data-import.pdf?_ga=2.25033139.881714623.1602433762-982722630.1598480448

它提到了

我不确定如何找到相应的access_key，secret_key，AWS_bucket_name和mount_name。

解决方法

本文档适用于非公共S3存储桶。

对于此数据集，您可以简单地使用s3://... URL进行读取，如下所示：

df = spark.read.format("text").load("s3://gdc-target-phs000218-2-open/")

我仅使用text文件格式，但是由于此数据集使用XML存储数据，因此您需要使用类似spark-xml library之类的东西来提取必要的数据。