从EMR pyspark访问Athena View，以最有效的方式重新创建外部表或胶目录

问题描述

我已经阅读了其他问题，对此选项感到困惑。我想阅读EMR Spark中的Athena view，并通过在google / stackoverflow上进行搜索，意识到这些视图以某种方式存储在S3中，所以我首先尝试通过以下方式查找视图的外部位置：

Describe mydb.Myview

它提供架构，但不提供外部位置。据此，我假设无法从S3

将其读取为Dataframe

到目前为止，我在阅读Spark中的雅典娜视图时已经考虑过

我考虑了以下选项

1. 使用带有外部格式为PARQUET的WITH语句从该雅典娜视图中制作一个新表

   CREATE TABLE Temporary_tbl_from_view WITH ( format = 'PARQUET',external_location = 's3://my-bucket/views_to_parquet/',) AS ( SELECT * FROM "mydb"."myview"; );

1. 另一种选择基于this answer，这表明

启动EMR群集（v5.8.0和更高版本）时，可以进行指示 连接到您的胶水数据目录。这是 “创建集群”对话框。当您选中此选项时，Spark sqlContext将连接到glue数据目录，您将能够 查看雅典娜的桌子。

但是我不确定，如果在Spark上下文中可以通过view使用athena表/视图，那么如何在pyspark中查询此glue catalogue（不是表），像这样的简单语句行得通吗？ / p>

sqlContext.sql("SELECT * from mydbmyview")

问题，在spark中读取此视图的更有效方法是，使用WITH语句（外部位置）重新创建表意味着我将这个东西存储在glue catalog或S3两次？如果是，如何直接通过S3或胶目录读取它？

解决方法

只是为了与他人共享我所遵循的解决方案，我创建了启用以下选项的集群

Use AWS Glue Data Catalog for table metadata

然后，我从AWS GLUE中看到了database的名称，并能够在tablename中看到所需的视图，如下所示

spark.sql("use my_db_name")
spark.sql("show tables").show(truncate=False)
+------------+---------------------------+-----------+
|database    |tableName                  |isTemporary|
+------------+---------------------------+-----------+
|  my_db_name|tabel1                     |false      |
|  my_db_name|desired_table              |false      |
|  my_db_name|tabel3                     |false      |
+------------+---------------------------+-----------+