Databricks是否将SQL查询转换为Python Notebook中的PySpark？

问题描述

我正在使用蔚蓝的数据块创建笔记本来运行一些查询，并且它通过使用标记％sql在python笔记本中支持标准sql查询，我的问题是，查询运行时，在其后面，数据块实际上会翻译吗sql查询到PySpark？

解决方法

调用语言魔术命令时，该命令将在笔记本的执行上下文中分派到REPL。

什么是执行上下文？

将笔记本连接到群集时，Databricks将创建一个执行上下文。执行上下文包含每种受支持编程语言的REPL环境的状态：Python，R，Scala和SQL。在笔记本中运行单元格时，该命令将分派到适当的语言REPL环境中并运行。

您可以通过在单元格的开头指定语言魔术命令％来覆盖默认语言。受支持的魔术命令为：%python，%r，%scala和%sql。

注意：在一种语言中定义的变量（因此在该语言的REPL中定义）在另一种语言的REPL中不可用。 REPL只能通过外部资源（例如DBFS中的文件或对象存储中的对象）共享状态。