Databricks是否将SQL查询转换为Python Notebook中的PySpark?

问题描述

我正在使用蔚蓝的数据块创建笔记本来运行一些查询,并且它通过使用标记sql在python笔记本中支持标准SQL查询,我的问题是,查询运行时,在其后面,数据块实际上会翻译吗SQL查询到PySpark?

解决方法

调用语言魔术命令时,该命令将在笔记本的执行上下文中分派到REPL。

什么是执行上下文?

将笔记本连接到群集时,Databricks将创建一个执行上下文。执行上下文包含每种受支持编程语言的REPL环境的状态:Python,R,Scala和SQL。在笔记本中运行单元格时,该命令将分派到适当的语言REPL环境中并运行。

您可以通过在单元格的开头指定语言魔术命令%来覆盖默认语言。受支持的魔术命令为:%python%r%scala%sql

注意:在一种语言中定义的变量(因此在该语言的REPL中定义)在另一种语言的REPL中不可用。 REPL只能通过外部资源(例如DBFS中的文件或对象存储中的对象)共享状态。