将文件导入databricks笔记本的问题

编程问答 2022-06-10

问题描述

我正在尝试从本地计算机将.txt文件导入数据砖笔记本（scala）。我进入数据部分，然后单击“添加数据”。在顶部面板中选择了“上传文件”选项，我单击浏览以找到文件，然后单击“在Notebook中创建表”。然后，我得到了文件的路径，但是当我尝试通过命令“ val file_location =” /FileStore/tables/....txt“访问另一个笔记本中的数据时，我得到了” java.io.FileNotFoundException：/ FileStore / tables / .... txt（无此类文件或目录）”。有人知道我在这里做错了什么，我应该怎么做吗？

亲切的问候

解决方法

格式应为text，而不是txt。参见documentation：

scala> val df = spark.read.format("text").load("README.md")
df: org.apache.spark.sql.DataFrame = [value: string]

scala> df.count
res0: Long = 104

或者您可以使用spark.read.textFile函数，这实际上是它的快捷方式：

scala> spark.read.textFile("README.md").count
res1: Long = 104
apache-sparkdatabricksimportscalatxttxt