问题描述
我有一些pyspark代码,我将它们打包为一个库,以便可以pip安装并在其他项目中使用。该代码加载了一个包含在我的库中的镶木地板文件。在大多数环境中,这种方法都能正常工作,但不适用于数据块。
在数据砖上安装pip之后,我可以在app:fabCustomSize = the same size as your layout_width
app:maxImageSize= about 10dp minus the size of your layout_width
上看到文件,但是装入镶木地板文件调用不起作用。
如果我让它尝试从file:/databricks/python/lib/python3.7/site-package/my_package/my_parquet_dir
加载,根本找不到目录。
如果我从/databricks/python/lib/python3.7/site-package/my_package/my_parquet_dir
加载,它会找到目录,但表现为目录为空。似乎镶木地板文件加载能够识别顶级目录(只要我在路径前添加“ file:”即可),但是随后的加载程序加载器失败,因为它没有在“ file”之前添加:“。
...我只是希望有人有从file:/databricks/python/lib/python3.7/site-package/my_package/my_parquet_dir
访问数据的经验,并且知道某种技巧。
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)