dbutils.fs.ls 在过滤器内返回 FileNotFoundException 异常

问题描述

我有一个像这样的 blob 存储路径列表 wasbs://[e-mail]/logs/1/2021/04/12/*.avro. 当我尝试阅读时，它会为所有路径抛出 FileNotFoundException 异常。

def checkPathExists(path:String): Boolean = 
{ 
  try
  {
    dbutils.fs.ls(path.replace("*.avro",""))
    return true
  }
  catch
  {
    case ioe:java.io.FileNotFoundException => return false
  }
}

val pathsRdd = sc.parallelize(paths)
val fileteredpaths2 = pathsRdd.filter(p => checkPathExists(p)).collect.toList
println(fileteredpaths2.length)

但是当我运行下面的命令时它正在工作 dbutils.fs.ls("wasbs://[e-mail]/logs/1/2021/04/12/")

我不知道为什么这在过滤器中不起作用

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）