问题描述
是否可以使用Pyspark来获取数据块Notebook中特定单元格的运行时间?
解决方法
您可以通过调用System.nanoTime(Scala)来执行此操作。在Scala中使用Spark时,执行代码并测量其经过时间的一种方法是使用:spark.time(
注意:您可以使用%magic命令在笔记本中使用多种语言。
OR
,
import time
start = time.time()
time.sleep(3)
end = time.time()
diff=end - start
print(diff)
我能够通过上面的代码达到我的要求