spark.sparkContext。setCheckpointDir——外部Azure存儲

[sintsan]

有可能直接spark.sparkContext。setCheckpointDir外部Azure存儲容器的位置(而不是DBFS) &如果如何,有很少的文檔。

[werners1 · Accepted solution]

是的,

目錄必須是一個HDFS路徑,如果在一個集群上運行。

所有你需要做的是提供正確的路徑。