6.1數據的工程課。錯誤當閱讀流- . lang。UnsupportedOperationException:方式com.databricks.backend.daemon.data.client.DBFSV1。resolvePathOnPhysicalStorage(路徑:路徑)

[LearnerShahid]

下麵的函數執行罰款:

def autoload_to_table (data_source、source_format table_name checkpoint_directory):

查詢= (spark.readStream

.format (“cloudFiles”)

.option (“cloudFiles。形式at", source_format)

.option (“cloudFiles。schemaLocation”, checkpoint_directory)

.load (data_source)

.writeStream

checkpoint_directory .option (“checkpointLocation”)

.option (“mergeSchema”,“真正的”)

.table (table_name))

返回查詢

當調用函數時發生錯誤。請讓我知道問題在哪裏。

[Prabakar]

嗨@Shahid Akhter請複製完整的錯誤堆棧和粘貼在這裏。

[LearnerShahid]

. lang。UnsupportedOperationException:方式com.databricks.backend.daemon.data.client.DBFSV1。resolvePathOnPhysicalStorage(路徑:路徑)

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

Py4JJavaError回溯(最近調用最後)

模塊在< <命令- 1919808831305181 > >

- - - - - > 1查詢= autoload_to_table (data_source = f“{DA.paths.working_dir} /跟蹤器”,

2 source_format = " json ",

3 table_name =“target_table”,

4 checkpoint_directory = f“{DA.paths.checkpoints} / target_table”)

<命令- 1919808831305179 > autoload_to_table (data_source、source_format table_name checkpoint_directory)

1 def autoload_to_table (data_source、source_format table_name checkpoint_directory):

- - - - - > 2查詢= (spark.readStream

3 .format (“cloudFiles”)

4 .option (“cloudFiles。形式at", source_format)

5 .option (“cloudFiles。schemaLocation”, checkpoint_directory)

/磚/火花/ python / pyspark / sql /流。py負載(自我、路徑、格式、模式* *選項)

450年籌集ValueError(“如果路徑提供了流,它需要一個“+

451年“非空字符串。不支持的路徑列表。”)

- - > 452年返回self._df (self._jreader.load(路徑))

453年:

454年返回self._df (self._jreader.load ())

[塞德裏克]

嗨@LearnerShahid,

我自己測試了這個環境,我能複製這個當我使用DBR 7.3。你能試著DBR 10.4 +,看看是否能解決問題?

[LearnerShahid]

你好,塞德裏克/團隊,

我使用磚Community Edition 10.4 LTS(包括Apache火花3.2.1之上,Scala 2.12)。

你能請確認如果你有試過在Community Edition嗎?根據細節Community Edition集群環境的細節,它運行在DBFSV1(附截圖),而不是最新的DBFSV2。的情況下,這是一個問題由於DBFV1 DBFSV2,請讓我知道如何解決這個問題,因為這是導致問題在後續課程使用火花流。

通知你,我已經試過多次執行代碼通過創建不同的集群,它仍然顯示了同樣的錯誤。