讀文件從dbfs pd.read_csv使用databricks-connect ()

[hamzatazib96]

你好所有的,

如標題所述,這是我的問題:

1。我用databricks-connect為了向磚集群發送工作

2。“本地”環境是一個AWS EC2

3所示。我想讀一個CSV文件,DBFS(磚)

pd.read_csv ()

。原因是它太大了

spark.read.csv ()

然後

.toPandas ()

(每次崩潰)。

4所示。當我運行

pd.read_csv (“/ dbfs / FileStore / some_file”)

我得到一個

FileNotFoundError

因為它指向當地S3 bucket而不是dbfs。有辦法做我想做的事(如改變大熊貓尋找文件有一些選項)?

提前謝謝!

[匿名]

嗨@Kaniz開羅,

不,我仍然沒有找到解決方案,我不能讀取dbfs和pandas.read_csv(不)。

我的意思說,設置測試通過,所以這個問題不是在設置)

[Kaniz]

嗨@Arturo Amador,請測試一旦通過改變你的DBR版本小於7 ?

[匿名]

嗨@Kaniz開羅,

我會試著和報告!

[Kaniz]

謝謝!

[匿名]

嗨@Kaniz開羅,

我可以確定DBR降級後6.4,並通過所有的測試:

databricks-connect測試

我仍然得到FileNotFound錯誤當試圖使用

pd.read_csv (' / dbfs / mnt / datalake_gen2_data / some.csv”)