讀文件從dbfs pd.read_csv使用databricks-connect ()

[hamzatazib96]

你好所有的,

如標題所述,這是我的問題:

1。我用databricks-connect為了向磚集群發送工作

2。“本地”環境是一個AWS EC2

3所示。我想讀一個CSV文件,DBFS(磚)

pd.read_csv ()

。原因是它太大了

spark.read.csv ()

然後

.toPandas ()

(每次崩潰)。

4所示。當我運行

pd.read_csv (“/ dbfs / FileStore / some_file”)

我得到一個

FileNotFoundError

因為它指向當地S3 bucket而不是dbfs。有辦法做我想做的事(如改變大熊貓尋找文件有一些選項)?

提前謝謝!

[Kaniz]

你好@hamzatazib96!我的名字叫Kaniz,和我是一個技術主持人。很高興認識你,謝謝你的問題!看看你的同行在論壇上先回答你的問題。否則我們將很快跟進與回複。

[User16763506586]

你好,

如果你改變它下麵會發生什麼呢?

pd.read_csv(“文件:/ dbfs / FileStore / some_file”)

[venter2021]

用pd嚐試它。read_excel沒有幫助。

[venter2021]

我有一個類似的問題:

• 我從內部運行databricks-connect碼頭工人容器
• 我有一個xls文件存儲在Azure文件存儲、安裝dbfs
• 我想讀這個excel文件

pd.read_excel (“dbfs: / mnt /道路/ / file.xls”)

有一個解決方案被發現呢?