沒有文件或目錄的錯誤當使用熊貓。read_excel在磚

[anirudh_a]

我被磚的行為:

下麵你將看到的內容目錄中使用dbutils磚。它顯示了測試。xlsx的文件在目錄(我甚至可以打開它使用“dbutils.fs.head”)但當我去使用熊貓。read_excel閱讀它,我得到以下錯誤陳述不能被發現……

我在統一目錄運行命令/共享集群與磚13.2運行時(火花v3.4.0)

[Debayan]

嗨,你能提出一個支持情況下,這樣我們可以調查和分類嗎?

[JameDavi_51481]

這是一個非常令人沮喪的設計選擇,在團結山姆集群中,磚禁用文件係統掛載為DBFS允許通讀香草Python,但把它落在PySpark,因為實施支持訪問控製通過火花但不是Python。

作為讀取數據的方法具體來說,你可以從pyspark首先讀取文件,然後將它轉換成一個香草熊貓對象,但這並不適用於所有工作流程,記錄很差。

[knutasm · Accepted solution]

我們曾經有過這個問題,但工作圍繞它通過加州大學外部的文件位置,和使用火花熊貓代替常規的熊貓,因為它使用火花訪問模型,這與加州大學授予。

然而,最近的加州卷,您可以添加的位置體積和訪問它,你將一個文件在一個常規文件係統。