我使用Azure磚筆記本讀取excel文件從一個文件夾內安裝Azure blob存儲。
安裝excel的位置就像:“/ mnt / 2023 -項目儀表板/ ext / Marks.xlsx”。2023年項目是掛載點嗎指示板是容器的名稱。
當我做一個dbutils.fs.ls我可以看到裏麵的所有文件ext文件夾中。有很多操作係統函數在代碼中使用,因為它是在不同的環境中開發的。
當我做一個os.listdir在ext文件夾,我得到一個錯誤沒有這樣的文件或目錄。當我做一個os.listdir在指示板容器我得到mount.err作為輸出。閱讀時使用的excel文件熊貓或openpyxl我得到一個錯誤沒有這樣的文件或目錄。
我一直在使用和不使用/ dbfs初的掛載點。
我用12.1 DBR(包括Apache火花3.3.1,Scala 2.12)。我安裝使用憑證通過azure存儲方法。
款= {
“fs.azure.account.auth。類型”:“CustomAccessToken”,
“fs.azure.account.custom.token.provider。類:spark.conf.get (“spark.databricks.passthrough.adls.gen2.tokenProviderClassName”)
}
請幫助。我是相對較新的磚。
如果你想學習使用磚,我首先讀取文件到一個使用spark.read dataframe火花
這導致火花dataframe。從那一刻開始你可以決定將進一步使用pyspark或秘密dataframe熊貓dataframe。
這個鏈接有一些信息: