當使用磚你有時會需要訪問的數據磚文件係統(DBFS)。
訪問DBFS是用標準的文件係統上的文件命令,然而語法變化取決於所使用的語言或工具。
例如,采取以下DBFS路徑:
dbfs: / mnt / test_folder / test_folder1 /
Apache火花
在火花,你應該指定在火花讀取命令的完整路徑。
spark.read.parquet (“dbfs: / mnt / test_folder / test_folder1 / file.parquet”)
DBUtils
當你使用DBUtils,應該使用完整的DBFS路徑,就像在火花命令。DBFS路徑周圍的特定於語言的格式取決於所使用的語言不同。
Bash
% fs ls dbfs: / mnt / test_folder / test_folder1 /
Python
% python dbutils.fs.ls (dbfs: / mnt / test_folder / test_folder1 / ')
Scala
% scala dbutils.fs.ls (“dbfs: / mnt / test_folder test_folder1 /”)
Shell命令
Shell命令不承認足協路徑。相反,DBFS和文件內,訪問相同的語法和其他文件夾的文件係統。
Bash
ls / dbfs / mnt / test_folder / test_folder1 /貓/ dbfs / mnt / test_folder / test_folder1 / file_name.txt
Python
導入操作係統os.listdir (' / dbfs / mnt / test_folder / test_folder1 / ')
Scala
導入java。文件val目錄=新文件(“/ dbfs / mnt / test_folder / test_folder1 /”) directory.listFiles