磚文件係統(DBFS)

訪問文件DBFS

默認的路徑blob存儲(根)dbfs: /。

的默認位置% fs和dbutils.fs是根。因此,要從磁盤讀取或寫入根或外部桶:

% f <命令> / <路徑>

dbutils。fs。<命令>(“/ <路徑> /”)

% sh默認從本地文件係統讀取。訪問根或根的安裝路徑% sh前言的路徑/ dbfs /。一個典型用例是如果你是使用單節點庫TensorFlow或scikit-learn,想讀和寫數據雲存儲。

% sh <命令> / dbfs / <路徑> /

您還可以使用單節點文件係統api:

進口操作係統操作係統。<命令>(“dbfs / tmp /”)

# % fs的默認位置是根% fs ls / tmp / % fs mkdir / tmp / my_cloud_dir % fs cp / tmp / test_dbfs。txt / tmp / file_b.txt

# dbutils的默認位置。fs是根dbutils。fs。ls(“/ tmp /”)dbutils。fs。把(“/ tmp / my_new_file”,“這是雲存儲的文件。”)

# % sh的默認位置是本地文件係統% sh ls / dbfs / tmp /

# os命令的默認位置是本地文件係統進口操作係統操作係統。listdir(“dbfs / tmp /”)

訪問本地文件係統上的文件

% fs和dbutils.fs從根(讀取默認情況下dbfs: /)。從本地文件係統讀取,您必須使用文件:/。

% f <命令>文件:/ <路徑> dbutils.fs。<命令>(“文件:/ <路徑> /”)

% sh從本地文件係統讀取默認情況下,不要使用文件:/:

% sh <命令> / <路徑>

# % fs和dbutils。fs,you must use file:/ to read from local filesystem% fs ls文件:/ tmp % fs mkdir文件:/ tmp / my_local_dir dbutils.fs.ls(“文件:/ tmp /”)dbutils.fs.put(“文件:/ tmp / my_new_file”,“這是一個文件在本地司機節點。”)

# % sh默認從本地文件係統讀取% sh ls / tmp

訪問文件掛載對象存儲

越來越多的對象存儲DBFS允許您訪問對象在對象存儲在本地文件係統。

dbutils。fs。ls(“/ mnt / mymount”)df=火花。讀。格式(“文本”)。負載(“dbfs: / mymount / my_file.txt”)

總結表和圖

表和圖總結和說明在這一節中描述的命令和何時使用語法。

上傳數據DBFS從文件瀏覽器

1. 點擊數據在側邊欄。

2. 單擊DBFS按鈕在頁麵的頂部。

3. 單擊上傳按鈕在頁麵的頂部。

4. 在上傳數據到DBFS對話框中,選擇或輸入一個新的選擇目標目錄。

5. 在文件箱,拖拽或使用文件瀏覽器選擇本地文件上傳。

上傳的文件訪問的人都進入工作區。

上傳數據到DBFS從一個筆記本

創建一個表使用UI,明白了在磚SQL創建表。

上傳數據中使用的筆記本,遵循這些步驟。

1. 創建一個新的筆記本或打開一個現有的,然後單擊文件>上傳數據

2. 選擇目標目錄DBFS存儲上傳文件。目標目錄默認/ shared_uploads / <您的電子郵件地址> /。

   上傳的文件訪問的人都進入工作區。

3. 將文件拖到目標下降或點擊瀏覽定位文件在您的本地文件係統。

4. 當你已經完成了上傳的文件,點擊下一個。

   如果你上傳CSV、TSV或JSON文件,磚生成代碼顯示如何將數據加載到一個DataFrame。

   將文本保存到剪貼板,然後點擊複製。

5. 點擊完成回到筆記本。

寫文件和讀取文件從DBFS根就好像它是一個本地文件係統

dbutils。fs。mkdir(“foobar /”)

dbutils。fs。把(“foobar / baz.txt”,“你好,世界!”)

dbutils。fs。頭(“foobar / baz.txt”)

dbutils。fs。rm(“foobar / baz.txt”)

使用dbfs: /訪問DBFS路徑

顯示(dbutils。fs。ls(“dbfs: / foobar”))

使用% fs神奇的命令

筆記本電腦速記——的支持% fs神奇的命令——訪問dbutils文件係統模塊。大多數dbutils.fs命令可以使用% fs神奇的命令。

#列出DBFS根% fs ls# foobar下遞歸刪除文件% fs rm - r foobar#覆蓋的文件“/ mnt /我的文件”字符串“Hello world !”% fs把- f“/ mnt /我的文件”“Hello world !”

本地文件API的限製

以下列出了在本地文件API使用局限性。

• 沒有憑據透傳。

• 沒有隨機寫道。工作負載要求隨機寫道,本地磁盤上執行操作,然後將結果複製到/ dbfs。例如:

  # python進口xlsxwriter從shutil進口拷貝文件工作簿=xlsxwriter。工作簿(' / local_disk0 / tmp / excel.xlsx ')工作表=工作簿。add_worksheet()工作表。寫(0,0,“關鍵”)工作表。寫(0,1,“價值”)工作簿。關閉()拷貝文件(' / local_disk0 / tmp / excel.xlsx ',' / dbfs / tmp / excel.xlsx ')

• 沒有稀疏文件。稀疏文件,複製使用cp——稀疏=沒有:

  美元cp稀疏。file /dbfs/sparse.file error writing“/ dbfs / sparse.file”:操作不支持美元cp -稀疏=從不稀疏。file /dbfs/sparse.file