另一個問題是,dbfs存儲不支持隨機寫(郵政編碼):
不支持隨機寫道。工作負載要求隨機寫道,本地磁盤上執行操作,然後將結果複製到
/ dbfs
來源:https://docs.m.eheci.com/data/databricks-file-system.html local-file-api-limitations
嗨@Bertrand伯克,
創建一個script.sh和複製的目錄中的腳本data.zip檔案。這個腳本使用任何名稱的csv檔案和任何名稱。
# !/bin/bash currLoc = " $ PWD "路徑= " $ {currLoc} " cd $ {currLoc} #提取第一個存檔文件名的臨時目錄路徑/ *美元;做擴展= " ${# # *文件名。}”如果(" ${擴展}”= =“zip”);然後解壓縮文件名- d路徑/ temp fi美元做數= 0文件名的路徑/ temp / *美元;做擴展= " ${# # *文件名。}“#提取擴展康普艾如果是否存檔名稱= ${# # * /文件名}#提取ZIP文件的名稱與擴展名% = ${名稱。*}#提取ZIP文件沒有擴展名的名字如果[" ${擴展}”= =“ZIP”);然後((計數+ +))解壓縮文件名- d路徑/ temp /美元美元計數的文件路徑/ temp /數/ *美元做ext = " ${# # *的文件。}”如果(" $ {ext}”= =“csv”);文件然後csvFileName = $ {# # * /} mv路徑/ temp /數/ $美元csvFileName路徑/ $名稱- csvFileName fi美元做fi做#刪除臨時目錄rm - r美元路徑/ temp