取消
顯示的結果
而不是尋找
你的意思是:

總目錄大小使用dbutils怎麼走嗎

gtaspark
新的貢獻者二世

有辦法目錄大小ADLS(代)使用dbutils磚嗎?

如果我運行這個

dbutils.fs.ls (“/ mnt / abc / xyz”)

我得到xyz文件夾內的文件大小(大約有5000個文件),我想某某文件夾的大小

我怎麼能做到這一點,任何幫助感激嗎

1接受解決方案

接受的解決方案

Atanu
尊敬的貢獻者
尊敬的貢獻者

dbutils.fs.ls (“/ tmp)應該給你尺寸。@gtaspark

在原帖子查看解決方案

8回答說8

shyam_9
價值貢獻

嗨@gtaspark,

請命令獲取大小如下的文檔,

https://docs.m.eheci.com/dev-tools/databricks-utils.html dbutilsfsls-command

DimitriBlyumin
新的貢獻者三世

民眾有點不

大小
命令,
ls
為目錄返回0。

UmakanthSingalr
新的貢獻者二世

@gtaspark

% scala

= val路徑“/ mnt / abc / xyz”

val文件列表= dbutils.fs.ls(路徑)

val df = filelist.toDF () df.createOrReplaceTempView (“adlsSize”)

火花。sql(“選擇總和(大小)/ (1024 * 1024 * 1024)sizeInGB adlsSize”),告訴()

Breitenberg
新的貢獻者二世

我要計算一個目錄(e。g - XYZ)包含子文件夾和子文件大小。我希望所有文件的總大小,一切都在XYZ。

我能找到的所有文件夾在一個特定的路徑。但我希望在一起的大小。我也看到

顯示器(dbutils.fs.ls (“/ mnt / datalake /…/ XYZ /…/ abc.parquet”))

給我abc文件的數據大小。但我希望XYZ的完整大小。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map