總目錄大小使用dbutils怎麼走嗎

[gtaspark]

有辦法目錄大小ADLS(代)使用dbutils磚嗎?

如果我運行這個

dbutils.fs.ls (“/ mnt / abc / xyz”)

我得到xyz文件夾內的文件大小(大約有5000個文件),我想某某文件夾的大小

我怎麼能做到這一點,任何幫助感激嗎

[shyam_9]

嗨@gtaspark,

請命令獲取大小如下的文檔, https://docs.m.eheci.com/dev-tools/databricks-utils.html dbutilsfsls-command

[DimitriBlyumin]

民眾有點不

大小

命令,

ls

為目錄返回0。

[UmakanthSingalr]

@gtaspark

% scala

= val路徑“/ mnt / abc / xyz”

val文件列表= dbutils.fs.ls(路徑)

val df = filelist.toDF () df.createOrReplaceTempView (“adlsSize”)

火花。sql(“選擇總和(大小)/ (1024 * 1024 * 1024)sizeInGB adlsSize”),告訴()

[Breitenberg]

我要計算一個目錄(e。g - XYZ)包含子文件夾和子文件大小。我希望所有文件的總大小,一切都在XYZ。

我能找到的所有文件夾在一個特定的路徑。但我希望在一起的大小。我也看到

顯示器(dbutils.fs.ls (“/ mnt / datalake /…/ XYZ /…/ abc.parquet”))

給我abc文件的數據大小。但我希望XYZ的完整大小。