@Anant Pingle:請嚐試使用磚的元數據API。這個API提供了關於磚編程訪問元數據對象(如表、視圖和數據庫。
從pyspark.sql。功能導入和#“my_catalog”替換為您的目錄的名稱catalog_name =“my_catalog”#中所有表的列表目錄表= spark.catalog.listTables (catalog_name) #計算每個表的大小和總結total_size = ([spark.table(表求和。數據庫+”。”+ table.name).count() for table in tables]) print(f"The total size of {catalog_name} is {total_size} rows.")
鏈接到API文檔:https://docs.m.eheci.com/dev-tools/api/latest/workspace.html