清單表名

學習如何在磚表名單。

寫的亞當Pavlacka

去年發表在:2022年5月16日

問題

獲取的所有表名metastore您可以使用spark.catalog.listTables ()% sql顯示表。如果你觀察期間獲取細節你可以看到spark.catalog.listTables ()通常花費的時間超過% sql顯示表

導致

spark.catalog.listTables ()試圖獲取每個表的元數據,然後顯示請求的表名。這個過程是緩慢的在處理複雜的模式和大量的表。

解決方案

隻有表名,使用% sql顯示表這在內部調用SessionCatalog.listTables這隻獲取表名。

這篇文章有用嗎?