問題

獲取的所有表名metastore您可以使用spark.catalog.listTables ()或% sql顯示表。如果你觀察期間獲取細節你可以看到spark.catalog.listTables ()通常花費的時間超過% sql顯示表。

導致

spark.catalog.listTables ()試圖獲取每個表的元數據,然後顯示請求的表名。這個過程是緩慢的在處理複雜的模式和大量的表。

解決方案

隻有表名,使用% sql顯示表這在內部調用SessionCatalog.listTables這隻獲取表名。