沒有重新啟動集群如何清除所有緩存?

[shan_chandra · Accepted solution]

% scala def clearAllCaching(表名:選項[String] = None):單位={表名。= > com.databricks.sql.transaction.tahoe.DeltaValidation地圖{路徑。在validateCache(spark, path) } spark.conf.set("com.databricks.sql.io.caching.bucketedRead.enabled", "false") spark.conf.set("spark.databricks.delta.smallTable.cache.enabled", "false") spark.conf.set("spark.databricks.delta.stats.localCache.maxNumFiles", "1") spark.conf.set("spark.databricks.delta.fastQueryPath.dataskipping.checkpointCache.enabled", "false") spark.conf.set("spark.databricks.io.cache.enabled", "false") com.databricks.sql.transaction.tahoe.DeltaLog.clearCache() spark.sql("CLEAR CACHE") sqlContext.clearCache() }

請查收上麵的自定義方法來清除所有緩存集群中而不需要重新啟動。這將清除緩存通過調用下麵的方法。

% scala clearAllCaching ()

緩存可以驗證集群中的火花UI - >存儲選項卡。

[Hubert_Dudek1]

太好了。您可以添加spark.catalog.clearCache ()。