數據持久性、Dataframe和三角洲

[Vik1]

我的新磚平台。Beplay体育安卓版本

1. 什麼最好的辦法是保持數據持久,這樣當我重新啟動集群我不需要再次運行所有的代碼嗎?這樣我可以繼續發展我的筆記本的緩存數據。
2. 我已經創建了許多dataframes我想拯救他們δ表使用的代碼

dataFrame。to_delta (' / dbfs /項目/ ',index_col =“指數”)

1. 然後我列出表使用命令我看到一個表有兩列:路徑和名稱。列包含路徑的路徑從dbfs: / dbfs /項目/ - 00000 - xxxx snappy.parquet一部分。name列隻有文件名的一部分。後來我將如何查詢這兩個表如果dataframe名稱不是作為文件名保存。我需要查詢的超長文件名。

[匿名]

嗨@Vivek野生動物!我的名字是風笛手,我是一個主持人的社區。歡迎來到磚和社區!謝謝你的問題。我們給我們的會員時間回答問題之前圓回來。

提前感謝你的耐心和良好祝願你磚的旅程。

[werners1 · Accepted solution]

你可以使用spark.read.format(“δ”)。負載(“父文件夾的路徑delta_log文件夾”)

或將其保存為一個表,讀表。

https://docs.microsoft.com/en-us/azure/databricks/delta/quick-start

[匿名]

@Vivek Ranjan——沃納的反應回答了你的問題?如果是的,你會很高興它標記為最好,其他成員可以找到解決方案更快嗎?

[VartikaNain]

嘿@Vivek野生動物

希望你做的很好!

隻是想檢查如果你能解決你的問題或者你需要更多的幫助?我們很想聽到你的聲音。

謝謝!