問候!
我一直在嚐試DLT幾天但我遇到了一個意想不到的問題當試圖使用考拉dropna管道。
我的目標是把所有列,在寫作之前隻包含null / na值。
當前的代碼是這樣的:
@dlt.table (name = f silver_table) def銀():df = (dlt .read (f bronze_table) .to_koalas () .dropna(軸= 1 =“所有”))返回df
運行的管道,我得到以下錯誤信息:
org.apache.spark.sql。AnalysisException:你正試圖創建一個外部表[…從“dbfs: /管道/ […]“使用磚三角洲,但是沒有事務日誌出席“dbfs: /管道/ […]/ _delta_log”。檢查確保它的上遊工作是編寫使用格式(“δ”),路徑的根表。
我丟失的東西或者是dropna函數沒有可用的DLT出於某些原因?
謝謝!
