我試圖解析傳入的流文件DLT可變長度的記錄。我得到錯誤:
查詢與流媒體來源必須執行writeStream.start ();
筆記本的代碼
@dlt。表(評論= " xAudit解析”)def b_table_parsed (): df = dlt.readStream (“dlt_able_raw_view”)我的範圍(df.select (F.max (F.size (split_col))) .collect () [0] [0]): df = df.withColumn(“上校”+ str (i), df [“split_col”][我])df = (df .drop(“價值”、“split_col”))返回df
這都沒問題對實際的源文本文件或δ表使用交互式集群,但是當我把它放在DLT和源是流媒體文件從自動裝卸機,它不喜歡它。我認為這是流相關。
我看到一個不同的文章使用foreach也許但那是使用writeStream和不確定我是否可以用它來返回DLT表。我很新的python、流媒體和DLT所以如果任何人會喜歡有一個詳細的解決方案。