取消
顯示的結果
而不是尋找
你的意思是:

DLT筆記本錯誤,查詢與流媒體來源必須執行writeStream.start ();

JJ_LVS1
新的貢獻者三世

我試圖解析傳入的流文件DLT可變長度的記錄。我得到錯誤:

查詢與流媒體來源必須執行writeStream.start ();

筆記本的代碼

@dlt。表(評論= " xAudit解析”)def b_table_parsed (): df = dlt.readStream (“dlt_able_raw_view”)我的範圍(df.select (F.max (F.size (split_col))) .collect () [0] [0]): df = df.withColumn(“上校”+ str (i), df [“split_col”][我])df = (df .drop(“價值”、“split_col”))返回df

這都沒問題對實際的源文本文件或δ表使用交互式集群,但是當我把它放在DLT和源是流媒體文件從自動裝卸機,它不喜歡它。我認為這是流相關。

我看到一個不同的文章使用foreach也許但那是使用writeStream和不確定我是否可以用它來返回DLT表。我很新的python、流媒體和DLT所以如果任何人會喜歡有一個詳細的解決方案。

1接受解決方案

接受的解決方案

Murthy1
因素二世

你好@Jason約翰遜,

看起來,你想有一些傳入微批次轉換——在這種情況下,我想,你不能實現它通過三角洲生活表。你必須使用一個foreachbatch然後使用writestream做到這一點。

在原帖子查看解決方案

2回答2

Murthy1
因素二世

你好@Jason約翰遜,

看起來,你想有一些傳入微批次轉換——在這種情況下,我想,你不能實現它通過三角洲生活表。你必須使用一個foreachbatch然後使用writestream做到這一點。

Vidula_Khanna
主持人
主持人

嗨@Jason約翰遜

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map