磚流dataframe雪花

[babyhari]

任何建議如何從磚流數據成雪花嗎?。snowpipe是唯一的選擇嗎?。Snowpipe並不快,因為它運行在小批量複製到間隔而不是在幾秒鍾。如果沒有選擇除了snowpipe,從磚筆記本嗎?如何調用它。Thx提前為你的幫助。

下麵沒有工作因為我dataDF流dataframe。

進口 淨 。 雪花 。 火花 。 雪花 。 跑龍套

dataDF.write

.format ( “雪花” )

.options (sfOptions)

.option ( “數據表” , “demokinesisstream” )

.mode ( SaveMode 。 附加 )

.save ()

[Tharun-Kumar]

@babyhari

你必須用writeStream代替寫字。

dataDF.writeStream

.option (“checkpointLocation”、“path-for-checkpoint”)
.foreachBatch {(batchDF:數據集(行),batchId:長)= >
batchDF.write
.format(“雪花”)
.options (sfOptions)

.option ( “數據表” , “demokinesisstream” )

.mode (SaveMode.Append)
.save ()
}

還建議使用檢查點目錄保存元數據流幫助重新啟動管道從之前的點。

[Vidula_Khanna]

嗨@babyhari

希望一切進行得很順利。

隻是想檢查如果你能解決你的問題。如果是的,你會很高興的答案標記為最好,其他成員可以找到解決方案更快嗎?如果不是,請告訴我們,我們可以幫助你。

幹杯!