你好維爾納,
謝謝你的回複。
#加載數據從Azure突觸查詢。df =火花。讀\ […)#應用一些轉換數據,然後使用#數據源API來編寫數據返回到另一個表在Azure突觸。df。寫\ .format (com.databricks.spark.sqldw) \ .option (“url”, " jdbc::狀態"置疑" / / < the-rest-of-the-connection-string >”) \ .option (“forwardSparkAzureStorageCredentials”,“真正的”)\ .option(“數據表”,“< your-table-name >”) \ .option (“tempDir”、“wasbs: / / < your-container-name > @ < your-storage-account-name >.blob.core.windows.net/ < your-directory-name >”) \ .save ()
然而,這對我來說不是一個好的解決方案。
首先,如果我想更新表中的一行,有幾個有上百萬的記錄嗎?
我需要下載整個表dataframe, SQL Azure更新一行,並重新發送嗎?它看起來真的無效。
此外,如果我想要更新在表的一個自動索引列?我不能下載dataframe表,更新自己的id值,並重新發送SQL Azure。
這就是為什麼我使用PyOdbc現在,因為我可以做出真正的sql插入/更新。
有優雅的解決方案在磚嗎?
最好的問候,
Łukasz