SFTP自動裝卸機

[erigaud]

你好,

不知道這是可能的,但我想知道是否有可能攝取文件從SFTP服務器使用自動裝卸機嗎?還是我必須首先將文件複製到dbfs然後使用自動裝卸機在那個位置?

謝謝你!

[BriceBuso]

你好艾蒂安,

我認為這是不可能的。自動裝卸機用於處理新文件從雲存儲在文檔中說:

此外,尊重大獎章雲架構最好先攝取DBFS和使用後的文件自動裝卸機在指定位置。

[erigaud]

謝謝你！@BriceBuso!

什麼是推薦的最佳實踐攝取來自SFTP數據源的數據嗎?

[BriceBuso · Accepted solution]

嘿,

有兩種可能的方法。

首先,是使用這個火花庫SFTP連接:https://github.com/springml/spark-sftp
你連接到SFTP和加載數據到存儲。

第二個是使用Azure數據工廠(如果你是在Azure上,我不知道相當於在其他雲提供商)攝取數據到你的blob安裝在你的磚。當你的ADF管道完成後觸發你的磚管道。

幹杯

[Vidula_Khanna]

嗨@erigaud

我們還沒有聽到來自你自從上次反應,@BriceBuso我檢查看看她的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。