取消
顯示的結果
而不是尋找
你的意思是:

SFTP自動裝卸機

erigaud
新的貢獻者三世

你好,

不知道這是可能的,但我想知道是否有可能攝取文件從SFTP服務器使用自動裝卸機嗎?還是我必須首先將文件複製到dbfs然後使用自動裝卸機在那個位置?

謝謝你!

1接受解決方案

接受的解決方案

BriceBuso
新的貢獻者三世

嘿,

有兩種可能的方法。

首先,是使用這個火花庫SFTP連接:https://github.com/springml/spark-sftp
你連接到SFTP和加載數據到存儲。

第二個是使用Azure數據工廠(如果你是在Azure上,我不知道相當於在其他雲提供商)攝取數據到你的blob安裝在你的磚。當你的ADF管道完成後觸發你的磚管道。

幹杯:slightly_smiling_face:

在原帖子查看解決方案

5回複5

BriceBuso
新的貢獻者三世

你好艾蒂安,

我認為這是不可能的。自動裝卸機用於處理新文件從雲存儲在文檔中說:

bricebuso_0 - 1689604622879. - png

此外,尊重大獎章雲架構最好先攝取DBFS和使用後的文件自動裝卸機在指定位置。

erigaud
新的貢獻者三世

謝謝你!@BriceBuso!

什麼是推薦的最佳實踐攝取來自SFTP數據源的數據嗎?

BriceBuso
新的貢獻者三世

嘿,

有兩種可能的方法。

首先,是使用這個火花庫SFTP連接:https://github.com/springml/spark-sftp
你連接到SFTP和加載數據到存儲。

第二個是使用Azure數據工廠(如果你是在Azure上,我不知道相當於在其他雲提供商)攝取數據到你的blob安裝在你的磚。當你的ADF管道完成後觸發你的磚管道。

幹杯:slightly_smiling_face:

Vidula_Khanna
主持人
主持人

@erigaud

我們還沒有聽到來自你自從上次反應,@BriceBuso我檢查看看她的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map