為什麼SFTP攝取不工作嗎?

[eyalo]

你好,我做了下麵的代碼但似乎集群運行很長一段時間然後停止沒有任何結果。

附加我的代碼:(我用的com.springml.spark。sftp庫和安裝Maven)

我也白名單我SFTP服務器上的本地機器的IP。也許有另一種whitlisting以防磚引擎運行在不同的IP ?

感激這裏的任何幫助,甚至一個替代解決方案。

謝謝。

[eyalo]

當然,嗨@Debayan穆克吉。我檢查後似乎圖書館com.springml: spark-sftp_2.11:1.1.3不支持集群的運行時版本(11.3 LTS(包括Apache火花3.3.0,Scala 2.12),但我再也忍不upgdate新版本庫所以也許這就是為什麼它不工作。

無論如何,我將提出一個票。謝謝!

[Debayan]

@Eyal厄。DBR版本可以在這裏的問題。謝謝!