火花與SASL_SSL卡夫卡扔java.nio.file流。NoSuchFileException: dbfs: / mnt / * * / kafka.client.truststore.imported.jks

[mj2022]

我測試引發流withSASL_SSL卡夫卡啟用代理工作在一個筆記本上。

按照本指南https://docs.m.eheci.com/spark/latest/structured-streaming/kafka.html

我有複製jsk文件在一個s3 bucket dbfs和安裝它。

當我運行dbutils.fs在筆記本。頭(jksPath),我可以看到文件內容。

但是當我運行火花把流媒體工作。

引起的:java.nio.file。NoSuchFileException: dbfs: / mnt / xxxx / kafka.client.truststore.imported。在sun.nio.fs.UnixException.translateToIOException jks (UnixException.java: 86) sun.nio.fs.UnixException.rethrowAsIOException (UnixException.java: 102) sun.nio.fs.UnixException.rethrowAsIOException (UnixException.java: 107) sun.nio.fs.UnixFileSystemProvider.newByteChannel (UnixFileSystemProvider.java: 214) java.nio.file.Files.newByteChannel (Files.java: 361) java.nio.file.Files.newByteChannel (Files.java: 407) java.nio.file.spi.FileSystemProvider.newInputStream (FileSystemProvider.java: 384) java.nio.file.Files.newInputStream (Files.java: 152)美元kafkashaded.org.apache.kafka.common.security.ssl.DefaultSslEngineFactory FileBasedStore.load (DefaultSslEngineFactory.java: 370) kafkashaded.org.apache.kafka.common.security.ssl.SslFactory.instantiateSslEngineFactory (SslFactory.java: 138) kafkashaded.org.apache.kafka.common.security.ssl.SslFactory.configure (SslFactory.java: 95) kafkashaded.org.apache.kafka.common.network.SaslChannelBuilder.configure (SaslChannelBuilder.java: 180)

我也安裝了org.apache.spark: spark-sql-kafka-0-10_2.12:3.2.1磚集群。

[Prabakar]

調查這件事。

[arjun_kr · Accepted solution]

@M J看起來預計本地文件係統路徑。你能請與路徑“/ dbfs / mnt / xxxx / kafka.client.truststore.imported。jks”?

[mj2022]

謝謝. .是的' / dbfs / mnt / xxxx / kafka.client.truststore.imported。jks”工作路徑。

還其他解決方法我們得到工作,從s3複製文件到文件係統使用init腳本並使用filepath。