描述:
POC,我們試圖連接到Heroku卡夫卡從磚工作區。
Heroku卡夫卡,連接的配置細節給出4個變量的形式如下:
- - - - - - -連接變量- - - - -
KAFKA_CLIENT_CERT (.pem格式)
KAFKA_CLIENT_CERT_KEY (.pem格式)
KAFKA_TRUSTED_CERT (.pem格式)
KAFKA_URL(卡夫卡+ ssl: / / < < broker1:端口> >,卡夫卡+ ssl: / / < < broker2:端口> > ..........)
- - - - - - -連接變量—————
磚,我們試圖連接使用下麵的scala代碼。
- - -代碼- - -
進口org.apache.spark.sql.functions。{get_json_object, json_tuple} var streamingInputDF =火花。readStream .format .option (“kafka.bootstrap(“卡夫卡”)。服務器”、“卡夫卡+ ssl: / / host1:端口1,卡夫卡+ ssl: / / host2:端口2”).option .option (“kafka.security.protocol”、“ssl”) (“kafka.ssl.truststore。位置”、“< <信任庫。jks位置dbfs .option (“kafka.ssl.truststore > >”)。密碼”、“< <密碼> >”).option (“kafka.ssl.keystore。位置”、“< <密鑰存儲庫。jks位置dbfs .option (“kafka.ssl.keystore > >”)。密碼”、“< <密碼> >”).option(“訂閱”,“< < topic_name > >”) .option (“startingOffsets”、“最新”).option .option (“minPartitions”,“10”) (“failOnDataLoss”、“true”) .load()顯示(streamingInputDF)
- - -代碼- - - - - -
錯誤,我讓下麵:
推薦- - - - - -錯誤- - - - - -
推薦- - - - - -錯誤- - -
到目前為止我試過什麼?
我已經創建了jks文件使用博客https://blogs.mulesoft.com/dev-guides/api-connectors-templates/how-to-connect-to-apache-kafka-on-her..。。
我已經嚐試執行筆記本將jks文件與掛載點在S3 bucket DBFS以及DBFS位置,將證書
- / FileStore /表/證書/ keystore.jks
- / FileStore /表/證書/ truststore.jks
但是即使將jks文件都存儲選項,我得到錯誤”未能加載SSL密鑰庫/ FileStore /表/證書/密鑰存儲庫。類型的jks jks。
請幫助解決這個問題。
