數據源不支持V2流表acl或憑據透傳集群

[匿名]

使用:

(主機名是隱藏的)

卡夫卡= spark.readStream \

.format \(“卡夫卡”)

.option (“kafka.sasl。機製”、“安全- sha - 512”) \

.option (“kafka.security。協議”、“SASL_SSL”) \

.option (“kafka.sasl.jaas。配置”,f 'org.apache.kafka.common.security.scram.ScramLoginModule需要用戶名= " {user_stg} "密碼= " {pass_stg} \”)

.option (“kafka.bootstrap。服務器”、“b - 1. -數據…amazonaws.com: 9096”) \

.option(“訂閱”、“app-events”) \

.option (“startingOffsets”、“最早”)

我得到這個錯誤:

ava.lang。SecurityException:數據源不支持V2流表acl或憑據透傳集群。StreamingRelationV2 org.apache.spark.sql.kafka010。卡夫卡,KafkaSourceProvider@11002bae org.apache.spark.sql.kafka010。(kafka.sasl KafkaSourceProvider KafkaTable@35ae434美元。機製=安全- sha - 512,訂閱=應用——ddpg——評估——事件,kafka.sasl.jaas.config = * * * * * * * * *(修訂),kafka.bootstrap.servers = b - 1. -通過msk - st.sydr4w.c1.kafka.eu中心- 1. amazonaws.com: 9096年,startingOffsets =最早,kafka.security。協議= SASL_SSL]、[關鍵# 137,# 138,# 139主題,分區# 140,# 141 l,抵消時間戳# 142,timestampType # 143), StreamingRelation數據源(org.apache.spark.sql.SparkSession@65e0bcfb、卡夫卡、列表(),()列表,沒有,地圖(kafka.sasl。機製→安全- sha - 512,訂閱→應用程序——ddpg——評估——事件,kafka.sasl.jaas。配置→org.apache.kafka.common.security.scram.ScramLoginModule需要用戶名= & # 34;[編輯]& # 34;密碼= & # 34;[編輯]& # 34;kafka.bootstrap。服務器→b - 1. -數據.... amazonaws.com: 9096年,startingOffsets→ earliest, kafka.security.protocol -> SASL_SSL),None), kafka, [key#130, value#131, topic#132, partition#133, offset#134L, timestamp#135, timestampType#136]

我有什麼地方做的不對或者其他地方有問題?

有人得到這個,發現一個解決方案嗎?

[Hubert_Dudek1]

• 啟用了TACL集群,你有許多的限製,所以流將不會工作。一般來說,你可以閱讀隻有在metastore注冊;為你的用例,請禁用它
• 此外,請記住,團結上的目錄不支持流媒體集群使用共享訪問模式,
• 不應該是sasl.token。機製?(但也許sasl。機製是一個別名)

[匿名]

好的,我們關閉自己。最少的特權政策已經失控。

關於sasl.token。機製,是的,這可能是錯的,但是,這是最後的問題。所以我們需要:統一目錄管理權限和我們在一個集群運行代碼沒有共享模式訪問。這是遠離我們。

使用Scala輕鬆一些嗎?