取消
顯示的結果
而不是尋找
你的意思是:

如何規避Py4JSecurityException spark-nlp:構造函數公共com.johnsnowlabs.nlp。* * *(以)不是白名單。

該
新的貢獻者二世

我們公司的集群上遇到以下錯誤。

py4j.security。公共com.johnsnowlabs.nlp.DocumentAssembler Py4JSecurityException:構造函數(以)不是白名單。

下麵的代碼(也就是從spark-nlp教程代碼頁)

df =火花。createDataFrame([(“是的,我能。是“)],["評論"])document_assembler = DocumentAssembler () \ .setInputCol(“評論”)\ .setOutputCol(“文檔”)sentence_detector = SentenceDetector () \ .setInputCols((“文檔”))\ .setOutputCol(“句子”)\ .setUseAbbreviations(真正的)記號賦予器=記號賦予器()\ .setInputCols(["句子"])\ .setOutputCol(“令牌”)抽梗機=抽梗機()\ .setInputCols([“令牌”])\ .setOutputCol(“莖”)標準化者=標準化者()\ .setInputCols(["遏製"])\ .setOutputCol(“規範化”)修整器=修整器()\ .setInputCols(["規範化"])\ .setOutputCols ([" ntokens "]) \ .setOutputAsArray (True) \ .setCleanAnnotations(真正的)nlp_pipeline =管道(階段= [document_assembler sentence_detector,記號賦予器、除梗器標準化者,修整器])nlp_model = nlp_pipeline.fit (df)處理= nlp_model.transform (df) .persist () processed.count () processed.show ()

當我嚐試添加火花配置

spark.databricks.pyspark。enablePy4JSecurity假

它說

spark.databricks.pyspark。enablePy4JSecurity是不允許在選擇訪問模式

我將感謝任何幫助。似乎別人在我的公司遇到了同樣的問題與其他包。

謝謝你!

3回複3

Hubert_Dudek1
尊敬的貢獻者三世

在高並發性錯誤是普遍/共享集群。請測試它在一個用戶/標準獨立集群。

Vidula_Khanna
主持人
主持人

嗨@Kenan Spruill

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳嗎?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

Apoorv
新的貢獻者二世

嗨@Vidula Khanna

我想知道更多關於上述建議解決問題的解決方案。我升級集群11.3 LTS(統一目錄啟用)和共享集群模式。但是java函數我用了白名單的錯誤。你能建議一個可能的解決方案,同時仍然保持集群的共享訪問模式?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map