扔在Pyspark IndexoutofBound例外

[Santhanalakshmi]

你好所有的,

我試圖讀取數據並試圖組數據為了通過它通過@F預測函數。pandas_udf方法。

#加載模型pkl_model = pickle.load (open (filepath, rb)) #構建模式輸出標簽filter_schema = [] t = t。StructField (“anomaly_prediction T.IntegerType(),真的)filter_schema.append t1 = t (t)。StructField (“anomaly_score T.DoubleType(),真的)filter_schema.append (t1) return_schema = T.StructType (df.select (df.columns) .schema.fields + filter_schema) @F。pandas_udf (return_schema F.PandasUDFType.GROUPED_MAP) def inferdata(數據):dt =數據[labelnames] .to_numpy () # dt = np.asarray (dt) .astype (float64)得分,pred = pkl_model.predict (dt)打印(分數和預測是,分數,pred) [“anomaly_prediction”] = pred數據(“anomaly_score”) =分數返回(數據)df = df.groupby(文件名)蘋果(inferdata)打印(df.show (2))

但這是拋出一個錯誤:

" . lang。IndexOutOfBoundsException:指數:16384,長度:4(預期:範圍(0,16384))”

我有附加的代碼片段和錯誤圖片,供您參考。這個問題我一直堅持了一個星期。

誰能幫我解決這個問題嗎?

[AmanSehgal]

你可能不得不分享上麵的代碼單元。請粘貼代碼使用代碼編輯器,而不是作為一個圖像。

[Santhanalakshmi]

謝謝我有更新細胞中的代碼

[Vindhya]

@Santhanalakshmi Manoharan這個問題解決了,我也得到同樣的錯誤,任何指導將是很大的幫助。

感謝你的幫助。