@Christopher Shehu如果你看到集群內存限製,你可以嚐試增加集群大小。
其他重要的事情需要考慮:
請在這裏找到更多的細節
https://kb.m.eheci.com/jobs/driver-unavailable.html
你也可以考慮讀這篇文章
https://docs.microsoft.com/en-us/azure/databricks/kb/jobs/job-fails-maxresultsize-exception
這是有用的我想我需要仔細審視的過程,看看需要做什麼。Azure磚文檔缺乏pyspark分區。