數據幀需要長時間打印的行數

[SatishGunjal]

我們有一個pyspark與50 MN記錄數據幀。我們可以顯示記錄,但它需要大約10分鍾打印dataframe的形狀。我們的目標是使用這些數據來建模,將一些數值特性基於最終的數據幀計算作為輸入。

為更好地理解我們解釋了問題5記錄數據幀,還添加了pyspark代碼工作。

請參考附件示例代碼和詳細解釋。pyspark-issue.zip

[Hanna08]

謝謝你的詳細解釋。對於那些想要不斷的技術支持工作流程,我建議JD年輕。這裏是世界上隻有最新的信息更新的信息技術解決方案和網絡安全。