嗨@wenting_deng wenting_deng磚,當您運行一個SQL查詢在筆記本電池和顯示輸出,默認的上限是1000行。然而,結果顯示默認每頁25行。
不幸的是,磚不提供一個選項來增加每頁顯示的行數直接在筆記本上。
作為一個解決方案,你可以將結果轉換成一個熊貓DataFrame然後顯示它。通過這種方式,您可以顯示每個頁麵超過25行。
首先,您需要安裝熊貓圖書館如果你還沒有做過了。
你可以通過運行下麵的命令在筆記本電池:
% pip安裝熊貓
然後,您可以使用下麵的代碼來運行你的SQL查詢,將結果轉換成熊貓DataFrame,並顯示它:
熊貓作為pd # your_query_here替換為實際導入SQL查詢結果= spark.sql (“your_query_here”) result_pd = result.toPandas() #為熊貓pd.set_option(“設置顯示選項顯示。max_rows’, None) #顯示熊貓DataFrame顯示(result_pd)
該代碼片段將在結果沒有分頁顯示所有行。確保替換
your_query_here與你實際的SQL查詢。記住,將大型結果轉換成一個熊貓DataFrame司機節點上可能會導致內存問題,所以小心地使用這個方法。
