在解釋如何避免削減?

[虛擬現實]

我在尋找解釋聲明擴展計劃。

在物理計劃= = = =一節中,我去FileScan節點和看到很多省略號,

+ - FileScan鋪模式。表(# 8459,TagName # 8460, # 8461, # 8462質量,天# 8466,isLate # 8467)分批處理:真的,DataFilters:(isnotnull (TagName # 8460), isnotnull(# 8462)質量,isnotnull (# 8461), isnotnull (# 8459), (…格式:拚花,地點:PreparedDeltaFileIndex(1路)[mcfs-abfss: / / t - 125 - a3c9d - 90 - a3 - 46 - dc - a577 - 196577 - aff13d + abc-masked……PartitionFilters: [isnotnull (# 8466), (cast(# 8466天時間戳)> = 2022-11-19就是),(cast(# 8466天蒂姆…PushedFilters: [IsNotNull (TagName) IsNotNull(質量),IsNotNull(價值),IsNotNull(時間),等於(TagName FRO_P…ReadSchema: struct <時間:時間戳,TagName:字符串,價值:翻倍,質量:int >

如何看到部分的完整描述,沒有修剪嗎?我是PartitionFilters部分特別感興趣。

[匿名]

嗨@Vladimir Ryabtsev

很高興認識你,謝謝你的問題!

看看你的同行在社區中有一個回答你的問題。否則bricksters能早日回到你身邊。

謝謝

[werners1 · Accepted solution]

你可以嚐試使用格式化顯示選項,這並不截斷。但它可能不會顯示所有你想要的。

還有以下參數:

spark.sql.maxMetadataStringLength

spark.sql.maxPlanStringLength

我試著改變默認值,看看它的工作原理。

https://spark.apache.org/docs/latest/configuration.html

[虛擬現實]

的確,開箱即用的格式化了更好的結果。

確實沒有一切,但調整spark.sql。與擴展maxMetadataStringLength幫助!

我不明白spark.sql的意義。集群maxPlanStringLength,在我這“2147483632 b”默認為一個陌生的號碼。

[UmaMahesh1]

嗨@Vladimir Ryabtsev

很高興你找到了一個解決方案。

奇怪的號碼你看到的是字節的數量。

maxPlanStringLength用於設置的最大字符數(默認= 2147483632)我們可以輸出一個字符串的計劃。什麼更重要的是,輸出將被截斷。理想這個值足夠大給你打印出計劃使用格式化和其他選項。但有時,使用其他選項來擴展它的輸出截斷狀態中有時會導致OutOfMemory錯誤驅動節點或流程。

歡呼。