@Alberte Mørk:
你觀察到的行為是由於已知問題在Apache火花矢量化閱讀時使用鑲花的文件包含小數類型列。正如你提到的,這個問題可以解決通過禁用拚花文件(s)的矢量化閱讀問題。
關於是否正在進行,我建議檢查Apache火花JIRA的開放與這個問題有關的問題。您還可以發布一個問題引發用戶郵件列表,看看在這個問題上有任何更新。
至於這種行為背後的架構決策,這可能是導致這一事實十進製類型列是許多本地不支持的文件格式,包括拚花。因此,火花需要執行一些額外的處理在閱讀這些列時,這會影響性能。鑲花的決定使用矢量化閱讀文件默認情況下很可能基於性能考慮對於大多數數據類型,和大多數鋪文件不包含小數類型列。
我希望這可以幫助!