取消
顯示的結果
而不是尋找
你的意思是:

sharikrishna26.medium.com

SIRIGIRI
貢獻者

火花Dataframes模式

模式推理是不可靠的。

我們有以下模式推理的問題:

  1. 自動推理的模式通常是不正確的
  2. 火花推斷模式是額外的工作,它需要一些額外的時間
  3. 用模式驗證模式推斷是相互矛盾的

4所示。它也可能改變列的順序

我們有兩種方法去做。

  1. 模式DDL字符串
  2. 結構體類型對象

進一步的詳細描述請參考這個鏈接

https://sharikrishna26.medium.com/spark-dataframes-schema-6fe1f90a56c

請分享,評論

2023年新年快樂

3回複3

Rishabh264
尊敬的貢獻者二世

感謝分享

Aviral-Bhardwaj
尊敬的貢獻者三世

好帖子謝謝

Varshith
新的貢獻者三世

另一個區別這兩個方法是,在模式DDL字符串方法我們使用字符串,整數等。但在Struct類型對象的方法我們可以隻使用火花StringType等數據類型(),IntegerType(),等等。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map