做磚認證副開發者Apache 3.0在Python中評估知識火花引發流,ML, GraphX,抽樣和UDF嗎?我可以得到一個鏈接到這次考試的大綱?謝謝你！

[Kaniz]

嗨@Abhishek Pradhan !我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[Kaniz · Accepted solution]

嗨@Abhishek Pradhan,Apache火花聯係開發人員是申請數據工程師和科學家學習路徑。這次考試將評估你在火花DataFram API的使用引發體係結構和操作數據。

由考試是什麼?

雖然考試涵蓋數據操作,SQL語言不是評估。與數據操作相關的所有問題將被要求解決使用火花DataFrame API。火花流就是考試不包括另一個話題。

考試問題分成三個類別:

引發體係結構——概念

• 集群架構:節點、司機、工人、執行人、槽等。
• 火花執行層次結構:應用程序、工作階段,任務等等。
• 洗牌
• 分區
• 懶惰的評價
• 轉換和行動
• 窄和寬轉換

引發體係結構,應用

• 執行部署模式
• 穩定
• 存儲水平
• 重新分區
• 合並
• 廣播
• DataFrames

火花DataFrame API

• 構造子集DataFrames(選擇、過濾等)。
• 列操作(鑄造、創建列,操縱現有的列,複雜的列類型)
• 分裂字符串,字符串操作(正則表達式)
• 基於績效的操作(重新分區,調整分區,緩存)
• 結合DataFrames(連接、廣播、工會等)
• 讀/寫DataFrames(模式、覆蓋)
• 處理日期(提取、格式等)
• 聚合
• 雜項(排序、缺失值類型的udf,值提取,抽樣)

源