當您執行加入命令DataFrame或數據集查詢對象,如果你發現是困在完成由於少量的任務數據傾斜,您可以指定的斜提示提示(“斜”)方法:df.hint(“斜”)。傾斜連接優化(AWS|Azure|GCP)上執行DataFrame你指定斜提示。
除了基本的提示,你可以指定提示方法用以下的組合參數:列名、列名稱列表,和列名和傾斜值。
- DataFrame和列名稱。執行傾斜連接優化的指定列DataFrame。
python df %。提示("skew", "col1")
- DataFrame和多個列。執行傾斜連接優化的多個列DataFrame。
python df %。提示("skew", ["col1","col2"])
- DataFrame、列名和傾斜值。執行傾斜連接優化與斜列中的數據值。
python df %。提示("skew", "col1", "value")
例子
這個例子展示了如何為多個指定斜提示DataFrame對象參與加入操作:
% scala val joinResults = ds1.hint(“斜”)。as (“L”) . join (ds2.hint(“斜”)。as (R)、“L美元。col1 R.col1“= = = $)