1接受解決方案
接受的解決方案
最初的回答,@Gray Gwizdz
這是一個有趣的問題,試圖找到答案!謝謝你
我回顧了最近的一些問題/缺陷報告與三角洲湖和能夠找到一個類似的問題,用戶遇到性能問題與1000列(https://github.com/delta-io/delta/issues/479)但是有一個等待拉請求他們測試了4000列,看到更好的性能(https://github.com/delta-io/delta/pull/584)。
我還回顧了內部,看到另一種方法,我建議在這裏。這個人正在經曆慢寫性能當試圖使用一個非常寬表。架構師定義成千上萬的列,而是用一個ArrayType列包含大部分的功能而不是寫性能顯著提高。他們定義一個中間狀態與特征字段列表的元組(鍵值)和最終輸出特性存儲的地圖(關鍵,aggregated_value)。
也許值得一提,三角洲湖跟蹤統計數據表的前32列默認情況下,所以查詢計劃以外的任何額外的行第一個32可能不會像前32列快速。https://docs.m.eheci.com/delta/optimizations/file-mgmt.html data-skipping
最初的回答,@Gray Gwizdz
這是一個有趣的問題,試圖找到答案!謝謝你
我回顧了最近的一些問題/缺陷報告與三角洲湖和能夠找到一個類似的問題,用戶遇到性能問題與1000列(https://github.com/delta-io/delta/issues/479)但是有一個等待拉請求他們測試了4000列,看到更好的性能(https://github.com/delta-io/delta/pull/584)。
我還回顧了內部,看到另一種方法,我建議在這裏。這個人正在經曆慢寫性能當試圖使用一個非常寬表。架構師定義成千上萬的列,而是用一個ArrayType列包含大部分的功能而不是寫性能顯著提高。他們定義一個中間狀態與特征字段列表的元組(鍵值)和最終輸出特性存儲的地圖(關鍵,aggregated_value)。
也許值得一提,三角洲湖跟蹤統計數據表的前32列默認情況下,所以查詢計劃以外的任何額外的行第一個32可能不會像前32列快速。https://docs.m.eheci.com/delta/optimizations/file-mgmt.html data-skipping
