Bartek -磚

Bartek · 01-27-2023

你好,我知道如何創建.shp文件從Geopandas dataframe使用類似的代碼,所以還提到:gpd_df = Geopandas。GeoDataFrame (pandas_df、幾何=“幾何學”)gpd_df .to_file(“用戶名/ nh.shp”)然而我.parquet文件可以加載…

Bartek · 01-19-2023

我想觸發磚工作使用DatabricksSubmitRunDeferrableOperator從氣流,我需要通過配置參數。這是摘自我的代碼(定義是不完整的,隻有關鍵屬性):從airflow.providers.databricks.op …

Bartek · 12-14-2022

2周前我開始課程“磚優化Apache火花”從官方數據磚學院。它在很大程度上基於火花UI模擬器實驗,可用:https://www.databricks.training/spark-ui-simulator和……

Bartek · 11-26-2022

我正在學習如何優化引發火花UI的應用程序與實驗模擬器。有實驗命令2 # 1596數據傾斜和評論多少個分區將被設定為默認值:/ / 8核心因素和更大的……

Bartek · 12-15-2022

嗨@Landan喬治,謝謝,是的,它與這個協議。我不知道證書將會下降,但對我來說最重要的資源是available.CheersBartek

Bartek · 12-14-2022

一個解決方案——你可以使用舊好的熊貓“read_csv”方法讀取. zip (https://pandas.pydata.org/docs/reference/api/pandas.read_csv.html pandas.read_csv)進口熊貓pd simple_csv_zipped = pd.read_csv (“/ dbfs / FileStore / simple_file.zip”)年代……

Bartek · 12-14-2022

你指出@Ben埃爾伯特,火花允許讀取壓縮文件(這裏提到“壓縮”屬性:https://spark.apache.org/docs/latest/sql-data-sources-csv.html)。然而,它不會使用. zip檔案。

Bartek · 12-13-2022

這是指導如何連接和存儲賬戶:https://learn.microsoft.com/en-us/azure/databricks/external-data/azure-storage.Setting在集群級別:https://docs.m.eheci.com/clusters/configure.html spark-configuration.Examp……

Bartek · 12-13-2022

此外,如果你不想或不能解壓縮檔案,您可以列出歸檔文件的內容,隻選中文件解壓縮。正如@Joseph Kambourakis問,為什麼你就不能解壓縮嗎?是什麼阻止你嗎?

磚

用戶數據

用戶活動

保存火花DataFrame形狀文件(。軸馬力格式)

如何通過所有dag_run。配置參數python_wheel_task

在網上引發UI模擬器是不可用的

火花的分區數量UI模擬器實驗

Re:火花UI模擬器不在線

再保險:我必須讀壓縮csv文件使用火花沒有解開它。誰能請提供pyspark /火花sql代碼嗎?

再保險:我必須讀壓縮csv文件使用火花沒有解開它。誰能請提供pyspark /火花sql代碼嗎?

格式數據磚Re:外部表問題

再保險:我必須讀壓縮csv文件使用火花沒有解開它。誰能請提供pyspark /火花sql代碼嗎?