編寫模塊代碼在磚

[Mr__D]

你好,

你能告訴我最好的方式編寫PySpark代碼在磚,

我不想寫我的代碼在磚的筆記本但Vscode創建python文件(模塊化項目)並調用隻有筆記本電腦的主要功能(其餘的邏輯將python編寫的文件)。

你能請讓我知道最好的辦法實現嗎?

謝謝,

迪帕克

[匿名 · Accepted solution]

@Deepak Bhatt:

是的,你可以寫你PySpark代碼模塊化的Python文件之外的磚,然後叫他們從磚的筆記本。這裏是您可以遵循的步驟:

1. 創建一個Python文件在您的本地開發環境(例如,VS代碼)和編寫PySpark代碼。您可以定義一個主函數在這個文件將從磚筆記本。
2. Python文件保存到Git存儲庫或Azure Blob存儲等雲存儲服務或Amazon S3。
3. 磚的筆記本,你可以複製Git存儲庫或山雲存儲服務訪問Python文件。
4. 導入你的筆記本使用Python中的Python文件導入聲明。例如,如果您的Python文件名為my_pyspark_code。py,這樣可以導入:

進口my_pyspark_code

調用的Python文件中主要功能數據磚筆記本。例如,如果您的主要功能是叫run_spark_job()你可以叫它是這樣的:

my_pyspark_code.run_spark_job ()

遵循這些步驟,您可以編寫PySpark代碼模塊化和可維護的方式以外的磚,然後輕鬆地稱之為從磚的筆記本。

[Vidula_Khanna]

嗨@Deepak Bhatt

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!