從雪花讀寫數據

磚的磚連接器提供了一個雪花從雪花運行時支持讀寫數據。

請注意

你可能更喜歡Lakehouse聯合會管理對雪花數據查詢。看到使用Lakehouse聯合運行查詢

查詢一個雪花表在磚

您可以配置雪花,然後查詢數據的連接。下麵的代碼提供了示例語法在Python中,SQL, Scala:

snowflake_table=(火花格式(“雪花”)選項(“數據表”,table_name)選項(“sfUrl”,database_host_url)選項(“sfUser”,用戶名)選項(“sfPassword”,密碼)選項(“sfDatabase”,database_name)選項(“sfSchema”,schema_name)選項(“sfWarehouse”,warehouse_name)負載())
下降如果存在snowflake_table;創建snowflake_table使用雪花選項(數據表“<表名稱>”,sfUrl“< database-host-url >”,sfUser“<用戶名>”,sfPassword“<密碼>”,sfDatabase“<數據庫名稱>”,sfSchema“<模式名稱>”,sfWarehouse“< warehouse-name >”);選擇*snowflake_table;
瓦爾snowflake_table=火花格式(“雪花”)選項(“數據表”,table_name)選項(“sfUrl”,database_host_url)選項(“sfUser”,用戶名)選項(“sfPassword”,密碼)選項(“sfDatabase”,database_name)選項(“sfSchema”,schema_name)選項(“sfWarehouse”,warehouse_name)負載()

筆記本的例子:雪花連接器的火花

以下筆記本提供簡單的例子如何寫數據和讀取數據的雪花。看到使用火花連接器為更多的細節。特別是,看到設置配置選項的連接器對所有配置選項。

提示

避免暴露你的雪花在筆記本使用用戶名和密碼秘密,這中演示了筆記本。

雪花Python筆記本

在新標簽頁打開筆記本

筆記本的例子:模型訓練結果保存到雪花

以下筆記本走過火花使用雪花連接器的最佳實踐。雪花寫數據,對一些基本的數據操作,使用雪花列車磚機器學習模型,並將結果寫回雪花。

毫升培訓結果存儲在雪花筆記本

在新標簽頁打開筆記本

常見問題(FAQ)

為什麼不我火花DataFrame列在雪花出現在相同的順序嗎?

火花的雪花連接器不尊重表中列的順序寫入;您必須顯式地指定DataFrame和雪花列之間的映射。指定這個映射,使用columnmap參數

為什麼整數數據寫入雪花讀回小數嗎?

雪花代表所有整數類型數量,這可能導致數據類型變化的數據寫入和讀取數據時從雪花。例如,整數可以轉換成數據小數當編寫雪花,因為整數小數在語義上等價的雪花(見雪花數值數據類型)。

為什麼我的雪花表模式總是大寫的領域嗎?

雪花使用大寫字段默認情況下,這意味著表模式轉換為大寫。