我安裝了hudi maven庫org.apache.hudi: hudi-spark3.3-bundle_2.12:0.13.0
在Dbricks運行時版本:12.2 LTS(包括Apache火花3.3.2,Scala 2.12)
火花配置:
spark.sql.catalog。spark_catalog org.apache.spark.sql.hudi.catalog。HoodieCatalog火花。序列化器org.apache.spark.serializer。KryoSerializer spark.sql。擴展org.apache.spark.sql.hudi.HoodieSparkSessionExtension
我跑這個python cmd:
進口org.apache.hudi.DataSourceReadOptions。_進口org.apache.hudi.DataSourceWriteOptions。_進口org.apache.hudi.config.HoodieWriteConfig._
這給了我錯誤:
ModuleNotFoundError:沒有模塊命名“org.apache.hudi”
然後我跑在筆記本sql命令:
創建表hudi_cow_pt_tbl (id bigint,名稱字符串,ts bigint, dt字符串,hh字符串)使用hudi tblproperties (type =‘牛’,primaryKey =“id”, preCombineField = ' ts)分區(dt, hh)位置的s3: / / incred-databricks-data / hudi_dms_data / hudi_cow_pt_tbl ';
這給了我錯誤:
. io .FileNotFoundException:沒有這樣的文件或目錄:s3: / / incred-databricks-data / hudi_dms_data / hudi_cow_pt_tbl
在這個路徑:s3: / / incred-databricks-data / hudi_dms_data /
@Shanmugavel Chandrakasu
% sql create table hudi_cow_pt_tbl (id bigint名稱字符串,ts bigint, dt字符串,hh字符串)使用hudi tblproperties (type =‘牛’,primaryKey =“id”, preCombineField = ' ts)分區(dt, hh)位置“/ mnt /數據/ hudi_dms_data / hudi_cow_pt_tbl”;
它仍然給了我錯誤:
org.apache.hudi.exception。TableNotFoundException:連帽衫表未找到路徑找不到hudi表中為用戶提供路徑。