比較兩個dataframes的模式

[夢想]

所以我比較兩種不同的模式dataframe使用這段代碼:

> > > df1。模式= = df2。模式:假

但問題是,這兩個模式是完全平等的。

當更深入的研究我發現一些StructFields()應該是平等有不同的元數據屬性

{“名稱”:“customer_id”,“數據類型”:StringType(),“可空”:真的,“元數據”:{}}{“名稱”:“customer_id”,“數據類型”:StringType(),“可空”:真的,“元數據”:{“規模”:0}}

這個元數據屬性做什麼工作?

編輯:

> > >所有(str (x) = = str (x, y)在zip (df1 y。模式,df2.schema):真的

[ajaypanday6781]

嗨@dream,

在這種情況下,你可以dataframe.dtypes用於比較兩個dataframe模式或數據類型
元數據存儲信息列屬性

[莫]

嗨@dream

作為@ajaypanday6781寫在前麵的評論,如果你比較感興趣的數據類型,您可以使用dataframe.dtypes。

然而在一個模式,你可能喜歡的額外信息元數據財產你看到在你的模式。元數據通常用於提供額外的上下文或指示下遊流程、數據可視化、或機器學習模型。更清晰,它常被用來添加更多的列信息。您可以通過自定義這個屬性的鍵值。

看來,你的一個dataframes這個元數據屬性填充,因此錯誤模式的比較結果。