指數從csv文件dataframe基於文件的原始順序(不是基於任何特定的列,基於整個行)使用火花

[andrew0117]

如何保證索引總是遵循文件的原始順序。目前,我使用val df = spark.read。選項(地圖(“標題”- >“真正的”,“inferSchema”- >“true”)) . csv (“filePath”)。withColumn(“指數”,monotonically_increasing_id ())。

謝謝!

[霸王龍]

你好@andrew李

你能解決這個嗎?我有同樣的場景。

謝謝

[andrew0117]

沒有真的。最終我們決定失敗的整個過程,將通知發送到最終用戶做dedup。