我有一個pyspark dataframe包含的信息表,我對sql數據庫(創建日期、行數等)
樣本數據:
{“天”:“2023-04-28”,“環境”:“開發”、“數據庫名”:“默認”,“表”:“折扣”,“CountRows”: 31253}
我想寫這dataframe創建一個自定義日誌表,我在日誌分析工作區,這是可能的嗎?
謝謝你!
@Bruno西蒙斯:她
是的,可以編寫一個PySpark DataFrame定製日誌表日誌分析工作區使用Azure日誌分析工作區API。
這是一個高度概括的步驟可以遵循:
這裏有一些示例代碼:
從azure。loganalytics進口LogAnalyticsWorkspace大熊貓作為pd #替換為導入工作區ID和主鍵workspace_id =“YOUR_WORKSPACE_ID”primary_key =“YOUR_PRIMARY_KEY”# LogAnalyticsWorkspace類的實例創建一個新的工作區= LogAnalyticsWorkspace (workspace_id primary_key) #轉換PySpark DataFrame大熊貓DataFrame pandas_df = spark_df.toPandas() #熊貓DataFrame轉換為JSON字符串json_str = pandas_df.to_json(東方=“記錄”)# JSON字符串發送到自定義日誌表日誌分析工作區工作區。post_data (CUSTOM_LOG_TABLE_NAME, json_str)
取代“YOUR_WORKSPACE_ID”,“YOUR_PRIMARY_KEY”,和“CUSTOM_LOG_TABLE_NAME”自己的價值觀。
@Bruno西蒙斯:她
是的,可以編寫一個PySpark DataFrame定製日誌表日誌分析工作區使用Azure日誌分析工作區API。
這是一個高度概括的步驟可以遵循:
這裏有一些示例代碼:
從azure。loganalytics進口LogAnalyticsWorkspace大熊貓作為pd #替換為導入工作區ID和主鍵workspace_id =“YOUR_WORKSPACE_ID”primary_key =“YOUR_PRIMARY_KEY”# LogAnalyticsWorkspace類的實例創建一個新的工作區= LogAnalyticsWorkspace (workspace_id primary_key) #轉換PySpark DataFrame大熊貓DataFrame pandas_df = spark_df.toPandas() #熊貓DataFrame轉換為JSON字符串json_str = pandas_df.to_json(東方=“記錄”)# JSON字符串發送到自定義日誌表日誌分析工作區工作區。post_data (CUSTOM_LOG_TABLE_NAME, json_str)
取代“YOUR_WORKSPACE_ID”,“YOUR_PRIMARY_KEY”,和“CUSTOM_LOG_TABLE_NAME”自己的價值觀。