單例設計原則為pyspark數據庫連接器
一個單例設計模式,確保一個類隻有一個實例,並提供一個全局訪問點實例。這是一個例子的如何實現一個單例設計PySpark數據庫連接器在Python中:
#定義單裝飾def單例(cls):實例= {}def get_instance (* args, * * kwargs):如果cls不在實例:實例(cls) = cls (* args, * * kwargs)返回實例(cls)返回get_instance # Define MongoDBConnector類@ singleton類MongoDBConnector: def __init__(自我,connection_string):自我。火花= SparkSession.builder.getOrCreate()的自我。uri = connection_string自我。dataframes = {} def(自我、database_name collection_name):連接鍵= (database_name collection_name)如果鍵不自我。dataframes: dataframe = self.spark.read.format (“com.mongodb.spark.sql.DefaultSource”)。選項(“uri”, self.uri)。選項(“數據庫”,database_name)。選項(“集合”,collection_name) .load()的自我。dataframes[主要]= dataframe回歸自我。dataframes(例子)def get_dataframe(自我、database_name collection_name):關鍵= (database_name collection_name)如果自我的關鍵。dataframes:回歸自我。dataframes(例子):返回沒有# MongoDBConnector類創建一個實例mongo_connector = MongoDBConnector (connectionString) #數據庫連接到“sample_supplies”和“銷售”df1 = mongo_connector集合。連接(“sample_supplies”、“銷售”)#連接到數據庫“sample_airbnb”和“listingsAndReviews”收集df2 = mongo_connector。連接(“sample_airbnb”、“listingsAndReviews”) #打印DataFrame對象的id值打印(id (df1))打印(id (df2)) #試圖讓DataFrame對象“sample_supplies”數據庫,收集df3 = mongo_connector“銷售”。get_dataframe (“sample_supplies”、“銷售”)#打印DataFrame對象的id值打印(id (df3)) #試圖讓DataFrame對象“sample_supplies”數據庫,收集df4 = mongo_connector“銷售”。get_dataframe (“sample_airbnb”、“listingsAndReviews”) #打印DataFrame對象的id值打印(id (df4))
來源:-chatgpt
