磚筆記本的執行上下文
當你把一個筆記本一個集群,磚創建一個執行上下文。一個執行上下文包含的狀態REPL環境對於支持的每種編程語言:Python, R, Scala和SQL。當您運行一個細胞在一個筆記本,REPL命令派遣到適當的語言環境和運行。
您還可以使用命令執行API創建一個執行上下文和發送一個命令在執行上下文中運行。同樣,REPL命令派遣到語言環境和運行。
一個集群的最大數量的執行上下文(145)。一旦執行上下文的數量已經達到了這個門檻,你不能把一個筆記本集群或創建一個新的執行上下文。
閑置的執行上下文
被認為是一個執行上下文閑置當最後完成執行發生過去一套閑置的閾值。最後完成執行筆記本完成最後一次執行的命令。空閑的時間閾值,最後執行和完成之間必須通過任何試圖自動分離的筆記本。
當一個集群已經達到最大限製,磚刪除(清除)閑置執行上下文(從最近最少使用)。即使一個上下文刪除,使用上下文是筆記本仍然附著在集群和集群中出現的筆記本列表。流筆記本運行被認為是積極的,他們的背景是永遠驅逐,直到他們已經停止執行。如果一個空閑的上下文是驅逐,UI顯示一條消息,表明筆記本使用上下文分離是由於被閑置。
如果你試圖把一個筆記本集群最大數量的執行上下文和沒有空閑的上下文(或者如果auto-eviction禁用),UI顯示一條消息說,當前已經達到最大執行上下文閾值和筆記本仍將處於分離狀態。
如果你叉一個過程,無所事事的執行上下文仍被視為一次派生過程返回請求的執行。分支獨立的過程不推薦與火花。
配置上下文auto-eviction
Auto-eviction默認情況下是啟用的。為一個集群,禁用auto-eviction設置火花財產spark.databricks.chauffeur.enableIdleContextTracking假。