設置和注意事項ai_generate_text ()

預覽

這個特性是在公共預覽。

本文描述了考慮什麼,建立在你開始使用ai_generate_text ()函數,特別是如何檢索安全身份驗證憑證並存儲它們。它還包括功能局限性和性價比方麵的考慮。

是什麼ai_generate_text ()嗎?

的ai_generate_text ()函數是一個內置的磚SQL函數允許您訪問大型語言模型(llm)直接從SQL。這個功能目前支持訪問OpenAI和Azure OpenAI模型,並使客戶能夠使用它們作為構建塊在數據管道和機器學習工作負載。beplay体育app下载地址語法和設計模式,看到ai_generate_text函數語言手冊內容。

可能的用例ai_generate_text ()包括翻譯、總結、建議行動,主題或主題識別,等等。

下麵是幾個在磚使用llm的優點:

  • 統一訪問和管理在開源和專有llm層。

  • Serverless、伸縮、數據集成LLM基礎設施。

  • 單擊簡單定製llm到您的業務需求和用例。

  • 對於高級用戶,工具快速開發和定製的開源llm。

需求

  • 招生的AI公共預覽功能。參加公共預覽,填充並提交人工智能功能的公共預覽登記表格。

  • 磚SQL Pro或Serverless,隻能在Azure或AWS。

  • 明白,這個功能的實現和使用指導數據離開您的SQL環境並通過第三方LLM模型供應商:OpenAI和Azure OpenAI。

  • 你可以訪問Azure OpenAI或OpenAI。

  • GPT 3.5渦輪模型部署。

檢索驗證詳細信息

使用ai_generate_text ()功能你需要能夠訪問Azure OpenAI或OpenAI。

檢索驗證細節Azure OpenAI以下步驟。你的認證細節填充resourceName和deploymentName的參數ai_generate_text ()。

  1. 導航到認知在Azure門戶和選擇Azure OpenAI服務。

  2. 選擇您想要使用的資源。

  3. 選擇鍵和端點在資源管理。

  4. 複製你的關鍵和資源的名稱。

  5. 選擇模型部署在資源管理。

  6. 複製你的模式部署的名字。

對於OpenAI,可以導航到OpenAI並選擇API密鑰創建你的關鍵。

請注意

你不能複製鍵現有關鍵配置。

你可以:

  • 檢索的關鍵人,也稱為校長,創建配置。

  • 創建一個新的密鑰和複製創造提供了成功的關鍵。

存儲訪問令牌

重要的

做不包括你的令牌在純文本在你的筆記本上,代碼,或者git存儲庫。

您可以使用磚秘密持有你的API的令牌。使用磚CLI的秘密或秘密API 2.0創建你的秘密。下麵的示例中的步驟使用CLI的秘密:

  1. 如果你不已經有一個秘密保持OpenAI鍵範圍,創建一個:

    磚秘密創建範圍——範圍openai

  2. 你需要給讀權限或更高的用戶或組OpenAI允許連接。磚建議創建一個組openai-users並允許用戶添加到組。

    磚秘密put-acl——範圍openai——主要openai-users——許可讀

  3. 為您的API創建一個秘密訪問令牌。磚建議的格式<資源名稱>鍵:

    磚秘密把——範圍openai——關鍵demo-key——字符串值yourkey123

限製

  • ai_generate_text ()不支持集群互動或工作。

  • 唯一的模型支持預覽openai / gpt - 3.5渦輪增壓和azure_openai / gpt-35-turbo。

  • 令牌限製openai / gpt - 3.5渦輪增壓和azure_openai / gpt-35-turbo是4096令牌。

成本和性能考慮

  • OpenAI和Azure OpenAI服務需要訂閱和磚分開。

  • 在一個給定的查詢,LLM api調用順序是由列(s)的函數調用。

    • 與大多數SQL函數相比,查詢使用ai_generate_text ()傾向於運行得更慢。

  • 查詢的響應時間,調用AI功能取決於兩個中指定的任務提示,以及令牌提供和要求的數量。

  • Azure OpenAI服務隻能在少數Azure地區本文時預覽。

額外的資源

看到語言手冊文檔的語法和設計模式ai_generate_text函數。

看到分析顧客評論ai_generate_text()和OpenAI如何使用一個例子ai_generate_text ()在一個業務場景。