Lakehouse AI:以數據為中心的方法來構建生成人工智能應用程序

生成人工智能將在每個業務產生變革性的影響。磚已經率先使用人工智能創新了十年,與成千上萬的客戶積極合作提供人工智能解決方案,和使用像MLflow開源社區項目,每月有1100萬下載。beplay体育app下载地址Lakehouse AI和其獨特的以數據為中心的方法中,我們讓客戶來開發和部署人工智能模型與速度、可靠性和完整的治理。beplay体育app下载地址今天的數據和AI峰會上,我們宣布一些新功能,建立Lakehouse AI英超平台加速生成人工智能的生產的旅程。Beplay体育安卓版本這些創新包括矢量搜索,Lakehouse監控,增強模型服務優化llm, MLflow 2.5,等等。

主要挑戰與發展中生成人工智能的解決方案

優化模型的質量:數據是人工智能的核心。糟糕的數據會導致偏見,幻覺,和有毒的輸出。很難有效地評估大型語言模型(llm),這些模型很少有一個客觀的地麵真值標簽。因此,組織往往很難理解當模型是可以信任的關鍵用例沒有監督。

成本和複雜性的培訓與企業數據:組織來培訓他們的模型使用自己的數據和控製他們。Instruction-tuned模型MPT-7B和Falcon-7B已經證明具有良好的數據,較小的調整模型可以獲得良好的性能。然而,組織很難知道有多少數據例子是足夠的,而應該從基本模型,管理培訓所需的基礎設施的複雜性和調整模型,以及如何考慮成本。

信任模型的生產:技術景觀迅速演變和新功能被引入,這是更具挑戰性的這些模型投入生產。有時這些功能的形式來等新服務需要一個矢量數據庫而有時它可能是新的接口,如深促使工程支持和跟蹤。很難信任模型在生產沒有健壯的和可伸縮的基礎設施,和一個棧完全檢測監控。

數據安全與治理:組織想要發送控製數據和存儲數據,這樣可以防止第三方泄漏以及確保反應符合監管。我們看到今天有無限製的實踐團隊,妥協安全和隱私或繁瑣的流程數據使用,阻礙創新的速度。

Lakehouse AI -優化生成的人工智能

解決上述挑戰,我們興奮地宣布幾個Lakehouse AI功能將幫助組織維持數據安全性和治理以及加速他們的旅程從概念到生產。

使用現有的使用您的數據模型或訓練你自己的模型

• 矢量搜索索引:與向量映射進行,組織可以利用生成人工智能的力量和llm跨多個用例,從客戶支持機器人通過您的組織的整個語料庫知識搜索和推薦的經驗,理解客戶的意圖。向量數據庫幫助團隊快速索引他們組織的數據嵌入向量和執行低延遲向量相似性搜索實時部署。矢量搜索與Lakehouse緊密集成,包括統一目錄管理和模型服務自動管理數據和查詢轉換成向量的過程。報名參加預覽在這裏。
• 策劃模式,由高性能的優化模型為:而不是花時間研究最好的開放源碼生成人工智能為您的用例模型,你可以依賴為常見用例模型由磚策劃專家。我們的團隊不斷地監控模型的景觀,測試出來的新模型等許多因素的質量和速度。我們提供最佳的基本模型中可用的磚市場和特定於任務的llm的默認統一目錄。一旦模型統一目錄中可以直接使用或調整你的數據。對於每個這些模型,我們進一步優化Lakehouse艾未未的組件——例如,減少模型服務延遲了10倍。報名參加預覽在這裏。
• AutoML支持llm:我們擴大AutoML提供支持微調生成人工智能模型對文本分類調整嵌入模型與數據基礎。AutoML使非技術用戶可以單擊輕鬆地調整模型在你的組織的數據,並增加效率的技術用戶做同樣的事。報名參加預覽在這裏。

監控、評估和登錄提示您的模型和性能

• Lakehouse監控:第一個統一的數據和人工智能監控服務,允許用戶同時跟蹤的質量數據和人工智能資產。服務資產維護配置文件和漂移指標,允許您配置主動提醒,自動生成質量儀表板可視化和分享在您的組織,並促進根源分析相關數據質量警報在譜係圖。建立在統一目錄,Lakehouse監測數據為用戶提供深入的和AI資產,確保高質量、精度和可靠性。報名參加預覽在這裏。
• 推理表:作為我們的以數據為中心的模式的一部分,傳入的請求和輸出響應服務端點記錄到三角洲統一目錄表。這種自動負載日誌使團隊能夠在實時監控的質量模型,源數據和表可以用來輕鬆點需要重新貼上了下一個數據集的嵌入或其他llm微調。
• LLMOps MLflow (MLflow2.4和MLflow2.5):我們擴展API跟蹤LLM MLflow評價參數和模型更容易識別的最佳模式候選人LLM用例。我們建造工程工具來幫助你識別最好的提示你的用例的模板。每個提示模板評估記錄MLflow檢查或重用。

實時安全服務模型、特征和功能

• llm模型服務,增強和優化:我們不僅提供GPU模型服務,而且我們優化我們的GPU提供開源llm頂部。我們提供最佳的性能優化,使llm運行部署在磚時快一個數量級。這些性能改進允許團隊在推理時節約成本以及允許端點規模向上/向下快速處理交通。報名參加預覽在這裏。

“搬磚模型減少了我們的推斷延遲10 x,幫助我們提供相關,準確的預測客戶更快。beplay体育app下载地址通過模型在相同的平台上,我們的數據的生活和我們的火車模型,我們能夠加速Beplay体育安卓版本部署,減少維護。”

——丹尼爾•Edsgard頭數據的科學,伊萊克斯

• 特性和功能服務:組織可以防止服務在線和離線傾斜的特性和功能。特性和功能服務執行低延遲、隨需應變的計算在REST API端點為機器學習模型和功率LLM應用服務。如果結合磚模型服務,特點是自動與傳入的推理request-allowing客戶建立簡單的數據管道。beplay体育app下载地址報名參加預覽在這裏。
• AI功能:數據分析和數據工程師現在可以使用llm和其他機器學習模型在交互式SQL查詢或SQL /火花ETL管道。分析師與AI功能可以執行情緒分析或總結transcripts-if他們被授予權限的統一目錄和人工智能網關。同樣,一個數據工程師可以建造管道,轉錄每個新呼叫中心調用並執行進一步分析利用llm從這些調用提取關鍵業務的見解。

管理數據和治理

• 統一數據& AI治理:我們加強統一目錄提供全麵治理和血統追蹤數據和人工智能的資產在一個統一的體驗。這意味著模型注冊表和功能存儲已經合並成統一目錄,允許團隊在工作空間和共享資產管理他們的數據與他們的人工智能。
• MLflow人工智能網關:作為組織授權員工利用OpenAI和其他LLM提供者,他們遇到問題管理速度限製和憑證,蓬勃發展的成本,和跟蹤外部發送什麼數據。MLflow人工智能網關,MLflow 2.5的一部分,是一個工作空間層API網關允許組織創造和分享的路線,然後可以配置各種速率限製,緩存,管理成本和使用成本歸屬等。
• 磚CLI MLOps:這種演變的磚CLI允許數據團隊建立項目infra-as-code更快地生產和集成CI / CD工具。組織可以創建“包”與磚工作流的自動化智能組件生命周期。

在這個新生成的人工智能的時代,我們對這些創新感到興奮釋放,期待您將構建這些!