紅帽推出紅帽AI 3，將分布式AI推理引入生產級AI工作負載
紅帽推出紅帽AI 3，將分布式AI推理引入生產級AI工作負載
2025-10-15 13:25:04 來源：CIO時代
搶沙發
2025-10-15 13:25:04 來源：CIO時代
摘要：紅帽混合云原生AI平臺簡化AI工作流并提供全新強大推理能力，為大規模代理式AI奠定基礎，助力IT團隊與AI工程師更快、更高效地實現創新
關鍵詞：
紅帽
10月15日 ，紅帽公司近日發布紅帽AI 3（Red Hat AI 3），標志著其企業級人工智能（AI）平臺的重大升級。該平臺融合了紅帽AI推理服務器、紅帽企業Linux AI（RHEL AI）和紅帽OpenShift AI的最新創新成果，可簡化大規模高性能AI推理的復雜性，幫助企業更輕松地將工作負載從概念驗證推進至生產階段，并提升AI應用相關協作效率。
隨著企業逐步超越AI實驗階段，數據隱私、成本控制及多元模型管理等關鍵挑戰開始凸顯。麻省理工學院NANDA項目發布的《生成式AI鴻溝：商業AI現狀》報告揭示了生產型AI的嚴峻現實：約95%的企業未能從約400億美元的企業AI支出中獲得可衡量的財務回報。
紅帽AI 3致力于直接應對這些挑戰，為首席信息官和IT領導者提供更一致、統一的體驗，大幅提升其在加速計算領域的投資效益。該平臺支持在混合多供應商環境中快速擴展并分布式部署AI工作負載。依托這一通用平臺，企業可以提升智能體等下一代AI工作負載相關的跨團隊協作效率。紅帽AI 3基于開放標準構建，能夠適配企業AI旅程的各個階段，支持在任意硬件加速器上運行任意模型，從數據中心到公共云和主權AI環境，再到最遠的邊緣。
從訓練到“實踐”：向企業AI推理轉型的浪潮
隨著企業將AI項目投入生產，關注重點從模型訓練與調優轉向推理，即企業AI的“實踐”階段。紅帽AI 3基于廣受歡迎的vLLM和llm-d社區項目，結合紅帽的模型優化能力，提供生產級大語言模型（LLM）服務，強調可擴展且經濟高效的推理能力。
為幫助首席信息官充分釋放高價值硬件加速的潛力，紅帽OpenShift AI 3.0正式推出llm-d，該方案重新構建了大語言模型在Kubernetes中原生運行的方式。llm-d可實現智能化的分布式推理，融合Kubernetes編排的成熟價值與vLLM的出色性能，結合Kubernetes網關API推理擴展、NVIDIA Dynamo低延遲數據傳輸庫（NIXL）及DeepEP混合專家（MoE）通信庫等關鍵開源技術，助力企業：
通過智能推理感知模型調度與解耦服務降低成本并提升響應速度。
借助規范化的“Well-lit Paths”簡化Kubernetes環境下的大規模模型部署，實現運維簡易性與出色可靠性。
通過跨平臺支持實現出色的靈活性，在NVIDIA和AMD等不同的硬件加速器上部署LLM推理。
llm-d基于vLLM構建，將其從一款單節點高性能推理引擎，升級為分布式、一致且可擴展的服務系統。該系統與Kubernetes深度集成，旨在實現可預測的性能、可量化投資回報率，以及高效的基礎設施規劃。所有增強功能直接應對多變的大語言模型工作負載的挑戰，并為混合專家模型（MoE）等超大規模模型服務提供助力。
協作式AI的統一平臺
紅帽AI 3提供統一靈活的體驗，專為“構建生產就緒的生成式AI解決方案”所涉及的協作需求而設計。它為平臺工程師和AI工程師提供統一平臺來執行其AI戰略，促進團隊協作并統一工作流程，從而創造切實價值。新增功能聚焦于提升生產力與效率，幫助用戶從概念驗證順利擴展到生產階段，其中包括：
模型即服務（MaaS）能力基于分布式推理構建，使IT團隊能夠充當自身的MaaS提供商，集中提供通用模型，并為AI開發者和AI應用提供按需訪問。這有助于實現更優的成本管理，并支持因為隱私或數據原因無法在公共AI服務上運行的用例。
AI中心賦能平臺工程師探索、部署和管理基礎AI資產。它提供了一個中央樞紐，包含精選模型目錄（涵蓋經過驗證和優化的生成式AI模型）、用于管理模型生命周期的注冊中心，以及可配置和監控所有在OpenShift AI上運行的AI資產的部署環境。
生成式AI工作室為AI工程師提供實踐環境，使其能夠與模型進行交互并快速原型化新的生成式AI應用。借助AI資產端點功能，工程師可輕松發現并調用可用模型及MCP服務器——這些服務器旨在簡化模型與外部工具的交互方式。內置的實驗平臺提供交互式無狀態環境，支持對模型進行實驗、測試提示詞、調優參數，適用于聊天和檢索增強生成（RAG）等場景。
新增了經紅帽驗證和優化的模型，以簡化開發流程。精選模型庫包含熱門開源模型（如OpenAI的gpt-oss、DeepSeek-R1）以及專用模型（如用于語音轉文本的Whisper和用于語音助手的Voxtral Mini）。
為下一代AI智能體奠定基礎
AI智能體有望改變應用的構建方式，而其復雜的自主工作流將對推理能力提出嚴苛要求。紅帽OpenShift AI 3.0版本不僅通過其推理能力，更通過聚焦智能體管理的新特性與增強功能，持續為可擴展的代理式AI系統奠定基礎。
為加速智能體創建與部署，紅帽基于Llama Stack推出了統一API層（Unified API Layer），助力開發工作與OpenAI兼容的大語言模型接口協議等行業標準保持一致。此外，為推動更開放、互操作性更強的生態系統發展，紅帽率先采用了模型上下文協議（MCP）這項新興的強大標準，該協議簡化了AI模型與外部工具的交互方式，而這正是現代AI智能體的一項基礎特性。
紅帽AI 3基于現有InstructLab功能，推出了一套全新的模塊化可擴展工具包，用于模型定制。該工具包提供專業化的Python庫，賦予開發者更強的靈活性和控制力。該工具包依托開源項目構建，例如采用Docling進行數據處理，可將非結構化文檔高效轉換為AI可讀格式。它還包含靈活的合成數據生成框架，并配備大語言模型微調訓練中心。集成式評估中心有助于AI工程師監控并驗證結果，使其能夠輕松運用其專有數據，實現更精準、更具相關性的AI成果。
第四十一屆CIO班招生
國際CIO認證培訓
首席數據官（CDO）認證培訓
責編：lijj
免責聲明：本網站（http://www.hongdawj.com.cn/）內容主要來自原創、合作媒體供稿和第三方投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
本網站刊載的所有內容（包括但不僅限文字、圖片、LOGO、音頻、視頻、軟件、程序等）版權歸原作者所有。任何單位或個人認為本網站中的內容可能涉嫌侵犯其知識產權或存在不實內容時，請及時通知本站，予以刪除。
