讓任意模型，任意加速器運(yùn)行在任意云上：開源創(chuàng)新解鎖企業(yè)AI
讓任意模型，任意加速器運(yùn)行在任意云上：開源創(chuàng)新解鎖企業(yè)AI
2025-06-11 11:23:59 來源：CIO時代
搶沙發(fā)
2025-06-11 11:23:59 來源：CIO時代
摘要：過去兩年，IT領(lǐng)域發(fā)生了一些變化。但紅帽的愿景沒有改變，并且還在不斷演進(jìn)。
關(guān)鍵詞：
開源
讓任何工作負(fù)載，任何應(yīng)用運(yùn)行在任何地方是2023紅帽全球峰會的口號。過去兩年，IT領(lǐng)域發(fā)生了一些變化。但紅帽的愿景沒有改變，并且還在不斷演進(jìn)。
“讓任意模型，任意加速器運(yùn)行在任意云上。”
這就是AI時代的混合云主旨。最棒的是，與“舊的”混合云一樣，這一切都由開源創(chuàng)新推動。在2025紅帽全球峰會上，我們展示了圍繞開源和開放模型構(gòu)建的AI生態(tài)系統(tǒng)如何為企業(yè)帶來新的選擇。開放帶來選擇，選擇帶來更大的靈活性——從最符合企業(yè)需求的模型，到下層的加速器，再擴(kuò)展到工作負(fù)載的實(shí)際運(yùn)行地點(diǎn)。成功的AI戰(zhàn)略會“跟著數(shù)據(jù)走”，無論數(shù)據(jù)位于混合云的何處。
那么，是什么在驅(qū)動混合云的發(fā)展？答案是開源。
推理讓AI更智能
在我看來，我們需要開始超越模型。是的，模型對AI戰(zhàn)略至關(guān)重要。但沒有推理，即AI的“執(zhí)行”階段，模型只是無法“做”任何事情的數(shù)據(jù)集合。推理決定了模型對用戶輸入的響應(yīng)速度，以及在加速計(jì)算資源上做出決策的效率——響應(yīng)緩慢和效率低下最終會導(dǎo)致成本增加和客戶信任流失。
我很高興紅帽把推理放在了開源AI工作的核心位置，并且推出了紅帽AI推理服務(wù)器。紅帽AI推理服務(wù)器基于領(lǐng)先的開源vLLM項(xiàng)目，并通過Neural Magic的技術(shù)進(jìn)行增強(qiáng)，為AI部署提供了一個受支持的、覆蓋整個生命周期的、生產(chǎn)就緒的推理服務(wù)器。最重要的是，它可以真正地“緊跟數(shù)據(jù)”，無論數(shù)據(jù)位于何處——任意Linux平臺、任意Kubernetes發(fā)行版，無論是紅帽還是其他平臺，都可以與該解決方案配合使用。
企業(yè)AI之上：大規(guī)模企業(yè)AI
企業(yè)IT的殺手級應(yīng)用不是某個單一、統(tǒng)一的工作負(fù)載或新的云服務(wù)，而是能夠快速、高效地?cái)U(kuò)展的能力。這對于AI同樣適用。但AI有個特性，即支撐AI工作負(fù)載的加速計(jì)算資源也需要擴(kuò)展。這絕非易事，正確實(shí)施此類硬件需要高昂的成本和專業(yè)技能。
我們需要的不僅僅是擴(kuò)展AI的能力，還要將大量的AI工作負(fù)載分布到多個加速計(jì)算集群中。推理模型和代理AI所需的推理時間擴(kuò)展進(jìn)一步加劇了這一難題。通過分?jǐn)倝毫?，可以減少性能瓶頸，提高效率，并最終改善用戶體驗(yàn)。紅帽已采取行動，通過開源的llm-d項(xiàng)目來應(yīng)對這一痛點(diǎn)。
llm-d項(xiàng)目由紅帽領(lǐng)導(dǎo)，并且得到了硬件加速、模型開發(fā)和云計(jì)算領(lǐng)域的AI行業(yè)領(lǐng)導(dǎo)者的支持。該項(xiàng)目將Kubernetes編排經(jīng)過驗(yàn)證的強(qiáng)大功能與vLLM相結(jié)合，將兩個開源領(lǐng)域的領(lǐng)先力量結(jié)合在一起，以滿足一個非?，F(xiàn)實(shí)的需求。借助AI感知網(wǎng)絡(luò)路由、KV緩存卸載等技術(shù)，llm-d實(shí)現(xiàn)了AI推理的去中心化和普及化，幫助企業(yè)更加充分地利用計(jì)算資源，同時實(shí)現(xiàn)更具成本效益和高效的AI工作負(fù)載。
開放（開源）助力AI未來
Llm-d和vLLM（由紅帽AI推理服務(wù)器提供）是開源技術(shù)，解決當(dāng)前企業(yè)AI面臨的挑戰(zhàn)。但上游社區(qū)并不只關(guān)注當(dāng)前需要做的事情。AI技術(shù)具有縮短時間跨度的特質(zhì)——創(chuàng)新步伐日新月異，您認(rèn)為幾年后才會面臨的挑戰(zhàn)，可能突然就必須迎頭趕上。
這就是為什么紅帽致力于在Meta領(lǐng)導(dǎo)的Llama Stack項(xiàng)目中投入資源進(jìn)行上游開發(fā)，從而為生成式AI應(yīng)用生命周期提供標(biāo)準(zhǔn)化的構(gòu)建模塊和API。此外，Llama Stack非常適合構(gòu)建代理AI應(yīng)用，即我們今天所看到的強(qiáng)大生成式AI工作負(fù)載的進(jìn)一步發(fā)展。除了上游之外，我們還將在紅帽AI中提供Llama Stack的開發(fā)者預(yù)覽版，為那些希望立即參與構(gòu)建行業(yè)未來的企業(yè)提供支持。
在AI代理領(lǐng)域，我們目前仍缺乏一個通用協(xié)議，用以支持其他應(yīng)用如何向其提供上下文和信息。這就是模型上下文協(xié)議（MCP）的用武之地。該協(xié)議由Anthropic于2024年末開發(fā)并開源，為代理與應(yīng)用之間的交互提供了標(biāo)準(zhǔn)化協(xié)議，類似于傳統(tǒng)計(jì)算中的客戶端-服務(wù)器協(xié)議。但關(guān)鍵的是，現(xiàn)在應(yīng)用一下就能具備AI能力，而無需進(jìn)行大規(guī)模重新開發(fā)。這意義非凡，如果沒有開源的力量，這是不可能實(shí)現(xiàn)的。與Llama Stack一樣，MCP在紅帽AI平臺上以開發(fā)者預(yù)覽版提供。
專有的AI模型或許曾在早期占據(jù)領(lǐng)先地位，但開放生態(tài)系統(tǒng)如今無疑已后來居上，尤其是在支持這些下一代AI模型的軟件領(lǐng)域。通過vLLM和llm-d，以及強(qiáng)化的企業(yè)開源產(chǎn)品，無論采用何種模型、加速器或云，AI的未來都一片光明。而開源和紅帽將為其提供支持。
第四十一屆CIO班招生
國際CIO認(rèn)證培訓(xùn)
首席數(shù)據(jù)官（CDO）認(rèn)證培訓(xùn)
責(zé)編：lijj
免責(zé)聲明：本網(wǎng)站（http://www.hongdawj.com.cn/）內(nèi)容主要來自原創(chuàng)、合作媒體供稿和第三方投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
本網(wǎng)站刊載的所有內(nèi)容（包括但不僅限文字、圖片、LOGO、音頻、視頻、軟件、程序等）版權(quán)歸原作者所有。任何單位或個人認(rèn)為本網(wǎng)站中的內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，請及時通知本站，予以刪除。
