當大家都去挖金礦時，賣鏟子的最賺錢。
在 19 世紀的美國加州，無數(shù)懷揣財富夢想的人涌入金礦，卻鮮有人意識到，真正賺得盆滿缽滿的并非礦工，而是那些販賣鏟子、牛仔褲的商人。如今，大模型掀起的 " 淘金熱 " 席卷全球，在這場技術(shù)與商業(yè)的狂歡中，AI 基礎設施（AI Infra）正扮演著類似 " 賣鏟人 " 的關(guān)鍵角色。
從 GPT-3 到 PaLM，從文心一言到通義千問，大模型的參數(shù)規(guī)模以指數(shù)級增長，訓練成本動輒數(shù)千萬美元，推理所需的算力更是呈幾何倍數(shù)攀升。在這場競賽中，英偉達的 GPU 供不應求，華為昇騰芯片異軍突起，云計算巨頭紛紛加碼算力基建。
當市場聚焦于大模型本身的技術(shù)突破時，AI Infra 這個包括芯片、服務器、云計算、算法框架、數(shù)據(jù)中心等在內(nèi)的底層支撐體系正成為決定勝負的關(guān)鍵戰(zhàn)場。中金預測，當前 AI Infra 產(chǎn)業(yè)正處于高速增長的發(fā)展初期，在未來 3-5 年內(nèi)，其各細分賽道的市場空間有望保持 30% 的高速增長率，正成為大模型應用爆發(fā)背后 " 掘金賣鏟 " 的絕佳商業(yè)選擇。
釋放 AI 生產(chǎn)力的新鑰匙
回顧 ICT 產(chǎn)業(yè)的發(fā)展歷程，以基礎設施、平臺、應用為代表的三層架構(gòu)似乎成為了其演進的必然趨勢。
在傳統(tǒng)的本地部署階段，操作系統(tǒng)、數(shù)據(jù)庫、中間件等基礎軟件發(fā)揮著不可或缺的作用，它們通過控制硬件交互、管理數(shù)據(jù)存儲、調(diào)度網(wǎng)絡通信等功能，有效解決了底層硬件系統(tǒng)的復雜性難題，讓上層應用開發(fā)者得以專注于業(yè)務邏輯的創(chuàng)新。
在 " 云定義一切 " 的時代，經(jīng)典的基礎設施即服務（IaaS）、平臺即服務（PaaS）、軟件即服務（SaaS）協(xié)同進化架構(gòu)應運而生。其中，PaaS 層提供的應用開發(fā)環(huán)境和數(shù)據(jù)分析管理等服務，為云計算的廣泛滲透奠定了堅實基礎。
在歷經(jīng)漫長的蟄伏期后，AIGC 如同按下了 AI 通用化進程的快進鍵，整個產(chǎn)業(yè)在一片蓬勃發(fā)展的氛圍中加速重構(gòu)。算力與應用無疑成為了最受矚目的焦點，但二者之間卻存在著巨大的鴻溝，這使得大模型面臨著 " 懸浮 " 無法落地或 " 踏空 " 錯失機會的風險。
如果將 AI 與云計算進行對照，算力、算法、數(shù)據(jù)可以被視作 IaaS 層級，而各類開源和閉源模型則是 SaaS 在大模型時代的全新演變形態(tài)，也就是 " 模型即服務（MaaS）"。
AI Infra 作為連接算力與應用的中間層基礎設施，聚焦企業(yè)級 AI 應用的私有化部署場景，涵蓋了硬件、軟件、工具鏈以及優(yōu)化方法等多個方面，通過構(gòu)建新型軟件棧及綜合服務，致力于為大模型應用開發(fā)、部署、運行和管理，打造一站式模型算力部署和基礎工具平臺，成為連接算力與應用的核心力量。
AI Infra 涵蓋了與開發(fā)部署相關(guān)的所有工具和流程。隨著云計算的持續(xù)發(fā)展，DataOps、ModelOps、DevOps、MLOps、LLMOps 等一系列以 "XOps" 為代表的概念不斷涌現(xiàn)。
從宏觀層面分析，所有 XOps 的本質(zhì)都是為了提高開發(fā)部署生命周期的效率。例如，DataOps 旨在提升 IaaS 層的存儲和 PaaS 層的數(shù)據(jù)處理效率；DevOps、MLOps 則專注于提高 PaaS 層的開發(fā)部署效率；LLMOps 主要為 MaaS 層提供效率支持。
傳統(tǒng)的算力資源在使用過程中存在著利用率低、能耗高的問題。AI Infra 通過智能調(diào)度算法和異構(gòu)計算技術(shù)，實現(xiàn)了算力資源的動態(tài)分配和高效利用。智能調(diào)度算法可以根據(jù)模型訓練任務的優(yōu)先級、數(shù)據(jù)規(guī)模和計算需求，自動分配 GPU 集群資源，將算力利用率從傳統(tǒng)的 40% 左右提升至 75% 以上。
異構(gòu)計算技術(shù)則整合了 CPU、GPU、NPU 等多種芯片的優(yōu)勢，針對不同類型的計算任務進行優(yōu)化，在保證計算性能的同時，降低了 30% 以上的能耗成本。例如，在圖像識別任務中，NPU 可以發(fā)揮其強大的并行計算能力，快速處理大量的圖像數(shù)據(jù)；而在數(shù)據(jù)預處理階段，CPU 則可以高效地完成數(shù)據(jù)讀取、清洗等任務。
AI Infra 提供了一套完整的算法工具鏈，涵蓋了數(shù)據(jù)預處理、模型訓練、推理優(yōu)化等大模型開發(fā)的全流程。其中，AutoML（自動化機器學習）工具可以自動選擇最優(yōu)的模型架構(gòu)和超參數(shù)，無需開發(fā)者具備深厚的機器學習知識，即可快速搭建模型，將開發(fā)周期從數(shù)月縮短至數(shù)周。
模型壓縮技術(shù)通過剪枝、量化等手段，能夠?qū)⒛Ｐ腕w積縮小 90% 以上，大大降低了模型的存儲和計算需求，同時不影響模型的性能，使得模型在移動端和邊緣設備上的部署更加高效。這些工具的出現(xiàn)，讓中小開發(fā)者和企業(yè)也能夠輕松地利用大模型進行應用開發(fā)，加速了大模型技術(shù)的普及和應用。
大模型的訓練和應用離不開高質(zhì)量的數(shù)據(jù)。然而，數(shù)據(jù)的采集、清洗、標注過程往往耗時耗力，且容易出現(xiàn)數(shù)據(jù)質(zhì)量不高、數(shù)據(jù)安全隱患等問題。AI Infra 的數(shù)據(jù)管理平臺通過自動化標注工具、數(shù)據(jù)增強算法和隱私計算技術(shù)，構(gòu)建了一個高效的數(shù)據(jù)閉環(huán)。
自動化標注工具利用機器學習算法對數(shù)據(jù)進行自動標注，準確率可達 95% 以上，提高了標注效率；數(shù)據(jù)增強算法可以通過對原始數(shù)據(jù)進行變換、擴充等操作，生成更多的訓練數(shù)據(jù)，從而提高模型的泛化能力；隱私計算技術(shù)則可以在保障數(shù)據(jù)安全和隱私的前提下，實現(xiàn)數(shù)據(jù)的共享和協(xié)同利用，打破了數(shù)據(jù)孤島，釋放了數(shù)據(jù)的潛在價值。
在 AIGC 熱潮興起之前，關(guān)于 AI 中臺的理論研究與實踐探索就已開展得如火如荼。然而，彼時的 AI 中臺更像是 " 救火隊員 "，功能繁雜多樣，承擔了許多基礎且瑣碎的工作，卻難以獲得上下游的廣泛認可。
大模型的出現(xiàn)為 AI 平臺化搭建了更為廣闊的舞臺，也讓 AI Infra" 掘金賣鏟 " 的商業(yè)模式更具確定性，進而贏得了可觀的發(fā)展空間。
就如同 " 三明治 " 兩片面包之間可以有無數(shù)種夾層組合一樣，處于算力與應用之間的 AI Infra 同樣具有豐富的可能性。從廣義上講，AI Infra 涵蓋了人工智能基礎框架技術(shù)，涉及大模型訓練、部署領(lǐng)域的各類底層設施；狹義而言，基礎軟件棧是 AI Infra 的核心組成部分，其主要目標在于優(yōu)化算力算法、推動應用落地。
對于企業(yè)級用戶來說，AI Infra 具備四大核心價值，在推動企業(yè)數(shù)字化轉(zhuǎn)型和智能化升級中起到關(guān)鍵作用。
第一，聚焦 AI 應用全生命周期管理。AI Infra 平臺不僅為企業(yè)提供了技術(shù)支持，還通過多樣化的工具幫助企業(yè)快速發(fā)現(xiàn)和開發(fā)符合業(yè)務需求的 AI 應用場景：簡化模型管理，無論是在本地、邊緣還是云端；快速部署與推理，無論是在虛擬機還是容器環(huán)境中；豐富的模型支持，可預置系統(tǒng)模型也可自定義模型；以及模型精調(diào)與優(yōu)化、模型評估和性能測試等能力。
第二，加速企業(yè)級 AI 應用的落地。AI Infra 平臺不僅為企業(yè)提供了技術(shù)支持，還通過多樣化的工具幫助企業(yè)快速發(fā)現(xiàn)和開發(fā)符合業(yè)務需求的 AI 應用場景。這包括數(shù)據(jù)驅(qū)動的場景挖掘，支持 AI 應用構(gòu)建，包括 Prompt 工程、向量檢索、知識庫管理，可靈活接入本地或線上模型；智能場景精準推薦，不僅支持通用的 AI 應用，還集成多樣化的 AI 解決方案；快速原型設計與驗證，快速構(gòu)建和測試 AI 原型；行業(yè)模板與經(jīng)驗支持，預構(gòu)建的 AI 場景模板，無需從零開始，降低技術(shù)門檻。
第三，助力企業(yè)構(gòu)建新型數(shù)字基礎設施。AI Infra 平臺不僅是一個 AI 應用開發(fā)和管理的平臺，更是企業(yè)構(gòu)建新型數(shù)字基礎設施的關(guān)鍵工具。包括彈性計算與資源調(diào)度，支持異構(gòu) GPU 硬件加速，提供裸金屬、虛擬機和容器計算資源的彈性擴展；通過支持跨云和混合云架構(gòu)和跨地域的部署，提供靈活的云資源調(diào)度能力；統(tǒng)一管理與自動化運維，集成智能運維工具，提供統(tǒng)一管理界面；具備邊緣計算能力，減少云端傳輸延遲和帶寬壓力，適合高實時性業(yè)務場景；增強數(shù)據(jù)治理與合規(guī)性，幫助企業(yè)遵循行業(yè)標準與法規(guī)要求，保護數(shù)據(jù)隱私與安全。
第四，推動企業(yè)數(shù)智化戰(zhàn)略升級。AI Infra 平臺通過數(shù)字化與智能化的雙重支持，推動企業(yè)在提升業(yè)務效率的同時，實現(xiàn) AI 決策和自動化運營，進而實現(xiàn)數(shù)智化戰(zhàn)略升級，將 AI 深度融入到業(yè)務各個環(huán)節(jié)，通過加速 AI 推理應用，推動全方位的業(yè)務創(chuàng)新。
AI Infra 會是下一個必爭之地嗎？
相較于對模型價值的追求，投身 AI 應用領(lǐng)域已成為行業(yè)的普遍共識，在基礎模型之上將會誕生數(shù)以百萬計的應用，這些應用對現(xiàn)有業(yè)態(tài)的改造作用，遠大于從無到有的顛覆性創(chuàng)新。
如今，AI 應用的供給正呈現(xiàn)出爆發(fā)式增長。從 2024 年開始，視頻生成類模型產(chǎn)品密集涌現(xiàn)，快手的可靈、字節(jié)跳動的即夢、商湯的 Vimi 紛紛亮相，此外，AI 搜索產(chǎn)品、AI 陪伴類產(chǎn)品等也不斷推陳出新。
大模型應用的爆發(fā)趨勢已然明晰。根據(jù) InfoQ 研究中心的數(shù)據(jù)，到 2030 年，通用人工智能（AGI）應用市場規(guī)模將達到 4543.6 億元。模型應用層所蘊含的巨大機遇，吸引了幾乎各行各業(yè)的積極參與。
當前，AI Infra 市場仍處于混沌未開的階段，國內(nèi)呈現(xiàn)出 " 巨頭主導 " 的格局。華為、阿里、百度等科技巨頭憑借自身強大的技術(shù)實力和資源優(yōu)勢，紛紛構(gòu)建起相對封閉的 AI Infra 體系。
例如，華為的模型采用三層架構(gòu)，底層是具備超強魯棒性和泛化性的通識性大模型，猶如一座穩(wěn)固的基石，在此基礎上衍生出行業(yè)大模型以及針對具體場景和工作流程的部署模型。這種架構(gòu)的優(yōu)勢在于，當訓練好的大模型部署到垂直行業(yè)時，無需重復訓練，成本僅為上一層的 5%-7%，大大提高了效率，降低了成本。
阿里則為 AI 打造了統(tǒng)一底座，無論是計算機視覺（CV）、自然語言處理（NLP）還是文生圖大模型，都可以在這個統(tǒng)一底座中進行訓練。百度和騰訊也分別進行了相應的戰(zhàn)略布局。
百度擁有覆蓋超 50 億實體的中文知識圖譜，為其 AI 發(fā)展提供了豐富的知識支持，就像一個巨大的知識庫，為模型的訓練和應用提供了充足的養(yǎng)分；騰訊的熱啟動課程學習技術(shù)，則能將萬億大模型的訓練成本降低至冷啟動的八分之一，有效提升了訓練效率，降低了成本。
然而，這種封閉的生態(tài)也帶來了一些問題，中小供應商難以切入市場，導致市場缺乏專業(yè)化分工，創(chuàng)業(yè)公司面臨著 " 既難以依賴大廠，又難以獨立生存 " 的困境，整個生態(tài)系統(tǒng)的活力和創(chuàng)新能力受到一定的限制。
在國外，AI Infra 市場已經(jīng)形成了相對成熟的產(chǎn)業(yè)鏈和生態(tài)系統(tǒng)。有的專注于數(shù)據(jù)標注，有的擅長數(shù)據(jù)質(zhì)量提升，還有的在模型架構(gòu)方面獨具優(yōu)勢。這些企業(yè)憑借其專業(yè)性，在單一環(huán)節(jié)的效率、成本控制和質(zhì)量保障上，往往比大廠親自操刀做得更出色。
以美國為例，出現(xiàn)了一批專注于 AI Infra 細分領(lǐng)域的企業(yè)。比如 Anomalo 專注于數(shù)據(jù)質(zhì)量檢測，為 Google Cloud 和 Notion 等企業(yè)提供專業(yè)的數(shù)據(jù)質(zhì)量評估和優(yōu)化服務；Scale AI 則通過自動化標注工具，幫助企業(yè)降低數(shù)據(jù)處理成本，提高數(shù)據(jù)標注效率。
這些企業(yè)在各自的領(lǐng)域深耕細作，如同汽車行業(yè)的一級供應商（Tier 1），通過專業(yè)化分工，為大模型企業(yè)提供標準化、高質(zhì)量的解決方案，形成了 " 大廠專注核心模型研發(fā)，供應商提供基礎設施支持 " 的良性生態(tài)。
然而，國內(nèi)在這方面的發(fā)展尚不成熟。一方面，國內(nèi)大模型領(lǐng)域的主要參與者多為大廠，它們都有自己成熟的訓練體系，外部供應商很難打入其內(nèi)部。大廠就像一個個封閉的王國，擁有自己的一套完整體系，外部力量難以滲透。
另一方面，國內(nèi)缺乏足夠龐大的創(chuàng)業(yè)生態(tài)和中小企業(yè)群體，這使得 AI 供應商在大廠之外難以找到生存和發(fā)展的空間。
以谷歌為例，谷歌愿意與數(shù)據(jù)質(zhì)量供應商分享自己的訓練數(shù)據(jù)成果，助力供應商提升數(shù)據(jù)處理能力，而供應商能力提升后，又能為谷歌提供更多高質(zhì)量數(shù)據(jù)，從而形成一種良性循環(huán)。
國內(nèi) AI Infra 生態(tài)的不完善，直接導致大模型創(chuàng)業(yè)門檻升高。如果將在中國開展大模型業(yè)務比作吃上一頓熱飯，那么創(chuàng)業(yè)者必須從開墾土地、種植作物等最基礎的工作做起，面臨著巨大的挑戰(zhàn)和困難。
目前，在 AI 2.0 的熱潮中，一個顯著特點是 " 兩極化 "：最熱門的領(lǐng)域集中在大模型層和應用層，而類似 AI Infra 的中間層卻存在較大的發(fā)展空白，這也可能蘊藏著下一個重大機遇。就像一座尚未被開發(fā)的寶藏，等待著探索者去發(fā)現(xiàn)和挖掘。
賣鏟不易，掘金更難
盡管在大模型應用爆發(fā)的當下，AI Infra 層潛藏著巨大的商業(yè)潛力，但對于從事 AI Infra 的公司而言，即便它們在專業(yè)領(lǐng)域?qū)嵙妱牛鎸κ袌龅娘L云變幻，依然顯得較為脆弱。
英偉達的 CUDA 生態(tài)歷經(jīng) 20 年的發(fā)展，在 AI 領(lǐng)域，最前沿的模型和應用通常都會率先在 CUDA 平臺上運行。
由于不同硬件之間存在各異的接口，CUDA 統(tǒng)一了這些接口的語言，讓使用者能夠運用一套標準語言來操作不同硬件。在模型開發(fā)過程中，開發(fā)者往往傾向于在同一語言體系下完成開發(fā)工作，這實際上構(gòu)建了英偉達 CUDA 生態(tài)的深厚底蘊。
目前，CUDA 生態(tài)在 AI 算力市場占據(jù)了 90% 以上的份額。不過，隨著 AI 模型的標準化進程推進，模型之間的結(jié)構(gòu)差異逐漸縮小，不再需要頻繁調(diào)度多種大小模型，英偉達 CUDA 生態(tài)的優(yōu)勢在一定程度上有所削弱。即便如此，英偉達在算力市場的統(tǒng)治地位依然難以撼動。據(jù)業(yè)內(nèi)人士預測，在未來 3-5 年，英偉達仍將是整個 AI 硬件提供商中的絕對領(lǐng)導者，市場占有率預計不會低于 80%。
對于 AI Infra 層的供應商來說，外部有英偉達這樣的 " 守礦人 "，如同在金礦門口售賣門票和鏟子，好不容易找到進入金礦的途徑，卻發(fā)現(xiàn)里面的 " 挖礦人 " 早已習慣 " 徒手 " 挖礦，對新的工具并不接受。
從商業(yè)模式看，部分 AI Infra 廠商采用訂閱制的商業(yè)模式，根據(jù)企業(yè)的算力使用量、模型調(diào)用次數(shù)或功能模塊使用情況進行收費。這種模式類似于 SaaS，企業(yè)無需一次性投入大量資金購買硬件和軟件，只需按照實際使用情況支付費用，大大降低了企業(yè)使用 AI Infra 的門檻。
例如，有些平臺推出了 " 基礎算力包 + 高級算法工具 " 的組合套餐，中小企業(yè)每月僅需支付數(shù)千元，就可以使用百萬級的算力資源和先進的算法工具，進行大模型的開發(fā)和應用。
對于大型企業(yè)和特定行業(yè)用戶來說，他們往往有著復雜的業(yè)務需求和特殊的技術(shù)要求，通用的 AI Infra 產(chǎn)品難以滿足他們的需求。因此，一些廠商提供定制化的 AI Infra 解決方案，從算力集群搭建、模型優(yōu)化到應用部署，為企業(yè)提供全流程的服務。
為了促進技術(shù)的發(fā)展和應用的推廣，一些 AI Infra 廠商通過開源技術(shù)、開放 API 等方式，吸引開發(fā)者和企業(yè)共建生態(tài)。開源框架 PyTorch 和 TensorFlow 就是成功的案例，它們通過社區(qū)協(xié)作不斷優(yōu)化性能，吸引了全球大量的開發(fā)者參與貢獻代碼，形成了龐大的開發(fā)者社群。
這種生態(tài)共建模式不僅加速了技術(shù)的迭代和創(chuàng)新，還通過生態(tài)影響力獲取商業(yè)價值。廠商可以通過提供技術(shù)支持、培訓服務等方式實現(xiàn)盈利，同時也為開發(fā)者和企業(yè)提供了一個交流和合作的平臺，促進了整個行業(yè)的發(fā)展。
在國內(nèi)市場，企業(yè)對軟件和服務的付費意愿相對較低，更傾向于一次性采購硬件設備或自行研發(fā)解決方案。AI Infra 廠商需要通過實際案例和數(shù)據(jù)，向企業(yè)證明使用 AI Infra 產(chǎn)品和服務能夠帶來成本節(jié)約、效率提升等實際價值，從而增強企業(yè)的付費意愿。
用戶在選擇 AI Infra 產(chǎn)品和服務時，也面臨著 " 選擇焦慮 "，不知道如何選擇適合自己的產(chǎn)品。因此，構(gòu)建一個開放、共享、協(xié)同的 AI Infra 生態(tài)平臺勢在必行。政府、企業(yè)和行業(yè)組織可以共同努力，推動大廠開放部分技術(shù)能力，鼓勵中小企業(yè)專注細分領(lǐng)域創(chuàng)新，為用戶提供更加便捷、高效的一站式解決方案。
此外，還需要不斷探索多元化的盈利模式，除了訂閱制服務和定制化解決方案外，還可以考慮與硬件廠商合作捆綁銷售、提供增值服務等方式，拓寬商業(yè)化路徑。
當所有人都在追逐風口時，真正決定行業(yè)格局的往往是那些默默打磨工具的人。在這個充滿變革的時代，AI Infra 恰似一片待開墾的沃土，它既是技術(shù)落地的 " 最后一公里 "，也是產(chǎn)業(yè)升級的 " 第一推動力 "。
盡管面臨技術(shù)、市場與生態(tài)的多重挑戰(zhàn)，但隨著標準的完善、技術(shù)的成熟與生態(tài)的繁榮，AI Infra 終將成為驅(qū)動智能時代的核心力量。
對于企業(yè)與開發(fā)者而言，只有構(gòu)建起開放共贏的生態(tài)系統(tǒng)，培育專業(yè)化分工的產(chǎn)業(yè)格局，才能真正實現(xiàn) " 讓應用更簡單，讓 AI 落地更便捷 " 的美好愿景。這場關(guān)乎未來的技術(shù)革命，不僅需要硬核的技術(shù)實力，更需要前瞻的戰(zhàn)略視野與生態(tài)共建的智慧。
淘金熱終會退潮，但修路的人永遠不缺機會。
來源：極智 GeeTech
