Co skutečně brzdí AI? Často to není výpočetní výkon

Při sledování vývoje AI se většinou řeší schopnosti nových modelů, jejich rychlost nebo počet parametrů. Jakmile ale firma začne AI provozovat ve větším měřítku, ukáže se, že samotný model je pouze jednou částí systému.
‍
Stejně důležité je, kde model běží, jak pracuje s pamětí a jak rychle dokáže infrastruktura přesouvat potřebná data. Dobře navržený model může na nevhodném hardwaru fungovat pomalu a draze. Promyšlená kombinace softwaru, hardwaru a systémové architektury naopak dokáže zvýšit výkon bez neustálého přikupování dalších serverů.

Když výpočty brzdí přesun dat

Výkon procesorů a grafických akcelerátorů se často posuzuje podle počtu matematických operací, které zvládnou provést za sekundu. U dnešních AI modelů ale nestačí pouze rychle počítat. Akcelerátor musí zároveň získat velké množství dat z paměti, zpracovat je a předat další části systému.

Právě zde vzniká takzvaná paměťová zeď neboli Memory Wall. U některých AI workloadů už není hlavním omezením samotný výpočetní výkon, ale rychlost, s jakou systém načítá váhy modelu a přesouvá data mezi pamětí, akcelerátory a jednotlivými servery.

‍

Novější studie výzkumníků z Barcelona Supercomputing Center a IBM Research ukazuje, že i při větším vytížení může inference zůstávat omezená propustností paměti, zatímco část výpočetních kapacit GPU zůstává nevyužitá. Podrobněji tento problém rozebírá studie Mind the Memory Gap: Unveiling GPU Bottlenecks in Large-Batch LLM Inference.

Zjednodušeně řečeno: ani výkonný čip nedokáže naplno využít svůj potenciál, pokud musí čekat na data. Proto dnes hraje zásadní roli kapacita a propustnost vysokorychlostní paměti, rychlost propojení mezi akcelerátory, síťová infrastruktura i software, který celý výpočet řídí. Výkon AI infrastruktury proto nelze posuzovat pouze podle parametrů jednoho GPU. Rozhoduje celý systém.

Proč nestačí přidat další GPU

U rozsáhlých modelů často nestačí výkon jednoho akcelerátoru. Model nebo jeho výpočty musí být rozděleny mezi více zařízení, která mezi sebou neustále komunikují.

Pouhé přidání dalších GPU ale nemusí přinést odpovídající zvýšení výkonu. Pokud je úzkým hrdlem paměť, síť nebo způsob distribuce výpočtů, část drahé infrastruktury může zůstat nevyužitá.

‍

Právě proto technologie jako NVLink nebo NVSwitch neřeší pouze výkon jednotlivých čipů, ale také rychlost jejich vzájemného propojení. V moderní AI infrastruktuře musí být společně navržené akcelerátory, paměť, síťová vrstva i software, který celý proces koordinuje.

Univerzální GPU versus specializované akcelerátory

GPU jsou populární především díky své univerzálnosti. Lze je využít pro trénování modelů, inference, zpracování obrazu i další výpočetně náročné úlohy. Ve velkém měřítku ale může být univerzálnost drahá. Pokud technologická společnost provozuje miliony AI požadavků, začíná dávat smysl optimalizovat hardware pro konkrétní typy výpočtů.

‍

Google proto vyvíjí vlastní TPU, tedy akcelerátory zaměřené na tensorové a maticové operace používané ve strojovém učení. AWS nabízí čipy Trainium a Inferentia, které mají zákazníkům přinést alternativu optimalizovanou pro trénování a provoz AI modelů.

‍

Jiný přístup představuje Apple Silicon. CPU a GPU zde využívají společný paměťový prostor, takže není nutné některá data neustále kopírovat mezi systémovou a grafickou pamětí. Pro lokální práci s menšími nebo kvantizovanými modely může být takové řešení velmi efektivní.

Neexistuje však jeden typ hardwaru, který by byl nejlepší pro všechny situace. Rozhoduje konkrétní model, objem provozu, požadovaná rychlost i dostupný rozpočet.

Jak software pomáhá překonávat limity hardwaru

Vyšší výkon nemusí vždy znamenat nákup dalších serverů. Velká část pokroku vzniká díky efektivnějšímu využití stávající infrastruktury. Dobrým příkladem jsou kvantizace a FlashAttention.

‍

Kvantizace převádí hodnoty používané modelem do méně přesné číselné reprezentace, například z 16 bitů na 8 nebo 4 bity. Tím lze snížit velikost modelu, paměťové nároky i množství přenášených dat. Model pak může běžet rychleji nebo na levnějším hardwaru.

‍

Dopad na kvalitu ale závisí na konkrétním modelu, použité metodě, hardwaru i způsobu nasazení. Kvantizace proto není pouze technická komprese. Je to rozhodnutí, při kterém se vyvažuje výkon, cena a kvalita výsledku.

‍

FlashAttention zase optimalizuje způsob, jakým model během výpočtu pozornosti pracuje s pamětí. Upravuje pořadí výpočtů tak, aby omezil množství dat přesouvaných mezi jednotlivými vrstvami paměti. Výsledkem může být nižší spotřeba paměti a rychlejší trénování i inference. Ukazuje se tak, že výkon AI nezvyšuje pouze větší počet tranzistorů. Stejně důležitý může být chytřejší algoritmus a efektivnější práce s daty.

Kdy by to měly firmy skutečně řešit?

Ne každá firma potřebuje vlastní GPU cluster nebo detailně studovat architekturu akcelerátorů. Pro první ověření AI use casu je často nejrychlejší využít hotové API. Firma nemusí investovat do vlastní infrastruktury ani předem přesně odhadovat budoucí vytížení.

Situace se mění ve chvíli, kdy se AI stane důležitou součástí produktu nebo interních procesů. Architekturu je vhodné začít řešit, když výrazně roste počet požadavků, náklady začínají ovlivňovat ekonomiku produktu, firma potřebuje stabilnější odezvu nebo model pracuje s citlivými daty.

V takové chvíli přichází na řadu rozhodování mezi externím API, cloudovou službou, vlastním deploymentem nebo kombinací více přístupů. Někdy pomůže menší model, jindy kvantizace, ukládání výsledků do mezipaměti nebo efektivnější směrování požadavků.

Neexistuje jedna architektura vhodná pro všechny firmy. Správné řešení vždy vychází z konkrétního provozu, očekávaného růstu a ekonomiky celého use casu.

Skutečná výhoda vzniká mezi softwarem a hardwarem

Koupit přístup k AI modelu nebo spustit open-source řešení na cloudovém GPU je dnes relativně jednoduché. Náročnější je vytvořit systém, který bude rychlý, stabilní, bezpečný, škálovatelný a zároveň ekonomicky udržitelný.

Právě zde se potkává vývoj softwaru s infrastrukturou. Dobře zvolená architektura může znamenat, že firma stejný problém vyřeší menším modelem, levnějším hardwarem nebo nižším počtem výpočtů. Špatně navržený systém naopak může spalovat rozpočet, aniž by přinášel odpovídající hodnotu.

Jak se na to díváme v Techmates

V Techmates se na AI nedíváme pouze přes schopnosti samotného modelu. Zajímá nás celý systém: jaký problém má řešit, kde bude provozovaný, jak pracuje s daty, jaké má nároky na výkon a kolik bude jeho provoz skutečně stát.
‍

Ne každá firma potřebuje vlastní model nebo vlastní GPU infrastrukturu. Každá by ale měla vědět, jestli zvolená architektura odpovídá jejím reálným potřebám a očekávanému růstu.

Cílem není technologie pro technologii, ale řešení, které funguje spolehlivě i mimo fázi prvního experimentu. Právě v tom často spočívá rozdíl mezi zajímavým AI prototypem a produkčním řešením, které přináší skutečný byznysový výsledek.
‍

Řešíte, jak AI nasadit tak, aby dokázala růst společně s vaším byznysem?

Podívejte se na naše případové studie nebo se s námi spojte.