Suurenpieni konesalitason AI-kiihdytinkeskustelu (AMD, Intel, Nvidia,...)

[finWeazel]

Aika mielenkiintoinen ja haastava kokonaisuus kuitenkin kaikille pelureille pallotella. Muistia riittää vain rajallisesti vaikka kaikki kapasiteetti on jo varattu, joten minkä verran mitäkin sukupolvea on järkevä valmistaa? Uutta räkkiä joka on vähintään tuplat tehokkaampi kuin vanha, tulee melkein vuoden välein. Eli ei kannata ostaa todellakaan 4milliä / kpl räkkejä kuukausiksi odottamaan että konesali-infra+ sähkön saatavuus valmistuu jne.

Eiköhän ne osaa sen verran rakentaa valmistuslinjoja kuin osia riittää. Perus hankinta ja valmistusketjujen hallintaa joskin giganttisella skaalalla. Nvidia on hyvä esimerkki tästä. Näkee miten melkein lineaarisesti konesalipuolen tulos kasvanut kvartaalista toiseen. Kysyntää enemmän kuin tarjontaa. Näkee lineaarisesta liikevaihdon kasvusta millä vauhdilla tuotantokapasiteettia saatu lisättyä kvartaalista toiseen. Blackwell epäjatkuvuuskohta kun räkin hinta lähes tuplaantui niin saadaan samastakin voluumista enemmän liikevaihtoa. vera-rubin lienee myös epäjatkuvuuskohta kun räkin hinta pompsahtaa taas ylöspäin.


Googlesta. Googlella kai päitä tippui kun muistipiirejä ei oltu tajuttu tilata etukäteen tarpeeksi. Google rakentaa melko valtavia määriä tpu:ta.

According to the report, Google’s TPU will enter its eighth generation in 2026, with mass production set to begin in Q3 on TSMC’s 3nm node. Production volume is expected to reach 5 million units in 2027 and rise further to 7 million in 2028, the report suggests, adding both Broadcom and MediaTek, as ASIC partners, are actively preparing capacity to meet the demand.

[News] Google Led TPU Innovation with Patent Spike; Broadcom, MediaTek Reportedly Boost Reserved Wafers

As Google intensifies its push for Tensor Processing Units (TPUs), aiming to secure more orders from major tech players, the company’s R&D efforts...

www.trendforce.com

Potkuista googlella:

Microsoft Rages, Google Fires Exec: The "War" For AI Memory Explodes

The ongoing HBM shortage is forcing Google and Microsoft to prostrate themselves at the altars of Samsung, SK hynix, and Micron.

wccftech.com

 

[weetabix]

Kovasti joo höpötetään että kysyntää enemmän kuin tarjontaa, mutta sitten joku Intel istuskelee niiden AI kiihdyttimiensä päällä kun ei saada niitä käyttöön. Toisekseen jos muistia on kolme kertaa enemmän niin veikkaan että hinta nousee 10x lukemiin nykymenolla.

 

[finWeazel]

Kovasti joo höpötetään että kysyntää enemmän kuin tarjontaa, mutta sitten joku Intel istuskelee niiden AI kiihdyttimiensä päällä kun ei saada niitä käyttöön. Toisekseen jos muistia on kolme kertaa enemmän niin veikkaan että hinta nousee 10x lukemiin nykymenolla.

Intelillä ei ole kilpailukykyisiä kiihdyttimiä. AMD:n nykyiset kiihdyttimet eivät skaalaannu yli 8GPU kuormiin. AMD korjaa tilanteen helios räkillä kera mi450:en. 72gpu:ta räkissä ja nopea+joustava verkko niiden välissä. Se kolmas juttu että pelkkä kiihdytin ei riitä vaan pitää olla myös softa joka skaalaa konesalikokoon. Aika on rahaa, konesalin pitää toimia heti, ei ole aikaa odotella 6kk, 12kk että softa valmistuu. AMD ja OpenAI teki diilin paljon etukäteen, että saavat softan ja mallit optimoitua etukäteen ennen kuin koko konesalia on olemassa.

--

Nvidia alleviivaa mun yrittämää pointtia hankinta ja valmistusketjusta. Miksi nvidiaan ei vaikuta yhtä pahasti muisti yms. pula kuin moneen muuhun

Question: Wells Fargo: Supply chain variables seem numerous—1) DRAM pricing, 2) available supply volumes, etc. Please explain.

we prepared for this kind of major ramp-up with partners well in advance. We invested heavily in partners, much of it in the form of prepayments, enabling them to expand capacity. Thanks to long-standing relationships, we believe we are in a strong position.

We are essentially the only semiconductor company in the world that directly purchases DRAM at global scale. People ask, "Why buy DRAM?" The reason is simple: transforming that DRAM into CoWoS supercomputers is extraordinarily difficult. Properly connecting that supply chain like "plumbing" is a major advantage for us. In tight situations like now, having this capability is also fortunate.

NVIDIA Reveals Why the Company Is “Immune” to Memory Shortages — and How The Firm Prepaid Inventory to Keep the AI Boom Running

NVIDIA has responded to the ongoing memory shortages and how the company has positioned itself to ensure that Team Green doesn't compromise.

wccftech.com