AI-koodausavustimet, keskustelua AI-avustetusta koodaamisesta/skriptaamisesta/dokumentoinnista/...

[finWeazel]

Mietin kapasiteettiasiaa niin ehkä parhaat toivot olisivat, että saavat tehtyä kevyemmän hyvän mallin mikä laskisi kuormaa konesalissa. Toinen mikä tulee mieleen niin ehkä mistral, meta, xai yms. jos saisivat hyvät palvelut kehiin niin tuo voisi vapauttaa openai/anthropic/googlelta kapasiteettia "Koodereille". METAn frontier mallihan floppas täysin viime vuonna. Uusittu tiimi metalla nyt, huhuissa että meta ja xai molemmat julkaisisivat uudet frontier mallinsa alkuvuodesta. xai:n mallin kooksi varmistettu 6 biljoonaa parametria, järjettömän kokoinen.

Eka viikko tulee missä tokenit loppuu kesken, pääsee polttamaan anthropicin 50$ lahjatokenit pois. Ne palaa ihan hetkessä.

 

[burmanm]

Mietin kapasiteettiasiaa niin ehkä parhaat toivot olisivat, että saavat tehtyä kevyemmän hyvän mallin mikä laskisi kuormaa konesalissa.

Eikös tuo nyt ole GPT 5.3:n tapaus aikalailla, samalla kapasiteetilla saadaan enemmän käyttäjiä? 5.2-codex oli todella hidas, mutta itse en ole huomannut nyt 5.3:lla kapasiteettiongelmia. Sen lisäksi ainakin nämä väliaikaiset tuplatokenit ovat näppäriä, ei ole loppunut itselläni tuo $20 plan kesken (Claudella tarvitsisi samaan jo tuota $100/kk jos tokenit olisivat 1:1). Mutta en siis käytä tuota GPT subscriptionia kuin omiin harrastusprojekteihin iltaisin/viikonloppuisin, töissä on sitten omat ratkaisunsa (jotka ovat tosin umpisurkeita nykyisin, mutta varmaan jonkun ego on iskenyt väliin joka näistä päättää).

 

[finWeazel]

Eikös tuo nyt ole GPT 5.3:n tapaus aikalailla, samalla kapasiteetilla saadaan enemmän käyttäjiä? 5.2-codex oli todella hidas, mutta itse en ole huomannut nyt 5.3:lla kapasiteettiongelmia. Sen lisäksi ainakin nämä väliaikaiset tuplatokenit ovat näppäriä, ei ole loppunut itselläni tuo $20 plan kesken (Claudella tarvitsisi samaan jo tuota $100/kk jos tokenit olisivat 1:1). Mutta en siis käytä tuota GPT subscriptionia kuin omiin harrastusprojekteihin iltaisin/viikonloppuisin, töissä on sitten omat ratkaisunsa (jotka ovat tosin umpisurkeita nykyisin, mutta varmaan jonkun ego on iskenyt väliin joka näistä päättää).

Koko kapasiteettiasia on spekulointia. Luet taaksepäin niin löytyy viestiä missä google temppuilee mallien kanssa. Anthropicilla taas sitten fast moodi mistä pitää maksaa reilusti extraa ja opus4.6 perusrahalla ostettuna hidas. Tähän päälle spekulaatiot siitä miten kapasiteetti riittää, jos palvelut kehittyvät suuntaan missä käyttömäärä lisääntyy nopeammin kuin kapasiteetti.

OpenAI:n edustajat sanoneet että heillä(kin) kapasiteettiasia rajoittaa mitä voivat tarjota. Rakentavat maksimit uutta kapasiteettia niin nopeasti kuin vain voivat.

 

[burmanm]

Koko kapasiteettiasia on spekulointia. Luet taaksepäin niin löytyy viestiä missä google temppuilee mallien kanssa. Anthropicilla taas sitten fast moodi mistä pitää maksaa reilusti extraa ja opus4.6 perusrahalla ostettuna hidas. Tähän päälle spekulaatiot siitä miten kapasiteetti riittää, jos palvelut kehittyvät suuntaan missä käyttömäärä lisääntyy nopeammin kuin kapasiteetti.

Toki on spekulointia, ainahan mahdollisuus Opuksenkin kohdalla on että 4.6:ssa jokin meni pieleen jonka takia jokin ei toimi (vaikka ihan välimuisti). Voipi myös olla syynä miksemme ole nähneet Sonnet/Haiku 4.6:sta (tai sitten niistä ei tullut kilpailukykyisiä edes ilmaisiin malleihin nähden niin päättivät jättää julkaisematat). Mutta näissä täytyy myös muistaa että OpenAI/Anthropic ovat pitkään ajatelleet että lisätään vain rautaa, kyllä se siitä mitä tulee skaalautumiseen, samalla tavalla kuin monet edellisetkin tekniikan kierrot ovat tehneet. Verrataan näitä taas kiinalaisiin malleihin, heillä kun on vähemmän rautaa, niin ovat joutuneet keksimään järkevämpiä algoritmeja millä saadaan vaikkapa muistinkäyttöä laskettua. Suurin osahan näistä keksinnöistä ja papereista on kuitenkin kiinalaisilta viime aikoina. Mahdollisesti OpenAI/Anthropic joutuvat oikeasti pohtimaan kyseisten tekniikoiden käyttämistä jos eivät pysty enää kilpailemaan vain raudan lisäämisellä.

Hinnathan ovat myös kivunneet aikalailla (jossa on toki myös "SOTA" lisäystä ja brandausta), mutta jossain vaiheessa tulee sekin kohta ettei moni LLM:ää käyttävä keksintö ole enää järkevä, jos hinta on liian korkea suhteessa hyötyyn. Eli markkinat eivät välttämättä enää tule loputtomiin hyväksymään pelkästään "rautaa rajalle ja hintoja ylös" menetelmiä. Näinhän käy jokaisessa tällaisessa hype-cyclessa tällä alalla kuitenkin. Puhumattakaan tilanteesta jossa kilpailijoita alkaa tippumaan kun eivät voi subventoida ikuisuuksiin ja rahaakin pitäisi saada tehtyä. Ilmainen raha loppuu lopulta aina.

 

[finWeazel]

Toki on spekulointia, ainahan mahdollisuus Opuksenkin kohdalla on että 4.6:ssa jokin meni pieleen

Opus 4.6:en saa nopeampana rahaa vastaan. Spekulaatiot miksi näin ketjussa aikaisemmin kuten myös linkki anthropicin sivuille missä fast selitetään. Täysin sama malli kuin hitaampi. Ainoa ero hinnassa.

 

[burmanm]

Opus 4.6:en saa nopeampana rahaa vastaan. Spekulaatiot miksi näin ketjussa aikaisemmin kuten myös linkki anthropicin sivuille missä fast selitetään. Täysin sama malli kuin hitaampi. Ainoa ero hinnassa.

Mikä ei tarkoita yhtään mitään siihen epäonnistuiko Opus vai ei. Rahalla saa vaikka omat GPU:t ilman että kukaan muu voi niitä käyttää, mutta se ei tarkoita etteikö mallissa olisi valtavia ongelmia mitä tulee yleiseen käyttöön jossa cachet ja pipelinet ja batchaus ovat tärkeitä jotta saadaan kuormaa alaspäin. Tai sitten tämä on vain piilotettu heikennys millä saadaan vähennettyä niitä $200 käyttäjien tuhlaamia resursseja. Hinta ei noussut, mutta vähemmän saa vain kulutettua resursseja.

Spekulointia, mutta mikään vaihtoehto ei varsinaisesti ole pois suljettu.