AI-koodausavustimet, keskustelua AI-avustetusta koodaamisesta/skriptaamisesta/dokumentoinnista/...

[finWeazel]

Mä olen tästä osasta voimakkaasti eri mieltä. Itellä on käytössä Qwen3.5-27B-FP8. Se hoitaa ison osan hommista, myös laajemmista sellaisista, ihan mainiosti. Eritoten kun on jaksanut vähän nähdä vaivaa niiden aliagenttien, skillien, työkalujen ym. kanssa.

Ei se silti Clauden (Sonnetinkaan, Opuksesta nyt puhumattakaan) tasolla ole. Mutta samaan tapaan nuo avoimet mallit kehittyy vuosi vuodelta.

Se riippuu siitä miten paljon omaa aikaansa arvostaa. Tällä hetkellä ennemmin maksan claude code:sta ja käytän niiden parasta mallia yleensä high tai max tasolla. Riippuu myös todella paljon siitä minkä kokoisia palasia yrittää teettää ja kauanko jaksaa odotella koneen raksuttamista. Pikkujuttuihin lokaali ihan fine, kuten oli myös vuodentakainen pilvi, isommat ja haastavammat projektit, noh,...

5090:en tai vaikka hitaamman mutta isomuistisemman 128GB strix halon hinnalla saa aika paljon pilveä joka jatkaa kehittymistä myös rauta ei vain softapuolella. imho. jo se 20e/kk tilaus kepittää lokaalit 100-0, 240e/vuosi, 10vuotta niin on 5090:en maksanut hintansa takaisin jos ei huomioida muuta konetta, sähköä, huonompaa toimivuutta jne.

Uusimpien frontier mallien mitä tulee nyt kevään aikana huhutaan olevan 5-10biljoonaa parametria välissä. Siinä on tekemistä kotikoneella ajaa noita. Osa asioista vaan on vähän eri skaalassa konesali vs. kotikone. Googlen isoin gemini on kai jo tuota kokoluokkaa, xai seuraavan koko varmistettu. Anthropic/openai:sta vain arvailuja.

Jos lokaali pystyy jatkamaan sitä että laahaa vain vuoden perässä pilveä niin mun käyttöön vuoden/kahden päästä lokaali olisi a-ok. Vielä paraskin avustin on sen verran huono, että parempaa kaipaisi. Sitten kun ei enää kaipaa parempaa niin silti kaipaisi edelleen ... nopeampaa ...

 

[burmanm]

Se riippuu siitä miten paljon omaa aikaansa arvostaa. Tällä hetkellä ennemmin maksan claude code:sta ja käytän niiden parasta mallia yleensä high tai max tasolla. Riippuu myös todella paljon siitä minkä kokoisia palasia yrittää teettää ja kauanko jaksaa odotella koneen raksuttamista.

Riippuu monesta muustakin asiasta. Isoimmatkin (Claude Code mukaanlukien tekee tätä taustalla) paloittelee pienemmät työnsä pienemmille modeleille. On nopeampaa parsia jotain tekstiä yleensä pienemmällä mallilla, siksi ChatGPT:kin julkaisi 5.4-mini/5.4-nanot. Claudekin heittää automaattimoodissa tavaroita Haikulle/Sonnetille. Näihin malleihin nähden taas OSS-mallit eivät ole kaukana.

Toinen tarina on tietysti kaikenlainen informaatio joka on oikeasti sensitiviistä. Sitä ei yksinkertaisesti voi lähettää pilvipalveluihin ilman että rikkoo useampaa lakia, jolloin paikallinen malli on ainoa mahdollisuus vaikka ei olisi kustannustehokkain. Aivan kuten myös suljetut ympäristöt joista ei ole pääsyä verkkoon. Vision mallit ja vastaavat vielä sitten erikseen, jotka voivat vaatia jotain videon käsittelyä jolloin sitä on edes turha kuvitella lähettävänsä muualle (itseajava auto joka odottaisi Anthropicin palvelimien vastausaikoja voisi olla aika vaarallinen).

Ei pelkkä koodaus ole ainoa mahdollinen käyttö LLM:llekään. Kotikoodauksessakin voisin hyvin kuvitella että käyttäisi Claudea ruksuttamaan itselleen hyvän suunnitelman, mutta sitten antaisi pienempiä palasia paikalliselle mallille jos tahtoisi rahaa säästää. Oletuksena siis ettei koneeseen ole joutunut laittamaan erikseen lisää rahaa pelkästään tuota käyttöä varten, vaan on GPU esim. pelien takia tai isompi Mac läppäri jo muusta syystä.

Mitä tulee kustannuksiin, niin jos kyseessä on jokin kaupallinen ratkaisu joka tarvitsee LLM:ää, niin nopeasti voi maksaa jo itse rautakin itsensä takaisin. Noihin tapauksiin ei nimittäin saa käyttää noita kuukausimaksullisia tapauksia, vaan pitää maksaa API:n kautta jokainen kutsu. Silloin kustannustaso on jotain aivan muuta jo. Varsinkin jos käyttö on suurta, vaikka suurien tekstimassojen esikäsittelyä jolloin aletaan helposti puhumaan jo tuhansista per päivä. Ja toisaalta pienemmät erikoistuneet mallit ovat tuossa jopa parempia kuin nuo isot. Periaatteessa edes nämä kauheat chat-botit eivät saisi noita kuukausimaksullisia käyttää vaan niiden pitää hyödyntää APIa.

 

[finWeazel]

Riippuu monesta muustakin asiasta. Isoimmatkin (Claude Code mukaanlukien tekee tätä taustalla) paloittelee pienemmät työnsä pienemmille modeleille. On nopeampaa parsia jotain tekstiä yleensä pienemmällä mallilla, siksi ChatGPT:kin julkaisi 5.4-mini/5.4-nanot. Claudekin heittää automaattimoodissa tavaroita Haikulle/Sonnetille. Näihin malleihin nähden taas OSS-mallit eivät ole kaukana.

Tottakai, mutta pilvessä voidaan niihin palasiin käyttää isompia MoE toteutuksia, enemmän laskentatehoa, isompaa kontekstia jne. versus lokaali missä on paljon haastavammat muisti ja laskentatehorajoitteet. Samoja optimointejahan softalla pitkälti tehdään pilvi vs. lokaali jos unohdetaan että pilvessä kuorma jaetaan monelle gpu:lle. Tosin pilvessä prefill ja tokenienluonti nykyään jaettu eri raudalle. MoE:et voi olla ajossa eri gpu:lla jne. Lokaalissa kuormaa vaikea jakaa kun yleensä hitaat väylät ja vain yksi kiihdytin.

Jokainen toki käyttää sitä työkalua minkä kokee parhaaksi itselleen. Mä en tällä hetkellä koe, että edes paras ja kallein pilvi olisi täydellinen. Vielä tarvii vettä virrata joessa, että avustimet toimivat tavalla että ainoa parannettava asia on nopeus. Multa jos kysytään niin ennemmin vuokraa pilveä kuin ostaa rautaa kotiin jos tarkoitus on käyttää koodiavustinta. Jos on jo rauta valmiina kotona muista syistä niin lokaalilla on kiva leikkiä. Tän takiahan mullakin on 5090 ja 128GB macbook pro m4 max, mutta ei noille ole lelukäyttöä kummallisempaa löytynyt.

Mulla jauhaa nyttenkin kaksi eri projektia ja agenttia pilven avulla loopissa. Lokaalilla olisi tämäkin haastavaa jos on vain yksi kiihdytin käytössä.

 

[Aquarium]

Tässä on varmaan sama tilanne kuin öljylämmityksestä luopuessa aikoinaan: eräs yrittäjä sanoi että turha vaihtaa lämmitysjärjestelmää vielä, kun öljy ei ole loppunut, ei maksa liikaa ja laitteisto toimii. Sitten kun pitää vaihtaa, on vaihtoehtoinen tekniikkakin kehittynyt.

Pilvi-ai:n hinta saattaa nousta, mutta siinä vaiheessa lokaalikin rauta saattaa olla vanhaa. Sitten kun pilven hinta karkaa, katsellaan lokaaleja vaihtoehtoja.
Itse luulen että kehitetään erilaisia proxyja ja lisäksi optimoidaa miten paljon tokeneita kulutetaan. Nyt on niin halpaa että teetetään paljon aivan turhaa hommaa ihan vaan koska on helppoa generoida sovellus vaikka 10 kertaa uusiksi ja testata vain tuliko tällä kertaa hyvä.

 

[finWeazel]

Tässä on varmaan sama tilanne kuin öljylämmityksestä luopuessa aikoinaan: eräs yrittäjä sanoi että turha vaihtaa lämmitysjärjestelmää vielä, kun öljy ei ole loppunut, ei maksa liikaa ja laitteisto toimii. Sitten kun pitää vaihtaa, on vaihtoehtoinen tekniikkakin kehittynyt.

Pilvi-ai:n hinta saattaa nousta, mutta siinä vaiheessa lokaalikin rauta saattaa olla vanhaa. Sitten kun pilven hinta karkaa, katsellaan lokaaleja vaihtoehtoja.
Itse luulen että kehitetään erilaisia proxyja ja lisäksi optimoidaa miten paljon tokeneita kulutetaan. Nyt on niin halpaa että teetetään paljon aivan turhaa hommaa ihan vaan koska on helppoa generoida sovellus vaikka 10 kertaa uusiksi ja testata vain tuliko tällä kertaa hyvä.

Kilpailu ja isot avoimet mallit pitävät huolen siitä ettei pilven hinta karkaa. Jos anthropic, openai, google omansa hinnoittelisivat pieleen("kartelli, isot eivät kilpaile keskenään") niin vuokraa pelkän gpu:n amazon/microsoft/neocloud pilvestä ja ajaa oikeasti isoa open source mallia pilvessä minkä ajaminen lokaalissa kuluttajaraudassa hyvällä suorituskyvyllä olisi mahdotonta. Ei tuo vuokraus tänäänkään huono idea ole, jos haluaa ajaa isoa avointa mallia mikä ei mahdu esim. 128GB kortin muistiin. Aika paljon saa vuokrata gpu:ta ennen kuin lokaaliraudan hinta kuoletettu oletten että ainoa käyttötapaus raudalle koodiavustin.

 

[Makis]

En oikein ymmärrä miten tuo voisi olla halvempaa kun tiedetään että nykyiset firmat tekee tappiota noilla halvoilla diileillä. Miten yksittäinen kuluttaja voisi saada rakennettua oman palvelunsa pilveen halvemmalla kuin nuo firmat? Hintojen pitäisi enemmän kuin kymmenkertaistua ennen kuin firmat pääsisi omilleen.

 

[bubbana]

juu kaikki kilpailijatkin varmaan mielellään tekee tappiota maailman tappiin asti. Melkoista toiveajattelua että nämä hinnat ovat lähelläkään pysyvät. Eka koukutetaan kaikki ja sitten aletaan kynimään kunnolla. Varmaan aika moni firma tekee täyskäännöksen AI-politiikassaan.

 

[finWeazel]

juu kaikki kilpailijatkin varmaan mielellään tekee tappiota maailman tappiin asti. Melkoista toiveajattelua että nämä hinnat ovat lähelläkään pysyvät. Eka koukutetaan kaikki ja sitten aletaan kynimään kunnolla. Varmaan aika moni firma tekee täyskäännöksen AI-politiikassaan.

Alkaa menemään tosi rajusti off topikiksi, mutta gpu:ta saa pilvestä xe/h hinnalla vuokrattua. Vuokra gpu:hun voi heittää ajoon niitä open source malleja mitkä ei mahdu esim. 5090 tai strix halo 128GB muistiin. Kyvykkyys ponnahtaa aika eri lukemille kun mennään isoihin malleihin. Qwen-coder ja muut open sourcet niin niistä löytyy paljon kyvykkäämmät isot versiot jotka eivät tavallisella kotiraudalla toimi. Näillä pääsee oikeasti ok. suorituskykyyn ilman, että tarvii käyttää google, anthropic, openai malleja.

Nvidia etenkin sponssaa neocloud-pilvipalveluita. Nvidialla motivaationa yrittää murtaa amazon, microsoft, google pilvipalveluiden asemaa tuomalla kilpailua. Nvidiaa ottaa pattiin kun menneisyydessä amazon sanellut ehdot millä ostetaan konesalirautaa ota tai jätä tyyliin. Nvidia ei halua palata AI-boomin jälkeen aikaan missä amazon edelleen antaa heille ota tai jätä diilejä.

 

[bubbana]

Miksi luulet että ne vuokrat ei nouse kun rautaa ei ole tarjolla ja varmaan OpenAI ja kumppanit vuokraa ne olemassa olevatkin itselleen?

 

[Makis]

Minä olin mukana vuokraamassa tuollaista serveriä viime vuonna ja käytännössä halvin maksoi noin 500€/kk kun se oli käytössä 8h viitenä päivänä viikossa.

 

[edup]

Minä olin mukana vuokraamassa tuollaista serveriä viime vuonna ja käytännössä halvin maksoi noin 500€/kk kun se oli käytössä 8h viitenä päivänä viikossa.

Mitä "tuollainen" serveri siis sisälsi? Käytännössähän tuollaisen melkein joutuu on-demand-hinnoittelulla ostamaan kun ei 24/7 käyttöön tule.

 

[Matt Damon]

Mitä olen noilla pikkumalleilla leikkinyt, ne on todella kyvykkäitä ja edistyy niin kovaa vauhtia, että rautaa jää kohta käyttämättä. Kyvykkäälä kotikoneella ajaa ihan samaan pystyvää, mihin chatpeegee pystyi puoli vuotta sitten. Tulee nyt noita loikkia niin vauhdilla. Päivä siitä, kun google julkaisee paperin tehokkaasta kv-cachen pakkaamisesta, pull requestit on llama.cpp:n ja mlx_lm githupissa.

 

[Makis]

Runpodista se vuokrattiin: Pricing | Runpod. Tuolla nimenomaan maksetaan on-demand. Tällä hetkellä taitaa olla H200, $3.59/h tekee tuolla aikataululla $631/kk. Olisikohan hinnat hieman laskeneet vai olisiko meillä ollut vähän pidemmät päivät kun silloin tilattiin H100 ja se oli tosiaan sellainen viitisen satkua. Muistan kun tehtiin tuosta isommalle pomolle hakemus.