AI-koodausavustimet, keskustelua AI-avustetusta koodaamisesta/skriptaamisesta/dokumentoinnista/...

Karhu III · perjantaina klo 21:23

Meillä AI etenee. Menneellä viikolla työkaveri vibekoodasi työkalun kameroiden testaamiseen ja näytti kyllä hyvälle. Ylläpidettävyydellä ei ole merkitystä, koska työkalu menee alihankkijalle kokoonpanoon eikä sitä ole tarkoitus enempää ylläpitää eikä päivittää.

Vibettämiseen meni kolme työpäivää eli ei se ihan tyhjästä syntynyt, mutta itse koodattuna olisi mennyt ainakin kuukausi.

Aika kätevää.

El Toro · perjantaina klo 22:10

Vähän offtopic, mutta onko kukaan teistä tehnyt töitä näille firmoille, jotka opettaa malleja? Näyttää olevan ihan kohtalaiset palkat, tässä yksi:

Explore Opportunities | Mercor

Explore remote opportunities with top companies worldwide. Find roles that match your skills and work preferences.

work.mercor.com

Työt ilmeisesti nykyään aika vaikeita, kun pitää korjata juuri niitä ongelmia, joiden kanssa mallit köhii.

finWeazel · perjantaina klo 22:32

El Toro sanoi:
Vähän offtopic, mutta onko kukaan teistä tehnyt töitä näille firmoille, jotka opettaa malleja? Näyttää olevan ihan kohtalaiset palkat, tässä yksi:

Explore Opportunities | Mercor

Explore remote opportunities with top companies worldwide. Find roles that match your skills and work preferences.

work.mercor.com

Työt ilmeisesti nykyään aika vaikeita, kun pitää korjata juuri niitä ongelmia, joiden kanssa mallit köhii.

Noissa hommissa taitaa olla paljon kaikenlaisia todella hyvin maksavia positiota lähtien jostain kernelien optimoinnista konesalitason optimointiin, opetusdatan säätämiseen ja ihan toisessa päässä tutkijat jotka miettivät algoritmeja. Ilmeisen vähän kovia tyyppejä olemassa kun meta, openai jne. maksaneet joistain tyypeistä kymmeniä/satoja miljoonia, oletettavasti 4v diilejä ja sidottu firman osakekurssiin tulot.

Hyrava · perjantaina klo 22:51

Karhu III sanoi:
Meillä AI etenee. Menneellä viikolla työkaveri vibekoodasi työkalun kameroiden testaamiseen ja näytti kyllä hyvälle. Ylläpidettävyydellä ei ole merkitystä, koska työkalu menee alihankkijalle kokoonpanoon eikä sitä ole tarkoitus enempää ylläpitää eikä päivittää.

Vibettämiseen meni kolme työpäivää eli ei se ihan tyhjästä syntynyt, mutta itse koodattuna olisi mennyt ainakin kuukausi.

Aika kätevää.

AI on tosiaan kehittynyt aika mukavasti, duunikaverikin (joka ei ole käytännössä koskaan koodannut mitään) sai vibekoodattua pari ihan kelvollista juttua parissa tunnissa kun en itse kerinnyt koodailemaan. PoC toimi testipannulla ihan heittämällä mutta kuitenkin ennen tuotantoon laittamista pitää vielä kertaalleen käydä homma jossain vaiheessa läpi. Nopeasti jo vilkaisin koodia ja ei siinä oikeastaan ollut kuin pari pikku juttua mitkä olivat vähän kyseenalaisia. No, sitten kun vielä katselee koodin ajatuksella läpi ja testaa kunnolla niin ei kun kovaa ajoa... Itsellänikin olisi vastaavaan koodiin mennyt vähintään päivän verran ilman AI-apureita ja nyt sitten täysin koodausta harrastamaton tekee about kelvollisen tekeleen parissa tunnissa. Eipä olisi moista uskonut vielä muutama vuosi sitten.

Mutta tosiaan, kyllähän tuo koodi vielä nykypäivänä pitää käydä läpi ja testata kunnolla. AI ei edelleenkään osaa ihan samalla tavalla ottaa huomioon kaikkia pikku nyansseja mitä saattaa tuotantoympäristössä tulla vastaan ja saattaa keksiä joukkoon jotain yllättäviä aivopieruja.

El Toro · perjantaina klo 23:11

finWeazel sanoi:
Noissa hommissa taitaa olla paljon kaikenlaisia todella hyvin maksavia positiota lähtien jostain kernelien optimoinnista konesalitason optimointiin, opetusdatan säätämiseen ja ihan toisessa päässä tutkijat jotka miettivät algoritmeja. Ilmeisen vähän kovia tyyppejä olemassa kun meta, openai jne. maksaneet joistain tyypeistä kymmeniä/satoja miljoonia, oletettavasti 4v diilejä ja sidottu firman osakekurssiin tulot.

Alalla kyllä hyvin rahaa, joskus aina katsellut noita etätöitä ja yleensä palkka on lähempänä $10 kuin $100. Harmi, kun tuli vasta nyt vastaan nuo, Redditissä ainakin kehuivat, että vuosi sitten oli vielä aivan naurettavan helppoja hommia, olisihan se ollut mukava vetää $100 tunti jostain hello worldeista.

Hyrava sanoi:
AI on tosiaan kehittynyt aika mukavasti, duunikaverikin (joka ei ole käytännössä koskaan koodannut mitään) sai vibekoodattua pari ihan kelvollista juttua parissa tunnissa kun en itse kerinnyt koodailemaan.

Oli vasta hauska seurata, kun "mikä on selain?" -tasoinen käyttäjä yritti tehdä HTML-sivun. Sivu muodostui, mutta siihen se tyssässikin, hänelle ei tullut missään vaiheessa mieleen kysyä, että mitä seuraavaksi pitäisi tehdä. Se on mielenkiintoista miten monella on tuo sama, heille ei tule ikinä mieleen googlettaa tai kysyä siltä tekoälyltä, vaan he kysyvät esim. minulta. En tiedä mikä ihmeen mentaalinen blokki se on, monesti ovat jopa seisoneet vieressä ja katsoneet, kun kirjoitan sen heidän kysymyksen googleen, mutta silti eivät itse opi.

popeda · perjantaina klo 23:27

Kirja tuli perille. Ottaa oma aikansa, kun kerkeän sen lukemaan muilta kiireiltä, mutta ehdottomasti lukemisen arvoinen! Kukapa ei haluaisi olla state-of-the-art.

Lähdeluettelo jo kertoo sen, että nyt ei ole kysymys mistään kivikaudesta, vaan eletään vuotta 2026!

Kun saan kirjan luettua, niin raportoin omat kokemukseni aiheesta. Joka tapauksessa, mielenkiintoinen aihe!

kuoris · lauantaina klo 08:12

Jos (hölmö) työnantaja ei maksa niin onko joku laittanut näitä AI työkaluja verotukseen tulonhankkimismenoina? Mielestäni menee vähän samaan sarjaan kuin ammattikirjallisuus aikoinaan.

Ei nyt oteta tässä kantaa 750 euron automaattiseen vähennykseen ym.

Karhu III · lauantaina klo 10:18

Hyrava sanoi:
Itsellänikin olisi vastaavaan koodiin mennyt vähintään päivän verran ilman AI-apureita ja nyt sitten täysin koodausta harrastamaton tekee about kelvollisen tekeleen parissa tunnissa.

Tämä meilläkin... työkaveri joka vibekoodasi työkalun on kyllä koodari, mutta koodi on aivan järkyttävää spagettipötkylää. Eikä osaa käyttää gittiä, niin joku muu aina kommitoi hänen puolestaan. Nykyään hän tekeekin vain testausta ja ylläpitää Linuxia kunnes pääsee eläkkeelle.

Nyt jos hän on kehittymässä vibekoodauksen mestariksi niin voisi miettiä uudestaan jonkinlaista työkaluspesialistin roolia.

Karhu III · lauantaina klo 10:25

kuoris sanoi:
Jos (hölmö) työnantaja ei maksa niin onko joku laittanut näitä AI työkaluja verotukseen tulonhankkimismenoina? Mielestäni menee vähän samaan sarjaan kuin ammattikirjallisuus aikoinaan.

Minusta se on tulonhankkimismeno.

HapanMuffinssi · lauantaina klo 10:26

kuoris sanoi:
Jos (hölmö) työnantaja ei maksa niin onko joku laittanut näitä AI työkaluja verotukseen tulonhankkimismenoina? Mielestäni menee vähän samaan sarjaan kuin ammattikirjallisuus aikoinaan.

Ei nyt oteta tässä kantaa 750 euron automaattiseen vähennykseen ym.

Noh, tämä kyllä kiinnostaisi tietää että meneekö läpi, koska tilanne on vähän sama.

El Toro · lauantaina klo 10:58

Karhu III sanoi:
Minusta se on tulonhankkimismeno.

Kyllä kai tuon luulisi ihan normaali työväline-/ohjelmistokulu olevan, mutta mistäpä verottajan oikuista tietää..

Makis · lauantaina klo 12:48

HapanMuffinssi sanoi:
Veikkaan että Reactille on ollut määrällisesti niin paljon enemmän opetusmateriaalia, että jo senkin takia lopputulos voi mennä alkuun jo paremmille raiteille jos React olisi käytössä. Best practises kun vaikutti olevan muutaman releasen verran Angularin osalta takamatkalla (templateen tuli joitain *ngIfejä uuden syntaksin sijaan ja silläkin alkaa olemaan ikää). Tarkentavan säännön jälkeen niitä ei enää tullut. Uusi komponentti on valmis käyttöön nyt ja ajansäästöä syntyi.

Claude osaa kyllä Reactin paremmin kuin minä, mutta minähän vaan harrastelen. Yhden vanhan bugin korjasi, itse en ollut oikein tajunnut miksi yksi komponentti piirrettiin vasta toisella yrittämällä. Mutta kyllä noita tekosia joutuu myös korjailemaan, välillä aika erikoisia layoutteja, vaikka esimerkkejä on projektissa jo iso läjä.

HapanMuffinssi · lauantaina klo 13:03

Aikaslailla just tommosia on tullut vastaan. Gemini 2 -ajalta olen käyttänyt avustimena Geminiä. Älkää siis aliarvioiko itseänne vaikka on luonnollista että tämän päivän avustin ehdottaa ratkaisuja laajalla skaalalla laidasta laitaan ja ylittää ihmisen käsityskyvyn siitä millä kaikilla tavoilla ongelman voi ratkaista. Joskus se rautalankamalli voi olla vaan helpoin vaikka ei olekaan mikään syntaksinen karkkipussi.

finWeazel · lauantaina klo 20:17

Andrej Karpathyn kommentit AI-avusteisesta koodaamisesta. Heijastelee pitkälle mun tuntemuksiakin, enkä ole lähelläkään karpathyn tasoinen tekijä. Toi kehityksen vauhti ihan ällistyttävä kun miettii missä oltiin vuosi sitten. Samaa mieltä myös noista agenttien tavoista epäonnistua, tasosta yms. Hyvä postaus, kannattaa lukea

Given the latest lift in LLM coding capability, like many others I rapidly went from about 80% manual+autocomplete coding and 20% agents in November to 80% agent coding and 20% edits+touchups in December. i.e. I really am mostly programming in English now,

Linkki: https://x.com/karpathy/status/2015883857489522876

mlackke · lauantaina klo 20:31

Tälläinen mielenkiintoinen extensio Claudelle tuli vastaan:

GitHub - glittercowboy/get-shit-done: A light-weight and powerful meta-prompting, context engineering and spec-driven development system for Claude Code and OpenCode.

A light-weight and powerful meta-prompting, context engineering and spec-driven development system for Claude Code and OpenCode. - glittercowboy/get-shit-done

github.com

Nimestä huolimatta näyttäisi seuraava evoluutio *plan" modelle. Youtubesta löytyy hands-on kokeilua.

finWeazel · lauantaina klo 20:59

mlackke sanoi:
Tälläinen mielenkiintoinen extensio Claudelle tuli vastaan:

GitHub - glittercowboy/get-shit-done: A light-weight and powerful meta-prompting, context engineering and spec-driven development system for Claude Code and OpenCode.

A light-weight and powerful meta-prompting, context engineering and spec-driven development system for Claude Code and OpenCode. - glittercowboy/get-shit-done

github.com

Nimestä huolimatta näyttäisi seuraava evoluutio *plan" modelle. Youtubesta löytyy hands-on kokeilua.

Tämä vaikuttaa todella hyvältä. Pakottaa kertomaan mitä tehdään ja vaiheistamaan versus YOLO-promptaus

Karhu III · sunnuntaina klo 10:52

Muutamia mietteitä Karpathyn postauksesta.

I can approach code that I couldn't work on before because of knowledge/skill issue.

LLM coding will split up engineers based on those who primarily liked coding and those who primarily liked building.

Tämä on ärsyttävää. Koodaaminen on aika kivaa, on kiva keksiä keinoja toteuttaa joku toiminnallisuus. Samalla on käyttänyt paljon omaa ja työaikaa siihen että kehittyy ja tulee paremmaksi.

En tiedä, ehkä tilanne on verrattavissa entiseen kirvesmieheen joka tykkäsi rakentaa taloja pitkästä tavarasta. Elementtitaloja suoltavat talotehtaat ovat tehneet homman kannattamattomaksi, olkoonkin että lähiöt ovat pullollaan geneerisen näköisiä omakotitaloja.

Toisaalta kun katsoo omaa toimenkuvaa ja toimialaa yleensä, niin siinä on paljon sellaista mitä (geneerinen) LLM ei voi tietää eikä osata. Saa nähdä mihin tämä kehittyy, varmasti jonkinlaiset räätälöidyt LLM:t yleistyvät.

Largely due to all the little mostly syntactic details involved in programming, you can review code just fine even if you struggle to write it.

Tämä ehkä viittaa siihen että Karpathy ei ole kovin kätevä koodaaja, vaan enemmän suunnittelija. Mikä on ihan ok, mutta näen koodaamisessa sellaisia nyansseja mihin LLM ei ehkä taivu. Karpathy toimii ympäristössä joka on hyvin julkisesti dokumentoitu. Kun mennään kauemmaksi valtavirrasta niin tilanne on toinen.

mailbag · sunnuntaina klo 10:56

Toisaalta jos tykkää keksiä uusia metodeja tehdä asioita niin voihan niiden pohtimiseen käyttää aikaa ja sitten kertoa AI:lle että lähetään tällä eri tavalla testailemaan että älä käytä mitä lie defaultti tapaa on treenidatassa.

fpvlostie · sunnuntaina klo 11:15

Todella käteviä nämä AI työkalut. Yhteen projektiin suunnittelin COpilotin kanssa kolme ESP32 mikrokonttontrollerin klusteria (yhteensä 4 kontrolleria per klusteri). Tarkoitus oli, että lämpötila- ja kosteusdataa tuodaan sisään järjestelmään ja putkitetaan palvelimelle. Copilot neuvoi sopivien kontrollerien hankinnan, osaluettelot. Sitten kuin speksasin vaatimukset niin avustettuna koodasi koko ympäristön. Yksi datastreamer per kluster ja sitten datastreamer lähettää datat palvelimelle. Copilot neuvoi kaikki mahdolliset asiat esp32 pinniconffauksista ja anturien conffailusta alkaen. Koodailu sitten Arduino IDE:llä. Toki piti monta versiota tehdä, käydä keskusteluja Copilotin kanssa, että sai maaliin saakka tuon. Ensimmäinen testiversio tuotti jo lämpötiladataa 30 minuutin päästä anturien liittämisen jälkeen. Copilot neuvoi kaiken siis anturikaapelien pituuksista, paksuuksista jne lähtien, vaikke oikeasti ne speksit tulee asiakkaalta. Mutta Co-pilot otti niihinkin kantaa. Ystävällistä.
Sitten testausprojekti myös tuli copilotin suunnittelemana. Koko projektissa meni alle kuukausi. Dokumentaatio myös saadaan ulos sellaisessa muodossa kuin asiakas haluaa. Koko projektissa olisi mennyt ilman AI:ta vähän kauemmin, mutta henkilöresursseja olisi pitänyt sitoa enemmän. Tästä viisi vuotta vielä eteenpäin niin aika automaattista AI vibekoodailu. Uskomattoman nopeasti kyllä AI-kehittynyt. Nyt tärkeässä osassa tuo promptaus että AI osaa ottaa huomioon kaikki asiat. Jos et halua että AI kämmää jossain kohdassa, niin et ole vain muistanut speksata sitä. Se tuli huomattua muutamassa kohdassa.

finWeazel · sunnuntaina klo 14:21

Karhu III sanoi:
Muutamia mietteitä Karpathyn postauksesta.

Tämä on ärsyttävää. Koodaaminen on aika kivaa, on kiva keksiä keinoja toteuttaa joku toiminnallisuus. Samalla on käyttänyt paljon omaa ja työaikaa siihen että kehittyy ja tulee paremmaksi.

En tiedä, ehkä tilanne on verrattavissa entiseen kirvesmieheen joka tykkäsi rakentaa taloja pitkästä tavarasta. Elementtitaloja suoltavat talotehtaat ovat tehneet homman kannattamattomaksi, olkoonkin että lähiöt ovat pullollaan geneerisen näköisiä omakotitaloja.

Toisaalta kun katsoo omaa toimenkuvaa ja toimialaa yleensä, niin siinä on paljon sellaista mitä (geneerinen) LLM ei voi tietää eikä osata. Saa nähdä mihin tämä kehittyy, varmasti jonkinlaiset räätälöidyt LLM:t yleistyvät.

Tämä ehkä viittaa siihen että Karpathy ei ole kovin kätevä koodaaja, vaan enemmän suunnittelija. Mikä on ihan ok, mutta näen koodaamisessa sellaisia nyansseja mihin LLM ei ehkä taivu. Karpathy toimii ympäristössä joka on hyvin julkisesti dokumentoitu. Kun mennään kauemmaksi valtavirrasta niin tilanne on toinen.

Tavallaan ärsyttävää, tavallaan vapauttavaa. Ajurikooderi voi tehdä fullstack palvelun itselleen helposti tai päinvastoin. Moni asia on loppujen lopuksi saman toistoa, vaikka jos ajureita katsoo niin paljon samanlaista patternia, väyliä joiden konseptien ymmärtämisen jälkeen pystyy toimimaan kunhan on speksit kädessä.

Firmakohtaisia räätälöityjä malleja on, esim: Accelerate your teams by delivering intelligence across every surface Osa uskoo, että räätälöinnissä on virtaa, osa uskoo, että parempi geneerinen malli ja dynaamisesti opitaan annetusta kontekstista. Kun katsoo kehityksen nopeutta niin en yllättyisi jos oudot spesifit ympäristötkin uppoaisivat vuoden päästä llm:aan kun kone osaa ymmärtää kontekstin annetusta datasta paremmin ilman mallin fine tunettamista. Tosin tästä voi olla montaa mieltä jos katsoo vain nykytilannetta. Tänään llm helposti ottaa mallia myös huonoista koodipohjassa esiintyvistä patterneista. Sopiva tekninen velka/kommentti niin malli voipi ottaa esimerkiksi ja painaa lisää sotkua sisään ellei mallia paimenna. Puuttuu paljon maalaisjärkeä, ehkä tämän maalaisjärjen saa tuotua malleihin sisään paremmin mikä avaa ovia parempaan toimivuuteen.

Koodaaminen voi olla vähän kuin shakki tulevaisuudessa. Vaikka peruspuhelinkin pelaa shakkia nykyään paremmin kuin paras ihminen niin silti shakkkia pelataan ja se on isompi juttu kuin koskaan ennen. Tai joku kutoo villasukkia vaikka kaupasta sais helpommalla. Edelleen uskon, että juniori/trainee kärsii ensimmäisenä, osaajia tarvitaan vielä pitkään eikä AI-koodaus korvaaa firman senioreita.

El Toro · sunnuntaina klo 15:59

finWeazel sanoi:

Itse olen enemmän tuommoinen joka paikan höylä ollut ja nämä mallit saaneet kyllä aivan uudelle tasolle touhut, tuntuu, että voin tehdä mitä tahansa. Toki jos jotain Linuxin kerneliä yrittäisin nyt vääntää mallin avulla suoritus oli varmasti huonompi kuin siihen perehtyneellä, mutta ennen siitä ei olisi tullut yhtään mitään ennen pitkää perehtymistä ja nyt mitä todennäköisemmin saisin jotain aikaiseksi.

Karhu III sanoi:
Tämä on ärsyttävää. Koodaaminen on aika kivaa, on kiva keksiä keinoja toteuttaa joku toiminnallisuus. Samalla on käyttänyt paljon omaa ja työaikaa siihen että kehittyy ja tulee paremmaksi.

En tiedä, ehkä tilanne on verrattavissa entiseen kirvesmieheen joka tykkäsi rakentaa taloja pitkästä tavarasta. Elementtitaloja suoltavat talotehtaat ovat tehneet homman kannattamattomaksi, olkoonkin että lähiöt ovat pullollaan geneerisen näköisiä omakotitaloja.

Tällä alalla olen nauttinut aina vain koodauksesta, kaikki muu ollut sietämätöntä tuskaa. Olin suorastaan masentunut, kun nämä mallit tuli ja tajusin mihin se johtaa. Siinä kun olin hetken surkutellut kohtaloa päätin sitten muuttaa asennetta, doomeroinnin sijaan kaasu pohjaan, jotenkin se fiiliskin sitten muuttui, olen nyt toteuttanut aivan järjettömän määrän projekteja mitä ennen ei olisi pystynyt laiskuuden tai osaamattomuuden takia tekemään.

Ikävät fiilikset vähän palasi, kun julkaisin pari avoimen sorsan projektia pitkästä aikaa, ennen hioin ne aina tappiin asti ja olin oikein ylpeä niistä, nyt kun uudet oli 100% vibekoodattu tuntui kuin olisin joku huijari, vaikka koodi ja arkkitehtuuri olikin oikein nättiä. Promptailin vielä niin, ettei näytä vibekoodatulta. :smoke:

Karhu III sanoi:
Tämä ehkä viittaa siihen että Karpathy ei ole kovin kätevä koodaaja, vaan enemmän suunnittelija.

Miksi muka? Itsestä paljon helpompaa lukea koodia kuin kirjoittaa sitä. Kun ymmärtää miten hommat toimii voi lukea lähes mitä tahansa kieltä ja tajuta mitä siinä tapahtuu, kirjoittamisesta ei puolestaan tule mitään jos ei ole perehtynyt kyseiseen kieleen/kirjastoon.

finWeazel · sunnuntaina klo 16:15

El Toro sanoi:
Itse olen enemmän tuommoinen joka paikan höylä ollut ja nämä mallit saaneet kyllä aivan uudelle tasolle touhut, tuntuu, että voin tehdä mitä tahansa. Toki jos jotain Linuxin kerneliä yrittäisin nyt vääntää mallin avulla suoritus oli varmasti huonompi kuin siihen perehtyneellä, mutta ennen siitä ei olisi tullut yhtään mitään ennen pitkää perehtymistä ja nyt mitä todennäköisemmin saisin jotain aikaiseksi.

Sama juttu. Tuosta kotikoodista vaikka esimerkkinä kolmioiden käsittely mitä ei jaksanut amigalla(assylla) koskaan tehdä kuin kolmio kerrallaan. Viime vuonna vibe koodasin meshletit niin näkyvyystarkistukset menee paljon nopeammin. Voisi antaa AI:n vielä pilkkoa meshletit triangle stripeiksi tms. niin sais rasteroijaan syötettyä dataa vielä paremmin sisälle. Meshlettien koostumuksen brute forcella optimoiva python koodi on kyllä melkoisen raskas ajaa isommille objekteille.

Paljon nähnyt ja tehnyt niin tietää mikä toimii/ei toimi arkkitehtuuri/design/suorituskyky/ylläpidettävyys/... mielessä. Paljon myös pintapuolista tietoa miten vaikka joku dataorientoitunut(cachet yms) järjestelmä suorituskyvyssä parempi kuin perinteinen olio-orientoitunut. Hirveätä nysväämistä itse koodata kaikki, joskin hauskaa ja aikaavievää . 'AI:n kanssa etenee todella nopeasti mikä tuo toisenlaista mielekkyyttä tekemiseen.

AI osas muuten ratkoa tänä vuonna c-koodit niin, että vaikka koodissa näyttää olevan if:iä esim. innerloopissa pikselienkirjoituksen suhteen niin kääntäjä tekee formaattikohtaiset toteutukset ilman hyppyjä. Viime vuonna AI ei tuota asiaa osannut. Upea ominaisuus, ei tarvi tän oppimisen jälkene enää miettiä että olisi mitään syytä amiga-projektin koodeissa siirtyä c++ puolelle

El Toro · sunnuntaina klo 17:19

finWeazel sanoi:
Sama juttu. Tuosta kotikoodista vaikka esimerkkinä kolmioiden käsittely mitä ei jaksanut amigalla(assylla) koskaan tehdä kuin kolmio kerrallaan. Viime vuonna vibe koodasin meshletit niin näkyvyystarkistukset menee paljon nopeammin. Voisi antaa AI:n vielä pilkkoa meshletit triangle stripeiksi tms. niin sais rasteroijaan syötettyä dataa vielä paremmin sisälle. Meshlettien koostumuksen brute forcella optimoiva python koodi on kyllä melkoisen raskas ajaa isommille objekteille.

Tekee pahaa nämä sinun viestit, aina kun lukee amigasta alkaa takaraivossa vähän enemmän jyskyttämään ajatus (S)NESisstä ja raudan kurittamisesta. Pakko yrittää vastustaa..

Linkki: https://www.youtube.com/watch?v=Olgn9sXNdl0

Karhu III · sunnuntaina klo 17:33

El Toro sanoi:
Miksi muka? Itsestä paljon helpompaa lukea koodia kuin kirjoittaa sitä. Kun ymmärtää miten hommat toimii voi lukea lähes mitä tahansa kieltä ja tajuta mitä siinä tapahtuu, kirjoittamisesta ei puolestaan tule mitään jos ei ole perehtynyt kyseiseen kieleen/kirjastoon.

"Ei kovin kätevä koodaaja" oli huonosti laitettu, koska Karpathy on koodannut hemmetin hyvin. Mutta ei ehkä ratkaise perinteisiä ongelmia mitä koodatessa vastaan.

Ajatus lähti siitä kun tutkin llm.c toteutusta. C on suunniteltu Unix-systeemityökalujen kirjoittamiseen. Algoritmien kirjoittamiseen se on kehno, LLM:n kirjoittamiseen vielä kehnompi. Tässä kontekstissa Karpathy varmasti mieluummin lukee kuin kirjoittaa koodia. Joku toinen ohjelmointikieli saattaisi kuitenkin ratkaista ongelman ja olla myös tehokkaampi/nopeampi.

Karhu III · sunnuntaina klo 22:35

Tänään koitin testata kielimallin ajamista omalla koneella. Ajattelin sen onnistuvan helposti AI:n koodaamana ja alkuun näyttikin helpolta. Vain parikymmentä riviä koodia ja voisin kokeilla chattailua lokaalisti omalla koneella.

Muuten hyvä idea mutta AI ei osaa koodata AI:ta. Rajapinnat muuttuvat niin nopeasti että ainakaan ilmaiset paskeet eivät pysy mukana. Pari metodia oli muuttunut ja kun pyysi AI:ta korjaamaan, niin jotain muuta sitten meni rikki. Loppujen lopuksi AI pyöri kehää ja korjasi kaikkea muuta kuin itse ongelmaa.

Ei kai tässä auta muu kuin alkaa vanhanaikaisesti lukemaan dokumentaatiota ja tekemään itse

Karhu III · eilen klo 16:37

Tänään uusi yritys ja ollaman avulla lähti lokaali kielimalli pelittämään melkein laakista. Melkein, koska oli periaatteessa hyvä idea tallentaa dokumentit MS SQL Serverin kantaan ja käyttää vektori-indeksiä.

Kaikkea sitä luuleekin. Buginen paska tuo SQL Server 2025.

finWeazel · eilen klo 17:28

Karhu III sanoi:
Tänään uusi yritys ja ollaman avulla lähti lokaali kielimalli pelittämään melkein laakista. Melkein, koska oli periaatteessa hyvä idea tallentaa dokumentit MS SQL Serverin kantaan ja käyttää vektori-indeksiä.

Kaikkea sitä luuleekin. Buginen paska tuo SQL Server 2025.

Ollaman python apin kautta kätevä tehdä kaikenlaista.

Koodaushommissa lokaalit mallit niin paljon pilveä perässä että mulle no brainer maksaa pilvestä. Pilvi helposti hintansa arvoinen tällä hetkellä. Halvinkin tilaus riittä jos huvikseen räpsyttelee, satasen claudesta en saa tokeneita loppumaan, viime viikolta jäi neljännes tokeneista käyttämättä. 20e claudekin riittäisi moneen kodiin.

Karhu III · eilen klo 22:04

finWeazel sanoi:
Koodaushommissa lokaalit mallit niin paljon pilveä perässä että mulle no brainer maksaa pilvestä. Pilvi helposti hintansa arvoinen tällä hetkellä. Halvinkin tilaus riittä jos huvikseen räpsyttelee, satasen claudesta en saa tokeneita loppumaan, viime viikolta jäi neljännes tokeneista käyttämättä. 20e claudekin riittäisi moneen kodiin.

Jep. Tässä halusin testata miten kielimallia voisi käyttää omissa sovelluksissa. Ei sovelluksen kirjoittamiseen, vaan sovelluksen yhtenä ominaisuutena. Gemini lähti sitten suosittelemaan Microsoft.ML.OnnxRuntimeGenAI rajapintaa mikä voi joskus olla hyvä idea. Onneksi sitten luin Ollamasta (kuten mainitsin, piti lähteä itse vanhanaikaisesti googlaamaan) ja POC applikaatiosta tulikin kertaheitolla yksinkertaisempi.

C#:

            Console.WriteLine("Ready to answer questions! (Press Enter to exit)");

            while (true)
            {
                Console.WriteLine("Ask a question:");
                var question = Console.ReadLine();

                if (string.IsNullOrWhiteSpace(question))
                    break;

                var answer = await rag.AskAsync(question);

                Console.WriteLine("\nAnswer:");
                Console.WriteLine(answer);
                Console.WriteLine();
            }

Tietokantahausta tuli sitten törkyruma koska Microsoft.

C#:

            var candidates = await _db.DocumentChunks
                .AsNoTracking()
                .ToListAsync();

            var topDocs = candidates
                .Select(d => new
                {
                    Doc = d,
                    Score = Program.CosineSimilarity(
                        queryEmbedding,
                        Program.BytesToFloatArray(d.Embedding))
                })
                .OrderByDescending(x => x.Score)
                .Take(5)
                .Select(x => x.Doc)
                .ToList();

Todella järkevää tietokannan käyttöä

Mutta tulipa opittua paljon asiaa generatiivisesta AI:sta ja miten se toimii pinnan alla. Esimerkiksi jos haluaa omia dokumentteja käsitellä niin RAG oli täysin uusia asia. Ja sitten se että ragiin ei välttämättä voi työntää dokumentteja miten haluaa vaan niitä voi joutua esikäsittelemään mikä on oma problematiikkansa. Joka myös omalta osaltaan selittää miksi lokaaleja malleja ei kannata käyttää koodauksessa.

finWeazel · eilen klo 22:13

Karhu III sanoi:
Todella järkevää tietokannan käyttöä

Mutta tulipa opittua paljon asiaa generatiivisesta AI:sta ja miten se toimii pinnan alla. Esimerkiksi jos haluaa omia dokumentteja käsitellä niin RAG oli täysin uusia asia. Ja sitten se että ragiin ei välttämättä voi työntää dokumentteja miten haluaa vaan niitä voi joutua esikäsittelemään mikä on oma problematiikkansa. Joka myös omalta osaltaan selittää miksi lokaaleja malleja ei kannata käyttää koodauksessa.

Mistään mitään tietämättä, mutta MCP-serverit tuntuvat olevan hyvä tapa hillota dataa/tietokantoja työkalujen lisäksi. Agentti/LMM hakee mcp-serverin kautta tiedon. Jännä juttu noissa mcp-servereissä kun sinne sisällekin voi taikoa promptin/llm:n niin syntyy rekursio. Ohjelmallinen tapa hakea tietoa säästää aika paljon kontekstin koossakin.

Lokaalisti kyllä aika pienet kontekstit/huono kontekstinhallinta. En tiedä onko se claude code:ssa yms. RAG vai joku edistyneempi, mutta sinne voi ujuttaa kontekstiin melko ison kirjankin tms. ja sanoa että noudattelee sen ohjeita, referoi manuskasta rekisterit+bitit ja miten niitä käytetään tms. Ei ollenkaan ole vain sen armoilla mitä malli on nähnyt opetusvaiheessa. Tänään amigakoodiin teetätin claude code:lla amigan rekisterispeksit, miten niitä ohjelmoidaan yms. laittamalla mallin kahlaamaan internetin, kirjan, aminetin, githubia yms. läpi. Lopputuloksena a500 ja a1200 hw_guide.md missä relevantti data ja esimerkit mitä agentti käyttää referenssinä sen sijaan että olettaisi.

Karhu III · tänään klo 00:31

finWeazel sanoi:
Mistään mitään tietämättä, mutta MCP-serverit tuntuvat olevan hyvä tapa hillota dataa/tietokantoja työkalujen lisäksi. Agentti/LMM hakee mcp-serverin kautta tiedon. Jännä juttu noissa mcp-servereissä kun sinne sisällekin voi taikoa promptin/llm:n niin syntyy rekursio. Ohjelmallinen tapa hakea tietoa säästää aika paljon kontekstin koossakin.

MCP on yksi mitä pitäisi kokeilla. Nyt kun olen lukenut lisää, niin MCP.NET SDK vaikuttaisi olevan seuraava etappi. Siihen server-filesystem + oma SQL Server RAG. Vielä kun saisi budjettia tän tekemiseen. Tänään jätin kaikki omat hommat tekemättä että pääsisi kokeilemaan.

finWeazel sanoi:
Lokaalisti kyllä aika pienet kontekstit/huono kontekstinhallinta. En tiedä onko se claude code:ssa yms. RAG vai joku edistyneempi, mutta sinne voi ujuttaa kontekstiin melko ison kirjankin tms. ja sanoa että noudattelee sen ohjeita, referoi manuskasta rekisterit+bitit ja miten niitä käytetään tms. Ei ollenkaan ole vain sen armoilla mitä malli on nähnyt opetusvaiheessa. Tänään amigakoodiin teetätin claude code:lla amigan rekisterispeksit, miten niitä ohjelmoidaan yms. laittamalla mallin kahlaamaan internetin, kirjan, aminetin, githubia yms. läpi. Lopputuloksena a500 ja a1200 hw_guide.md missä relevantti data ja esimerkit mitä agentti käyttää referenssinä sen sijaan että olettaisi.

Pienet kontekstit tosiaan. Huomasin sen tänään kun yritin heittää Ollamalle 20k tekstitiedostoa. Eip.

Myöhemmin huomasin että sen voi muuttaa. On oletuksena 2k 4k ja suurin teoreettisesti mahdollinen 256k.

edit: 4k minimi, ei 2k

mlackke · tänään klo 09:18

finWeazel sanoi:
Mistään mitään tietämättä, mutta MCP-serverit tuntuvat olevan hyvä tapa hillota dataa/tietokantoja työkalujen lisäksi.

Tietokantojen suhteen nämä MCP ovat olleet iso avustus, mm ei tarvitse muistaa SQL kantojen taulujen nimiä, sarakkeita tai puhumattakaan järkyttäviä pitkiä hakulauseita (select ...from..join.. :x3:

). Sen kun kirjoittaa hae kaikki nämä jossa joku jotain ja bam.

Karhu III · tänään klo 09:34

mlackke sanoi:
Tietokantojen suhteen nämä MCP ovat olleet iso avustus, mm ei tarvitse muistaa SQL kantojen taulujen nimiä, sarakkeita tai puhumattakaan järkyttäviä pitkiä hakulauseita (select ...from..join..). Sen kun kirjoittaa hae kaikki nämä jossa joku jotain ja bam.

Mä en vain uskaltaisi luottaa siihen. "Etsi Robert'); DROP TABLE Students;--"

mlackke · tänään klo 10:50

Karhu III sanoi:
Mä en vain uskaltaisi luottaa siihen. "Etsi Robert'); DROP TABLE Students;--"

Onneksi ovat vain read-only moodissa

AI-koodausavustimet, keskustelua AI-avustetusta koodaamisesta/skriptaamisesta/dokumentoinnista/...

Uutiset

Statistiikka

Hinta.fi

Arvostamme yksityisyyttäsi