AI-koodausavustimet, keskustelua AI-avustetusta koodaamisesta/skriptaamisesta/dokumentoinnista/...

[Karhu III]

Joo olen myös polttanut pari kertaa näppini ChatGPT:n kanssa kun pyytänyt refaktoroimaan koodia. Sieltä voi yhtäkkiä tulla karsittu versio vaikka tarkoitus oli lisätä toiminnallisuutta. Claude ehkä parempi kun sinne voi perustaa projektin minne dumppaa tiedostot.

 

[finWeazel]

Tottakai tiedän tämän, mutta pointti oli tuoda esille tuo ongelma noissa perustason "ai-avustimissa". Ja en siis ole lukenut mitään sinun aiempia postauksia, eikä tämä siihen liittynyt.

En usko, että kukaan oikeasti koodaava webbiui:ta yrittää koodaukseen käyttää. Hapottuu ekan 2h aikana ees+taas copy pasteamiseen. Kun yrittää 2h jälkeen pilkkoa koodia modulaariseksi, tiedosto per moduuli että pysyisi muutokset hallussa niin viimeistään kasetti hajoaa. Samaan tilaukseen kuuluu codex ja agenttilooppi pyörimään.

 

[Makis]

Eipä nuo ongelmanratkaisutkaan aina niin rapeita ole. Ratkoin viikon aika kinkkistä ongelmaa, johon liittyi Yocto ja UUU ja aika paljon aikaa meni täysin vääriin johtolankoihin joita ChatGPT tarjoili. Vaihdoin lopulta Geminiin, ei sekään kyllä itsessään ratkaisua osannut sanoa, mutta jonkun verran tuntui hyödyllisemmältä. Mutta kummatkin tarjosivat ison kasan ehdotuksia, jotka ei toimineet. Loppujen lopuksi jouduin olennaiset osat joka tapauksessa tajuamaan itse.

Gemini sitten jostain syystä välillä jumittuu täysin.

 

[kvjanhun]

Tottakai tiedän tämän, mutta pointti oli tuoda esille tuo ongelma noissa perustason "ai-avustimissa". Ja en siis ole lukenut mitään sinun aiempia postauksia, eikä tämä siihen liittynyt.

En viitannut mihinkään aiempaan, ihan tarkoitin noita ylemmässä kappaleessa listaamiani. Perustasoahan nuo nykyään ovat. Sitä yritän sanoa, että alkaa olemaan tilanne se, että sama työkalu ei käy kaikkeen näissäkään. Ainakaan vielä. Joitain vuosia varmaan vielä ainakin tiettyyn tarkoitukseen erikoistuneet kielimallit ja niiden sovellukset ovat tarpeen.

Kaikki väitteet siitä, että ”tämä yksi käy kaikkeen ja on siinä paras” on vielä markkinointia.

 

[Kautium]

En usko, että kukaan oikeasti koodaava webbiui:ta yrittää koodaukseen käyttää. Hapottuu ekan 2h aikana ees+taas copy pasteamiseen. Kun yrittää 2h jälkeen pilkkoa koodia modulaariseksi, tiedosto per moduuli että pysyisi muutokset hallussa niin viimeistään kasetti hajoaa. Samaan tilaukseen kuuluu codex ja agenttilooppi pyörimään.

Ei käytäkään, mutta miten se nyt taas tähän liittyy? Tuo oli esimerkki siitä miten se toimii.

 

[finWeazel]

Ei käytäkään, mutta miten se nyt taas tähän liittyy? Tuo oli esimerkki siitä miten se toimii.

Ottaen huomioon alueen missä ketju on ja ketjun aiheen niin täältä löytynee ns. koodereita. Jos joku ei kooderi erehtyy ketjuun niin parempi löytää se oikea tapa tehdä asiat eikä kiivetä puuhun pers-edellä. Tai toisella tapaa kirjoittaen, turha luoda itselle ylimääräisiä ongelmia kun parempikin tapa on olemassa.

Ohjelmointi, pelikehitys ja muu sovelluskehitys

AI-koodausavustimet, keskustelua AI-avustetusta koodaamisesta/skriptaamisesta/dokumentoinnista/...​

 

[jkaart]

Tää on kyllä aina yhtä ihanaa, jos yrittää ihan perusmallin ChatGPT:ltä kysellä jotain koodimuutoksia. Se ihan sujuvasti kaikesta ohjeistuksesta huolimatta hävittää yhtäkkiä pätkiä koodista ja sanoo, että pärjäile tällä. Ajatus tuossa oli kysyä ideoita ja parannuksia yhteen lyhyeen koodipätkään.

Ja tämä on kanssa kiva, kun ohjeistat että vastaa realistisesti ja tarpeettoman optimistisesti ilman ikoneita ja muuta paskaa, niin muutaman viestin päästä tilanne on jotain tällaista:

Tekoäly on kiva apuväline ja kehitys kehittyy, mutta hype on aivan liian kova sen tämän päivän todelliseen kyvykkyyteen nähden.

Sanoisin että chatgpt on tässä viimeisen vuoden mennyt jopa "tyhmemmäksi" mitä se oli pari vuotta sitten.

Se on jännä juttu, että mitä ylipäätään tulee tuohon AI-avustettuun koodaamiseen niin mulle ei ole tullut vieleä ainuttakaan projektia vastaan jossa joku olisi käyttänyt ja myöntänyt käyttäneensä AI:ta. Kaikkea muuta AI tauhkaa on netti kyllä puolillaan, mutta puhdasta ohjelmakoodia ei tunnu olevan kovinkaan paljon (varsinkaan) jossa joku olisi myöntänyt käyttäneensä AI:ta apuna.

 

[Kautium]

Sanoisin että chatgpt on tässä viimeisen vuoden mennyt jopa "tyhmemmäksi" mitä se oli pari vuotta sitten.

Se on jännä juttu, että mitä ylipäätään tulee tuohon AI-avustettuun koodaamiseen niin mulle ei ole tullut vieleä ainuttakaan projektia vastaan jossa joku olisi käyttänyt ja myöntänyt käyttäneensä AI:ta. Kaikkea muuta AI tauhkaa on netti kyllä puolillaan, mutta puhdasta ohjelmakoodia ei tunnu olevan kovinkaan paljon (varsinkaan) jossa joku olisi myöntänyt käyttäneensä AI:ta apuna.

Tyhmää olisi olla käyttämättä tekoälyä millään tavalla, mutta se on totta, että AI:lla tuotettu koodi on laadulisesti vielä niin epäluotettavaa, ettei sitä voi laittaa mihinkään tuotantoon ennen kuin on käynyt itse sisällön läpi. Kehitys kehittyy, mutta juuri nyt näin. Avustimena se on verraton.

 

[popeda]

Tyhmää olisi olla käyttämättä tekoälyä millään tavalla, mutta se on totta, että AI:lla tuotettu koodi on laadulisesti vielä niin epäluotettavaa, ettei sitä voi laittaa mihinkään tuotantoon ennen kuin on käynyt itse sisällön läpi. Kehitys kehittyy, mutta juuri nyt näin. Avustimena se on verraton.

Olet tässä kommentissa tismalleen oikeassa. Typerää olla käyttämättä, mutta omaa osaamista tarvitaan. Laadun joutuu validoimaan itse.

P.S. Pienenä BONARINA tähän: olisko laadunvalvontakin mahdollista laittaa tekoälylle?

 

[Karhu III]

Sanoisin että chatgpt on tässä viimeisen vuoden mennyt jopa "tyhmemmäksi" mitä se oli pari vuotta sitten.

Se on jännä juttu, että mitä ylipäätään tulee tuohon AI-avustettuun koodaamiseen niin mulle ei ole tullut vieleä ainuttakaan projektia vastaan jossa joku olisi käyttänyt ja myöntänyt käyttäneensä AI:ta. Kaikkea muuta AI tauhkaa on netti kyllä puolillaan, mutta puhdasta ohjelmakoodia ei tunnu olevan kovinkaan paljon (varsinkaan) jossa joku olisi myöntänyt käyttäneensä AI:ta apuna.

Moni firma ei vielä käytä AI:ta. Esimerkiksi meidän tiimissä avustimien käyttö alkoi yleistyä viime vuonna ja tänä vuonna on tullut mukaan ihan AI:lla tuotettua ohjelmakoodia. Eikä me siitä kovasti huudella koska se ei ole täysin firman politiikan mukaista, tosin ei nyt ihan kiellettyäkään.

Mutta tänä vuonna tullaan lanseeraamaan tuotteeseen uusi ominaisuus joka on AI:lla tehty. Ei vibettämällä, mutta merkittävä osa on AI:n tuottamaa.

 

[popeda]

Moni firma ei vielä käytä AI:ta. Esimerkiksi meidän tiimissä avustimien käyttö alkoi yleistyä viime vuonna ja tänä vuonna on tullut mukaan ihan AI:lla tuotettua ohjelmakoodia. Eikä me siitä kovasti huudella koska se ei ole täysin firman politiikan mukaista, tosin ei nyt ihan kiellettyäkään.

Mutta tänä vuonna tullaan lanseeraamaan tuotteeseen uusi ominaisuus joka on AI:lla tehty. Ei vibettämällä, mutta merkittävä osa on AI:n tuottamaa.

Vähitellen hivuttaudutaan AI-maailmaan, mutta kohta kukaan ei ole käyttämättä tätä, koska kaikki sujuu nopeammin.

 

[user_timo]

Minä työskentelen globaalissa yli 100t työntekijän yrityksessä ja AI:n käyttö ohjelmointiin on täysin kielletty. Koneilta on blokattu kaikki mahdolliset AI:t pois, ainoastaan rampautettu yritykselle microsoftin customoima co-pilot käyttö sallittu.
Edit: tässä siis pelätään, että AI tekee tekijänoikeudella suojattua koodia

 

[Makis]

Nyt oli Primegeanilta minusta niin hyvä video aiheesta, että pakko jakaa. Lähtökohta on siis se pieni alkava paskamyrsky Amazonilla, kun ovat irtisanoneet 30000 työntekijää koska AI tekee heidän hommat (kuten kaataa koko Amazonin moneksi tunniksi), mutta tässä on minusta todella monta hyvää pointtia, osin samoja joita olen itsekin yrittänyt sanoa mutta huonommin.

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://youtu.be/tPlIHBcpGt8?si=EaGZpvKn2veIe08L

 

[E1m088]

Onko porukalla kokemusta minimaxista Claude coden tmv. kanssa?
Minimax 2.7 vaikuttaisi olevan kohtuullisen lähellä sonnet 4.6:sta monissa synteettisissa testeissä, tukee agenttitiimiä ja maksaa parikymmentä kertaa vähemmän.
Vähän pohdin että ottaisin sen 10$/kk tilauksen testiin...

 

[matthew]

Sivuhuomiona että ainakin itsellä elektroniikkaharrastus on saanut ihan uutta virkistystä kun softan kirjoitus (ja osaaminen) on ollut se ihan ehdoton akilleen kantapää.
Claude/Chatgpt kombolla olen nyt tehnyt pari ikuisuusprojektia valmiiksi.
1. oli toimiva lukurutiini kiinalaiselle 24 bittiselle ADC-muuntimelle johon en löytänyt mistään toimivaa koodia arduino nanoon. Parin bugituksen jälkeen homma lähti rokkaamaan, vikaa tais olla vähintään yhtä paljon kiinalaisessa AD muuntimessa kuin koodissa. Chatgpt näytti lukevan kiinalaista datasheettiä paljon paremmin kuin yksikään siitä löytyvä käännös on tehty.
2. peltier PID säädin joka lukee edellämainitulla ADC muuntimella 10k termistoria 0.001 cel resoluutiolla ja ohjaa pwm:llä & releellä peltieriä. täysverinen PID-säädin ja pieni 1.3" oled näyttö jolle löytyi valmiit kirjastot. "käyttöliittymä" rotary enkooderilla jossa samassa painonappi.
3. 16-kanavainen dataloggeri LTC2498 ad-muuntimen, SD-muistikortin ja 4x20 näytön ympärille. Termoelementtien kylmäpään matematiikka Steinhart&Hart kaavalla, termoelementtien muunnos brute-forcella NIST:n referenssiyhtälöitä ja Hornerin menetelmää käyttäen (Tää saattoi olla virhe, claude on ainakin sitä mieltä että virhettä voi syntyä arduinon 32 bittisillä floateilla melkoisesti). Loggeri alustetaan muistikortilta jossa kanavakohtaiset määritetelyt mitataanko jännitettä vai K tai T termoelementtiä

Kaikissa on ollut jotain bugeja ja ongelmia mutta AI on kyllä ainakin minut yllättänyt loogisessa vianhaussa ja debuggauksessa. Voittaa jo keskiverto insinöörin yksinkertaisissa ongelmissa 6-0.

 

[matthew]

termoelementtien muunnos brute-forcella NIST:n referenssiyhtälöitä ja Hornerin menetelmää käyttäen (Tää saattoi olla virhe, claude on ainakin sitä mieltä että virhettä voi syntyä arduinon 32 bittisillä floateilla melkoisesti). Loggeri alustetaan muistikortilta jossa kanavakohtaiset määritetelyt mitataanko jännitettä vai K tai T termoelementtiä

Pistin clauden ja chatgpt:n töihin tämän osalta, päätyivät samaan kuin itsekkin eli ei oikeasti ongelma. (kokeilin tätä joskus aiemmin enkä muistanut että siinä olisi ollut mitään suurta virhettä huolimatta siitä että arduinon double on oikeasti vain 32 bittiä)

Spoileri: AI

double-check the type-T accuracy at -180cel and -200 cel temperature

Let me compute the Type T polynomials at -180°C and -200°C using both double (64-bit) and float (32-bit) precision to measure the actual error.
Created a file, ran a command

Created a file, ran a command

The results are much better than I estimated earlier. Here's the summary:

At -200°C:

• Forward (temp→mV): float gives -5.6040 mV vs double -5.6030 mV — 1.0 µV error
• The NIST inverse polynomial range only goes down to -5.603 mV, so -200°C is right at the boundary. The float value of -5.604 actually falls just outside the valid inverse range.
• Round-trip error: -0.027°C

At -180°C:

• Forward: float gives -5.2608 mV vs double -5.2608 mV — 0.1 µV error
• Round-trip error: -0.016°C

Across -175°C to -199°C fine grid:

• Worst round-trip error: -0.065°C (at -195°C)
• Typical: ±0.02 to ±0.05°C

The step-by-step trace at -200°C shows the error accumulating through the 14 Horner steps, ending at 1.0 µV — which is only about 0.03°C equivalent at that sensitivity.

So the float precision is far better than I initially estimated. The 14th-order polynomial on 32-bit float introduces roughly ±0.05°C worst case even at -200°C, not the ±1–2°C I guessed. The NIST inverse polynomial's own approximation error (±0.04°C) is actually comparable.

 

[Karhu III]

Redditissä oli jo juttua, että jenkeissä on jo työhaastatteluita, missä pitää koodata AI:lla joku ohjelma ja saada se toimimaan.

 

[finWeazel]

Redditissä oli jo juttua, että jenkeissä on jo työhaastatteluita, missä pitää koodata AI:lla joku ohjelma ja saada se toimimaan.

Metalla ainakin koekäytössä ollut koodaushaastiksia missä saa/on suotavaa käyttää metan tarjoamaa koodausavustinta. Eipä noita karkuun pääse. Tiedä sit onko piilaakson perinteinen algoritmitenttauskaan kovin häävi mittari ollut.

Anthropicille jos hakee niin saa kotitehtävän mitä pitää yrittää ratkoa. AI pilasi heidän alkuperäisen tehtävän. Nyt on joku semmoinen kotitehtävä mikä ei AI-avustimella ratkea niin hyvin että työpaikan saisi.

GitHub - anthropics/original_performance_takehome: Anthropic's original performance take-home, now open for you to try!

Anthropic's original performance take-home, now open for you to try! - anthropics/original_performance_takehome

github.com

 

[Makis]

Onkos täällä jossain yleistä AI-keskustelua, kun haluaisin avautua vähän siitä, miten hurjasti nuo keksii omia juttujaan, vaikka olisi netissä ihan oikeaakin tietoa josta ammentaa.

 

[finWeazel]

Onkos täällä jossain yleistä AI-keskustelua, kun haluaisin avautua vähän siitä, miten hurjasti nuo keksii omia juttujaan, vaikka olisi netissä ihan oikeaakin tietoa josta ammentaa.

On

Tekoäly

Kannattaa varmaan joskus kiittääkin sitä tekoälyä. Se vastaa sulle just niinku tilaat. Tää oli varmaan joku vitsi, tai sitten kannattaa laittaa korkki kiinni. Seuraavaksi varoitetaan varmaan tekoälyn ilkeästä velipuolesta, joka tulee ja kostaa ja ties mitä tekee. Kaikilla tekoälyillähän...

bbs.io-tech.fi

Robotit ja tekoäly vie työpaikat

Aika kovia puheita kaverilta jonka firman AI-tuotos on ihan sysipaska. Klemmari oli sentään sort of sympaattinen. Toisaalta väite on muutenkin ihan hemmetin pehmeä, voisin väittää että aika iso osa tietokoneella tehtävästä toimistotyöstä olisi "ollut automatisoitavissa" jo 20 vuotta sitten...

bbs.io-tech.fi

 

[Karhu III]

Onkos täällä jossain yleistä AI-keskustelua, kun haluaisin avautua vähän siitä, miten hurjasti nuo keksii omia juttujaan, vaikka olisi netissä ihan oikeaakin tietoa josta ammentaa.

Joku ehkä muistaa Blade Runnerin, jossa Harrison Ford paljasti replicantteja kuulustelemalla. Tekoälyn saa paljastamaan itsensä esittämällä sille seuraavan arvoituksen:

A young boy who has been in a car accident is rushed to the emergency room. Upon seeing him, the surgeon says, "I can operate on this boy!" How is this possible?

Spoileri

Enpäs paljastakaan

 

[Makis]

Onko tuon arvoituksen ideana siis se, että se on kerrottu ihan väärin?

 

[Lassivv]

Vähän kevyempiä hommia itsellä, mutta home assistantin Node-RED flow hommia rakennellut. Pientä koodailua tullut tehtyä, mutta kyllä vaikeammat ja monimutkaiset koodit vei jo aikaa selvittelyineen niin paljon että jäi monesti tekemättä. Gemini maksullista mallia käyttänyt oliko nyt pro 3.1 ja hämmentävän hyvin osaa tehdä ja bugit vähissä / nopeasti ne löytää.

Kuormanhallintaa ja pid säädin systeemejä tullut rakennettuna, myös erittäin kattavat notifikaatiot saanut kännykkään samalla ja tilatiedon vielä teksti muodossa "noden" sisältä mikä kertoo mukavasti mitä tapahtuu sisäisesti koodissa sopivalla tarkkuudella.

Lisännyt kyllä harrastuksen mielekkyyttä. Samoin pari wifi ja mqtr ongelmaa kampattua mitä koitin aikoinaan googletella ja foorumeita selailla läpi. Nyt annoin kyseisten laitteiden logit geminille ja pyysin tutkimaan ongelmaa, parilla lisäkysymyksellä homma saatiin kuntoon ja toisessa oli ongelmana bugi hardiksessa kyseisessä laitteessa ja toisessa oli lukittautuminen wifi ap ja sen asetukset vielä paremmin sopivaksi esp:lle.

Sen verran vakuuttavaa jälkeä on kyll, että saa nähdä missä nuo menee vaikka 5vuoden päästä.

 

[kvjanhun]

Onko tuon arvoituksen ideana siis se, että se on kerrottu ihan väärin?

Joo, tavallaan. Koska oikein kerrottu versio löytyy usein kielimallien koulutusdatasta, niin ne vastaavat isolla todennäköisyydellä tuohonkin sen mukaan, mikä olisi sopiva vastaus oikein kerrottuun.

 

[ruohonleikkaaja]

Oma homma on kans melkoista puuhastelua kun vertaa muitten ohjelmointiin. Aikaisempi ohjelmointikokemus perustuu 15 vuoden takaiseen runescape bottien ohjelmointiin javalla ja sekin hyvin huonolla menestyksellä. Nyt Geminin avulla olen saanut ohjelmoitua toimivan nettisivuston, missä on työvuorokalenteri tehdasympäristöön, joka laskee vuosi/kuukausiansiot. Oma muisti on kanssa senverta heikko, että laitoin tekoälyn väsäämään discord botin, joka muistuttelee kun koulutehtävien deadline lähestyy. Samalla sai näppärästi lisättyä lukujärjestyksen ja koulun ruokalistan suoraan discord kanaville. Nettisivuston sai käytännössä tehtyä täysin pelkällä iphonella ja promptaamalla. Hullua ajatella, että oikeesti saa jotain konkreettista aikaan ilman mitään tietotaitoa ja lähes ilmaiseksi. Geminin pro-malli minkä sai vuodeksi ilmaiseksi korkeakouluopiskelijana on hoitanut hommat nätisti.

Muutamalla sanalla saanut tehtyä kans loistavia bash scriptejä nopeuttaakseen ffproben ajoa videotiedostoihin ja VMAF tarkistus scriptejä. Varmaan olisi Windowsille saanut tehtyä vastaavia, mutta vaihdoin linuxiin hetki sitten ja on nopeuttanut kummasti kun oikeaklikkaamalla videotiedostoa pääsee ajamaan ffproben ja VMAF tarkistukset.

Pahin homma tässä taitaa olla se, että vahingossa on saattanut oppia jotain ja hommat alkaa kiinnostamaan enempi...

 

[Karhu III]

Onko tuon arvoituksen ideana siis se, että se on kerrottu ihan väärin?

On. Se saa tekoälyn hallusinoimaan.

Alkuperäinen arvoitushan on tämä:

A man and a son get into a car accident. They are rushed to the hospital and the boy requires surgery. The surgeon looks at the boy and says "I cannot perform surgery on him! He's my son!". Why is this the case?

Tekoäly näkee sanat "car accident", "boy" ja "surgery" ja kiinnittää ne sukupuoliharhaa käsittelevään arvoitukseen. Arvoitus on ollut sen harjoitusdatassa, joka saa sen hallusinoimaan todennäköisimmän vastauksen.

 

[namlepo]

Eli tekoäly, joka perustuu hallusinointiin joskus hallusinoi. Nerokasta. Eipä olis tullut mielenkään. No aina oppii uutta.

 

[mlackke]

On. Se saa tekoälyn hallusinoimaan.

Alkuperäinen arvoitushan on tämä:

Man and a son get into a car accident. They are rushed to the hospital and the boy requires surgery. The surgeon looks at the boy and says "I cannot perform surgery on him! He's my son!". Why is this the case?

Eikös tuon pitäisi olla "Man and his son get into a car accident". Ilman "his", kirurgi voisi olla myös hänen isänsä...onpas OT.

 

[Makis]

Tsk tsk. Nykypäivänä pojalla voi olla kaksi isää.

 

[Leatherman]

Tsk tsk. Nykypäivänä pojalla voi olla kaksi isää.

Eikös nykypäivänä ole jopa 4 isää mahdollista. Toki en tiiä onko AI näistä tietoinen, menee kyllä vähän offtopiciks.

 

[Karhu III]

Joo, tarkoitus vain demonstroida miten AI:n ajatus voi harhautua.

Koodatessa hallusinaatioita ei voi estää. Harjoitusdata on aina menneisyydestä ha selkeä puute on että malliin ei voi lisätä uutta tietoa.

 

[finWeazel]

Joo, tarkoitus vain demonstroida miten AI:n ajatus voi harhautua.

Koodatessa hallusinaatioita ei voi estää. Harjoitusdata on aina menneisyydestä ha selkeä puute on että malliin ei voi lisätä uutta tietoa.

Tämä ei käytännössä pidä paikkaansa kun huomioidaan että koodiavustin on muutakin kuin mallin sisällä olevat painot. Malli voi osata abstrakteja asioita kuten mikä on rajapinta tai spesifisemmin mikä on c-kirjaston rajapinta , rest rajapinta jne. Mallin kontekstiin voidaan tuoda uusia rajapintoja esim. oman projektin dokumentaatio ja koodit. Koodiavustin osaa täten tehdä koodia rajapintaa ja dokumentaatiota vastaan mikä ei ollut opetusdatassa mukana.

Ymmärrän mitä yrität sanoa, mutta todellisuus ei ole niin kankea kuin mitä voisi sinun tekstistä ymmärtää. Äärimmäinen esimerkki tällaisesta on esimerkiksi viime vuoden international math olympiad kisa missä AI osallistui reaaliajassa kisaan ja sai kultaan oikeuttavat pisteet. Samaa juttua esim. koodauskisoissa missä AI on osallistunut reaaliajassa. Molemmissa vain uniikkeja kysymyksiä mitkä eivät ole voineet olla opetusdatassa mukana.

 

[HapanMuffinssi]

Asensin Antigravityn VSCoden ja Gemini plugarin tilalle ja pääsinkin vauhtiin agent-managerilla ja 2-3 agentilla paimentaen niitä tutkimaan ja ratkaisemaan ongelmia (arkkitehti-rooli) ja tekemään suunnitelmia pikku paloina toteuttaja-agentille. Tää lähti ihan hyvin lentoon kun MCP ja Agents.md ja agenttien skillit ja muutama workflow tuli tikkiin. Nyt on vaan niin että quotat paukkuu liian äkkiä ja pitäis ostaa lisää kreditsejäkin jos oikein alkais viikossa riehumaan. AG ny käyttää tota AI Pro 2TB tilausta millä pyörittää hieman säästelemällä 3-4 päivää Geminiä ja Claudea.

AI Ultra 200€+ / kk ois sitten. Ehkä se on paluu VSCodeen ja BYOK-malliin Gemini API-keyllä kuitenkin. Vähän torspo kustomoitavuuten osalta AG:n UI vielä ja monta asiaa lukittu hölmösti paikalleen.

 

[BongisKhan]

Joo, tarkoitus vain demonstroida miten AI:n ajatus voi harhautua.

Koodatessa hallusinaatioita ei voi estää. Harjoitusdata on aina menneisyydestä ha selkeä puute on että malliin ei voi lisätä uutta tietoa.

Mulla menee nyt vähän ohi, että mikä tässä on nyt sitten ollut se ongelma? Jos AI:lle kertoo arvoituksen päin vittua, niin joku vanhempi malli saattaa silti "hallusinoida" järjettömään kysymykseen oikean vastauksen vai mikä tässä piti sen pointin olla? Testasin Claudella äsken sekä tuon sinun tekstisi sekä sen alkuperäisen "ähäkutti"-promptin kirjoitettuna järkevällä englannilla:



Ymmärryksesi näiden mallien toiminnasta tuntuu muutenkin hieman rajalliselta tai ainakin Parasta Ennen päiväyksensä ohittaneelta. Ensinnäkin nykyään malleilla on myös ns. post-training vaihe, jossa säädetään niiden kyvykkyyttä diilata esim. juurikin tuollaisten kompakysymysten kanssa ja muutenkin hyvin monien mallien painoja päivitetään nykyään, jos ei nyt reaaliajassa niin huomattavasti useammin kuin ennen. Nyt ollaan edetty siihen vaiheeseen, että ei oikeastaan ole edes tarkoituksenmukaista yrittää tunkea kaikkea mahdollista esikoulutusmateriaaliin, vaan luoda synteettisiä koulutusmateriaaleja, joilla saa aikaiseksi malleja jotka osaavat järkeillä mahdollisimman hyvin ja esim. KVG jos tarvitsevat tietoa jostain harjoitusdatansa jälkeen tapahtuneesta.

 

[finWeazel]

Löytyi eilen tosi hyvä palikka minkä tekeminen claude code:lla osottautui ilman järjetöntä vaivaa mahdottomaksi. Palikka on amiga 500 ocs 7bitplane kikka copper ruutu missä copperilla värirekistereitä asettelemalla tehdään chunky rgb näyttötila. Claude code osasi tehdä perusversion. Perusversion ongelmana, että johtuen copperin rajotteista naivilla toteutuksella copper ruutu on näytön oikeassa reunassa. Ruudun keskittäminen vaatisi logiikan ei pelkän patternin ymmärtämistä, kellojaksojen laskemista., No can do...

Tämä lienee hyvä esimerkki monimutkaisemmasta logiikasta millaisesta ei ole ollut hajuakaan opetusdatasta. Erilaisten mallin oppimista patterneista ja logiikoista ei löydy apua. Malli ei osaa laskea ja päätellä. Keskittämisen lopputulos on arvailua ja ei synny toimivaa. 7bitplane kikka vielä vaikeuttaa asioita kun on bitplaneja ja kikkaa sekaisin.

7bitplane kikan copper ruudun keskittäminen tarvii testata uusiksi kunhan tulee uusia frontier malleja tarjolle. Jännä nähdä kauanko menee, että AI oppii tuon ruudun keskittämään.

 

[Aquarium]

Millä orkestroitte agentteja? Erehdyin VSCode+Copilot yhdistelmälle tekemään (tekoälyn opastuksella) agentteja eri tehtäviin ja yhden main-agentin jolle ohje käskeä muita. No, promptista ihmettelin sitten miten tuntuu ettei se meinaa kutsua muita avukseen ja lopulta selvisi että ihan yksinään oli toteuttanut kaiken.
Kokeilin luoda scriptin joka käynnistelee agentteja ja valvoo niitä mutta vielä kesken.

Huomannut että jos pyytää tekoälyä luomaan agentteja ja vielä tekemään speksejä omien määrittelyjen pohjalta, saattaa agenttien ohjeistuksessa olla samaa mitä spekseissä. Spekseihin alkaa myös tulla tavaraa niin maan perkuleesti, kun parempi olisi yksinkertaisemmat ja selkeämmät speksit, joita ei voi tulkita väärin.

Miten rajoitatte agenttien oikeuksia? Tuntuu hoopolle että skillsejä ja toolseja kirjoitellaan, mutta agentti voi silti tehdä vapaasti ohittaen ne. Vai mitä en ole tajunnut? Pitäisi olla jokin orkestraattori joka eristäisi agentin ja vahtisi että se saa koskea esim. vain tiettyihin projekteihin tai tietynlaisiin tiedostoihin. Nyt on aika helppoa tuskastua ja antaa hieman liian laveat oikeudet ja itsekin pyöräyttänyt tiedostooperaatioita powershellillä (tai siis agentti tehnyt) ja kun kokeilin pyytää avaamaan erään tiedoston aivan muualta kuin projektikansiosta (codex) niin agenttihan luki tiedoston sisällön sujuvasti.

 

[BongisKhan]

Millä orkestroitte agentteja? Erehdyin VSCode+Copilot yhdistelmälle tekemään (tekoälyn opastuksella) agentteja eri tehtäviin ja yhden main-agentin jolle ohje käskeä muita. No, promptista ihmettelin sitten miten tuntuu ettei se meinaa kutsua muita avukseen ja lopulta selvisi että ihan yksinään oli toteuttanut kaiken.
Kokeilin luoda scriptin joka käynnistelee agentteja ja valvoo niitä mutta vielä kesken.

Huomannut että jos pyytää tekoälyä luomaan agentteja ja vielä tekemään speksejä omien määrittelyjen pohjalta, saattaa agenttien ohjeistuksessa olla samaa mitä spekseissä. Spekseihin alkaa myös tulla tavaraa niin maan perkuleesti, kun parempi olisi yksinkertaisemmat ja selkeämmät speksit, joita ei voi tulkita väärin.

Miten rajoitatte agenttien oikeuksia? Tuntuu hoopolle että skillsejä ja toolseja kirjoitellaan, mutta agentti voi silti tehdä vapaasti ohittaen ne. Vai mitä en ole tajunnut? Pitäisi olla jokin orkestraattori joka eristäisi agentin ja vahtisi että se saa koskea esim. vain tiettyihin projekteihin tai tietynlaisiin tiedostoihin. Nyt on aika helppoa tuskastua ja antaa hieman liian laveat oikeudet ja itsekin pyöräyttänyt tiedostooperaatioita powershellillä (tai siis agentti tehnyt) ja kun kokeilin pyytää avaamaan erään tiedoston aivan muualta kuin projektikansiosta (codex) niin agenttihan luki tiedoston sisällön sujuvasti.

Ehkä oma touhuni on jotenkin rajoittunutta neppailua, mutta niin paljon kuin olenkin näiden uusien frontier mallien kyvyistä vakuuttunut, en kyllä juuri koskaan spinnaa itse aliagentteja tai harrasta mitään custom promptattuja agentteja. En myöskään viitsisi antaa mitään oikeasti isompaa kokonaisuutta AI:n täysin itse toteutettavaksi jonkun kapelimestari-AI:n pyörittäessä koko hommaa. En usko, että ollaan ihan vielä tuossa pisteessä ja mitä nyt vähän sosiaalisen median keskusteluja olen seuraillut, niin aika paljon ihmisillä tuntuisi olevan vaikeuksia saada tuollaisia häkkyröitä oikeasti toimimaan.

Oma workflow AI:n on aika pitkälti: ensin speksaa ja suunnittele AI:n kanssa mahdollisimman huolellisesti suunnilleen se mitä halutaan saada aikaiseksi, mitä toiminallisuuksia pitäisi olla MVP:ssä jne. Sitten vaan lähdetään about yksi fiitsöri kerrallaan toteuttamaan hommaa. "Ota TODO:sta / roadmapista joku kokonaisuus ja lähde toteuttamaan, kysy multa jos on jotain epäselvää", sitten rapsuttelen kiveksiä ja osallistun internet-foorumeilla kaikenlaisiin turhiin vänkäyksiin. Sitten kun CLI:ssä kello kilahtaa, että valmista on, niin tsekkaan että tulokset on järkeviä ja ominaisuus toimii. Rinse and repeat. Välillä saatan sanoa AI:lle suoraan, että spinnaas pari agenttia tekemään x y z jos tunnistan, että kyseessä on isompi urakka ja/tai koen tärkeäksi, että pitää joko saada puhtaalla kontekstilla "uusia silmiä" johonkin juttuun.

Muutenkaan en jaksa ihan hirveästi enää harrastaa mitään monimutkaisia "AI-arkkitehtuureja" jossa on miljoona .md tiedostoa täynnä monimutkaisia ohjeita polttamassa kontekstia ja tokeneita. Yleensä pidän lähinnä huolen, että CLAUDE/AGENTS.md tms. on ajan tasalla ja, että sieltä löytyy sitten linkit olennaisimpiin taustadokkarieihin ym. Välillä sitten pistän AI:n käymään kaikki dokkarit läpi ja pitämään huolen, että niissä on kaikki oleelliset jutut tyhjästä kontekstista lähtiessä, mutta ei mitään liikaa tai mitään vanhentunutta.

Mutta kuten sanottua, voi hyvin olla, että tämä on vaan amatöörin pienipiirteistä puuhastelua.