AI-koodausavustimet, keskustelua AI-avustetusta koodaamisesta/skriptaamisesta/dokumentoinnista/...

[edup]

Eipä nuo rajaamiset oikein ole ainakaan tähän mennessä toimineet. Aina tuntuu löytyvän keinot ohittaa suojaukset. Riskit olisi siis käytännössä ihan samat.

Aika harvassa suljetussa mallissa on mitään onnistuttu ohittamaan. Kiinalaisissa malleissa uupuu tiedot Taivaallisen rauhan aukion tapahtumista, kuvageneraatiomallit ei suostu generoimaan pornoa, ym.

Avoimissa malleissa sitten toki hankalampi, koska niissä päästään mallia muokkaamaan ja analysoimaan vapaammin.

 

[Makis]

Taitaa noista kiinanmalleista puuttua kokonaan koulutusmateriaalista nuo tiedot. Tuo ei vain oikein koodauksen kohdalla toimi kun ei ole avainsanoja, joita suodattaa.

Onko nämä kaikki jo varmasti estetty? https://medium.com/@nirdiamant21/15-llm-jailbreaks-that-shook-ai-safety-981d2796d5c6

 

[finWeazel]

Nopeesti edetty siitä kun AI-mallit eivät osanneet löytää oikeita tietoturvareikiä/vikoja/yms.

Mozilla says 271 vulnerabilities found by Mythos have “almost no false positives

Toki vaatii työtä eikä vain "find bugs prompti"

Mozilla engineers said the finally ready-for-prime-time breakthrough they achieved was primarily the result of two things: (1) improvement in the models themselves and (2) Mozilla’s development of a custom “harness” that supported Mythos as it analyzed Firefox source code.

Mozilla says 271 vulnerabilities found by Mythos have "almost no false positives"

The developer of Firefox says it has "completely bought in" on AI-assisted bug discovery.

arstechnica.com

Linux kernelistä

AI bug reports went from junk to legit overnight, says Linux kernel czar​

Greg Kroah-Hartman can't explain the inflection point, but it's not slowing down or going away

Linux kernel czar says AI bug reports aren't slop anymore

Interview: Greg Kroah-Hartman can't explain the inflection point, but it's not slowing down or going away

www.theregister.com

CURL porukalta oli myös samanlainen nootti ettei olekkaan enää sloppia kunhan on pätevä käyttäjä työkalun päässä

All that said, Stenberg stressed that “AI is a tool” and that AI is already delivering real wins for open source security when used by experienced engineers. He explains, “We work with several AI-powered analyzing tools now […] They certainly find a lot of things no other tools previously found, and in ways no other tools previously could find.

With the help of these tools, they have fixed “more than 100 bugs” that have surfaced, even after years of using aggressive compiler flags, fuzzers, traditional static analysis, and multiple human security audits.

cURL’s Daniel Stenberg: AI slop is DDoSing open source

For open source software, AI is very much a mixed blessing in his view.

thenewstack.io

 

[El Toro]

Tuli tuossa mieleen, että jos kerran Mythos on niin kauhean vaarallinen että Anthropic ei voi laittaa sitä julkiseen jakoon, niin miten nuo heidän muut mallit voi jatkossa kehittyä? Väkisinkin jossain vaiheessa ne kehittyisivät Mythosin ohi ja mitäs sitten?

Totuus:

 

[---Alf]

Vibe koodaus harjoitukset aloitettu. Joitakin viikkoja sitten keskustelin copilotin kanssa sovelluksen luomisesta ja se oli positiivinen dialogi.
Eilen aloitin ensimmäisen tosi session Clauden kanssa Github copilotin kautta. Claudehan lähti heti laukalle ja päräytti koodit ensimmäisen promptin jälkeen, mikä pääsi yllättämään. 2h jälkeen tuli rate limit vastaan ja tänään 2h jälkeen maaliskuun tokenit käytetty.
Sain kuitenkin luotua kannan, be:n, kontitetun fe:n ja testit. Toimii osittain, mutta vielä on tehtävää ennen kuin kehtaa kollegoille esitellä. No ensi viikolla vaihtuu kuu ja uudet tokenit.
Kun saan tämän puikkoihin, niin vaimolta tuli jo speksit seuraavalle työkaluohjelmalle.

Huhtikuu juhahti, enkä ehtinyt katsomaan. Tällä viikolla 3h meni jatkoissa, että sain tämän toimimaan. OpenAI:n kanssa tein loppuun.
Hämmentävää kuinka paljon korjattavaa oli Clauden tekemissä testeissä, tämän viikon ajasta 2h meni niiden korjailuun.
Tämä oli minulle oikein hyvä POC, että kuinka homma toimii. Tämä tuli vielä tehtyä interaktiivisena chättinä Eclipsessä. Ehkäpä seuraava projektikin vielä sellaisena, ennen kuin pistän agentit tulille.

 

[El Toro]

Jokin aika sitten kaivoin vanhan peliprojektini esiin, olin viikkoja optimoinut sitä ja FPS oli ~300, pari promptia ja oltiin tuhannessa hienompien efektien kera. Tuli jotenkin masentunut fiilis siitä, osaanko enää mitää paremmin kuin nämä mallit? Voisikin nyt laittaa 5.5 jauhamaan sitä, kun tässä ei muutakaan käyttöä keksi.

Teetin suorityskykytestit ja käskin vääntää 25% nopeammaksi niitä vastaan, aika hauskaa seurata mitä tekee, ei tuommoista säätöä jaksaisi käsin ikinä. 28 minuuttia ja tuli valmista. Pitänee jatkaa 10% parannuksilla niin kauan kuin onnistuu niitä tekemään.

 

[finWeazel]

Teetin suorityskykytestit ja käskin vääntää 25% nopeammaksi niitä vastaan, aika hauskaa seurata mitä tekee, ei tuommoista säätöä jaksaisi käsin ikinä. 28 minuuttia ja tuli valmista. Pitänee jatkaa 10% parannuksilla niin kauan kuin onnistuu niitä tekemään.

Sellasen omissa huomannut, että AI ei lähde (yleensä) algoritmeja/arkkitehtuuria vaihtamaan. Joutuu ajamaan erillisen optimoi arkkitehtuuri/algoritmi kierroksen ja siihen päälle toteutuksen optimointikierroksen.

 

[heebo1974]

Claude code/Codex CLI läppärille/deskarille. Home Assistantiin API-avain (Long-lived access tokens) profile/security-sivulta. Annat claudelle/codexille API-avaimen ja käsket hommiin. Ei tarvitse mitään integraatioita HA:n puolelta. Joissain jutuissa täytyy luoda ssh-avain HA-serverille, jotta pääsee muokkaamaan suoraan konffifilejä, mutta valtaosa menee ihan API/websocket kautta. Agentit auttavat avaimien luonnissa ja viennissä HA-koneelle.

Codex 5.5 high edullisimmalla tilauksella vaikuttanut viime päivinä hoitavan homma paremmin kuin Claude, jota ei Opuksella edes voi realistisesti käyttää ilman 5x+-tilausta.

Siirryin tähän, koska tuo HA addon on niin vanha eikä vaikuta päivittyvän. Eli desktopilla Codex cli. Jonkun verrran joutui hih AI:ta käyttämään, että sai homman toimimaan, mutta kyllä tuo 5.5 high tekee parempaa jälkeä kuin 5.3-codex. Syö myös tokeneita enemmän (ehkä). HA addon olisi tietyllä tapaa helpompi ratkaisu ja voisi käyttää vaikka etänä, mutta kyllä tämä nyt ainakin toistaiseksi on järkevämpi.

 

[Karhu III]

Huomannut samanlaista omien tuontyylisten juttujen kanssa. Ei tunnu auttavan vaikka yrittää laittaa ohjeitakin vaan joutuu huomautteleen että tees nyt oikeesti tavalla X tai palaa tokeneita ja aikaa kun se veivaa ensin väärin.

Nyt kun päätin avata kokonaan uuden kontekstin niin AI tyhmeni.

Minä: Tässä olisi algoritmi X, joka on hidas. Voitko tutkia miten optimoida?

AI: Selvä juttu. Hetki... (10 minuuttia myöhemmin) Noniin, valmista.

Minä: Mutta... mutta... tämähän on hitaampi kuin edellinen?

AI: