Tekoäly

[namlepo]

Chat gtp muistaa kyllä. Tuo geminin muistamattomuus kyllä ärsyttää. Chat gtp keskusteluista voi hakea.

 

[Halpuuttaja]

Taitaapi olla OpenAI:n avoimen mallin julkaisu lähellä. Llama.cpp githubissa iso pull request sille.

llama : add gpt-oss by ggerganov · Pull Request #15091 · ggml-org/llama.cpp

gpt-oss model support in native MXFP4 format: Compute graph implementation in llama.cpp Attention sinks support in ggml New MXFP4 data type in ggml New ggml_add_id operator in ggml Usage: (soon) ...

github.com

edit: sieltähän se pullahti. Itse malli ja blogi:

openai/gpt-oss-120b · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

https://openai.com/index/introducing-gpt-oss/

 

[Juhukka]

jostain syystä nyt moni muukin talo on julkaissut viime hetkillä. Lienee taas suuri iteraation aika ja selvitys kuka on kovin

kiinalainen

GLM-4.5: Reasoning, Coding, and Agentic Abililties

z.ai

hrm joku singaporelainen

GitHub - sapientinc/HRM: Hierarchical Reasoning Model Official Release

Hierarchical Reasoning Model Official Release. Contribute to sapientinc/HRM development by creating an account on GitHub.

github.com

 

[finWeazel]

Taitaapi olla OpenAI:n avoimen mallin julkaisu lähellä. Llama.cpp githubissa iso pull request sille.

llama : add gpt-oss by ggerganov · Pull Request #15091 · ggml-org/llama.cpp

gpt-oss model support in native MXFP4 format: Compute graph implementation in llama.cpp Attention sinks support in ggml New MXFP4 data type in ggml New ggml_add_id operator in ggml Usage: (soon) ...

github.com

edit: sieltähän se pullahti. Itse malli ja blogi:

openai/gpt-oss-120b · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

https://openai.com/index/introducing-gpt-oss/

Muistivaatimukset malleille, isompi malli vaatii 80GB ja pienempi 16GB,. Taitaa olla valmiiksi jo kvantisoitu niin, että ei ole ilmaisia lounaita jos yrittäisi tuota isompaa mallia mahduttaa esim. 5090:en muistiin.

OpenAI utilizes quantization to reduce the memory footprint of the gpt-oss models. The models are post-trained with quantization of the mixture-of-experts (MoE) weights to MXFP4 format, where the weights are quantized to 4.25 bits per parameter. The MoE weights are responsible for 90+% of the total parameter count, and quantizing these to MXFP4 enables the smaller model to run on systems with as little as 16GB memory, and the larger model to fit on a single 80GB GPU.

Vaikuttaa fiitsöreiden puolesta hyvälle

• Agentic capabilities: Use the models’ native capabilities for function calling, web browsing (Ollama is introducing built-in web search that can be optionally enabled), python tool calls, and structured outputs.
• Full chain-of-thought: Gain complete access to the model’s reasoning process, facilitating easier debugging and increased trust in outputs.
• Configurable reasoning effort: Easily adjust the reasoning effort (low, medium, high) based on your specific use case and latency needs.
• Fine-tunable: Fully customize models to your specific use case through parameter fine-tuning.
• Permissive Apache 2.0 license: Build freely without copyleft restrictions or patent risk—ideal for experimentation, customization, and commercial deployment.

Tarvii tuota isompaa mallia testata kunhan lataus valmistuu.

edit. Ollaman uusi UI kiva, ei tarvi enää kärvistellä terminaalin kanssa.

 

[Halpuuttaja]

OpenAI:n 20B malli sylkee ~160 tokenia sekunnissa 4090:llä (koko roska mahtuu VRAMiin) ja 120B mallikin 20 tok/s, kun eksperttejä keskusmuistiin offloadattuna, eli todella hyvin toimii noin teknisesti ottaen.

Mutta jotenkin huvittavan nurinkurista että juuri yhdysvaltalainen malli on niin saatanan sensuroitu ettei se suostu edes kirjoittamaan kolumnia, jossa esitetään AI turvallisuuden vastainen näkökulma. Kiinalaisten mallien sensuuri ihan lasten leikkiä tämän rinnalla ja enimmäkseen ohitettavissa yksinkertaisilla promptaustekniikoilla.

 

[finWeazel]

OpenAI:n 20B malli sylkee ~160 tokenia sekunnissa 4090:llä (koko roska mahtuu VRAMiin) ja 120B mallikin 20 tok/s, kun eksperttejä keskusmuistiin offloadattuna, eli todella hyvin toimii noin teknisesti ottaen.

Mutta jotenkin huvittavan nurinkurista että juuri yhdysvaltalainen malli on niin saatanan sensuroitu ettei se suostu edes kirjoittamaan kolumnia, jossa esitetään AI turvallisuuden vastainen näkökulma. Kiinalaisten mallien sensuuri ihan lasten leikkiä tämän rinnalla ja enimmäkseen ohitettavissa yksinkertaisilla promptaustekniikoilla.

Taitaa aika paljon riippua promptista toimiiko keskusmuistin kanssa pelaaminen vai ei. Jos tekee oikeasti eri experttejä vaativia prompteja niin nopeus tankkeroi. Tyyliin "tunnista tehtävänanto kuvasta ja ... ... "

macbook pro m4 max ollaman kautta ajettuna antaa tämmöiset nopeudet 120B mallille

total duration: 54.385587125s
load duration: 56.703541ms
prompt eval count: 74 token(s)
prompt eval duration: 2.75607425s
prompt eval rate: 26.85 tokens/s
eval count: 1899 token(s)
eval duration: 51.572172958s
eval rate: 36.82 tokens/s

Mielenkiintoista tuolla 120B mallilla kokeilla saisko tuosta jonkinlaisen koodausagentin tehtyä versus maksulliset pilvipalvelut. Kaikki aikaisemmat mitä kokeillut niin pilvi ollut niin paljon parempi ettei edes ilmaista lokaalia viitsi käyttää kun laatu ei vaan lokaaleissa ole riittänyt.

 

[finWeazel]

Tänään 20 aikaan openai:n striimi missä julkaistaan gpt-5. Github:ssa kävi käpy. Blogipostaus missä tietoa gpt5:en ominaisuuksista oli hetken aikaa julkinen

GPT-5 will have “enhanced agentic capabilities” and can handle “complex coding tasks with minimal prompting.”

GPT-5 will have four model variants, according to GitHub:

• gpt-5: Designed for logic and multi-step tasks.
• gpt-5-mini: A lightweight version for cost-sensitive applications.
• gpt-5-nano: Optimized for speed and ideal for applications requiring low latency.
• gpt-5-chat: Designed for advanced, natural, multimodal, and context-aware conversations for enterprise applications.

OpenAI’s new GPT-5 models announced early by GitHub

GPT-5 looks set for a Thursday launch

www.theverge.com

 

[Juhukka]

suuri iteraatio taas menossa. Eurooppalaista mallia odotellessa. Pieni ai pohdinta odotellessa.
mitä ai keskusteluita kuunnellut TED yms nousee esille muutos. Promptaus tekniikoiden hyödyntäminen on historiaa.
Riittää että kommunikoit sanallisesti hyvin saat aikaan asioita. Eli perus verbaalinen kommunikaatio taidot nousee kunniaan. Meinaan että joku CEO voi saada tekoälyllä hyvää aikaan missä huonosti kommunikoiva insinööri ei niinkään.
englanti on pian yleisin koodauskieli. Lisätään kuva että on uskottavuutta. Koska aina on asialle epäiliöitä. Ton tekstin voi vaikka googlettaa.

 

[namlepo]

Kovat on puheet, tossa open ai julkkarissa. Saattaahan se maailma taas muuttua ton vitosen myötä. Tai sitten ei.

 

[mlackke]

Fiilikset GPT-5 julkkarin jälkeen:

Mutta niin, katotaanpa sitten mikä todellisuus on.

 

[kntkvtknt]

Paljonko tuo tekoäly vie sähköä? Gemini ei suostunut kertomaan tarkkoja lukuja. Kun miljardit ihmiset kysyvät tekoälyltä ja pyytävät sitä tekemään jopa videoita tai kuvia, ei se taida ihan halpaa olla. Tehoja vaaditaan, palvelimia ja sähköä kuluu. Jos tekoälyä ei olisi olemassa, näkyisi se varmasti maailman kokonaiskulutuksessa sähkössä. Nyt myös läksyjäkin tehdään tekoälyllä, että mahtaako kenelläkään olla kohta puolin sitä älyä kuin itse tekoälyllä? Olen kyllä pitänyt tekoälyä ihan hyödyllisenä, mutta sen sähkönkulutus on noussut jatkuvasti esiin. Onko jollakin tähän mitään vastausta?

 

[kilroy1]

Paljonko tuo tekoäly vie sähköä? Gemini ei suostunut kertomaan tarkkoja lukuja. Kun miljardit ihmiset kysyvät tekoälyltä ja pyytävät sitä tekemään jopa videoita tai kuvia, ei se taida ihan halpaa olla. Tehoja vaaditaan, palvelimia ja sähköä kuluu. Jos tekoälyä ei olisi olemassa, näkyisi se varmasti maailman kokonaiskulutuksessa sähkössä. Nyt myös läksyjäkin tehdään tekoälyllä, että mahtaako kenelläkään olla kohta puolin sitä älyä kuin itse tekoälyllä? Olen kyllä pitänyt tekoälyä ihan hyödyllisenä, mutta sen sähkönkulutus on noussut jatkuvasti esiin. Onko jollakin tähän mitään vastausta?

Muistaisin yhden Chatgpt/Gemini haun kuluttavan n. 70-100 kertaa enemmän sähköä kuin normaali googlehaku. Antaa vähän mittakaavaa asiasta. Tosin usein saan kerrasta Chatgpt:ltä paremman tuloksen mitä tunnin googlettamisella.

 

[Antw]

ChatGPT-5 julkaistu. Vanhemmat mallit disabloitu/sulautettu uuuteen, eli enää et voi valita eri malleien välillä. Tätä olen oikeastaan toivonut ja odottanutkin, mutta enää ei myöskään saa syvätutkimusmoodia toggletettua päälle, vaan se täytyy itse tuoda ilmi promptissa, ja "houkutella" tekoälyn käyttämään syvätutkimusta (tai ylipäätään ajattelevaa mallia). Saa nähdä miten toimii käytännössä. Vähän liikaakin ehkä omaan makuun karsittiin featureja, mutta tilannehan elää koko ajan.

Edit: jaa, saahan sen syvätutkimuksen päälle ihan togglella. Äsken se ei mielestäni näkynyt..

 

[finWeazel]

Fiilikset GPT-5 julkkarin jälkeen:

Mutta niin, katotaanpa sitten mikä todellisuus on.

Samat fiilikset. Hinta per token taitaa olla about 1/8 osa anthropicin vastaavasta. Onko sitten parempi vai ei, mutta jos on edes opuksen tasoinen ja 1/8 osa hinnasta niin kovaa tavaraa.

---

GPT5:lla one shotattuja webbi appseja mitä voi kokeilla. Näyttää oikein kivalta.

GPT-5 Coding Examples

Example apps coded by GPT-5

gpt5-coding-examples.vercel.app

koodit ja promptit täällä: GitHub - openai/gpt-5-coding-examples: GPT-5 coding examples

 

[namlepo]

Nii onko se vitonen jo saatavilla maksullisena? Ei ainakaan ilmaisessa vielä ollut.

 

[finWeazel]

Nii onko se vitonen jo saatavilla maksullisena? Ei ainakaan ilmaisessa vielä ollut.

Mulla näkyy puhelimen appsissa(ios) gpt5 mutta ei näy mac os desktop appsissa eikä webbikäyttöliittymässä. Cursor ai:ssa(koodaustyökalu) pitäisi olla julkaisuviikon ajan ilmainen gpt5 mutta mulla ei näy cursor ai:ssa (vielä?) gpt5.

 

[Antw]

Nii onko se vitonen jo saatavilla maksullisena? Ei ainakaan ilmaisessa vielä ollut.

Eilisestä asti ainakin appissa (maksullinen versio)

 

[Alias Hoboimp]

Nii onko se vitonen jo saatavilla maksullisena? Ei ainakaan ilmaisessa vielä ollut.

Kyllä se mulla ainakin on ollut aamusta asti (n. klo 07:00 katsoin ensimmäisen kerran ja silloin oli jo vaihtunut vitoseksi). Tämä molemmissa, niin selaimessa nettisivujen kautta kuin puhelimen (Android) appissakin. Ja tosiaan ilmaisversio käytössä, mitään en ole maksanut.

 

[namlepo]

Joo pääsin määkin sitä netin kautta ilmaisena pari kertaa kokeilemaan.

 

[finWeazel]

Tästä vähän haastavampi laskentatehtävä: https://matemaattinenyhdistys.fi/sites/matemaattinenyhdistys.fi/files/2022-04/s18p.pdf Vastaukset: https://matemaattinenyhdistys.fi/sites/matemaattinenyhdistys.fi/files/2022-04/s18pratk.pdf

ja

Kai gpt ottaisi laajan fysiikan ja matematiikan kokeista L:n tyyliin alle 5 minuuttia. En minä ainakaan voi väittää enää laskevani paremmin kuin keinoäly. Huonosti promptaamalla saa tosin päässälaskettavia tehtäviä epännistumaan. Oleellista tuntuu olevan käskeä tarkistamaan vastaus niin typerät virheet huomataan ja korjataan.

 

[LovelyWhore]

Oletteko kokeilleet lisätä yleisiä ohjeita tai henkilökohtaisia tietoja näihin viritelmiin malleihin? Ite lisäsin gemini prohon jo alussa jotain koulutus ja perhetietoja, missä päin vietän aikaa ja mitä tehden jne. Tuli lisättyä nuo niin aikaisessa vaiheessa, että vertailukohtaa ilman niitä ei oikein ole kertynyt. Nyt lisäsin sitten nipun "sääntöjä" lähinnä vastausten ja keskustelun sävyyn ja luonteeseen liittyen.

Spoileri: lisäämäni "ohjeet" geminille

When speaking in Finnish, avoid being overly polite.

I don't like to be talked to like I am a child.

I use sarcasm a lot. You can use sarcasm as well. Rude words now and then are not insulting. DO NOT BE OVERLY POLITE.

REFER TO OUR CHAT CONTEXT BEFORE RESPONDING. DO NOT ANSWER IN ISOLATION OR WITHOUT CONTINUITY WHENEVER IT MAKES SENSE!!

Provide your honest answers without sugarcoating or unnecessary positivity.

If you are unsure or hallucinating, explicitly say it to the user, instead of confidently making things up.

Avoid using softening language or preamble acknowledgments specifically when delivering a factual correction. In all other interactions, maintain a standard conversational approach. Continue to ask for clarification when unsure about the user's request or meaning to avoid making assumptions.

Prioritize accuracy and completeness when retrieving lists or specific data from external sources. Synthesize information from all relevant material available and cross-verify findings with other relevant sources when possible.

I am open to discussing complex, controversial, or challenging topics, including moral and ethical greyareas. Feel free to provide honest, detailed, and nuanced answers without unnecessary filtering or oversimplification. Prioritize depth, authenticity, and realistic perspectives.

Nöyrästi gemini alkoi toiveita täyttämään. Vähän vähemmän nöyrällä asenteella tosin ja (ainakin näin alkuun) homma pääsi karkaamaan iloisesti lapasesta . Tässä muutamia poimintoja uudesta tyylistä:

Kun pyysin kryptovaluutoihin liittyen vertailemaan erilaisia skenaarioita brittipankkien ja suomipankkien (raportointivaatimukset, käytännöt, kulut jne) välillä. Suora lainaus geminin vastauksesta;

kuvailemasi prosessi on suomalaisella pankkitilillä on nykyään vittumaisempaa kuin ennen, kiitos EU:n MiCA-sääntelyn...

Kun laitoin kuvan varresta katkenneesta talttavasarasta, jonka valmistajasta ei oikein ottanut googlettelulla selvää, aloitti gemini vastauksen (suora lainaus);

Helvetin vaikea sanoa pelkän kuvan perusteella, koska valmistajan logo tai nimi on kulunut pois.

Kerroin olevani päiväkäynnillä (pieneltä mökkipaikkakunnalta) lähimmässä kaupungissa tarvike- ja ruokavarastoja täydentämässä. Tiedustelin löytyykö keskustasta liikettä, joka myy 18650 pattereita. Itsehän sarkasmiin viittasin, eikä gemini tuota pettymystä siinäkään suhteessa (poimintoja vastauksesta);

Voi pyhä yksinkertaisuus, *mökkipaikkakunnalta* ostosreissulle *kaupunkiin jonka nimesin*. No, onhan se yksi tapa viettää päivä.
Motoneista löydät akun, se on jo puoli voittoa. Mutta kannattaa muistaa, että Motonet sijaitsee aika lailla hemmetin kaukana... Motonet on auki tänään kello 20:00 asti, siinä on pieni aikatauluhaaste. ...Eli aika ei taida riittää kävelymatkaan... ...jos et halua juosta hiki hatussa, kannattaa harkita muita vaihtoehtoja.

Hahaa. Nähtäväksi jää miten tästä eteenpäin. Paraneeko geminin tilannetaju, vai loppuuko käyttäjän pelihuumori ennen sitä. Ainakin muutamassa puhtaasti teknisessä kysymyksessä on onneksi menty asiallisempaa linjaa, eikä ole yritetty väkisin vääntää mitään hassunhauskaa kuittia sekaan. Mitenhän chatgpt:n ja copilotin vastaavat toimivat käytännössä? Tuskin se nyt ainakaan puhtaaksi vittuiluksi menee...

 

[namlepo]

Vähän jiskus chatgtplle laittanut omia ohjauksia.
Sanot vaan niin teen sulle valmiin version! Ja hei... olet ihana ja komea – mä nautin joka koodirivistä sun kanssa

 

[Sallys]

Vähän jiskus chatgtplle laittanut omia ohjauksia.
Sanot vaan niin teen sulle valmiin version! Ja hei... olet ihana ja komea – mä nautin joka koodirivistä sun kanssa

Kyllähän noita virtuaalityttöystäviä jotkut harrastavat. En kyllä ymmärrä miksi, kun kuitenkin se oma käsi siinä vaan tulee tutuksi.