Tekoäly omalla koneella

[takomo]

Minulla on jouten Dell OptiPlex 3050 Micro. Olen suunnittelut paikallista tekoälyä siten että se hakisi minun pdf muodossa olevista ohjekirjoista tietoa.

Tuo on aika vaatimaton kone joten riittääkö teho?

Tuskin mihinkään järkevään, mutta mm. llama.cpp toimii pelkällä muistillakin, joten kokeilu ei maksa mitään. Kokeile vaikka jollain 3B-8B-mallilla. Esim. Ryzen 7 5800X (8-core) tuottaa 7-10 token/s, mikä on hidas mutta tyhjää parempi. Ei kannata liikoja odottaa.

Kun otetaan GPU (RX9070) Ryzenin avuksi, niin 3B-malli tuottaa 100 token/s. Syötteen parsimisessa on vielä suurempi ero: CPU:lla n. 40 token/s, GPU:lla n. 4000 token/s (tuo tosin laski ->500 token/s isolla syötteellä).

Tuo käyttö "...että se hakisi minun pdf muodossa olevista ohjekirjoista tietoa." on sellainen, mistä moni olisi varmasti kiinnostunut, mutta onko tähän jotain helppoa keinoa olemassa? Se toimii, että syötteenä on yksittäinen (pienehkö) pdf ja malli prosessoi sitä mutta se, että olisi dokumenttiarkisto, josta AI osaisi etsiä oikean dokumentin ja kaivaa sieltä etsityt tiedot menee käsittääkseni melko vaikeaksi.

AI-malli itsessään ei tunne mitään muuta kuin sen mitä sille on opetettu ja syötteenä kerrottu. Jotenkin mallille pitäisi opettaa dokumenttiarkisto ja sen sisältö.

Mallin opettamiseen on toki tekniikoita mutta olen siinä käsityksessä, että ne vaatii raudalta vielä enemmän kuin mallien käyttö. Raskainta on full finetuning, jolla muutetaan koko mallia, mutta on myös kevyempiä LORA/QLORA ja juuri dokumenttihakuihin tarkoitettu RAG, mutta näistä en itse ole ollenkaan perillä. Ilmeisesti tuo yllämainittu PrivateGPT on yksi ratkaisu RAG:n toteuttamiseen.

Mikä olisi järkevä valinta raudaksi tuollaiseen käyttöön? Vanha läppäri? Ilmeisesti gpu tehoa olisi hyvä olla?

Vanha pelikone, johon päivittäisi näytönohjaimen? Suhteellisen moderni GPU olisi tarpeen ja VRAMia pitäisi olla *vähintään* 8 GB mutta mieluummin 16 GB (tai enemmän). Jos GPU ja VRAM olisi kunnossa, niin vähän vanhempikin CPU voi riittää. Jos uutta näytönohjainta ostaa AI-käyttöön, niin pitäisin 16 GB miniminä.

Varmaankin mahdollisimman isomuistinen järeä APU, strix halo. Näissä hommissa nopeinkin kotikone on vielä oikeasti sairaan hidas. Miettii sitä, että jos se lähdemateriaali on 100000 tokenia ja sun kone laskee 10token/s tai vaikka 100token/s niin pelkästään materiaalin yhteen kertaan skannaaminen kestää saati sitten että malli järkeilisi, selaa dataa ees+taas ja tuottaisi hyvän lopputuloksen kysymykseen niin tokeneita palaa ja aikaa kestää.

Tuo on vähän pessimistinen arvio. Dokumentin lukeminen sisään on kuitenkin paljon nopeampaa kuin tekstin generointi. Vähänkään isompien tekstien kanssa tulee kyllä kontekstin koko rajoitteeksi vaikka olisi 16GB VRAMia.

Hitaus on käsittääkseni juuri RAG:n ongelma. Jos mallille kouluttaisi (LORA) dokumenttien sisällön, niin ainakin periaatteessa tiedonhaku omista dokumenteista olisi yhtä nopeaa kuin minkä tahansa muun asian kysyminen. Mielellään kuulisin itsekin, jos joku on AI-koulutusta ruvennut kotikoneilla tekemään.

 

[finWeazel]

Hitaus on käsittääkseni juuri RAG:n ongelma. Jos mallille kouluttaisi (LORA) dokumenttien sisällön, niin ainakin periaatteessa tiedonhaku omista dokumenteista olisi yhtä nopeaa kuin minkä tahansa muun asian kysyminen. Mielellään kuulisin itsekin, jos joku on AI-koulutusta ruvennut kotikoneilla tekemään.

Kun koulutat mallit uusiksi joka dokumentille niin tähän menevää aikaa ja vaivaa ei lasketa?

 

[latiou]

Minulla on jouten Dell OptiPlex 3050 Micro. Olen suunnittelut paikallista tekoälyä siten että se hakisi minun pdf muodossa olevista ohjekirjoista tietoa.

Tuo on aika vaatimaton kone joten riittääkö teho?

Tekoäly suositteli 1Tb ssd levyä siihen. Ollama ja Ubuntu suunnitelmissa mutta ei kokemusta näistä hommista aikaisemmin.

Jos laitteen sais toimiin niin mahdollisesti myös cloudflaren kautta käyttö netin yli...

Pdf:t pitäisi konvertoida RAGiin ja sitä kautta chunkeilla voisi saada hakuajat alas, mutta jos dataa on sanotaan vaikka muutama miljoona tokenia esimerkiksi -> mä oon ajellu omaa mallia RAGilla + 5080mobilella = mulla oli aineistona ~4.5mil materiaalia -> toimii verrattain hyvin mutta pitäisi optimoida lisää.

Sanotaan lyhyesti, kaipaisi lisää tehoa, ja paljon että saat käyttökokemuksen mukavaksi. Semaattinen haku ym käyttöön, tekee kyllä virheitä vielä jne ja chunkien luonti vain kevyellä overlapilla antaa vähän ristiriitaisia tilanteita välillä eikä aina kunnon vastausta. Semaattisella haulla jne siltikin koot paisuu esim top-5 chunkeilla heti 1000-5000 tokeniin -> jo tuon luku ja vastauksen kirjoitus jollain 10tok/s vauhilla on tuskaista.

Cloudflarea en käyttäisi turhaan, ite rakensin oman pipelinen tailscalen avulla, se toimii kyllä vallattoman hyvin luurin läpi, saa lähetettyä kuvia mallille jne ja vastausajatkin on hyvät.

Muutama miljoona tokenia aineistoa tuottaa tuhansia ellei kymmeniä tuhansia chunkeja, riipuen miten pilkot ne.

 

[takomo]

Kun koulutat mallit uusiksi joka dokumentille niin tähän menevää aikaa ja vaivaa ei lasketa?

En ollenkaan vähättele koulutukseen kuluvaa aikaa ja vaivaa. Jotta tulokset olisivat hyviä, materiaalin pitää olla hyvälaatuista mikä käsittääkseni edellyttää aika laajaa ihmisen tarkistusta vaikka syötteiden generoinnin saisikin automatisoitua. Vahva epäilys on, että mallin kouluttaminen omilla dokumenteilla menee vahvasti harrastamisen piikkiin. Yritysympäristössä, jossa koulutetulla mallilla on useita käyttäjiä, tilanne voi olla toinen.

Tästä huolimatta ajankäyttö on erilaista: koulutusaineiston tuottaminen ja kouluttaminen on kertasuoritus ja mitä suuremman osan tästä pystyy automatisoimaan, sitä vähemmän sillä on merkitystä. Käytössä malli toimii aina nopeasti. RAG sen sijaan on aina enemmän tai vähemmän hidasta - jos olen oikein ymmärtänyt. Se myös vaatii paljon raudalta mutta koulutettua mallia pystyy käyttämään koulutusrautaa kevyemmässäkin ympäristössä.

Tuon viimeisen voi lukea niinkin, että harvalla on kotikäytössä edistyneeseen kouluttamiseen riittävää rautaa...

 

[latiou]

En ollenkaan vähättele koulutukseen kuluvaa aikaa ja vaivaa. Jotta tulokset olisivat hyviä, materiaalin pitää olla hyvälaatuista mikä käsittääkseni edellyttää aika laajaa ihmisen tarkistusta vaikka syötteiden generoinnin saisikin automatisoitua. Vahva epäilys on, että mallin kouluttaminen omilla dokumenteilla menee vahvasti harrastamisen piikkiin. Yritysympäristössä, jossa koulutetulla mallilla on useita käyttäjiä, tilanne voi olla toinen.

Tästä huolimatta ajankäyttö on erilaista: koulutusaineiston tuottaminen ja kouluttaminen on kertasuoritus ja mitä suuremman osan tästä pystyy automatisoimaan, sitä vähemmän sillä on merkitystä. Käytössä malli toimii aina nopeasti. RAG sen sijaan on aina enemmän tai vähemmän hidasta - jos olen oikein ymmärtänyt. Se myös vaatii paljon raudalta mutta koulutettua mallia pystyy käyttämään koulutusrautaa kevyemmässäkin ympäristössä.

Tuon viimeisen voi lukea niinkin, että harvalla on kotikäytössä edistyneeseen kouluttamiseen riittävää rautaa...

LoRa:n voi tehdä ihan hyvin kotikoneella, sekä myös RAGeja, ei nuo mitään nasan koneita vaadi. Ajat on 30min-muutama tunti per veto kohtuu raudalla (oon tehny näitä läppärillä)

RAG ei ole hidas. Vaan kerran latautuneena super nopea, käytännössä viiveetön jos toteutettu oikein eikä aineisto ole kirjaston kokoinen. RAG toimii semaattisen haun kautta pirun fiksusti ja nopeastikkin. Enemmän aikaa kuluu vastauksen kirjoitukseen tekoälyltä kuin RAGin hakuun.

Kuratointi vie aikaa LoRaa tehdessä. Ellei käytä tosiaan nyt vaikka PDF manuaaleja mitkä konvertoitu sopivaksi. Jos taas käsin tai koneen avustamana joutuu parsimaan tavaraa yhteen, tokihan homma hidastuu älyttömästi mutta harva nyt on muuttamassa kirjahyllyllistä dataa näihin hommiin. Kaikki on toki suhteellista, mutta tosiaan kyllä kotikoneella näitä molempia voi tehdä ihan hyvin.

 

[HK_Blues]

Kysynpä tässä langassa: ajattelin kokeilla lokaalisti jotain kuvanluontitekoälyä, jolla luoda kuvitusta vetämääni D&D kampanjaa varten ja tähän varmaan paras olisi StableDiffusion 1.5 vai mitä raati on mieltä? Mulla olisi ylimääräsenä vanha HP:n pöytäkone jolla 4-ytimisellä Xeonilla, mutta siinä olisi 32GB DDR4… ja vanha Quadro M4000. Nopea tämä varmasti ei ole, mutta pienen resoluution kuvia (521x512) tällä varmasti pystyy luomaan.

Toinen vaihtoehto olisi 2700X ja GTX 1080, mutta tälle olisi vain 16GB RAMia ja emolevy puuttuu vielä. HP:n koneessa on joku epästandardi PSU ja siinä ei riitä liittimet Geforcelle, ja muistitkin on RDIMM joten niitä ei voi napata toiseen koneeseen.

Olisiko tässä nyt järkevintä kokeilla ensi alkuun HP:n koneella riittääkö siinä hönkä, kun se ei maksaisi mitään. Linux-asennuksella varmaan kannattaa lähteä liikenteeseen, tyyliin Ubuntu 22.04?

 

[latiou]

Kysynpä tässä langassa: ajattelin kokeilla lokaalisti jotain kuvanluontitekoälyä, jolla luoda kuvitusta vetämääni D&D kampanjaa varten ja tähän varmaan paras olisi StableDiffusion 1.5 vai mitä raati on mieltä? Mulla olisi ylimääräsenä vanha HP:n pöytäkone jolla 4-ytimisellä Xeonilla, mutta siinä olisi 32GB DDR4… ja vanha Quadro M4000. Nopea tämä varmasti ei ole, mutta pienen resoluution kuvia (521x512) tällä varmasti pystyy luomaan.

Toinen vaihtoehto olisi 2700X ja GTX 1080, mutta tälle olisi vain 16GB RAMia ja emolevy puuttuu vielä. HP:n koneessa on joku epästandardi PSU ja siinä ei riitä liittimet Geforcelle, ja muistitkin on RDIMM joten niitä ei voi napata toiseen koneeseen.

Olisiko tässä nyt järkevintä kokeilla ensi alkuun HP:n koneella riittääkö siinä hönkä, kun se ei maksaisi mitään. Linux-asennuksella varmaan kannattaa lähteä liikenteeseen, tyyliin Ubuntu 22.04?

GTX 1080:lla ja jopa vanhalla Quadrolla saa kyllä Stable Diffusion 1.5 pyörimään, varsinkin 512×512-kuvilla, mutta kokemus on aika hidas ja rajoittunut.

Jos tarkoitus on oikeasti innostua ja käyttää tätä luovasti (D&D-kuvat jne.), niin RTX-kortti (vaikka käytetty 3060 12GB) tekee valtavan eron: nopeus, vakaus ja uusien työkalujen tuki.

Vanhalla raudalla voi kokeilla ilmaiseksi, mutta jos maku menee heti alkuun, syy ei ole AI:ssa vaan raudassa.

 

[HK_Blues]

Vanhalla raudalla voi kokeilla ilmaiseksi, mutta jos maku menee heti alkuun, syy ei ole AI:ssa vaan raudassa.

Pidetään tää mielessä. Pitää kokeilla vanhalla ensin ja makustella innostuuko aiheesta. Ois tossa tehokkaampia Radeonejakin nurkissa pyörimässä, mutta ilmeisesti vaatii sen verran tunkkaamista, ettei taida jaksaa kokeilla. Käytännössä nollakokemus itsellä näistä jutuista kuitenkin.

Onko tuossa vanhassa raudassa siis muuta rajoitusta kuin vain hitaus? VRAMia ilmeisesti pitäisi olla enempi, jos isompaa kuvaa haluaa luoda.

 

[latiou]

Pidetään tää mielessä. Pitää kokeilla vanhalla ensin ja makustella innostuuko aiheesta. Ois tossa tehokkaampia Radeonejakin nurkissa pyörimässä, mutta ilmeisesti vaatii sen verran tunkkaamista, ettei taida jaksaa kokeilla. Käytännössä nollakokemus itsellä näistä jutuista kuitenkin.

Onko tuossa vanhassa raudassa siis muuta rajoitusta kuin vain hitaus? VRAMia ilmeisesti pitäisi olla enempi, jos isompaa kuvaa haluaa luoda.

VRAM rajaa malleja mitä voit ajaa aika raskaasti, toinen on nopeus ja yhteensopivuus: et saa esim pytorchia toimimaan optimaalisesti jne koska nää ei virallisesti ole tuettuja, kikkailua siis luvassa.

Eli perus SD 1.5 512×512 kyllä onnistuu, mutta jos innostus iskee kunnolla, RTX helpottaa elämää todella paljon.

Edit: imho motivaatio menee äkkiä jos kuvan generointi vie esim useita minuutteja ja tosiaan kun näitä saa ajaa yleensä aika monta ennenkuin tulee siedettävää kuvaa = hermo palaa kun päivä menee yhteen ok tuotokseen tolla resolla.

 

[HK_Blues]

VRAM rajaa malleja mitä voit ajaa aika raskaasti, toinen on nopeus ja yhteensopivuus: et saa esim pytorchia toimimaan optimaalisesti jne koska nää ei virallisesti ole tuettuja, kikkailua siis luvassa.

Eli perus SD 1.5 512×512 kyllä onnistuu, mutta jos innostus iskee kunnolla, RTX helpottaa elämää todella paljon.

Edit: imho motivaatio menee äkkiä jos kuvan generointi vie esim useita minuutteja ja tosiaan kun näitä saa ajaa yleensä aika monta ennenkuin tulee siedettävää kuvaa = hermo palaa kun päivä menee yhteen ok tuotokseen tolla resolla.

Ai M4000:lla voi mennä useita minuutteja pienenkin kuvan tekemiseen? Noh, tää pistää pohtiin. Nyt tavallaan harmittaa, että ollut pelaamisen suhteen punaisessa leirissä pitkään, joten tehokkaammat ylimääräiset kortit on tässä touhussa aivan turhia.

Toisaalta ei viitsisi hirveästi rahaa laittaa kiinni, kun ei se visualisointi ole kuitenkaan niin tärkeässä osassa sitä D&D-seikkailua; lisämausteena lähinnä olisi tarkoitus olla. Toisaalta taas harrastamisen ja opettelun takia tekisi mieli kokeilla juurikin lokaalia, muutenhan laittaisin vaan ChatGPT:n tekeen kuvatukset.

 

[latiou]

Pidetään tää mielessä. Pitää kokeilla vanhalla ensin ja makustella innostuuko aiheesta. Ois tossa tehokkaampia Radeonejakin nurkissa pyörimässä, mutta ilmeisesti vaatii sen verran tunkkaamista, ettei taida jaksaa kokeilla. Käytännössä nollakokemus itsellä näistä jutuista kuitenkin.

Onko tuossa vanhassa raudassa siis muuta rajoitusta kuin vain hitaus? VRAMia ilmeisesti pitäisi olla enempi, jos isompaa kuvaa haluaa luoda.

5080mobilella ajettu 512x512 kuva ja käytössä Turbo model 25 stepillä, kuvanlaatu tosin tällä on melkosen hyvää jo ekalla vedolla ei tarvi useita ajaa, pikkumalleja saatkin sit hinkata toistoa toiston perään että homma rokkaa ja laatu on silmää miellyttävää. Kuva liittyy, oli ajon kohde ja eka vedos, prompti varsin simppeli kuten voi veikata, en tähän nyt hirveästi panostanut.

 

[latiou]

Ai M4000:lla voi mennä useita minuutteja pienenkin kuvan tekemiseen? Noh, tää pistää pohtiin. Nyt tavallaan harmittaa, että ollut pelaamisen suhteen punaisessa leirissä pitkään, joten tehokkaammat ylimääräiset kortit on tässä touhussa aivan turhia.

Toisaalta ei viitsisi hirveästi rahaa laittaa kiinni, kun ei se visualisointi ole kuitenkaan niin tärkeässä osassa sitä D&D-seikkailua. Lisämausteena lähinnä olisi tarkoitus olla. Toisaalta taas harrastamisen ja opettelun takia tekisi mieli kokeilla juurikin lokaalia, muutenhan laittaisinvaam ChatGPT:n tekeen kuvatukset.

Rehdisti, en tiedä tarkkaan M4000 suorituskyvystä tarpeeksi mutta tässä nopsalla tutkiskelulla sillä voi olettaa ajaksi noin 1-3min per kuva minimissään. Ja kun VRAM on rajattu, joudut käyttämään aika heikkoja malleja -> toistoa vaaditaan, ja paljon että tulee edes jotenkin siedettävää kuvaa ulos.

 

[HK_Blues]

Eli joku RTX 3060 12GB olisi minimi? Melkeinpä ainoa vaihtoehtokin, kun hinnat alkaa pomppaan sen jälkeen; RTX 3080 Ti on edelleen melko arvokas, samoin RTX 4070.

Harmi, kun Suomen markkinassa ei liiku käytännössä yhtään vanhoja työasemakortteja. Vanhat Quadrot tai Teslat isolla VRAMilla olisi varmaan omiaan tähän. Jokunen aika sitten niitä olisi saanut halvalla ostettua maailmalta, mutta veikkaan niidenkin hintojen nousseen.

 

[latiou]

Eli joku RTX 3060 12GB olisi minimi? Melkeinpä ainoa vaihtoehtokin, kun hinnat alkaa pomppaan sen jälkeen; RTX 3080 Ti on edelleen melko arvokas, samoin RTX 4070.

Harmi, kun Suomen markkinassa ei liiku käytännössä yhtään vanhoja työasemakortteja. Vanhat Quadrot tai Teslat isolla VRAMilla olisi varmaan omiaan tähän. Jokunen aika sitten niitä olisi saanut halvalla ostettua maailmalta, mutta veikkaan niidenkin hintojen nousseen.

Mä voin huomenna ajaa kokeeksi 3060:lla pari kuvaa testiksi. Katotaan mitä laatua ja millaista aikaa sillä saa aikaan.

Ite himoitsen noita uusia kortteja, onpahan vaan tyyriitä ku mitkä....Täytyy nyt harkita josko hommais ihan alan kortin seuraavaksi.