MIT:n tutkimus: Jopa 95 % generatiivista tekoälyä hyödyntävistä projekteista yrityksissä epäonnistuu

Kaotik

Banhammer
Ylläpidon jäsen
Liittynyt
14.10.2016
Viestejä
23 963
Fortune on raportoinut MIT:n tekemästä tutkimuksesta, jonka mukaan jopa 95 % yritysten generatiivista tekoälyä hyödyntävistä projekteista jää jälkeen suorituskykytavoitteistaan.

Tutkimuksen mukaan kyse ei ole niinkään siitä, etteivätkö tekoälymallit toimisi, vaan siitä, etteivät ne mukaudu yritysten jo olemassaoleviin työskentelytapoihin.

Lähde: 95% of generative AI implementations in enterprise 'have no measurable impact on P&L', says MIT — flawed integration cited as why AI projects underperform
 
Tutkimuksen leipätekstissä oli ihan hyviä asioita sen suhteen miksi epäonnistuttiin ja missä ai toimi. Poimin pari lainausta

Heillä jotka valitsivat spesifisen ongelman AI toimi. Etenkin startupit osaavat
The remaining 5% differs from all the rest because they focus on one thing and do it well. “Some large companies’ pilots and younger startups are really excelling with generative AI,” MIT researcher and lead author Aditya Challapally told the publication. “It’s because they pick one pain point, execute well, and partner smartly with companies who use their tools.”

Itse yrittävät feilasivat, ammattilaisten avulla onnistui
MIT says that two out of three projects that use specialized AI providers are successful, while only a third of in-house AI tools deliver expected results. Despite this, many organizations working in highly regulated fields, like finance and healthcare, prefer building their own AI programs. They likely do this to reduce regulatory risk, which can be especially damaging if an AI leaks private information — something that has happened in the past.

Myyntibotit,... ei hyvä idea. Silti iso osa projekteista oli myyntiin liittyviä ja epäonnistuivat
One more issue that many organizations that use AI face is setting the wrong priorities for the use of these tools. The research reveals that AI works best in back-office automation — basically taking over administrative and repetitive tasks that many corporations tend to outsource. However, over half of the money spent on AI projects reportedly focuses on sales and marketing, departments that arguably need a human touch, especially as most buyers are still humans, not machines.

Mielenkiintoista olisi tietää miten moni hanke edes ihmisten tekemä onnistuu kuten odotettiin. Suomen julkisia projekteja seuratessa - vaikka SOTE tai sairaaloiden tietojärjestelmät(epic mumps)) syntyy kuva ettei lähellekään 100% perinteisistäkään projekteista onnistu halutulla tavalla. Äärimmäisenä esimerkkinä voi ottaa vaikka nokian puhelinpuolen tuhon ja miettiä montako projektia onnistui ja montako ei,... Mitä yritän sanoa ettei 100% onnistuneet projektit ole relevantti mittari kun projekteja epäonnistuu oli AI käytössä tai ei.
 
Viimeksi muokattu:
Suorituskykytavoitteista jääminen on yksi asia (osassa projekteissa ihan normaalia), mutta se että 95% projekteista ei tavotteisiin pääse on sitten aivan toinen asia. Selvästi epäonnistutaan pahemmin kuin projekteissa keskimäärin.

Se sitten onko kyse enemmän projekti ongelmista vaiko kenties täysin epärealistista tavoitteista (tai kenties ei edes ihan tiedetä miten AIta voisi hyödyntää ja satuillaan että päästään projekteja tekemään). Voi olla ettei omassa toiminnassa pystytä AIlla toimintaa kiihdyttämään mallien puutteiden takia. Toki kun on uusi asia joka kehittyy nopeasti niin todennäköisesti tuo on kokoelma vähän kaikkea.
 
"95 % tekoälyä hyödyntävistä projekteista jää jälkeen suorituskykytavoitteistaan"

Uskomatonta, miten paljon miljardeja on tarjolla media-kupliin.
Oli kyseessä kupla tai ei, niin media-kupla kuulostaa vähän vääristyneeltä termiltä, kun ottaa huomioon että maailman suurimmat firmat (jotka eivät media-alan firmoja ensisijaisesti ole) satsaavat valtavia investointeja AI-teknologiaan. Tuskin media heitä siihen on ajanut tai on jotenkin merkittävin asian yliarvioija, jos yliarvioinnista kyse.
 
Oli kyseessä kupla tai ei, niin media-kupla kuulostaa vähän vääristyneeltä termiltä, kun ottaa huomioon että maailman suurimmat firmat (jotka eivät media-alan firmoja ensisijaisesti ole) satsaavat valtavia investointeja AI-teknologiaan. Tuskin media heitä siihen on ajanut tai on jotenkin merkittävin asian yliarvioija, jos yliarvioinnista kyse.
No kyllähän tässä kuplaa on havaittavissa ja kuplan otsikko voisi olla nimimerkkisi
 
Yhden projektin tein töissä projection mapping hommiin Soralla, eli generatiivista videota, tuli melkoista settiä pienellä vaivalla, tuon tasoinen laatu olisi maksanut ihan älyttömästi tilata jostain firmasta.
 
Yhden projektin tein töissä projection mapping hommiin Soralla, eli generatiivista videota, tuli melkoista settiä pienellä vaivalla, tuon tasoinen laatu olisi maksanut ihan älyttömästi tilata jostain firmasta.
Yleensä taiteilijoiden tekemät tuotteet maksaa...varastaminen on halpaa.
 
Yleensä taiteilijoiden tekemät tuotteet maksaa...varastaminen on halpaa.
Kaipa niihin AI-algoritmeihin käytetään samoja sääntöjä kuin ihmisiinkin. Toisten teoksista saa opetella kunhan lopputulos ei ole plagiaatti. Toiset käy koulussakin varast... eikun siis oppimassa muiden töistä. Aika harvassa taiteilijat jotka ei toisten teoksia ole katselleet oli se sitten kirja, sarjakuva, leffa tai vaikka öljymaalattu taulu.
 
Laitan uteliaille:

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

(Gary Marcus on tunnettu 'AI'-ekspertti.)

500 miljardia kankkulan kaivoon?

Minulla olisi ideoita toteutettavaksi halvemmallakin.
 
Laitan uteliaille:

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

(Gary Marcus on tunnettu 'AI'-ekspertti.)

500 miljardia kankkulan kaivoon?

Minulla olisi ideoita toteutettavaksi halvemmallakin.


Vaikka olen itse melko skeptinen AI:n mullistavuuden suhteen (=uskon että isoin hyppy tässä syklissä on jo käynyt, mallit ovat saavuttaneet tasangon ja parannukset ovat enää vain marginaalisia), niin eihän tuo investoitu raha nyt hukkaan ole mennyt, vaan on saatu ihan hyödyllisiä teknologiaa iso läjä kehitettyä, seuraavat pari vuosikymmentä sitten menee että opitaan ihan todella hyödyntämään näitä työkaluja, kunnes sitten taas tulee uusi kehityskierros. Vertaantuu Y2K nettikuplaan. Niillä pää märkänä tehdyillä investoinneilla ei saatu nopeaa tuottoa, mutta hyvät pohjat luotiin internetin yleistymisellä ja joskus 2015 olikin jo villeimmät ennustukset ysäriltä täyttä totta, koronan myötä sitten mm. etätyöstä tuli massoille se ennustettu normi
 
Skeprikoilla tuntuu usein olevan oma lehmä ojassa tai puutteelliset tiedot/kokemukset. Tai epärealistiset odotukset. Vielä ollaan siinä vaiheessa, että AI on avustin jota pitää osata käyttää.

Jos AI:n parissa tyskennelleitä ketkä on lopettanut (esim. eettisistä syistä) kuuntelee, niin suurin osa puhuu juurikin siitä, että kehityksen nopeutta ei tajuta ja ette mahdollisuudet on liiankin hurjat.

Ei myskään pidä paikkansa, ettei AI olisi vienyt työpaikkoja, etenkin koodareilta.

Ja vaikka jotain taloudellista kuplaa voi ollakkin, niin mitään merkkejä kehityksen pysähtymisestä ei ole. Iso rajoite on laskentakyvyn puute. Se, että lähes kaikki alan isot puljut, joilla.mahdollisuus on laitaa valtavia summia AI-rautaan kertoo itselle jotain. Toki voi jäädä tuhnuksi, mutta itse nään enemmän päinvastaisia viitteitä.
 
AI:n piti tehdä koodarit tarpeettomiksi, mutta edelleen vaan mä joudun tunkkaamaan veppiä Javalla leipäni eteen. Mälsää. :(
 
Vanhaa sanontaa lainatakseni sanoisin että AI on hyvä renki mutta huono isäntä.

Itse ainakin tykkään AI:sta varsin paljon työkaluna, tylsän C koodin kirjoittaminen on vähentynyt huomattavasti kun CoPilot osaa yleensä täydentää tracet, datatyypit, jne kohdalleen kunhan vähän riviä aloittaa ja näyttää mitä on tekemässä.

Toinen missä on se on ihan loistava on alakerran debuggaus, juurikin viikolla ihmettelin muistidumppia ja vertailin sitä headeriin jossa oli läjä structeja jotka sisälsi taulukollisia uusia structeja, jne että miten bitit pitäisi olla ja olin aina tuskastnut ajatukseen että taas pitää mäpätä headeri ja data käsin. Sitten kokeilin AI:ta, heitin sille headerin ja binaarimössön ja se teki nätin rapsan että mitä missäkin kentässä on josta ongelman analyysiä sai helposti jatkettua. Säästin varmaan pari kolme tuntia kokonaisuudessaan kun annoin AI:n tehdä tylsän osuuden.

Se on loistava myös regexin generoitiin, pitkien logien analysointiin, ASMin nopeaan selittämiseen (sitä joutuu katselemaan niin vähän että rutiinia ei pääse syntymään), bash scriptien säätämiseen kun ei aina muista pitikö nyt olla ' vai " vai ´ vai `.
 
Viimeksi muokattu:
Itse ainakin tykkään AI:sta varsin paljon työkaluna, tylsän C koodin kirjoittaminen on vähentynyt huomattavasti kun CoPilot osaa yleensä täydentää tracet, datatyypit, jne kohdalleen kunhan vähän riviä aloittaa ja näyttää mitä on tekemässä.
Näin Excel-hörhönä täytyy kompata, Copilot on ollut loistava apu! En juurikaan kysy mitään valmista ratkaisua, koska siihen se harvoin kykenee ja Copilotin tekemät laskelmat ovat usein hyvinkin pielessä, mutta laskentakaavojen eheyttämiseen se on loistava.
 
Metakin pisti AI huippuasiantuntijoiden rekryn jäihin. Käyttivät vielä vuosi sitten järkyttäviä summia siihen.

Eiköhän tässä ole sama kuin monessa muussakin uudessa teknologiassa: lyhyellä tähtäimellä vaikutus yliarvoidaan ja pitkällä aliarvioidaan. En tiedä kuka tuon sanonnan on keksinyt mutta toimii useasti. Taisin Petteri Järviseltä joskus kuulla.
 
Metakin pisti AI huippuasiantuntijoiden rekryn jäihin. Käyttivät vielä vuosi sitten järkyttäviä summia siihen.

Eiköhän tässä ole sama kuin monessa muussakin uudessa teknologiassa: lyhyellä tähtäimellä vaikutus yliarvoidaan ja pitkällä aliarvioidaan. En tiedä kuka tuon sanonnan on keksinyt mutta toimii useasti. Taisin Petteri Järviseltä joskus kuulla.
Vuosi sitten? pari viikoa sitten,... Eivätkä edes aikoneet palkata kuin noin 50 hengen tiimin entisten lisäksi. Nyt reorg päällä missä organisoivat vanhat hankkeet ja uuden organisaation + uudet ihmiset. Käy järkeen että palkkaus laitetaan paussille ilman että siellä on jotain AI peruttu dramatiikkaa taustalla.

Kuukausi sitten tuo uusi tiimi mitä ihan hiljattain rekrytty oli 44 ihmisen kokoinen. Eli about siinä koossa mitä zuckerberg halusi. Zuckerbergin mukaan AI ongelma sellainen että ratkaisemiseen tarvitaan suhteellisen pieni mutta erityisen pätevä tiimi + rankasti laskentatehoa. Konesaliprojektit puskee yhä eteenpäin, ei paussia.

Tältä viikolta uutinen missä meta ostaa 10 miljardilla konesalia googlelta: https://finance.yahoo.com/news/meta-signs-10-billion-plus-230020207.html
 
Viimeksi muokattu:
Gartnerin hype-käyrä toimii tässäkin.
Nyt eletään vaihetta missä tutkitaan ja testaillaan missä voisi olla järkeä käyttää tekoälyä. Siihen menee vielä vuosia että niitä käyttökelpoisia use caseja löytyy niin että voidaan todistaa jotain merkittävää hyötyä niistä saatavan. Kuitenkin kehitys kehittyy ja se on hyvä.
 
Gartnerin hype-käyrä toimii tässäkin.
Nyt eletään vaihetta missä tutkitaan ja testaillaan missä voisi olla järkeä käyttää tekoälyä. Siihen menee vielä vuosia että niitä käyttökelpoisia use caseja löytyy niin että voidaan todistaa jotain merkittävää hyötyä niistä saatavan. Kuitenkin kehitys kehittyy ja se on hyvä.
AI:n kehityksen sykleihin se sopii kuin nenä päähän.


Winter is coming
 
Kaipa niihin AI-algoritmeihin käytetään samoja sääntöjä kuin ihmisiinkin. Toisten teoksista saa opetella kunhan lopputulos ei ole plagiaatti. Toiset käy koulussakin varast... eikun siis oppimassa muiden töistä. Aika harvassa taiteilijat jotka ei toisten teoksia ole katselleet oli se sitten kirja, sarjakuva, leffa tai vaikka öljymaalattu taulu.
Yksityishenkilö Suomessa torrentoi pari elokuvaa niin tulee uhkailukirje postissa. Yritykset piratoivat tuhansia kirjoja, artikkeleita ja ties mitä niin tämä on vain "oppimista." No, onneksi Microsoft on tuosta nyt oikeudessa. Toivottavasti samat säännöt todella pätevät ja tästä alkaa domino, joka pakottaa muutkin yritykset maksamaan piratoinnistaan.
 
Yksityishenkilö Suomessa torrentoi pari elokuvaa niin tulee uhkailukirje postissa. Yritykset piratoivat tuhansia kirjoja, artikkeleita ja ties mitä niin tämä on vain "oppimista." No, onneksi Microsoft on tuosta nyt oikeudessa. Toivottavasti samat säännöt todella pätevät ja tästä alkaa domino, joka pakottaa muutkin yritykset maksamaan piratoinnistaan.
Japanissa saa laillisesti käyttää materiaalia llm:ien opettamiseen. Ei voi japanissa edes teoriassa yrittää haastaa oikeuteen kirjojen yms. käyttämisestä opetusmateriaalina.

Jenkeissä sallivat kirjojen yms. käyttämisen kielimallin opettamiseen, JOS omistaa kopion kirjasta. Tästä ennakkotapaus linkin päässä. Anthropic osti kirjat, digitalisoi ne ja tuhosi fyysiset kopiot. Tän jälkeen digikopioita käytettiin opettamiseen ja oikeus totesi, että homma a-ok. Piratisointi ei ok, laillisesti hankittujen kirjojen käyttö on a-ok:
A US judge has ruled that a tech company’s use of books to train its artificial intelligence system – without permission of the authors – did not breach copyright law.
Anthropic did not breach copyright when training AI on books without permission, court rules

imho. llm:ien opettamiseen pitäisi käyttää ihan samaa kuin ihmisiinkin. Toisten materiaalista saa opiskella ja ottaa myös inspiraatiota, plagiarisoida ei saa. Vai aletaanko sanomaan, että kukaan jonka nimi ei ole picasso tai ostanut picassolta lisenssiä ei saa tehdä kubistisia kuvia? Mennään vielä pidemmälle ja kukaan jonka nimi ei ole X ei saa piirtää muotokuvia tai kuka omistaa kultaisen leikkauksen ja muut yleiset tavat sommitella sisältöä raameihin.

Palataan japaniin, jos länkkärit kieltää asiat niin japani korjaa sadon.
 
Viimeksi muokattu:
Jenkeissä sallivat kirjojen yms. käyttämisen kielimallin opettamiseen, JOS omistaa kopion kirjasta. Tästä ennakkotapaus linkin päässä. Anthropic osti kirjat, digitalisoi ne ja tuhosi fyysiset kopiot. Tän jälkeen digikopioita käytettiin opettamiseen ja oikeus totesi, että homma a-ok. Piratisointi ei ok, laillisesti hankittujen kirjojen käyttö on a-ok:


Palataan japaniin, jos länkkärit kieltää asiat niin japani korjaa sadon.
Jos omistaa. Ja juuri tuohon liittyi toinen linkkini. Ja kuka puhui kieltämisestä? Kyllähän he voivat käyttää kirjoja kouluttamiseen, kunhan maksavat siitä kirjojen tekijöille. Ei luulisi olevan vaikeaa yrityksille, joidan vuosittaiset voitot pyörivät kymmenissä miljardeissa dollareissa.
 
Jos, omistaa. Ja juuri tuohon liittyi toinen linkkini. Ja kuka puhui kieltämisestä? Kyllähän he voivat käyttää kirjoja kouluttamiseen, kunhan maksavat siitä kirjojen tekijöille. Ei luulisi olevan vaikeaa yrityksille, joidan vuosittaiset voitot pyörivät kymmenissä miljardeissa dollareissa.
Laillisesti voi omistaa vaikka ostaisi kirjat ebaysta, divarista tai lopetetun kirjaston loppumyynnistä. Ei tarvi maksaa tekijöille extraa kun tekijä on saanut omansa kun kirja on myyty ensimmäisen kerran. Linkattu tapaus anthropic loi tästä ennakkotapauksen amerikkaan.

Samat säännöt kuin ihmisille, yksiselitteistä mikä on laitonta ja mikä ei.
 
imho. llm:ien opettamiseen pitäisi käyttää ihan samaa kuin ihmisiinkin. Toisten materiaalista saa opiskella ja ottaa myös inspiraatiota, plagiarisoida ei saa. Vai aletaanko sanomaan, että kukaan jonka nimi ei ole picasso tai ostanut picassolta lisenssiä ei saa tehdä kubistisia kuvia? Mennään vielä pidemmälle ja kukaan jonka nimi ei ole X ei saa piirtää muotokuvia tai kuka omistaa kultaisen leikkauksen ja muut yleiset tavat sommitella sisältöä raameihin.
Ja mitä tulee plagiarisointiin, ollaanhan tästäkin oikeudessa.

"'According to the award-winning website Copyleaks, nearly 60% of the responses provided by defendants’ GPT-3.5 product contained some form of plagiarized content, and over 45% contained text that was identical to pre-existing content,' the Center for Investigative Reporting claimed in its 33-page complaint."

Laillisesti voi omistaa vaikka ostaisi kirjat ebaysta, divarista tai lopetetun kirjaston loppumyynnistä. Ei tarvi maksaa tekijöille extraa kun tekijä on saanut omansa kun kirja on myyty ensimmäisen kerran. Linkattu tapaus anthropic loi tästä ennakkotapauksen amerikkaan.

Samat säännöt kuin ihmisille, yksiselitteistä mikä on laitonta ja mikä ei.
Juuri samaa tarkoitan. Ikävää ettei tuo kaunis ajatus vain toteudu todellisuudessa.
 
Juuri samaa tarkoitan. Ikävää ettei tuo kaunis ajatus vain toteudu todellisuudessa.
Plagiarisoinnista sen verran, että joku vastuu täytyy jäädä käyttäjällekin. ts. jos minä käytän llm:aa väärin ja sen väärinkäytön tuloksia levitän niin minuahan siitä pitäisi syyttää eikä kielimallin kehittelijää. vrt. Heitetäänkä rambo-leffan tekijät vankilaan vai se hullu joka elokuvan inspiroimana teki pahaa,...

Se on ihan selvää, että laillisesti hankittua materiaalia saa ainakin amerikassa käyttää nyt kielimallien opettamiseen. Warettajia käsitellään sitten eri keinoin kun warettaminen ei ole laillista.

Hollywoodissahan liitot ovat ajaneet rajoituksia AI:n käyttöön. Mielenkiintoista nähdä johtaako tämä siihen, että joku muu paikka missä AI:ta saa käyttää luovemmin vie elokuvamarkkinat.

Menneisyyden harmaan alueen jutut tuskin kertoo paljoa nykyhetkestä kun säännöt on saatu selvennettyä. Tai sitten tarvii laittaa kielimallien opetusoperaatiot japaniin jos haluaa edelleen toimia "harmaalla" alueella.
 
Viimeksi muokattu:
Plagiarisoinnista sen verran, että joku vastuu täytyy jäädä käyttäjällekin. ts. jos minä käytän llm:aa väärin ja sen väärinkäytön tuloksia levitän niin minuahan siitä pitäisi syyttää eikä kielimallin kehittelijää. vrt. Heitetäänkä rambo-leffan tekijät vankilaan vai se hullu joka elokuvan inspiroimana teki pahaa,...

Se on ihan selvää, että laillisesti hankittua materiaalia saa ainakin amerikassa käyttää nyt kielimallien opettamiseen. Warettajia käsitellään sitten eri keinoin kun warettaminen ei ole laillista.

Hollywoodissahan liitot ovat ajaneet rajoituksia AI:n käyttöön. Mielenkiintoista nähdä johtaako tämä siihen, että joku muu paikka missä AI:ta saa käyttää luovemmin vie elokuvamarkkinat.

Menneisyyden harmaan alueen jutut tuskin kertoo paljoa nykyhetkestä kun säännöt on saatu selvennettyä. Tai sitten tarvii laittaa kielimallien opetusoperaatiot japaniin jos haluaa edelleen toimia "harmaalla" alueella.
Tuntuu nyt melkoiselta mentaaliakrobatialta, jolla yritetään siirtää kaikki vastuu pois kielimallien kehittäjiltä. Miten se on käyttäjän vika, jos Meta on laittomasti torrentoinut 82 TB edestä kirjoja tai jos kielimalli tuputtaa käyttäjälle plagiarisoitua tekstiä...

Ja nuo "jos ei me niin joku muu" argumentit haiskahtaa samalta, millä teollisyys pyrki pitkään vältellä mm. jäteveden puhdistamiseen sekä muuhun saastuttamiseen liittyvää sääntelyä.

E: Tämä menee kyllä jo melkoiseksi OT:ksi. Lainaa minua vaikka suoraan tekoälyketjussa tähän liittyen jos tarvitsee.
 
Viimeksi muokattu:

Statistiikka

Viestiketjuista
284 990
Viestejä
4 891 592
Jäsenet
78 925
Uusin jäsen
sina.jr021

Hinta.fi

Back
Ylös Bottom