Keskustelua yliskaalaustekniikoista ja frame generaatiosta Nvidia Dlss, Amd Fsr, Intel Xess, Lossless Scaling

[pomk]

AI ei simuloi mitään. Se koittaa jäljitellä sitä, mille realistisesti valaistu kuva näyttää, eikä osaa kunnolla huomioida, mitä valonlähteitä siinä kuvassa oikeasti on. Tällä hetkellähän tässä käytetään liikevektoreita ja väri dataa pohjana, mikä ohjaa sitä AI:n teoksia. Ehkä tulevaisuudessa tähän saadaan lisää inputteja, mitkä ohjaa tuota, jolloin ylimääräisiä valonlähteitä ei ehkä tule mukaan.

Onhan tämä siinä mielessä takapakkia, että mennään oikeasta valon simuloinnista taas feikkaamiseen, mutta eihän tätä ole mikään pakko käyttää. Varmasti joissain peleissä, kuten Star Field, tästä voi olla oikeasti iso hyöty, jos haluaa tavoitella realistisempia yleisilmettä peliin, välittämättä siitä, onko se skenen valaistus ihan prikulleen simuloitu niiden valonlähteen mukaisesti.

Noniin, ja jos kerran tekaistu valaistus on ihan ok, niin miksi ajaa path tracingia ylipäänsä? En ymmärrä, etenkin jos konteksti otetaan edellisestä viestistäsi:

Tämän teknologian tarkoitushan on tuoda sitä korkean tarkkuuden path tracingin tuomaa realisistisuutta kuvaan jo nyt

Tämä ei lisää tai tuo korkean tarkkuuden path tracingin realistisuutta. Se vaatisi sitä path tracingia tai parempaa denoiseria.

 

[P c L A Y E R]

Noniin, ja jos kerran tekaistu valaistus on ihan ok, niin miksi ajaa path tracingia ylipäänsä? En ymmärrä, etenkin jos konteksti otetaan edellisestä viestistäsi:

Tämä ei lisää tai tuo korkean tarkkuuden path tracingin realistisuutta. Se vaatisi sitä path tracingia tai parempaa denoiseria.

Enkö juuri sanonut, että se antaa yleisilmeeltään paremman tason path tracingiä muistuttavan kuvan. Ei se ole tietenkään sama tai yhtä hyvä asia, kun oikeasti korkeatasoinen path tracing, joka oikeasti simuloi sen valon.

Sitä olen itsekkin miettinyt, että meneekö path tracing siellä pohjalla ihan hukkaan tämän kanssa, vai osaako se hyödyntää sitä kuitenkin jotenkin? Tämä DLSS5 toimii kuitenkin vain screen spacessa 2D tasolla.

 

[Kaotik]

Tämä ei lisää tai tuo korkean tarkkuuden path tracingin realistisuutta. Se vaatisi sitä path tracingia tai parempaa denoiseria.

Tämä monin paikoin myös vähentää realismia (tai ainakin taitelijan ajatusta siitä) vaikka jätettäisiin huomiotta studiovalaistuspuoli. Monessa esimerkissä on nostettu esiin DFn videolta kohtaus, jossa hahmolla on lippis ja valaistus tulee selvästi ylhäältä luoden lipasta varjon kasvoille. DLSS5:n kanssa ko. varjoa ei ole ja valaistus tulee ties mistä. Ja toinen on tosiaan sumujen katoaminen tyystin

 

[pomk]

Sitä olen itsekkin miettinyt, että meneekö path tracing siellä pohjalla ihan hukkaan tämän kanssa, vai osaako se hyödyntää sitä kuitenkin jotenkin?

Kyllä se sitä hyödyntää varmasti. Osaa maskata sen pohjalta että mikä alue kuvasta slopataan.

Enkö juuri sanonut, että se antaa yleisilmeeltään paremman tason path tracingiä muistuttavan kuvan.

Miltä tiedät että se antaa paremman tason path tracingia muistuttavan kuvan? Eikö se vaatisi sitä paremman tason path tracingia, jotta vertailu on mahdollista ja moista kehtaisi laukoa täällä? Voi ihan hyvin pitää paikkansa että rajattomalla sädebudjetillakin se nykyinen pt olisi lähempänä kuin tämä slopattu versio?

 

[P c L A Y E R]

Kyllä se sitä hyödyntää varmasti. Osaa maskata sen pohjalta että mikä alue kuvasta slopataan.

Miltä tiedät että se antaa paremman tason path tracingia muistuttavan kuvan? Eikö se vaatisi sitä paremman tason path tracingia, jotta vertailu on mahdollista ja moista kehtaisi laukoa täällä? Voi ihan hyvin pitää paikkansa että rajattomalla sädebudjetillakin se nykyinen pt olisi lähempänä kuin tämä slopattu versio?

Mikä tässä nyt taas on niin vaikeeta. AI:n avulla voidaan nyt luoda hyvin aidon näköisesti valaistuja materiaaleja/pintoja reaaliajassa, mutta valaistus on AI:n tulkinta eikö välttämättä kunnioita pelimaailman valonlähteitä. Pystytään luomaan näennäisesti elokuva tason PT:n tarjoamaa lookia, materiaalien ja pintojen valaistuksen osalta, vaikka se ei olisikaan maailman valonlähteitä tarkasti kunnioittavaa, kun sitä ei simuloida.

Tuo on ainakin omasta mielestä tämän DLSS5:n tavoite. Se että miten hyvin se toteutuu on sitten eri asia.

Varmasti rajattomalla säde budjetilla päästään samaan ja parempaankin yleisilmeeseen, ja kaikkien pintojen valaistus mätsäisi täydellisesti maailman valonlähteen kanssa. Tällä hetkellä ei vaan ole rautaa joka sitä jaksaa pyörittää tarpeeksi nopeasti reaaliajassa.

 

[pomk]

AI:n avulla voidaan nyt luoda hyvin aidon näköisesti valaistuja materiaaleja/pintoja reaaliajassa

Mistä tiedät että ne on aidon näköisesti valaistu? Eikö siihen tarvita vertailukuva siitä loppuun asti lasketusta versiosta?

Pystytään luomaan näennäisesti elokuva tason PT:n tarjoamaa lookia, materiaalien ja pintojen valaistuksen osalta, vaikka se ei olisikaan maailman valonlähteitä tarkasti kunnioittavaa, kun sitä ei simuloida.

Joo, jotain lookia voidaan luoda, tarkemmin sanottuna slop lookia. PT:tä ei. Eikä oikeastaan PT lookiakaan (ellei voida osoittaa että tossa skenessä säteitä lisää ampumalla se lopulta muodostaisi ominaisuuksiltaan vastaavan kuvan).

Tuossa olisi ollut nvidialla nyt miljoonan dollarin paikka, näyttää kuinka heidän näyttis PT:t maksimissa tunnin jauhamalla olis tehny hyvin tarkkaan saman ku superslopperi tekee n. 30 millisekunnissa. Jostain kumman syystä moista ei haluttu tehdä, vaan hallusinoidaan paskaa ja vedetään kontrastit maksimiin, eikä verrata referenssiin.

Ei ole mitään syytä olettaa että tuo superslopperi arvaisi lähemmäs sen todellisen PT kuvan kuin mitä heidän nykyinen rajallinen PT toteutus laskee.

 

[P c L A Y E R]

Mistä tiedät että ne on aidon näköisesti valaistu? Eikö siihen tarvita vertailukuva siitä loppuun asti lasketusta versiosta?

Joo, jotain lookia voidaan luoda, tarkemmin sanottuna slop lookia. PT:tä ei. Eikä oikeastaan PT lookiakaan (ellei voida osoittaa että tossa skenessä säteitä lisää ampumalla se lopulta muodostaisi ominaisuuksiltaan vastaavan kuvan).

Tuossa olisi ollut nvidialla nyt miljoonan dollarin paikka, näyttää kuinka heidän näyttis PT:t maksimissa tunnin jauhamalla olis tehny hyvin tarkkaan saman ku superslopperi tekee n. 30 millisekunnissa. Jostain kumman syystä moista ei haluttu tehdä, vaan hallusinoidaan paskaa ja vedetään kontrastit maksimiin, eikä verrata referenssiin.

Ei ole mitään syytä olettaa että tuo superslopperi arvaisi lähemmäs sen todellisen PT kuvan kuin mitä heidän nykyinen rajallinen PT toteutus laskee.

Etkö ymmärrä eroa simuloinnin ja lookin välillä. AI voi luoda kuvan, joka näyttää sille, että on ammuttu tsiljoona sädettä ja hemmetisti bounceja, jolloin se materiaali/pinta voi näyttää näennäisesti aidommalle, vaikka sen valaistus ei vastaisi kunnolla sen pelimaailman valaistusta siinä tilanteessa. Eli se ei näytä välttämättä totuudenmukaiselle ympäristön valaistukseen kohden, mutta muuten aidommalle. Tällä tavallahan peligrafiikka on feikattu ikuisuudet. Luodaan illuusio "aidosta".

Tekoälyä on treenattu milettömällä määrällä dataa, mille eri materiaalit näyttää erilaisissa valaistuksessa, joten tottakait se pystyy luomaan hyvin aidon oloisesti valaistuja pintoja/materiaaleja.

 

[pomk]

Etkö ymmärrä eroa simuloinnin ja lookin välillä.

Etkö ymmärrä miltä ns. slop look näyttää?
chatgpt vaan auki ja sinne "make it more realistic" muutaman kerran.

Toivottavasti ymmärrät että slop look ja PT look on varsin eri asioita, eikä niitä kannata sekoittaa toisiinsa. PT lookissa olennaista on että valot vaikuttavat tulevan loogisista suunnista, ja esim. ei ole samanaikaisesti kahteen suuntaan piirtyviä varjoja ulkona suorassa auringonpaisteessa. Ns. slop look taas sallii tuollaisen meiningin ja on sille suorastaan tyypillinen ominaisuus.

Tekoälyä on treenattu milettömällä määrällä dataa, mille eri materiaalit näyttää erilaisissa valaistuksessa, joten tottakait se pystyy luomaan hyvin aidon oloisesti valaistuja pintoja/materiaaleja.

Onko tälläisestä jotain esimerkkejä heittää? Mielellään ne referenssit siihen viereen niin tiedetään että oliko ne AI:n tuotokset aidon oloisesti valaistu vai ei.

 

[P c L A Y E R]

Etkö ymmärrä miltä ns. slop look näyttää?
chatgpt vaan auki ja sinne "make it more realistic" muutaman kerran.

Toivottavasti ymmärrät että slop look ja PT look on varsin eri asioita, eikä niitä kannata sekoittaa toisiinsa. PT lookissa olennaista on että valot vaikuttavat tulevan loogisista suunnista, ja esim. ei ole samanaikaisesti kahteen suuntaan piirtyviä varjoja ulkona suorassa auringonpaisteessa. Ns. slop look taas sallii tuollaisen meiningin ja on sille suorastaan tyypillinen ominaisuus.

Onko tälläisestä jotain esimerkkejä heittää? Mielellään ne referenssit siihen viereen niin tiedetään että oliko ne AI:n tuotokset aidon oloisesti valaistu vai ei.

SItähän oon koittanut koko ajan selittää, että DLSS5 AI kuvassa ei välttämättä kunnioiteta niitä valonlähteitä. Silti esimerkiksi se materiaalien pinta ja mikrodetailit/valaistus saattavat näyttää enemmän valo-/video kuvalle, kun rajallisella määrällä säteitä toteutetussa PT:ssä tai muuten piirrettyssä kuvassa.

Kyllähän noissa demoissakin melkein kaikissa ne DLSS5 kasvotkin näyttää kuitenkin enemmän oikeille valokuvilla, kun ilman DLSS5:sta.

Se on mun mielestä ihan selvää, että NVIDIA:n tavoite tässä on juuri se, että voidaan saada tietyllä tapaa realistisempaa materiaalia/niiden valaistusta peleihin. Se miten hyvin se onnistuu, on sitten eri asia ja jää nähtäväksi. Mutta se, että NVIDIA olis tehnyt tän vaan siksi, että saadaan vaan jotkut "snap chat filtterit" peleihin, on jo lähtökohtaisesti aika absurdi ajatus, vaikka moni tuntuu niin ajattelevan.

Onko jotain syytä epäillä, että ai mallia ei olisi treenattu nimenomaan valaisemaan erilaisia materiaaleja/pintoja... Koska sehän tässä koko DLSS5:sa on se pointti.

 

[hese_e]

Tämä monin paikoin myös vähentää realismia (tai ainakin taitelijan ajatusta siitä) vaikka jätettäisiin huomiotta studiovalaistuspuoli. Monessa esimerkissä on nostettu esiin DFn videolta kohtaus, jossa hahmolla on lippis ja valaistus tulee selvästi ylhäältä luoden lipasta varjon kasvoille. DLSS5:n kanssa ko. varjoa ei ole ja valaistus tulee ties mistä. Ja toinen on tosiaan sumujen katoaminen tyystin

Minua kyllä häiritsi enemmän se jalkapallo siinä Fifa demossa, se morphaa muotoaan kuin The Thing konsanaan. Kuvakaappauksissa pelaajan käsikin muljuaa aika oudosti.
Niistä tulee kyllä olo, että tuo on kyllä outo yhdistelmä AI kaunistusfiltteriä ja raakakuvakehityssoftan AI automaattiparannusta. Jos tehtäisiin vain pinnan geometrian ja tekstuurien valonheijastuskorjauksia, värikorjausta yms, niin noin pahoja temporaalisia artefakteja ei tulisi. Kuvittelisin muodon säilyvän siinä kohtaa, ja tuo näyttää enemmän "AI reimagine" tekniikalle.

No syksyyn on aikaa ja demoon on efektit vedetty taatusti yhteentoista, että kaikki näkee miten kuva muuttuu. Ainakin se, että on paljon maskaus ja efektin voimakkuussäätöjä eri asioille olemassa antaa toivoa paremmasta.

 

[Troublematic]

Minua kyllä häiritsi enemmän se jalkapallo siinä Fifa demossa, se morphaa muotoaan kuin The Thing konsanaan. Kuvakaappauksissa pelaajan käsikin muljuaa aika oudosti.
Niistä tulee kyllä olo, että tuo on kyllä outo yhdistelmä AI kaunistusfiltteriä ja raakakuvakehityssoftan AI automaattiparannusta. Jos tehtäisiin vain pinnan geometrian ja tekstuurien valonheijastuskorjauksia, värikorjausta yms, niin noin pahoja temporaalisia artefakteja ei tulisi. Kuvittelisin muodon säilyvän siinä kohtaa, ja tuo näyttää enemmän "AI reimagine" tekniikalle.

No syksyyn on aikaa ja demoon on efektit vedetty taatusti yhteentoista, että kaikki näkee miten kuva muuttuu. Ainakin se, että on paljon maskaus ja efektin voimakkuussäätöjä eri asioille olemassa antaa toivoa paremmasta.

Ne jalkapallon breakup-artifaktit on luultavammin frame generoinnista johtuvia ongelmia. Toki voi olla että tämä valaistusefekti myös kärsii temporal disocclusion -ongelmista kuten nämä muutkin ML-tekniikat. Mutta onhan heillä tosiaan aikaa hioa tätä.

Kaikilla optimointikikoilla on omat ongelmansa, eikä mitään aitoa framea ole koskaan olemassa ollutkaan, edes sillä ammattilaisten offline säteenseurantamallinnusohjelmalla. Simuloida voidaan mahdollisimman tarkasti, mutta reaaliaikaiseen suorituskykyyn välttämättä tarvitaan AI-kikkoja. Path Tracingin denoisauskin on tehdään AI:lla, koska on varaa pomputella vain muutamia säteitä pari kertaa, ja loput inferoidaan AI-denoiserilla koska sitä kohinaa on muuten tuhottomasti.

 

[pomk]

Kyllähän noissa demoissakin melkein kaikissa ne DLSS5 kasvotkin näyttää kuitenkin enemmän oikeille valokuvilla, kun ilman DLSS5:sta.

Riippuu aivan täysin siitä että miten niitä alkaa analysoimaan. Mikrodetaileja on enemmän, tekstuurit pääsääntöisesti näyttää tarkemmalta muutenkin, mut sit jos noista yrittäisi analysoida valaistusta niin illuusio hajoaa täysin. Korkeintaan aivan pintapuoleisesti ne voi näyttää ”aidommalta”, sitä kuitenkaan olematta.

Miksei vaan laitettu kunnon tekstuureja siihen alkuperäiseen, en ymmärrä. Tällöin saatais se pt:llä laskettu kunnon valaistus yhdistettynä parempiin tekstuureihin.

Se on mun mielestä ihan selvää, että NVIDIA:n tavoite tässä on juuri se, että voidaan saada tietyllä tapaa realistisempaa materiaalia/niiden valaistusta peleihin.

Eikö me just käyty läpi että tällä tuotettu valaistus ei ole realistista. Ei edes ”tietyllä tapaa”.

 

[Kaotik]

Mm. Red Dead Redemption 2:n, GTA V:n, Death Stranding 2:n ja Uncharted 2:n parissa työskennelleen animaattorin mietteitä

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://www.youtube.com/watch?v=xKPeN8IQM-Y

(https://forum.beyond3d.com/threads/dlss5-ai-game-visual-transformations.64198/post-2401768)

Tässä viestissä käydään Resident Evilistä kohta jossa DLSS 5 vähät välittää scenen todellisesta valaistuksesta

https://forum.beyond3d.com/threads/dlss5-ai-game-visual-transformations.64198/post-2401802

 

[swttii]

Mm. Red Dead Redemption 2:n, GTA V:n, Death Stranding 2:n ja Uncharted 2:n parissa työskennelleen animaattorin mietteitä

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://www.youtube.com/watch?v=xKPeN8IQM-Y

(https://forum.beyond3d.com/threads/dlss5-ai-game-visual-transformations.64198/post-2401768)

Tässä viestissä käydään Resident Evilistä kohta jossa DLSS 5 vähät välittää scenen todellisesta valaistuksesta

https://forum.beyond3d.com/threads/dlss5-ai-game-visual-transformations.64198/post-2401802

Beyond3D ei toimi ellet luo tunnuksia, mutta video vaikuttaa mielenkiintoiselta.

 

[Tonninkala]

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://www.youtube.com/watch?v=D0EM1vKt36s


Daniel Owen saanut lisää vastauksia DLSS5 kuvan muodostamiseen liittyviin kysymyksiin Nvidian edustajalta.

TLDR = Kyllä kyseessä on edelleen "instagram filtteri"

EDIT: En huomannu että sama postattu myös uutisen lankaan mutta onpahan nyt kahdessa paikassa muistuttamassa.

 

[BoomerX]

olikohan ne vuoden takaiset CES aikoihin esitellyt RTX neural materiaalit ja tekstuurit myös vain AI sloppia kun en ole noista kuullut mitään tai sitten mennyt vain ohi.

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://youtu.be/ku1rdOG-c4Y

 

[Troublematic]

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://www.youtube.com/watch?v=D0EM1vKt36s


Daniel Owen saanut lisää vastauksia DLSS5 kuvan muodostamiseen liittyviin kysymyksiin Nvidian edustajalta.

TLDR = Kyllä kyseessä on edelleen "instagram filtteri"

Käytännössä tämä tarkoittaisi sitä, että pelinkehittäjien kontrolli efektin hallintaan on lähinnä miten paljon efektin vahvuutta on käytössä tai maskataanko jokin segmentoitu alue kokonaan pois. Voisihan sitä käyttää niin, että maskaa ihmisten kasvot kokonaan pois jos ei halua kasvojen muuttuvan ollenkaan. Järkevämpää lienee vain tiputtaa denoising strength sille tasolle ettei kasvot muutu liian paljon. Jos se nyt on pelinkehittäjälle niin pilkuntarkkaa ylipäätään että malliin ei tule muutoksia kuten esim. tuo Owenin esille tuoma ukon hiusrajan muutos. Ehkä se menee vielä jollain random NPC:llä, mutta päähenkilöllä luultavasti ei.

Screenspace-efektinä tällä on lisäksi ongelmana se, että valaistus ei yllä reunoille asti, vaan ne erottuvat selvästi tummempana alueena.

 

[Tonninkala]

Käytännössä tämä tarkoittaisi sitä, että pelinkehittäjien kontrolli efektin hallintaan on lähinnä miten paljon efektin vahvuutta on käytössä tai maskataanko jokin segmentoitu alue kokonaan pois. Voisihan sitä käyttää niin, että maskaa ihmisten kasvot kokonaan pois jos ei halua kasvojen muuttuvan ollenkaan. Järkevämpää lienee vain tiputtaa denoising strength sille tasolle ettei kasvot muutu liian paljon. Jos se nyt on pelinkehittäjälle niin pilkuntarkkaa ylipäätään että malliin ei tule muutoksia kuten esim. tuo Owenin esille tuoma ukon hiusrajan muutos. Ehkä se menee vielä jollain random NPC:llä, mutta päähenkilöllä luultavasti ei.

Kyllä käytännössä "artistinen säätömahdollisuus" on vaan tyyliin valotuksen ja gamman säätöä niinkun arvelinkin Itse kuvahan tulee edelleen treenattuun lähdedataan verraten ilman että voit mitenkään muuten vaikuttaa. Kyllä ne mainitsi että siinä on mahdollisuus rajoittaa alueita mutta menee aika näpertämiseksi jos pitää kehittäjän ruveta maalailemaan hiusrajoja hahmoilta mihin ei saa koskea jos kyseinen edes mahdollista tehdä. Lisäksi miten kyseinen vaikuttaa kuvan muodostukseen jos kokonaisuudesta leikkaillaan osia pois. AI saattaa hallusinoida ties minkälaisia poikkeavuuksia puutteellisen/vähemmän kattavan datan pohjalta. Eipä tämä ole mitään muuta kuin Toddin tyyppisille starfield kehittäjille suunniteltu oikotie onneen millä pitäis saada taiottua paskasta timantteja. Kuorenalla kuitenkaan kyseessä sen kummempi kuin reaaliajassa "instagram filtterinä" operoiva kuvan loppukäsittelijä.

 

[Troublematic]

Kyllä käytännössä "artistinen säätömahdollisuus" on vaan tyyliin valotuksen ja gamman säätöä niinkun arvelinkin Itse kuvahan tulee edelleen treenattuun lähdedataan verraten ilman että voit mitenkään muuten vaikuttaa. Kyllä ne mainitsi että siinä on mahdollisuus rajoittaa alueita mutta menee aika näpertämiseksi jos pitää kehittäjän ruveta maalailemaan hiusrajoja hahmoilta mihin ei saa koskea jos kyseinen edes mahdollista. Eipä tämä ole mitään muuta kuin Toddin tyyppisille starfield kehittäjille suunniteltu oikotie onneen millä pitäis saada taiottua paskasta timantteja. Kuorenalla kuitenkaan kyseessä sen kummempi kuin reaaliajassa "instagram filtterinä" operoiva kuvan loppukäsittelijä.

Itse olen ymmärtänyt tämän niin, että DLSS5 ensin segmentoi sen yksittäisen ruudun eri osiin, esim. kasvot, hiukset, tausta. Tällä saadaan aikaan tuo maskaaminen, ja tekoälymalli hoitaa muutokset siihen perustuen, ja pelinkehittäjä voi halutessaan disabloida/enabloida näitä segmenttejä, ja ehkä mahdollisesti myös säätää efektin intensiteettiä jokaisella segmentillä erikseen.

Tässä X:stä poimittu yksinkertainen segmentoitu malli:

Blendaus alkuperäisen kuvan ja tekoälyn luoman tuotoksen välillä sitten päättää miten paljon naama muuttuu, ja miten paljon siihen tulee sitä fotorealismia. Ongelma on se, että mitä enemmän vahvuutta nostaa fotorealismin tuomiseksi tekoälymallista, sitä suuremmalla todennäköisyydellä se tuo naamaan myös muita merkittäviä muutoksia, kuten hiusrajaa, meikkiä tms mikä kuitenkin pysyy vielä alkuperäisen geometrisissä rajoissa. Pääasiallisesti siis ainoa ratkaisu mallin identiteetin pitämiseen kuosissa on rajoittaa tekoälymallin intensiteettiä, mikä vuorostaan rajoittaa myös sitä fotorealismia. Hahmosta saa siis eläväisemmän näköisen vain uhraamalla uskollisuutta alkuperäiselle mallille. Toki jollain kontrasti/gamma säädöllä jotain pientä voi tehdä, mutta pääasiallinen kontrolli on tämä Nvidian dokkarin mainitsema Intensity:

Luulisi, että heillä olisi tuon lisäksi kuitenkin vielä muitakin kontrolliasetuksia joita löytyy esim. ComfyUI:ssa. Toki tämä on suoritettava reaaliajassa joten hieman eri kauraa kuin offline kuvien generointi.

Yksi asia mikä tulee mieleen on, että kehittäjät voivat kyllä tehdä muutoksia siihen hahmomalliin tuota DLSS5-tilaa varten, eli kun DLSS5 enabloidaan, voidaan samalla tehdä siihen base frameen haluamiaan muutoksia, joiden pohjalta tuo tekoälymalli voi teoriassa saavuttaa lopputuloksen joka on uskottavampi kuin mitä se olisi ilman pohjamuutoksia. Tällä tavalla voisi ehkä hieman yrittää kiertää jotain muutosta.

Myös tuon screenspace-ongelman kuvan reunoilla voi teoriassa ratkaista laskemalla sen path tracing -valaistuksen pohjalle, mutta tämä olisi tietysti hyvin kallis operaatio. Samalla kuitenkin saisi ne kuvan ulkopuolelta tulevat säteet.

 

[ile82]

Uuden AMD Adrenalinin mukana tuli FSR 4.1 9000-sarjan ratukoille. Täytyypä katsoa huomaanko eroja edelliseen.

 

[Tonninkala]

Itse olen ymmärtänyt tämän niin, että DLSS5 ensin segmentoi sen yksittäisen ruudun eri osiin, esim. kasvot, hiukset, tausta. Tällä saadaan aikaan tuo maskaaminen, ja tekoälymalli hoitaa muutokset siihen perustuen, ja pelinkehittäjä voi halutessaan disabloida/enabloida näitä segmenttejä, ja ehkä mahdollisesti myös säätää efektin intensiteettiä jokaisella segmentillä erikseen.

Tässä X:stä poimittu yksinkertainen segmentoitu malli:

Blendaus alkuperäisen kuvan ja tekoälyn luoman tuotoksen välillä sitten päättää miten paljon naama muuttuu, ja miten paljon siihen tulee sitä fotorealismia. Ongelma on se, että mitä enemmän vahvuutta nostaa fotorealismin tuomiseksi tekoälymallista, sitä suuremmalla todennäköisyydellä se tuo naamaan myös muita merkittäviä muutoksia, kuten hiusrajaa, meikkiä tms mikä kuitenkin pysyy vielä alkuperäisen geometrisissä rajoissa. Pääasiallisesti siis ainoa ratkaisu mallin identiteetin pitämiseen kuosissa on rajoittaa tekoälymallin intensiteettiä, mikä vuorostaan rajoittaa myös sitä fotorealismia. Hahmosta saa siis eläväisemmän näköisen vain uhraamalla uskollisuutta alkuperäiselle mallille. Toki jollain kontrasti/gamma säädöllä jotain pientä voi tehdä, mutta pääasiallinen kontrolli on tämä Nvidian dokkarin mainitsema Intensity:

Luulisi, että heillä olisi tuon lisäksi kuitenkin vielä muitakin kontrolliasetuksia joita löytyy esim. ComfyUI:ssa. Toki tämä on suoritettava reaaliajassa joten hieman eri kauraa kuin offline kuvien generointi.

Yksi asia mikä tulee mieleen on, että kehittäjät voivat kyllä tehdä muutoksia siihen hahmomalliin tuota DLSS5-tilaa varten, eli kun DLSS5 enabloidaan, voidaan samalla tehdä siihen base frameen haluamiaan muutoksia, joiden pohjalta tuo tekoälymalli voi teoriassa saavuttaa lopputuloksen joka on uskottavampi kuin mitä se olisi ilman pohjamuutoksia. Tällä tavalla voisi ehkä hieman yrittää kiertää jotain muutosta.

Myös tuon screenspace-ongelman kuvan reunoilla voi teoriassa ratkaista laskemalla sen path tracing -valaistuksen pohjalle, mutta tämä olisi tietysti hyvin kallis operaatio. Samalla kuitenkin saisi ne kuvan ulkopuolelta tulevat säteet.

Niin eipä tuolla segmentoinnilla mitään muuta voita kun sitä että saadaan rajattua noita käsiteltäviä alueita. Ja tuossa Owenin videossa esillä olevassa Nvidian dokumenttivastauksessa näkyy nuo kaikki tarjolla olevat säätövaihtoehdot joita ei paljon ole. Ja edellä mainitut ei muuta edelleenkään lopputulosta joka on AI:n reaaliajassa generoima filtteröity kuva joka sijoitetaan alkuperäistä geometriaa mukaillen edellisen kuvan päälle sitä tahtia kun frame muuttuu ja hahmo liikkuu.

Ja mitä tulee sitten tuohon ajatukseen että oispa enemmän slidereita jolla vois vaan vähän säätää muutamia ryppyjä kuvaan niin sillonhan tuo toimis. En ymmärrä että mitä helvettiä tällä voitetaan kun tai jos kyse on muutamasta rypystä tai hahmomallista yleensäkin ne voidaan todennäköisesti toteuttaa huomattavasti tehokkaammin ja paremmin mayalla suoraan hahmomalliin sen sijaan että annetaan tekoälyn hallusinoida rng lopputulos. Kuten sanottua tätä yritetään nyt markkinoida Toddin kaltasille kehittäjille jotka haluaa lähinnä leikata kehitykseen käytettävästä ajasta. Rykäsemällä barebone kasvomallia olevan neutraalin tikku-ukon mihin sitten tekoäly hallusinoi päälle milloin minkäkin tyyppisen lopputuloksen. Pelaajille tämä ei mennyt läpi. Toivotaan ettei pelin kehittäjillekään. Sillä tämä ei todellakaan ole se suunta mihin pelinkehitystä tulisi viedä

 

[myrskyviitta]

Puhu vain omasta puolestasi. Minä olen hyvilläni että uudenlaista rendaustekniikkaa kehitellään ja pääsen sellaista sitten joskus testaamaan, oli ensimmäinen iteraatio sitten kelvoton tai kelvollinen. Enkä ole ainoa.

Se että softaa kehitetään ei sulje pois sitä etteikö rautaakin kehitettäisi.

Näin on, pahimmassa (realistisessa) tapauksessa tän kehitys jää puolitiehen, homma pidetään suljettuna eikä avata loppukäyttäjälle, toiminnallisuus on suppeaa, sitä ei hyödynnetä oikein ja pelit jotka kehitetään tämä mielessä ovat ilman dlls5:tä pelikelvottomia - joka koskee muutamaa tekkidemoa jota ilman kaikki varmaan pystyy elämään. Parhaimmassa tapauksessa jos oletetaan että tämä ei ole vain AI alloonharjalla ratsastamista niin tämä tulee mullistamaan niin grafiikan renderöinnin, sekä modaus kulttuurin. Itse haluan olla kuitenkin optimistinen tämän suhteen ja pidän potenttiaalisia tavoitteita joita tälle voi asettaa mitä tulee renderöinnin parantamiseen ihan realistisina. Toki kyyninen sanoisi että ei tästä mitään tuu, taas yks AI scämmäys.

Teknologiassa on muna/kana ongelma. Jos ei kukaan ala tekemään uusia juttuja pelattaisiin edelleen wolfensteinia. Se mikä tänään on tekkidemo on huomenna tuote ja ylihuomenna kultastandardi mitä tukee vanhempikin rauta. dlss1, säteenseuranta, AI, kuluttajapuolella lähtölaukauksen 2018, pahasti otti turpaan 20x0 sarja AI ja säteenseuranta "turhakkeena". Nyt voi sanoa, että säteenseuranta ja AI pohjainen skaalaus ovat kultastandardi peleissä mitä tukevat kaikki laitevalmistajat konsoleita myöten. All in AI ja säteenseuranta etenkin seuraavassa konsolisukupolvessa jos seurannut MS ja sony PR:aa seuraavan generaation konsoleiden osalta.

Rehellisyyden ja tasapuolisuuden nimissä AI:n puskemisen takana on valtavat rahasummat joita siihen on käytetty. Lisää AI:ta = osakkeet menee ylös. Jos AI hankkeet epäonnistuu yrityksiä menee konkkaan joka myös vaikuttaa valtiotasolla. Näkyy kyllä tässäkin, mutta asia ei ole ihan yksiselitteinen. Jos epic ja kumppanit hoitaisi renderöinnin oikein ja kehittäjät optimoisi pelejä ei olisi tarvetta upscale ja feikkifreimeille.
Historiassa on myös paljon teknologiaa joka on pelkän kokeilun jälkeen jäänytkin sinne, se ei tietenkään pelkästään tarkoita mitään jos joku heittää ideaa ja konseptia pöytään jostain "next big thing:stä".

 

[Juhanator]

Mm. Red Dead Redemption 2:n, GTA V:n, Death Stranding 2:n ja Uncharted 2:n parissa työskennelleen animaattorin mietteitä

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://www.youtube.com/watch?v=xKPeN8IQM-Y

(https://forum.beyond3d.com/threads/dlss5-ai-game-visual-transformations.64198/post-2401768)

Tässä viestissä käydään Resident Evilistä kohta jossa DLSS 5 vähät välittää scenen todellisesta valaistuksesta

https://forum.beyond3d.com/threads/dlss5-ai-game-visual-transformations.64198/post-2401802

Tekoäly ei ymmärrä että hahmon silmät käy kiinni, piirtää vaan väkisin uusiksi...ei ole ihan Nvidian poijjaat huolella esittelyjään tehneet, tai itsekään lopputuloksia katsoneet. Hyvä pätkä ammattilaiselta, tekee selväksi että tässä muodossa tämä jyrää alkuperäisen taiteilijan käden jäljen yli, mikä tietysti ongelmallista. Eli kyse ei ole vain valaistuksesta. Valaistuksessa onnistui paremmin, ihmiskasvot haastavampia (etenkin jos alkuperäinen hahmo muuttuu).

 

[Tonninkala]

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://www.youtube.com/watch?v=HiDxiLgnJ-Y


Kaikkien vihaamalta mutta omasta mielestä tässä ainakin ihan valideja pointteja esille tuovasta puhuvalta päältä tuoretta videota. Ottaa hyvin esille Nvidian historian ja toimintamallit näissä proprietary ratkaisuissa PhysX:stä lähtien ja pohtii mahdollisia syitä sille miksi Nvidia haluaa ajaa just nyt erittäin epätehokasta tapaa toteuttaa grafiikat peleissä. Tekniikkaa joka olis sopinu paremmin nimettäväksi vaikka RTX Remix 2.0:na vanhoille peleille kuin nykyinen yritys.

AMD:n RDNA5 nimittäin voi olla oikeasti haastamassa Nvidiaa RT:ssä ja Upskaalauksessa jos huhut, leakit ja microsoftinkin "vihjaamat" pointit AMD:n uudesta ja tulevasta tekoälykiihdytin tekniikasta pitää paikkansa.

 

[P c L A Y E R]

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://www.youtube.com/watch?v=HiDxiLgnJ-Y


Kaikkien vihaamalta mutta omasta mielestä tässä ainakin ihan valideja pointteja esille tuovasta puhuvalta päältä tuoretta videota. Ottaa hyvin esille Nvidian historian ja toimintamallit näissä proprietary ratkaisuissa PhysX:stä lähtien ja pohtii mahdollisia syitä sille miksi Nvidia haluaa ajaa just nyt erittäin epätehokasta tapaa toteuttaa grafiikat peleissä. Tekniikkaa joka olis sopinu paremmin nimettäväksi vaikka RTX Remix 2.0:na vanhoille peleille kuin nykyinen yritys.

AMD:n RDNA5 nimittäin voi olla oikeasti haastamassa Nvidiaa RT:ssä ja Upskaalauksessa jos huhut, leakit ja microsoftinkin "vihjaamat" pointit AMD:n uudesta ja tulevasta tekoälykiihdytin tekniikasta pitää paikkansa.

Nyt on kyllä kunnon teoriat taas. Ihan varmasti NVIDIA on aivan paniikissa, mitä se AMD tekee pelinöyttiksissä ja sen takia haluaa, että peligrafiikka piirretään tulevaisuudessa kokonaan AI:lla.

 

[P c L A Y E R]

Riippuu aivan täysin siitä että miten niitä alkaa analysoimaan. Mikrodetaileja on enemmän, tekstuurit pääsääntöisesti näyttää tarkemmalta muutenkin, mut sit jos noista yrittäisi analysoida valaistusta niin illuusio hajoaa täysin. Korkeintaan aivan pintapuoleisesti ne voi näyttää ”aidommalta”, sitä kuitenkaan olematta.

Miksei vaan laitettu kunnon tekstuureja siihen alkuperäiseen, en ymmärrä. Tällöin saatais se pt:llä laskettu kunnon valaistus yhdistettynä parempiin tekstuureihin.

Eikö me just käyty läpi että tällä tuotettu valaistus ei ole realistista. Ei edes ”tietyllä tapaa”.

Sori. Kyllä se vaan on. Aika moni muukin on sitä mieltä, että ne näyttää enemmän valokuvalle, jos sulle laitetaan ne kuvat vierekkäin. Eli se on juurikin tietyllä tapaa enemmän oikeaa valaistusta jäljittelevä.

On se kumma kun ei voi edes yksinkertaisinta asiaa myöntää.

 

[pomk]

Eli se on juurikin tietyllä tapaa enemmän oikeaa valaistusta jäljittelevä.

No kun ei se edelleenkään ole, kun se ei sitä jäljitä.

Se voi antaa jonkin sortin illuusion siitä että kyseessä olisi jollain tapaa realistisempi näkemys kyseisestä kuvasta, mutta millään tapaa se ei sitä tosiasiassa ole.

 

[Kaotik]

Sori. Kyllä se vaan on. Aika moni muukin on sitä mieltä, että ne näyttää enemmän valokuvalle, jos sulle laitetaan ne kuvat vierekkäin. Eli se on juurikin tietyllä tapaa enemmän oikeaa valaistusta jäljittelevä.

On se kumma kun ei voi edes yksinkertaisinta asiaa myöntää.

Se että se näyttää "enemmän valokuvalta" ei tarkoita että se olisi enemmän oikeaa valaistusta jäljittelevä.

Esim tässä on esimerkki jossa joku voisi sanoa juuri noin ja olisi täysin väärässä

 

[PÌÎUW®[ªøËrhl¾ÇÌ°1¿¼]

Tekoäly ei ymmärrä että hahmon silmät käy kiinni, piirtää vaan väkisin uusiksi...ei ole ihan Nvidian poijjaat huolella esittelyjään tehneet, tai itsekään lopputuloksia katsoneet

Ikävä pilata hyvä ränttäys mutta kyseinen kuva on oblivion HumanSlop ripulipelistä jossa ilman DLSS5:sta nuo silmät aiheuttaa painajaisia. Alla kuva samasta videosta mutta narratiivin rikkovana. Sori siitä.

Tuon hahmon silmät yrittää pelissä ihan normaalistikkin pullahtaa päästä ja läpi silmäluomista.

Että siinäpä se "artistic vision". Nolottaa koko helvetin termi joka kerta kun sitä käytetään. Kenenkään "artistic vision" ei ole luoda Oblivionin kaltaista ripulia. Vähän omien aivojen käyttöä kehiin kiitos!

E: Paska input -> Siloiteltu paska output. Joku tuolla ylempänä tai uutis-threadissa sanoi.

Näkisin että kun joku oikea pelistudio viilee kaiken alusta asti kuntoon hyvällä maulla höystettynä ja suunnittelee siihen DLSS5:n alusta loppuun niin lopputulos voi olla jotain aivan käsittämätöntä. Mestari-kirvesmies käyttää vasaraa paremmin mitä kotinikkari.

 

[P c L A Y E R]

Se että se näyttää "enemmän valokuvalta" ei tarkoita että se olisi enemmän oikeaa valaistusta jäljittelevä.

Esim tässä on esimerkki jossa joku voisi sanoa juuri noin ja olisi täysin väärässä

No kun ei se edelleenkään ole, kun se ei sitä jäljitä.

Se voi antaa jonkin sortin illuusion siitä että kyseessä olisi jollain tapaa realistisempi näkemys kyseisestä kuvasta, mutta millään tapaa se ei sitä tosiasiassa ole.

Ihme saivartelua ja vääntelyä. Eiköhän se ole kaikille muille tullut aivan selväksi, että sitä olen koko ajan tarkoittanutkin, että saadaan nöennöisesti realistisemmalta vaikuttava kuva.

Lukekaa nyt hemmetti niitä aiempia viestejä. En ole missään vaiheessa väittänyt että se olisi oikeasti realistisempi, vaan että saadaa nimenomaan realistisempi vaikutelma.

 

[heimoi]

No kun ei se edelleenkään ole, kun se ei sitä jäljitä.

Se voi antaa jonkin sortin illuusion siitä että kyseessä olisi jollain tapaa realistisempi näkemys kyseisestä kuvasta, mutta millään tapaa se ei sitä tosiasiassa ole.

Eli myönnät itsekkin että se näyttää realistisemmalta.

 

[heimoi]

Epic Gamesilta kommenttia.

Similar sentiments have now been echoed by Jean Pierre Kellams, a tech lead producer from Epic Games, who said, "All you guys roasting DLSS 5 like it doesn't look better/is detracting from art direction are absolutely insane. The lighting and shading improvements are bonkers. If that was shown as a next-gen hardware reveal and not"AI"you guys would be going nuts like the Watch Dogs demo."

"If I was a technical artist, I'd be begging for this right now. It's essentially making super high resolution physically accurate lighting trivially cheap. If this is the demo, I can't wait until tech artists start really digging in," added Kellams

 

[pomk]

Ihme saivartelua ja vääntelyä.

Ei. Kyse on siitä että käytetään asioista oikeita termejä.

En ole missään vaiheessa väittänyt että se olisi oikeasti realistisempi, vaan että saadaa nimenomaan realistisempi vaikutelma.

Olet monta lausetta kirjouttanut joissa näin et ole tehnyt. Esim. se ”jollain tapaa realistisempi”.

Eli myönnät itsekkin että se näyttää realistisemmalta.

Missä?

 

[pomk]

"If I was a technical artist, I'd be begging for this right now. It's essentially making super high resolution physically accurate lighting trivially cheap. If this is the demo, I can't wait until tech artists start really digging in," added Kellams

”Physically accurate lighting”. Ei jumalauta mitä skeidaa taas. Eikö nää oikeasti ymmärrä mitään?

 

[PÌÎUW®[ªøËrhl¾ÇÌ°1¿¼]

Epicin pellet siellä hirnuu mitä sattuu. Tulisivat tänne foorumille kysymään mikä on artistic vision.

PS: Missä se olikaan se linkki siihen Skyrimin MassiveDongs modiin?

 

[heimoi]

Missä?

Sanoit että se antaa illuusion realistisemmasta. Olkoot illuusio tai ihan mikä tahansa, jos se näyttää realistisemmalta niin se näyttää realistisemmalta.

 

[pomk]

Sanoit että se antaa illuusion realistisemmasta. Olkoot illuusio tai ihan mikä tahansa, jos se näyttää realistisemmalta niin se näyttää realistisemmalta.

Kirjoitin että se voi antaa illuusion realistisemmasta. Vielä ei ole semmosta näkynyt.

Joku muu on voinut mennä lankaan kyllä.

 

[Sampsa]

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://www.youtube.com/watch?v=D0EM1vKt36s


Daniel Owen saanut lisää vastauksia DLSS5 kuvan muodostamiseen liittyviin kysymyksiin Nvidian edustajalta.

TLDR = Kyllä kyseessä on edelleen "instagram filtteri"

EDIT: En huomannu että sama postattu myös uutisen lankaan mutta onpahan nyt kahdessa paikassa muistuttamassa.

Tämä nyt tosiaan antaisi ymmärtää, että toimarin kommentit vastatessaan kritiikkiin olisi täysin päinvastaiset ja väärin.

Jensen totesi kritiikkiin vastatessaan että DLSS 5 tarjoaa: "controllability of geometry" ja "generative control of geometry"

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://www.instagram.com/reel/DWA8w2ekkOm/


Sitten taas NVIDIAn vastauksessa Daniel Owenin videoon todetaan, että DLSS 5 ottaa sisään 2D frame ja motion vektorit, eli ei käytännössä depth bufferia tai geometriaa tai mitään muutakaan kuten materiaalin PBR ominaisuuksia tai mitä ruudun ulkopuolella tapahtuu. Yksinkertaisesti renderöity frame ja siihen sitten luodaan päälle DLSS 5:n näkemys.

Melkoinen soppa.

 

[Jaguafgeg]

Ei ihan hirveänä yllätyksenä tullut että toimari elää irrallaan todellisuudesta.

Mielenkiintoista nähdä kuka on Jensenin mielestä väärässä seuraavaksi, jonkunhan se on tässä pakko olla.

 

[Halpuuttaja]

Sitten taas NVIDIAn vastauksessa Daniel Owenin videoon todetaan, että DLSS 5 ottaa sisään 2D frame ja motion vektorit, eli ei käytännössä depth bufferia tai geometriaa tai mitään muutakaan kuten materiaalin PBR ominaisuuksia tai mitä ruudun ulkopuolella tapahtuu. Yksinkertaisesti renderöity frame ja siihen sitten luodaan päälle DLSS 5:n näkemys.

Melko vähin inputein mennään juu joten ei ihme jos hallua pukkaa.

AI-kuvageneraattoreilla, jotka osaa hyödyntää yhtä tai usempaa referenssikuvaa (Flux.2 Klein ym), menee laskenta sitä raskaammaksi mitä useampi kuva referenssiksi syötetään. Jos DLSS 5 malli toimii yhtään samalla tavalla niin ehkäpä ei vain ole ollut varaa ottaa syvyysbufferia ymv. mukaan vielä tässä vaiheessa.

 

[Troublematic]

Näinhän ne kaikki screenspace-efektit toimii. Ne ottaa vain sen puolivalmiin 2D-bufferin, lisäksi ehkä depth inputin tai jonkun muun, ja piirtää sitten päälle sen perusteella lisää. Ei se tee niistä yksistään instagram-filtteriä. Ongelman juuri on siinä miten yksinkertaisesti tuo naamojen käsittely on toteutettu. Nvidian selityksistä sai sellaisen ensiksi käsityksen että malli tekisi erikseen valaistuksen, ja kasvojen materiaaleja mahdollisesti jotenkin muokataan samalla tälle valaistukselle sopivaksi että uuden valaistuksen tuoma subsurface scattering yms. saisi kasvotekstuurin näyttämään paremmalta. Todellisuudessa näyttää kuitenkin siltä että se vain vetäistään kerralla kylmästi tuon tekoälymallin läpi generoitu pärstä ja blendataan tietyllä prosentilla alkuperäisen mallin päälle, mikä on hyvin karkea prosessi jossa ei jää paljon kontrollia kehittäjälle.

Onhan se tavallaan totta mitä Jensen tuossa sanoo että DLSS5 kunnioittaa sitä mallin geometriaa, tiettyyn pisteeseen saakka. Mutta se ei selvästi ole pelkästään fotorealistinen valaisumalli, vaan se vaikuttaa myös kasvonpiirteisiin joissain tapauksissa muuttaen niitä liikaa.

 

[pomk]

Ongelman juuri on siinä miten yksinkertaisesti tuo naamojen käsittely on toteutettu. Nvidian selityksistä sai sellaisen ensiksi käsityksen että malli tekisi erikseen valaistuksen, ja kasvojen materiaaleja mahdollisesti jotenkin muokataan samalla tälle valaistukselle sopivaksi että uuden valaistuksen tuoma subsurface scattering yms. saisi kasvotekstuurin näyttämään paremmalta. Todellisuudessa näyttää kuitenkin siltä että se vain vetäistään kerralla kylmästi tuon tekoälymallin läpi generoitu pärstä ja blendataan tietyllä prosentilla alkuperäisen mallin päälle, mikä on hyvin karkea prosessi jossa ei jää paljon kontrollia kehittäjälle.

Jos siinä olisi joku välivaihe jossa tekstuureja tai pintojen ominaisuuksia/geometriaa muokattaisiin, niin tämä koko homma voitaisiin tehdä ns. offline ja mitään merkittävää suorituskykyhittiä ei tulisi.

 

[Sampsa]

Näinhän ne kaikki screenspace-efektit toimii. Ne ottaa vain sen puolivalmiin 2D-bufferin, lisäksi ehkä depth inputin tai jonkun muun, ja piirtää sitten päälle sen perusteella lisää. Ei se tee niistä yksistään instagram-filtteriä. Ongelman juuri on siinä miten yksinkertaisesti tuo naamojen käsittely on toteutettu. Nvidian selityksistä sai sellaisen ensiksi käsityksen että malli tekisi erikseen valaistuksen, ja kasvojen materiaaleja mahdollisesti jotenkin muokataan samalla tälle valaistukselle sopivaksi että uuden valaistuksen tuoma subsurface scattering yms. saisi kasvotekstuurin näyttämään paremmalta. Todellisuudessa näyttää kuitenkin siltä että se vain vetäistään kerralla kylmästi tuon tekoälymallin läpi generoitu pärstä ja blendataan tietyllä prosentilla alkuperäisen mallin päälle, mikä on hyvin karkea prosessi jossa ei jää paljon kontrollia kehittäjälle.

Onhan se tavallaan totta mitä Jensen tuossa sanoo että DLSS5 kunnioittaa sitä mallin geometriaa, tiettyyn pisteeseen saakka. Mutta se ei selvästi ole pelkästään fotorealistinen valaisumalli, vaan se vaikuttaa myös kasvonpiirteisiin joissain tapauksissa muuttaen niitä liikaa.

Jensenin vastauksesta suora lainaus: "controllability of geometry" ja "generative control of geometry"

Mitä nämä voivat DLSS 5:n yhteydessä tarkoittaa nyt tiedossa olevan valossa?

 

[Halpuuttaja]

Mitä nämä voivat DLSS 5:n yhteydessä tarkoittaa nyt tiedossa olevan valossa?

Ainoa mitä tulee mieleen on toi maskaus. Eli pelienginellä voidaan maskata vaikka se NPC:n koko modeli tai pelkkä pärstä ja silloin tota DLSS 5 prosessiontia ei näytetä sen kohdalla.
Jossain mielessä se kunnioittaa tällöin 3D geometriaa juuri pelintekijän määrittämällä tavalla, tosin aika alkeellista kontrolliahan tuo on. Varmaan blendausastetta, gammaa vai mitä noita nyt oli niin voidaan myös sitten maskikohtaisesti määrittää.

 

[Kaotik]

Epic Gamesilta kommenttia.

Similar sentiments have now been echoed by Jean Pierre Kellams, a tech lead producer from Epic Games, who said, "All you guys roasting DLSS 5 like it doesn't look better/is detracting from art direction are absolutely insane. The lighting and shading improvements are bonkers. If that was shown as a next-gen hardware reveal and not"AI"you guys would be going nuts like the Watch Dogs demo."

"If I was a technical artist, I'd be begging for this right now. It's essentially making super high resolution physically accurate lighting trivially cheap. If this is the demo, I can't wait until tech artists start really digging in," added Kellams

Jos se tekisi noin niin mikäs siinä, mutta kun se ei tee niin vaan vain näennäisesti "physically accurate lighting".
DLSS5llä on käsiteltävänä vain se valmis ruutu ja liikevektorit. Sen vuoksi esimerkiksi ruudun ulkopuolella olevat valonlähteet voivat helposti jäädä huomiotta (esimerkkejä on jo useita) ja valaistus on kaikkea muuta kuin "physically accurate" vaikka se voisi siltä näyttää kun katsoo vaikka pelkkää hahmoa täysin irrallisena objektina

Jensenin vastauksesta suora lainaus: "controllability of geometry" ja "generative control of geometry"

Mitä nämä voivat DLSS 5:n yhteydessä tarkoittaa nyt tiedossa olevan valossa?

Sitä että Jensen puhuu "CEO-kieltä" vrt CEO-matematiikka tai kaikki muut NVIDIAlla valehtelee. Aika varmalla kehtaan väittää että ensimmäinen on todennäköisempi

 

[P c L A Y E R]

Ei. Kyse on siitä että käytetään asioista oikeita termejä.

Olet monta lausetta kirjouttanut joissa näin et ole tehnyt. Esim. se ”jollain tapaa realistisempi”.

Se "jollain tapaa realistisempi tarkoittaa" päivän selvästi (tuossa noiden mun muiden viestien kontekstissä), että se on lookiltaan näennäisesti realistisempi / valokuvamaisempi.

Miten se voi olla niin vaikeeta ottaa huomioon koknaisia ja useampia viestejä.

Mutta turhahan tässä on vääntää, kun olet näköjään ihan samaa mieltä kuitenkin pohjimmiltaan siitä asiata, mistä on taas käyty aivan tyhjänpäiväistä vääntöä, kun ei olltu herran mieleen "oikein määritelty"

 

[Sampsa]

Sitä että Jensen puhuu "CEO-kieltä" vrt CEO-matematiikka tai kaikki muut NVIDIAlla valehtelee. Aika varmalla kehtaan väittää että ensimmäinen on todennäköisempi

Siinähän puhuu, mutta ennemmin tai myöhemmin tämä täytyy oikaista tai selittää.

 

[Troublematic]

Jensenin vastauksesta suora lainaus: "controllability of geometry" ja "generative control of geometry"

Mitä nämä voivat DLSS 5:n yhteydessä tarkoittaa nyt tiedossa olevan valossa?

Spekuloisin, että tässä todennäköisesti käytetään jonkinlaista ääriviivojen laskentaa siihen, että saadaan pidettyä tuo AI-generointi suurin piirtein pitämään se kasvo samanlaisena kuin miltä se näyttää. Jos tätä ei tehtäisi, kasvojen muoto voisi muuttua radikaalimmin. Sama ympäristölle, jos jonkinlaista controlnetiä ei ole antamassa tekoälymallille rajaviivoja, se ei pysyisi stabiilina vaan hallusinoisi mitä sattuu.

Tämän tyylistä, mutta keskittyen enemmän kasvojen mikrodetaljiin:

Näin image-to-image generoinnin kontrollointi tehdään ainakin offline AI-kuvageneroinnissa. Toki näitä tekniikoita on monia tarjolla, mutta tuostakin karkeasta esimerkistä voinee ymmärtää, että se tekoälymalli saa todennäköisesti jonkin verran ymmärrystä kasvojen mikrodetailista mitkä on säilytettävä, mutta riippuen kontrollin laadusta ja määrästä sille voidaan antaa enemmän tai vähemmän vapauksia luoda kokonaan uutta detailia perustuen sen omaan käsitykseen siitä miten kasvot toimii.

 

[pomk]

ja valaistus on kaikkea muuta kuin "physically accurate" vaikka se voisi siltä näyttää kun katsoo vaikka pelkkää hahmoa täysin irrallisena objektina

Tai se voi yhdessä stillissä olla ihan riittävän hyvä, koska katsojalla ei ole sen parempaa kontekstia ympäristöstä kuin mitä tolla "make it realistic" superslopperilla, mutta hajoaa täysin liikkeessä.

Se "jollain tapaa realistisempi tarkoittaa" päivän selvästi (tuossa noiden mun muiden viestien kontekstissä), että se on lookiltaan näennäisesti realistisempi / valokuvamaisempi.

Sit olisi voinut kirjoittaa vaikka että "jollain tapaa näennäisesti realistisempi". Ei tää oo niin vaikeeta.

 

[pomk]

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://www.youtube.com/watch?v=D0EM1vKt36s


Daniel Owen saanut lisää vastauksia DLSS5 kuvan muodostamiseen liittyviin kysymyksiin Nvidian edustajalta.

TLDR = Kyllä kyseessä on edelleen "instagram filtteri"

EDIT: En huomannu että sama postattu myös uutisen lankaan mutta onpahan nyt kahdessa paikassa muistuttamassa.

Tämän ehkä masentavin yksityiskohta oli että tuota ei voi promptata. Se olisi ollut välittömästi aivan helvetin hupaisa ominaisuus.