Keskustelua yliskaalaustekniikoista ja frame generaatiosta Nvidia Dlss, Amd Fsr, Intel Xess, Lossless Scaling

[pomk]

AI ei simuloi mitään. Se koittaa jäljitellä sitä, mille realistisesti valaistu kuva näyttää, eikä osaa kunnolla huomioida, mitä valonlähteitä siinä kuvassa oikeasti on. Tällä hetkellähän tässä käytetään liikevektoreita ja väri dataa pohjana, mikä ohjaa sitä AI:n teoksia. Ehkä tulevaisuudessa tähän saadaan lisää inputteja, mitkä ohjaa tuota, jolloin ylimääräisiä valonlähteitä ei ehkä tule mukaan.

Onhan tämä siinä mielessä takapakkia, että mennään oikeasta valon simuloinnista taas feikkaamiseen, mutta eihän tätä ole mikään pakko käyttää. Varmasti joissain peleissä, kuten Star Field, tästä voi olla oikeasti iso hyöty, jos haluaa tavoitella realistisempia yleisilmettä peliin, välittämättä siitä, onko se skenen valaistus ihan prikulleen simuloitu niiden valonlähteen mukaisesti.

Noniin, ja jos kerran tekaistu valaistus on ihan ok, niin miksi ajaa path tracingia ylipäänsä? En ymmärrä, etenkin jos konteksti otetaan edellisestä viestistäsi:

Tämän teknologian tarkoitushan on tuoda sitä korkean tarkkuuden path tracingin tuomaa realisistisuutta kuvaan jo nyt

Tämä ei lisää tai tuo korkean tarkkuuden path tracingin realistisuutta. Se vaatisi sitä path tracingia tai parempaa denoiseria.

 

[P c L A Y E R]

Noniin, ja jos kerran tekaistu valaistus on ihan ok, niin miksi ajaa path tracingia ylipäänsä? En ymmärrä, etenkin jos konteksti otetaan edellisestä viestistäsi:

Tämä ei lisää tai tuo korkean tarkkuuden path tracingin realistisuutta. Se vaatisi sitä path tracingia tai parempaa denoiseria.

Enkö juuri sanonut, että se antaa yleisilmeeltään paremman tason path tracingiä muistuttavan kuvan. Ei se ole tietenkään sama tai yhtä hyvä asia, kun oikeasti korkeatasoinen path tracing, joka oikeasti simuloi sen valon.

Sitä olen itsekkin miettinyt, että meneekö path tracing siellä pohjalla ihan hukkaan tämän kanssa, vai osaako se hyödyntää sitä kuitenkin jotenkin? Tämä DLSS5 toimii kuitenkin vain screen spacessa 2D tasolla.

 

[Kaotik]

Tämä ei lisää tai tuo korkean tarkkuuden path tracingin realistisuutta. Se vaatisi sitä path tracingia tai parempaa denoiseria.

Tämä monin paikoin myös vähentää realismia (tai ainakin taitelijan ajatusta siitä) vaikka jätettäisiin huomiotta studiovalaistuspuoli. Monessa esimerkissä on nostettu esiin DFn videolta kohtaus, jossa hahmolla on lippis ja valaistus tulee selvästi ylhäältä luoden lipasta varjon kasvoille. DLSS5:n kanssa ko. varjoa ei ole ja valaistus tulee ties mistä. Ja toinen on tosiaan sumujen katoaminen tyystin

 

[pomk]

Sitä olen itsekkin miettinyt, että meneekö path tracing siellä pohjalla ihan hukkaan tämän kanssa, vai osaako se hyödyntää sitä kuitenkin jotenkin?

Kyllä se sitä hyödyntää varmasti. Osaa maskata sen pohjalta että mikä alue kuvasta slopataan.

Enkö juuri sanonut, että se antaa yleisilmeeltään paremman tason path tracingiä muistuttavan kuvan.

Miltä tiedät että se antaa paremman tason path tracingia muistuttavan kuvan? Eikö se vaatisi sitä paremman tason path tracingia, jotta vertailu on mahdollista ja moista kehtaisi laukoa täällä? Voi ihan hyvin pitää paikkansa että rajattomalla sädebudjetillakin se nykyinen pt olisi lähempänä kuin tämä slopattu versio?

 

[P c L A Y E R]

Kyllä se sitä hyödyntää varmasti. Osaa maskata sen pohjalta että mikä alue kuvasta slopataan.

Miltä tiedät että se antaa paremman tason path tracingia muistuttavan kuvan? Eikö se vaatisi sitä paremman tason path tracingia, jotta vertailu on mahdollista ja moista kehtaisi laukoa täällä? Voi ihan hyvin pitää paikkansa että rajattomalla sädebudjetillakin se nykyinen pt olisi lähempänä kuin tämä slopattu versio?

Mikä tässä nyt taas on niin vaikeeta. AI:n avulla voidaan nyt luoda hyvin aidon näköisesti valaistuja materiaaleja/pintoja reaaliajassa, mutta valaistus on AI:n tulkinta eikö välttämättä kunnioita pelimaailman valonlähteitä. Pystytään luomaan näennäisesti elokuva tason PT:n tarjoamaa lookia, materiaalien ja pintojen valaistuksen osalta, vaikka se ei olisikaan maailman valonlähteitä tarkasti kunnioittavaa, kun sitä ei simuloida.

Tuo on ainakin omasta mielestä tämän DLSS5:n tavoite. Se että miten hyvin se toteutuu on sitten eri asia.

Varmasti rajattomalla säde budjetilla päästään samaan ja parempaankin yleisilmeeseen, ja kaikkien pintojen valaistus mätsäisi täydellisesti maailman valonlähteen kanssa. Tällä hetkellä ei vaan ole rautaa joka sitä jaksaa pyörittää tarpeeksi nopeasti reaaliajassa.

 

[pomk]

AI:n avulla voidaan nyt luoda hyvin aidon näköisesti valaistuja materiaaleja/pintoja reaaliajassa

Mistä tiedät että ne on aidon näköisesti valaistu? Eikö siihen tarvita vertailukuva siitä loppuun asti lasketusta versiosta?

Pystytään luomaan näennäisesti elokuva tason PT:n tarjoamaa lookia, materiaalien ja pintojen valaistuksen osalta, vaikka se ei olisikaan maailman valonlähteitä tarkasti kunnioittavaa, kun sitä ei simuloida.

Joo, jotain lookia voidaan luoda, tarkemmin sanottuna slop lookia. PT:tä ei. Eikä oikeastaan PT lookiakaan (ellei voida osoittaa että tossa skenessä säteitä lisää ampumalla se lopulta muodostaisi ominaisuuksiltaan vastaavan kuvan).

Tuossa olisi ollut nvidialla nyt miljoonan dollarin paikka, näyttää kuinka heidän näyttis PT:t maksimissa tunnin jauhamalla olis tehny hyvin tarkkaan saman ku superslopperi tekee n. 30 millisekunnissa. Jostain kumman syystä moista ei haluttu tehdä, vaan hallusinoidaan paskaa ja vedetään kontrastit maksimiin, eikä verrata referenssiin.

Ei ole mitään syytä olettaa että tuo superslopperi arvaisi lähemmäs sen todellisen PT kuvan kuin mitä heidän nykyinen rajallinen PT toteutus laskee.

 

[P c L A Y E R]

Mistä tiedät että ne on aidon näköisesti valaistu? Eikö siihen tarvita vertailukuva siitä loppuun asti lasketusta versiosta?

Joo, jotain lookia voidaan luoda, tarkemmin sanottuna slop lookia. PT:tä ei. Eikä oikeastaan PT lookiakaan (ellei voida osoittaa että tossa skenessä säteitä lisää ampumalla se lopulta muodostaisi ominaisuuksiltaan vastaavan kuvan).

Tuossa olisi ollut nvidialla nyt miljoonan dollarin paikka, näyttää kuinka heidän näyttis PT:t maksimissa tunnin jauhamalla olis tehny hyvin tarkkaan saman ku superslopperi tekee n. 30 millisekunnissa. Jostain kumman syystä moista ei haluttu tehdä, vaan hallusinoidaan paskaa ja vedetään kontrastit maksimiin, eikä verrata referenssiin.

Ei ole mitään syytä olettaa että tuo superslopperi arvaisi lähemmäs sen todellisen PT kuvan kuin mitä heidän nykyinen rajallinen PT toteutus laskee.

Etkö ymmärrä eroa simuloinnin ja lookin välillä. AI voi luoda kuvan, joka näyttää sille, että on ammuttu tsiljoona sädettä ja hemmetisti bounceja, jolloin se materiaali/pinta voi näyttää näennäisesti aidommalle, vaikka sen valaistus ei vastaisi kunnolla sen pelimaailman valaistusta siinä tilanteessa. Eli se ei näytä välttämättä totuudenmukaiselle ympäristön valaistukseen kohden, mutta muuten aidommalle. Tällä tavallahan peligrafiikka on feikattu ikuisuudet. Luodaan illuusio "aidosta".

Tekoälyä on treenattu milettömällä määrällä dataa, mille eri materiaalit näyttää erilaisissa valaistuksessa, joten tottakait se pystyy luomaan hyvin aidon oloisesti valaistuja pintoja/materiaaleja.

 

[pomk]

Etkö ymmärrä eroa simuloinnin ja lookin välillä.

Etkö ymmärrä miltä ns. slop look näyttää?
chatgpt vaan auki ja sinne "make it more realistic" muutaman kerran.

Toivottavasti ymmärrät että slop look ja PT look on varsin eri asioita, eikä niitä kannata sekoittaa toisiinsa. PT lookissa olennaista on että valot vaikuttavat tulevan loogisista suunnista, ja esim. ei ole samanaikaisesti kahteen suuntaan piirtyviä varjoja ulkona suorassa auringonpaisteessa. Ns. slop look taas sallii tuollaisen meiningin ja on sille suorastaan tyypillinen ominaisuus.

Tekoälyä on treenattu milettömällä määrällä dataa, mille eri materiaalit näyttää erilaisissa valaistuksessa, joten tottakait se pystyy luomaan hyvin aidon oloisesti valaistuja pintoja/materiaaleja.

Onko tälläisestä jotain esimerkkejä heittää? Mielellään ne referenssit siihen viereen niin tiedetään että oliko ne AI:n tuotokset aidon oloisesti valaistu vai ei.