Noniin, ja jos kerran tekaistu valaistus on ihan ok, niin miksi ajaa path tracingia ylipäänsä? En ymmärrä, etenkin jos konteksti otetaan edellisestä viestistäsi:
Tämä ei lisää tai tuo korkean tarkkuuden path tracingin realistisuutta. Se vaatisi sitä path tracingia tai parempaa denoiseria.
Tämä monin paikoin myös vähentää realismia (tai ainakin taitelijan ajatusta siitä) vaikka jätettäisiin huomiotta studiovalaistuspuoli. Monessa esimerkissä on nostettu esiin DFn videolta kohtaus, jossa hahmolla on lippis ja valaistus tulee selvästi ylhäältä luoden lipasta varjon kasvoille. DLSS5:n kanssa ko. varjoa ei ole ja valaistus tulee ties mistä. Ja toinen on tosiaan sumujen katoaminen tyystin
Kyllä se sitä hyödyntää varmasti. Osaa maskata sen pohjalta että mikä alue kuvasta slopataan.
Miltä tiedät että se antaa paremman tason path tracingia muistuttavan kuvan? Eikö se vaatisi sitä paremman tason path tracingia, jotta vertailu on mahdollista ja moista kehtaisi laukoa täällä? Voi ihan hyvin pitää paikkansa että rajattomalla sädebudjetillakin se nykyinen pt olisi lähempänä kuin tämä slopattu versio?
Mistä tiedät että ne on aidon näköisesti valaistu? Eikö siihen tarvita vertailukuva siitä loppuun asti lasketusta versiosta?
Joo, jotain lookia voidaan luoda, tarkemmin sanottuna slop lookia. PT:tä ei. Eikä oikeastaan PT lookiakaan (ellei voida osoittaa että tossa skenessä säteitä lisää ampumalla se lopulta muodostaisi ominaisuuksiltaan vastaavan kuvan).
Etkö ymmärrä miltä ns. slop look näyttää?
Onko tälläisestä jotain esimerkkejä heittää? Mielellään ne referenssit siihen viereen niin tiedetään että oliko ne AI:n tuotokset aidon oloisesti valaistu vai ei.
Riippuu aivan täysin siitä että miten niitä alkaa analysoimaan. Mikrodetaileja on enemmän, tekstuurit pääsääntöisesti näyttää tarkemmalta muutenkin, mut sit jos noista yrittäisi analysoida valaistusta niin illuusio hajoaa täysin. Korkeintaan aivan pintapuoleisesti ne voi näyttää ”aidommalta”, sitä kuitenkaan olematta.
Eikö me just käyty läpi että tällä tuotettu valaistus ei ole realistista. Ei edes ”tietyllä tapaa”.
Linkki: https://www.youtube.com/watch?v=D0EM1vKt36s
Daniel Owen saanut lisää vastauksia DLSS5 kuvan muodostamiseen liittyviin kysymyksiin Nvidian edustajalta.
TLDR = Kyllä kyseessä on edelleen "instagram filtteri"
Kyllä käytännössä "artistinen säätömahdollisuus" on vaan tyyliin valotuksen ja gamman säätöä niinkun arvelinkin Itse kuvahan tulee edelleen treenattuun lähdedataan verraten ilman että voit mitenkään muuten vaikuttaa. Kyllä ne mainitsi että siinä on mahdollisuus rajoittaa alueita mutta menee aika näpertämiseksi jos pitää kehittäjän ruveta maalailemaan hiusrajoja hahmoilta mihin ei saa koskea jos kyseinen edes mahdollista tehdä. Lisäksi miten kyseinen vaikuttaa kuvan muodostukseen jos kokonaisuudesta leikkaillaan osia pois. AI saattaa hallusinoida ties minkälaisia poikkeavuuksia puutteellisen/vähemmän kattavan datan pohjalta. Eipä tämä ole mitään muuta kuin Toddin tyyppisille starfield kehittäjille suunniteltu oikotie onneen millä pitäis saada taiottua paskasta timantteja. Kuorenalla kuitenkaan kyseessä sen kummempi kuin reaaliajassa "instagram filtterinä" operoiva kuvan loppukäsittelijä.
Niin eipä tuolla segmentoinnilla mitään muuta voita kun sitä että saadaan rajattua noita käsiteltäviä alueita. Ja tuossa Owenin videossa esillä olevassa Nvidian dokumenttivastauksessa näkyy nuo kaikki tarjolla olevat säätövaihtoehdot joita ei paljon ole. Ja edellä mainitut ei muuta edelleenkään lopputulosta joka on AI:n reaaliajassa generoima filtteröity kuva joka sijoitetaan alkuperäistä geometriaa mukaillen edellisen kuvan päälle sitä tahtia kun frame muuttuu ja hahmo liikkuu.Itse olen ymmärtänyt tämän niin, että DLSS5 ensin segmentoi sen yksittäisen ruudun eri osiin, esim. kasvot, hiukset, tausta. Tällä saadaan aikaan tuo maskaaminen, ja tekoälymalli hoitaa muutokset siihen perustuen, ja pelinkehittäjä voi halutessaan disabloida/enabloida näitä segmenttejä, ja ehkä mahdollisesti myös säätää efektin intensiteettiä jokaisella segmentillä erikseen.
Tässä X:stä poimittu yksinkertainen segmentoitu malli:
Blendaus alkuperäisen kuvan ja tekoälyn luoman tuotoksen välillä sitten päättää miten paljon naama muuttuu, ja miten paljon siihen tulee sitä fotorealismia. Ongelma on se, että mitä enemmän vahvuutta nostaa fotorealismin tuomiseksi tekoälymallista, sitä suuremmalla todennäköisyydellä se tuo naamaan myös muita merkittäviä muutoksia, kuten hiusrajaa, meikkiä tms mikä kuitenkin pysyy vielä alkuperäisen geometrisissä rajoissa. Pääasiallisesti siis ainoa ratkaisu mallin identiteetin pitämiseen kuosissa on rajoittaa tekoälymallin intensiteettiä, mikä vuorostaan rajoittaa myös sitä fotorealismia. Hahmosta saa siis eläväisemmän näköisen vain uhraamalla uskollisuutta alkuperäiselle mallille. Toki jollain kontrasti/gamma säädöllä jotain pientä voi tehdä, mutta pääasiallinen kontrolli on tämä Nvidian dokkarin mainitsema Intensity:
Luulisi, että heillä olisi tuon lisäksi kuitenkin vielä muitakin kontrolliasetuksia joita löytyy esim. ComfyUI:ssa. Toki tämä on suoritettava reaaliajassa joten hieman eri kauraa kuin offline kuvien generointi.
Yksi asia mikä tulee mieleen on, että kehittäjät voivat kyllä tehdä muutoksia siihen hahmomalliin tuota DLSS5-tilaa varten, eli kun DLSS5 enabloidaan, voidaan samalla tehdä siihen base frameen haluamiaan muutoksia, joiden pohjalta tuo tekoälymalli voi teoriassa saavuttaa lopputuloksen joka on uskottavampi kuin mitä se olisi ilman pohjamuutoksia. Tällä tavalla voisi ehkä hieman yrittää kiertää jotain muutosta.
Myös tuon screenspace-ongelman kuvan reunoilla voi teoriassa ratkaista laskemalla sen path tracing -valaistuksen pohjalle, mutta tämä olisi tietysti hyvin kallis operaatio. Samalla kuitenkin saisi ne kuvan ulkopuolelta tulevat säteet.
Näin on, pahimmassa (realistisessa) tapauksessa tän kehitys jää puolitiehen, homma pidetään suljettuna eikä avata loppukäyttäjälle, toiminnallisuus on suppeaa, sitä ei hyödynnetä oikein ja pelit jotka kehitetään tämä mielessä ovat ilman dlls5:tä pelikelvottomia - joka koskee muutamaa tekkidemoa jota ilman kaikki varmaan pystyy elämään. Parhaimmassa tapauksessa jos oletetaan että tämä ei ole vain AI alloonharjalla ratsastamista niin tämä tulee mullistamaan niin grafiikan renderöinnin, sekä modaus kulttuurin. Itse haluan olla kuitenkin optimistinen tämän suhteen ja pidän potenttiaalisia tavoitteita joita tälle voi asettaa mitä tulee renderöinnin parantamiseen ihan realistisina. Toki kyyninen sanoisi että ei tästä mitään tuu, taas yks AI scämmäys.
Rehellisyyden ja tasapuolisuuden nimissä AI:n puskemisen takana on valtavat rahasummat joita siihen on käytetty. Lisää AI:ta = osakkeet menee ylös. Jos AI hankkeet epäonnistuu yrityksiä menee konkkaan joka myös vaikuttaa valtiotasolla. Näkyy kyllä tässäkin, mutta asia ei ole ihan yksiselitteinen. Jos epic ja kumppanit hoitaisi renderöinnin oikein ja kehittäjät optimoisi pelejä ei olisi tarvetta upscale ja feikkifreimeille.
. Hyvä pätkä ammattilaiselta, tekee selväksi että tässä muodossa tämä jyrää alkuperäisen taiteilijan käden jäljen yli, mikä tietysti ongelmallista. Eli kyse ei ole vain valaistuksesta. Valaistuksessa onnistui paremmin, ihmiskasvot haastavampia (etenkin jos alkuperäinen hahmo muuttuu).
