Pikselipaino

Kun uusi malli ilmestyy, ensimmäinen kysymys on melkein aina sama: miltä tulos näyttää. Tämän vuorokauden julkaisut ehdottavat toista kysymystä — mistä tiedämme, että se todella toimii. NVIDIAn tutkimusryhmä julkaisi tänä aamuna videomallin, joka tekee viiden sekunnin klipin neljällä laskenta-askeleella, ja liitti mukaan kaiken, mitä saman tuloksen toistamiseen tarvitaan: neljä kohinatasoa desimaalilleen, siemenluvun, yhden komentorivin. Samana aamuna toinen tekijä teki päinvastaisen työn. Hän kirjoitti oman mallinsa esittelysivun uudelleen ilmoitukseksi siitä, ettei malli toimi lainkaan, ja selitti tarkalleen miksi.

Jälkimmäisessä on päivän tärkein yksityiskohta. Malli oli koulutettu loppuun asti, tappiokäyrä laski kauniisti, eikä yksikään koulutuksen mittari näyttänyt mitään vikaa. Silti kone ei ollut oppinut tekstistä yhtään mitään, koska sille syötetyt kuvaukset olivat sattumanvaraisia kirjainjonoja väärien esineiden vierestä. Käyrä mittasi sitä, että optimointi eteni — ei sitä, että se eteni oikeaan suuntaan. Sama kysymys kohtaa tekijää pienemmässä mittakaavassa joka päivä: mistä tietää, tekikö työkalu sen mitä pyydettiin vai jotain, joka vain näyttää siltä. Päivän kolmas juttu vastaa siihen kolmannella tavalla. Se ei paranna generointia lainkaan, vaan lisää sen perään ne tylsät työvaiheet, joiden jälkeen tuloksen voi vihdoin avata oikeassa ohjelmassa ja katsoa itse.

Neljä askelta, ja koko resepti mukana

NVIDIAn SANA-Video 2.0:sta ilmestyi tänä aamuna versio, joka tekee 720p-klipin neljällä askeleella Apache-lisenssillä. Kortin kiinnostavin kohta ei ole nopeusluku vaan taulukko, jossa kerrotaan tarkalleen, mitä kullakin neljällä askeleella tapahtuu.

Diffuusiomalli tekee kuvan tai videon poistamalla kohinaa vaiheittain. Perinteisesti vaiheita on kolmestakymmenestä viiteenkymmeneen, ja jokainen niistä maksaa yhden täyden ajon läpi verkon. Tislaus tarkoittaa opettaja–oppilas-koulutusta, jossa iso monivaiheinen malli opettaa pienemmän tai nopeamman version tekemään saman muutamalla harppauksella. Neljän askeleen videomalleja on nähty kesän aikana useita, ja lehti on seurannut tislausta numeroista 006 ja 008 lähtien. Tämän aamun julkaisu erottuu kahdesta syystä.

Ensimmäinen on se, mikä tislattiin. SANA-Video 2.0 5B 720p 4step ei ole LoRA-lisäpaino vaan koko malli: 4,47 miljardin parametrin runko, 32 kerrosta, piilotila 2 560. Arkkitehtuurin ydinvalinta on huomiomekanismissa. Tavallinen softmax-huomio maksaa jonon pituuden neliön, ja video on pitkä jono — 81 ruutua 720p-tarkkuudella tekee latenttiavaruudessakin valtavan määrän tokeneita. SANA-Video ajaa 75 prosenttia kerroksistaan portitetulla lineaarisella huomiolla, joka skaalautuu suoraviivaisesti, ja pudottaa joukkoon 25 prosenttia oikeita softmax-ankkureita, jotka palauttavat tarkkuuden. Ankkurien tuottama tuore esitys jaetaan eteenpäin myöhemmille lineaarikerroksille joka kahdeksannen kerroksen välein. Kyse on siis siitä samasta kompromissista, jota kielimallipuolella on hierottu vuosia, nyt videon mitoissa.

Toinen syy on kortin loppupuolella, ja se on tämän numeron kannalta olennaisempi. Mallin mukana julkaistaan näytteistyssopimus: taulukko, jossa on neljä kiinteää kohinatasoa kymmenen desimaalin tarkkuudella — 0,9998, 0,9472, 0,8569, 0,6664 — ja sanallinen kuvaus siitä, mitä kussakin vaiheessa tehdään. Malli ennustaa nopeuden, siitä lasketaan puhdas arvio, ja viimeistä vaihetta lukuun ottamatta arvio kohinataan uudelleen seuraavalle tasolle samasta siemenluvusta. Kortti sanoo suoraan, ettei kyseessä ole katkaistu DPM-ratkaisijan polku, ja luettelee montako kohinanostoa ajossa tehdään: yksi alkuun ja kolme siirtymiin. Mukana on täydellinen komentorivi, jolla esimerkkivideo on tehty, siemenluku neljä ja itse tiedosto ladattavana.

Tämä kuulostaa pikkutarkalta, mutta se ratkaisee arkisen ongelman. Neljän askeleen malleja on julkaistu kymmenittäin, ja niiden oikeat asetukset kiertävät yhteisössä suullisena perimätietona: sopiva siirtymä, oikea ratkaisija, se yksi solmu jonka pitää olla ennen toista. Kun tekijä ei saa mallista sitä laatua, jonka esittelyvideo lupaa, hän ei voi tietää johtuuko se mallista vai omista asetuksistaan. Julkaistu sopimus poistaa koko kysymyksen: jos ajaa juuri nämä neljä tasoa tällä siemenellä ja saa toisen näköisen tuloksen, vika on jossain muualla kuin arvailussa.

Käytännön tiedot lopuksi. Ulos tulee 736×1280 pikseliä, 81 ruutua, 16 kuvaa sekunnissa — noin 5,1 sekuntia. Tekstin lukee Googlen gemma-2-2b-it, ja pakkaajana on LTX 2.3:n autoenkooderi, mikä on itsessään pieni kulttuurihistoriallinen huomio: NVIDIAn tutkimusmalli nojaa israelilaisen Lightricksin avoimeen osaan. Tarkistuspiste on arvioitu koko VBench-testisarjalla, 4 730 kehotetta kuudessatoista ulottuvuudessa, samalla neljän vaiheen sopimuksella. Varaukset ovat isot ja rehellisesti kirjatut: tämä on tutkimusesiversio, se tekee vain tekstistä videota eikä ota vastaan lähtökuvaa, ajaminen vaatii toistaiseksi kehityshaaran ja LTX:n autoenkooderin sijoittamisen käsin oikeaan hakemistoon. Kuvaan tuleva teksti, kädet ja esineiden pysyvyys ovat lajin tuttuja heikkoja kohtia. Lisenssi on Apache 2.0, eli painoja saa käyttää ja jatkokouluttaa vapaasti.

Lähteet: mallikortti (27.8.2026), SANA-Video 2.0 -projektisivu, arXiv 2607.21553, alkuperäinen 50 askeleen malli, verkkodemo, GitHub

Malli, joka ei oppinut mitään — ja sanoi sen ääneen

Pieni pelistudio julkaisi tekstistä kolmiulotteiseksi tekevän mallin, huomasi sen olevan rikki ja veti sen pois tänään. Poikkeuksellista ei ole vika vaan se, mitä esittelysivulle kirjoitettiin tilalle.

VertexForge-3D lupasi sitä, mitä moni indie-kehittäjä toivoo: kirjoitat "keskiaikainen taistelutapara taotulla terällä" ja saat ulos monikulmioverkon, jonka voi viedä Blenderiin tai Unreal Enginen. Rakenne oli MeshGPT-sukuinen — vektorikvantisoitu autoenkooderi muuttaa geometrian tokeneiksi, autoregressiivinen transformeri kirjoittaa tokenijonon, CLIP hoitaa tekstin. Malli oli pieni, 34 miljoonaa parametria, ja koulutettu yhdellä pelinäytönohjaimella. Tänään sen esittelysivun kärkeen ilmestyi punainen laatikko: vedetty pois, ei toimi, älkää rakentako tämän päälle.

Vika oli oireiltaan yksinkertainen. Mikä tahansa kehote tuotti käytännössä saman muodon. Kyse ei ollut laadusta vaan siitä, ettei tekstiehdollistus ollut oppinut yhtään mitään. Syyt löytyivät julkaisun jälkeisessä tarkastuksessa, eivätkä ne olleet mallissa vaan aineistoputkessa — kahdessa toisistaan riippumattomassa virheessä.

Ensimmäinen: verkot ja kuvaukset olivat parittuneet väärin. Tokenivälimuistiin oli kirjoitettu 1 431 jonoa yhdestä hakemistosta. Koulutusskripti kokosi tiedostolistan uudelleen — mutta kahdesta hakemistosta, yhteensä 6 941 tiedostoa — ja yhdisti tokenit nimiin listan järjestysnumeron perusteella. Koska välimuistia kirjoitettaessa 26 verkkoa ei ollut jäsentynyt lainkaan, kaikki indeksit ensimmäisen epäonnistumisen jälkeen olivat siirtyneet paikaltaan. Jokainen tokenijono osoitti jonkin toisen esineen nimeen.

Toinen virhe on niitä, jotka jäävät mieleen. Kuvaukset eivät olleet tekstiä. Aineiston tiedostonimet ovat Objaverse-kirjaston tunnisteita, 32 merkin heksadesimaalijonoja. Kuvausfunktio poisti niistä numerot säännöllisellä lausekkeella ja käytti jäljelle jääneitä kirjaimia. CLIP:lle syötetyt merkkijonot näyttivät tältä: stylized low-poly d e deb b b d dc. Ristiinhuomiolla ei ollut mitään opittavaa, joten transformeri valui kohti ehdotonta priori-jakaumaa — yhtä keskiarvoista muotoa, kehotteesta riippumatta.

Ja tässä on se kohta, jonka takia juttu on tässä lehdessä. Koulutustappio laski normaalisti. Käyrä näytti täsmälleen siltä, miltä onnistuneen ajon käyrä näyttää. Mikään koulutuksen aikana seurattu luku ei paljastanut, että malli opetteli ulkoa yhtä muotoa sen sijaan että olisi oppinut yhdistämään sanoja geometriaan. Myötävaikuttavana tekijänä ei ollut erillistä validointijoukkoa, joten ulkoa opettelua ei voinut erottaa yleistämisestä. Tehollista koulutusta kertyi noin 1 112 jonoa 25 kierrokselta — tekijän oman arvion mukaan suunnilleen sata sekuntia optimointia.

Korjattu versio on koulutuksessa, ja sen muutoslista on käytännössä oppitunti aineistotyöstä. Verkko, kuvaus ja tokenit kulkevat jatkossa yhtenä tietueena tunnisteen ympärillä, jolloin järjestysnumeroon perustuva parittaminen on rakenteellisesti mahdotonta. Kuvaukset haetaan Objaversen omista annotaatioista ja suodatetaan sanastolla, joka on rakennettu datasta: sana kelpaa vasta kun vähintään viisikymmentä toisistaan riippumatonta tekijää on käyttänyt sitä tunnisteena. Lähes 800 000 luetteloidusta esineestä suodattimet läpäisee 47 928. Mukaan tulee myös validointijoukko, joka erotetaan tunnisteen tiivisteestä eli aina samalla tavalla. Samalla tekijä korjaa aiemman kortin oman virheen: siinä väitettiin koodikirjan kooksi 192, vaikka 192 on koodivektorin ulottuvuus — kirjassa on 16 384 alkiota, joista julkaistu tarkistuspiste käytti mitatusti noin viidenneksen.

Painot on jätetty verkkoon tarkoituksella, selvästi merkittynä, jotta epäonnistumista voi tutkia. Se on harvinaista. Rikkinäinen malli katoaa yleensä hiljaa, ja seuraava tekijä kompastuu samaan kuoppaan. Lukijalle jää tästä yksi hyvin halpa työtapa: kun kokeilee uutta mallia, aja ensimmäiseksi viisi keskenään mahdollisimman erilaista kehotetta ja katso, eroavatko tulokset toisistaan. Se kestää puoli minuuttia ja paljastaa juuri sen vian, jota tappiokäyrä ei näytä.

Lähteet: VertexForge-3D -mallikortti (27.8.2026), Hugging Face API (text-to-3d, 48 h 27.8.)

Kolmiulotteinen esine tulee ulos siistittynä

ComfyUI:n eilinen versio toi ytimeen Pixal3D:n ja TRELLIS2:n — ja niiden perään ne tylsät työvaiheet, joita ilman generoitu verkko ei kelpaa pelimoottoriin: uudelleenverkotus, harvennus, UV-avaus ja tekstuurin paisto.

Kuvasta kolmiulotteiseksi -mallit ovat viimeisen vuoden aikana muuttuneet hyviksi. Silti niiden tulos päätyy harvoin suoraan tuotantoon, ja syy on aina sama neljän vaiheen lista. Generoitu verkko on tyypillisesti tiheä, epäsäännöllinen kolmiomassa: se näyttää oikealta mutta on mahdoton animoida, koska pintaa ei ole rakennettu liikkeen ehdoilla. Se on liian raskas peliin, koska monikulmiobudjetti on olemassa. Siinä ei ole UV-kartastoa, eli sitä litteäksi avattua kaavaa, jolle tekstuuri maalataan — ja ilman kartastoa ei ole tekstuuria vaan korkeintaan verteksiväri. Ja jos yksityiskohdat halutaan säilyttää kevyemmässä versiossa, ne on paistettava korkeatiheyksiseltä pinnalta matalatiheyksisen kartastolle.

Tämä nelikko on kolmiulotteisen taiteilijan arkityötä, ja se on tähän asti tehty muualla: verkko ulos generaattorista, sisään Blenderiin tai vastaavaan, siellä uudelleenverkotus, harvennus, avaus ja paisto käsin, ja sitten vasta moottoriin. ComfyUI 0.34.0 siirtää koko ketjun solmugraafiin. Eilen julkaistuun versioon tuli natiivi tuki Pixal3D- ja TRELLIS2-malleille, ja samassa yhteydessä mukana tulivat jälkikäsittelysolmut: remesh, decimate, UV unwrap ja texture bake. Generointi ja viimeistely ovat nyt saman työnkulun osia, mikä tarkoittaa myös sitä, että ne voi ajaa erälle esineitä yhdellä painalluksella.

Sama julkaisu sisältää kaksi muutakin merkintää, jotka kannattaa lukea. Ytimeen hyväksyttiin TAESD H3 eli kevyt purkaja MiniMax H3:n latenttiavaruudelle. Purkaja on se osa, joka muuttaa mallin sisäisen esityksen katsottaviksi pikseleiksi, ja se on videossa yllättävän kallis vaihe: usein esikatselun odottaminen kestää kauemmin kuin varsinaisen generoinnin miettiminen. Kevyt purkaja tuottaa karkean mutta nopean esikatselun, jolloin huonon oton voi hylätä ennen kuin täysi purku on ajettu. Toinen merkintä on videon tallentaminen HDR-muodossa AV1-koodekilla mkv- ja webm-säiliöihin — laajemman dynamiikan säilyttäminen ei ole enää erillinen jälkityö. Lisäksi MiniMax H3:n kehote-embeddingit saa nyt ladattua suoraan kehotteen sisällä embedding:-merkinnällä, ja videon luontisolmuun tuli värikoordinaatiston ja bittisyvyyden valinta.

Kokonaisuus kertoo lajin kypsymisestä. Kaksi vuotta sitten uutinen olisi ollut se, että kolmiulotteista geometriaa yleensä syntyy tekstistä tai kuvasta. Nyt uutinen on, että syntynyt geometria saadaan ulos siinä kunnossa, jossa sitä voi käyttää — ja että näiden vaiheiden puuttuminen on ollut se todellinen syy, miksi vaikuttavat esittelyvideot eivät ole muuttuneet peleiksi. Numeron 010 klassikkoartikkelissa seurattiin tietä TripoSR:stä TRELLIS-perheeseen; tämä on saman tarinan seuraava luku, ja se on kirjoitettu kolmiulotteisen taiteilijan sanastolla eikä tutkijan.

Lähteet: ComfyUI-muutosloki, v0.34.0 (26.8.2026), Pixal3D- ja TRELLIS2-integraatio (PR 14718), TAESD H3 (PR 15695), TRELLIS.2-4B, Pixal3D

Kolmiulotteinen osasto oli vuorokauden hiljaa: tämän numeron taustatyössä käytiin läpi kahdeksan seuranta-alueen uutuudet. Tekstistä kuvaksi tuotti 48 tunnissa 48 uutta mallia, kuvasta kolmiulotteiseksi tasan nolla ja tekstistä kolmiulotteiseksi yhden — sen, joka vedettiin pois samana päivänä. Ero ei kerro siitä, että kolmiulotteinen olisi kuollut, vaan siitä että sen kellotaajuus on toinen. Kuvamallien ympärillä liikkuu tuhansia tekijöitä, joiden hienosäätö valmistuu illassa. Geometriamallien ympärillä on tutkimusryhmiä, joiden julkaisuväli on kuukausia. Kärkipaikat ovat pysyneet samoina koko kesän, ja se on tässä lajissa merkki vakaudesta eikä pysähtyneisyydestä.

Tunnistimet nousivat trendilistalle, tarkkuus ei: Hugging Facen suosituimpien sovellusten joukkoon on kivunnut kaksi ilmaista tekoälykuvan tunnistinta. Kysyntä on ymmärrettävää — kuvittajat, kilpailujen tuomarit ja toimitukset haluavat kaikki jonkin mittarin. Riippumattomat vertailut kuitenkin kertovat, että laboratorio-olosuhteiden 96–99 prosentin osumatarkkuus ei siirry käytäntöön: sama työkalu voi osua lähes täydellisesti yhden generaattorin jälkiin ja pudota kolmen neljäsosan tuntumaan toisen kohdalla, eikä yksikään kata koko kenttää. Kilpavarustelu on rakenteellinen, koska jokainen parannus tunnistuksessa on samalla ohje siitä, mitä seuraavan generaattorin kannattaa välttää. Tekijän kannalta huolestuttavin virhe ei ole se, että kone päästää tekoälykuvan läpi, vaan se, että se leimaa käsin tehdyn työn koneen tekemäksi.

Osaako videomalli ajatella vai vain näyttää hyvältä: tuore VGI-Bench yrittää mitata videomalleilta muutakin kuin kauneutta. Se antaa mallille tehtäviä, jotka ratkeavat vain jos malli osaa kelata tapahtuman uskottavasti eteenpäin, ja porrastaa vaikeuden nykyisen kyvykkyyden rajalle sen sijaan että kysyisi mahdottomia. Kiinnostavin havainto koskee mallien sisäistä käyttäytymistä: kohinanpoiston kulkua seuraamalla nähdään, että malli hioo varhaista arvaustaan eikä juuri koskaan hylkää sitä kesken kaiken. Se on hyvä pitää mielessä aina kun kuulee sanan "maailmamalli" — nykyinen sukupolvi jatkaa aloittamaansa, myös silloin kun aloitus oli väärä.