Pikselipaino

Generatiivisen mallin myyntipuhe on ollut kymmenen vuotta sama: kerro mitä haluat, niin minä keksin loput. Tämän vuorokauden julkaisut kuulostavat toiselta. Yksi maailmamalli purkaa itsensä kolmeen osaan ja luovuttaa geometrian laskennan pois neuroverkolta kokonaan — jäljelle jää vain maalaustyö. Yksi videomallin lisäosa muuttaa kameran sisäänajon kehotteeseen kirjoitettavaksi merkiksi, jolla on seitsemän mitattua nopeutta. Ja yksi suuri videomalli, jonka koko idea on että se suunnittelee kohtauksen merkitystasolla ennen kuin koskee pikseleihin, ilmestyi eilen illalla muodossa, joka käynnistyy pöytäkoneen omalla piirillä.

Yhteinen nimittäjä ei ole laatu vaan työnjako. Kolme vuotta kenttä on kilpaillut siitä, kuka arvaa parhaiten. Nyt kilpaillaan siitä, kuinka pieneksi arvauksen osuus saadaan kutistettua — mikä lasketaan tarkasti, mikä sanellaan ennalta, ja mikä jätetään mallin harkittavaksi. Tekijälle tämä on hyvä uutinen, koska juuri niistä rajoista muodostuu se, mitä kutsumme ohjaamiseksi. Sattumaa ei ole sekään, että kaikki kolme päivän julkaisua nojaavat samaan pohjaan, Alibaban Wan 2.2:een. Siksi juttusarjan tämänpäiväinen osa on omistettu sille — se on tällä hetkellä alan yleisin alusta, ja se on syytä tuntea, vaikka ei sitä koskaan itse ajaisi.

Maailmamalli, jossa vain maali on arvattua

Interaktiiviset maailmamallit ennustavat yleensä seuraavan ruudun suoraan edellisestä — ja ajautuvat siksi pikkuhiljaa harhaan. Marionette pilkkoo tehtävän kolmeen osaan ja antaa keskimmäisen, geometrian, nollaparametriselle laskennalle. Neuroverkko saa maalata, ei mitata.

Kun maailmamalli tuottaa pelattavaa videota, se tekee sen tavallisesti autoregressiivisesti: ennusta seuraava ruutu, syötä se takaisin sisään, toista. Ongelma on tuttu jokaiselle, joka on katsonut pitkän generoinnin loppuun asti. Pieni virhe mallin sisäisessä käsityksessä maailman tilasta ei korjaannu koskaan, vaan kulkeutuu seuraavaan ruutuun hieman suurempana. Hahmo liukuu maastosta läpi, esine katoaa käden alta, mittasuhteet valuvat. Ohjattavuus ja johdonmukaisuus rapautuvat samaa tahtia.

Shanghailaisen AlayaLabin maanantaina julkaisema Marionette vastaa tähän kieltäytymällä ennustamasta sitä, minkä voi laskea. Putki jakautuu kolmeen vaiheeseen. Ensimmäinen on dynamiikka: kaksi pientä muuntajaa, ActionGPT ja PoseGPT, ennustavat seuraavan toiminnon ja seuraavan nivelasennon 276-ulotteisena maailmantilana kahdenkymmenen ruudun sekuntivauhtia. Toinen vaihe on silta, joka kääntää tuon tilan näkyväksi asentovideoksi — ja se on täysin parametriton ja deterministinen. Siinä ei ole mitään opittua, vaan pelkkää geometriaa skannatun maastokorkeuskentän päällä. Vasta kolmas vaihe on generatiivinen: observaatiomalli, joka maalaa asentovideoon ulkonäön.

Kokoluokat kertovat, miten työ jakautuu. Observaatiomalli on kymmenen gigatavua, PoseGPT 402 megatavua ja ActionGPT 61. Kaikki päättely siitä, mitä maailmassa tapahtuu, mahtuu siis puoleen gigatavuun; loput menee siihen, miltä se näyttää. Observaatio-osa on hienosäädetty Alibaban Wan2.2-Fun-5B-Controlista ohjauskuvatilassa niin, että ensimmäinen ruutu toimii ulkonäköreferenssinä. Koulutus on ajettu 704×1280-tarkkuudella kuudellatoista H200-kortilla, ja julkaistu tarkistuspiste on askel 17 000. Ajo tapahtuu 81 ruudun paloissa, joista kukin ehdollistuu edellisen viimeiseen ruutuun.

Aineisto on se kohta, jossa kannattaa hidastaa. Malli on koulutettu nauhoitetulla pelikuvalla — WildWorld-korpuksella, joka on tallennettu yhdestä kaupallisesta pelistä — ja tämä näkyy kaikessa. Dynamiikkaosa hallitsee tasan yhden vihollislajin. Kehotteen muoto on osa tarkistuspistettä: kuvaustekstissä on eksplisiittinen ulkonäkötunniste, ja jos sen yhdistää vanhempaan muotoon, teksti-enkooderi ajautuu ulos jakaumastaan tavalla, jota kortti kuvaa suorasukaisesti — viholliset katoavat ajosta kokonaan. Toimintotunnisteet ovat indeksejä juuri tämän tarkistuspisteen sanastoon eivätkä siirry mihinkään muualle. Tekijöiden oma tiivistys on rehellinen: tutkimusartefakti, ei tuote eikä peli.

Yksi yksityiskohta ansaitsee erillisen kiitoksen. Koska dynamiikkavaihe näytteistää toimintovirran, ajo on toistettavissa vain kiinnitetyllä siemenluvulla — ja repositorio kiinnittää sen itse, vaikka lähtökohtana ollut projekti ei kiinnitä. Mukana tuleva tarkistusskripti toistaa nauhoitetun asentovideon tavu tavulta ja RGB-ajon pikseli pikselilta. Generatiivisessa kentässä, jossa "tulokset saattavat vaihdella" on käytännössä vakiofraasi, tämä on harvinaista.

Lisenssi on syytä lukea ennen innostumista: painot ovat vain ei-kaupalliseen tutkimuskäyttöön eikä niitä saa levittää edelleen, ja rajoitus tulee opetusaineistosta eikä pohjamallista. Koodi on Apache-2.0, samoin pohjamalli. Samalta laboratoriolta ilmestyi maanantaina myös AlayaWorldin versio 1.1 koulutus- ja päättelykoodeineen, joten kokonaisuutta voi tarkastella myös kehityskaarena: sama tekijä, sama ongelma, kaksi eri tapaa yrittää pitää maailma kasassa pitkässä ajossa.

Lähteet: Marionette-mallikortti, artikkeli (arXiv 2608.14530), koodirepositorio, projektisivu, AlayaWorld v1.1, Hugging Face API (video-to-video, 48 h 19.8.)

Sisäänajo sai seitsemän nopeutta

Kameran liike on videomallien vaikein pyyntö: "hitaasti sisään" tarkoittaa jokaisella ajokerralla eri asiaa. Uusi LTX-2.5-lisäosa tekee siitä merkin, jolla on numero — ja julkaisee mitatun tuloksen jokaiselle.

Kehotteeseen kirjoitettu kameraohje on aina ollut toivelista, ei komento. Malli tulkitsee sanat "kamera työntyy hitaasti sisään" sen mukaan, mitä se on nähnyt opetusaineistossaan, ja tulos vaihtelee ajokerroittain. Ammattikäytössä tämä on juuri se kohta, joka kaataa työnkulun: leikkaajan pitää tietää, että kolme peräkkäistä ottoa liikkuvat samalla nopeudella.

Tiistaina julkaistu ReelBids-lisäosa Lightricksin LTX-2.5:n 22 miljardin parametrin kuvasta videoksi -malliin ratkaisee asian kapeasti mutta tarkasti. Se on yksi rank-32-kokoinen LoRA — pieni erilliskoulutettu lisäosa, joka ei muuta pohjamallia vaan säätää sen huomiokerroksia — ja se osaa täsmälleen yhden liikkeen, sisäänajon. Nopeus valitaan kehotteen alkuun kirjoitettavalla merkillä: sp05, sp10, sp15, sp20, sp30, sp40 tai sp50. Yksi adapteri kattaa siis koko asteikon, kun Lightricksin omat kameralisäosat ovat yhden nopeuden kokoisia ja sidottuja vanhempaan 19 miljardin parametrin runkoon.

Kiinnostavinta on se, mitä mallikortissa mitataan. Tekijä on ajanut jokaisen nopeuden läpi ja raportoinut, kuinka paljon kuva todella lähenee 97 ruudun aikana: sp05 tuottaa 1,108-kertaisen, sp20 1,591-kertaisen ja sp50 2,285-kertaisen lähennyksen. Keskimääräinen itseisarvoinen poikkeama tavoitteesta on 3,4 prosenttia. Opetusaineisto on 544 klippiä, joissa liike on tuotettu Blenderissä tunnetuilla nopeuksilla — siitä syntyy vertailukohta, jota vasten mitata. Koulutus vei 2 000 askelta yhdellä H100-kortilla, ja julkaistuksi valittiin askel 1 250, koska myöhemmät olivat tarkkuudeltaan huonompia. Se, että joku kertoo valinneensa keskeltä eikä lopusta, on pieni mutta paljastava merkki siitä, että työtä on oikeasti arvioitu.

Yhtä rehellinen on rajoitusosio. Nopeuksilla sp20 ja ylöspäin kuvan terävyys heikkenee klipin viimeisellä kolmanneksella. Tekijä on tarkistanut asian ajamalla samat kehotteet ilman lisäosaa ja toteaa pohjamallin hajoavan samalla tavalla: vika on generaattorin koherenssissa pitkässä liikkeessä, ei adapterissa. Käytännön ohje seuraa tästä suoraan — jos tarvitset nopean sisäänajon, leikkaa se lyhyeksi.

Käyttöönotto on tehty helpoksi: avaimet ovat valmiiksi ComfyUI-muodossa, joten lisäosa menee vakiolataajaan ilman muunnosta. Ajo on tarkoitettu aloittamaan aina still-kuvasta, sillä koulutus on tehty ensimmäisen ruudun ehdollistuksella. Natiivi tarkkuus on 1024×576 ja 97 ruutua 24 kuvan sekuntivauhdilla. Laajempi kuva on se, että kameraohjaus on kasvamassa videomallien omaksi lisäosakategoriakseen: Lightricksin omat IC-LoRA-adapterit siirtävät liikkeen referenssivideosta reunaviivojen, syvyyden tai asennon kautta, ja eilisissä Nostoissa esitelty TencentARC:n SCoPE tekee saman kameraradan koordinaatteina. Pohjamalli pysyy, ohjaus tulee päälle.

Lähteet: ReelBids-kameralisäosa, v2-julkaisu, LTX-2.5, LTX:n LoRA-ohjeet, SCoPE, Hugging Face API (image-to-video, 48 h 19.8.)

Bernini muutti Macille

ByteDancen videomalli, joka suunnittelee kohtauksen merkitystasolla ennen kuin renderöi sen, ilmestyi tiistai-iltana Applen omalle laskentakirjastolle käännettynä — ja ensi kertaa kokonaisena, suunnittelija mukaan lukien.

Videomallin tavallinen rakenne on suoraviivainen: teksti menee sisään, enkooderi kääntää sen luvuiksi, diffuusiomalli tuottaa ruudut. ByteDancen Bernini lisää väliin portaan, joka on lainattu enemmän elokuvatuotannosta kuin konenäöstä. Monimediainen kielimalli — käytännössä Qwen2.5-VL-7B — lukee kaiken mitä sille annetaan, tekstin, lähtökuvat, lähtövideon ja tyhjät paikanvaraajat, ja tuottaa tavoitesemantiikan: merkitystason kuvauksen siitä, mitä lopputuloksessa pitäisi olla. Vasta sen jälkeen diffuusiorenderöijä maalaa pikselit. Suunnittelija ja maalari, ei yhtä yleisnerooa.

Toukokuussa ilmestyneen artikkelin jälkeen malli on julkaistu paloissa: ensin pelkkä renderöijä kesäkuun alussa, sitten koko koodi, sitten renderöijän koulutuskoodi heinäkuussa. Elokuun 13. päivä ilmestyi Bernini-Diffusers-v2, ensimmäinen versio, jossa suunnittelija ja renderöijä on koulutettu yhdessä. Tiistai-iltana siitä tuli bf16- ja int4-käännökset Applen MLX-kirjastolle, eli se ajautuu Mac-koneen omalla piirillä ilman erillistä näytönohjainta.

Käännöskortti on poikkeuksellisen huolellista luettavaa. Renderöijä on Wan 2.2:n A14B-kaksoisasiantuntija — sama rakenne, josta juttusarjan osassa kerrotaan tarkemmin — mutta kortti varoittaa heti, että nämä asiantuntijat on koulutettu uudelleen suunnittelijan kanssa yhdessä eivätkä ole vaihtokelpoisia aiemman pelkän renderöijäversion kanssa. Suunnittelijan painot eivät ole tavallinen Qwen vaan Bernini-koulutettu. Mukana tulee virtaussovituspää, liitoskerros ja peittotokenit. Kaksi osaa — umT5-XXL-tekstienkooderi ja 16-kanavainen WanVAE — on tarkistettu bitilleen samoiksi kuin Wan 2.2:n vakiokappaleet, joten niitä ei tarvitse ladata kahdesti.

Käännöksen tekijä on myös kertonut, miten työ on varmennettu: avainjoukko on todettu kääntyvän molempiin suuntiin vakiintunutta MLX-asettelua vasten ja arvopistokokeet täsmäävät bitilleen alkuperäisiin fp32-mastereihin pyöristyssäännön tarkkuudella. Rehellisyyden nimissä kortti kertoo myös sen, mikä ei vielä toimi: renderöijä on suoraan käytettävissä olemassa olevassa MLX-pinossa, mutta itse suunnittelijataso odottaa vielä Swift-puolen integraatiota. Toistaiseksi nämä tiedostot siis kantavat painot valmiiksi paikalleen sitä varten.

Tekijälle olennaista on kaksi asiaa. Ensinnäkin int4-versio: nelibittisenä koko paketti alkaa mahtua tavalliseen kannettavaan, mikä on videomallille edelleen harvinaista. Toiseksi se, mihin Bernini oikeastaan pyrkii — yhtenäiseen työkaluun, joka tekee tekstistä kuvan, kuvasta videon, muokkaa videota ohjeella ja vaihtaa vaatteen referenssikuvan perusteella samalla mallilla. Jos suunnitteluporras osoittautuu kestäväksi ideaksi, se on arkkitehtuurinen vastaus samaan kysymykseen, joka toistuu tässä numerossa: mitä kannattaa päättää ennen kuin ensimmäistäkään pikseliä maalataan.

Lähteet: MLX bf16 -käännös, MLX int4 -käännös, ByteDancen alkuperäisjulkaisu, Bernini-koodirepositorio, artikkeli (arXiv 2605.22344), Hugging Face API (image-to-video, 48 h 19.8.)

Wan 2.2: alusta, jonka päällä puolet kentästä seisoo

Tämän numeron kaksi pääuutista rakentuvat samalle pohjalle, eikä se ole sattumaa. Wan 2.2 on ladatuin asia koko videopuolella — mutta se ei ole yksi malli vaan laatikollinen työkaluja, ja niiden erot ratkaisevat, onnistuuko työ.

Sarjan kuudes osa poikkeaa kaavasta: kohteena ei ole päivän uutuus vaan alusta, jonka päällä uutuudet tehdään. Alibaban Wan 2.2 julkaistiin heinäkuussa 2025, ja Comfy Orgin uudelleenpaketointi siitä on tällä hetkellä ladatuin yksittäinen kohde koko kuvasta videoksi -luokassa, lähes viisi miljoonaa latausta. Marionetten maalausvaihe on Wan 2.2:n 5B-ohjausversion hienosäätö. Berninin renderöijä on Wan 2.2:n A14B-kaksoisasiantuntija. Kun kaksi toisistaan riippumatonta tutkimusryhmää päätyy samaan pohjaan, kyse ei ole enää mallista vaan infrastruktuurista.

Mikä se on. Wan 2.2:n olennaisin rakenneratkaisu on asiantuntijapari. Diffuusioajossa on kaksi erillistä mallia: korkean kohinan asiantuntija hoitaa alkuvaiheen, jossa ruudusta päätetään karkea sommittelu ja liike, ja matalan kohinan asiantuntija ottaa vallan loppuvaiheessa, jossa ratkaistaan yksityiskohdat. Nimi A14B tarkoittaa, että kerrallaan aktiivisia parametreja on neljätoista miljardia, vaikka koko paketti on suurempi. Käytännön seuraus: näyttömuistia tarvitaan yhden asiantuntijan verran kerrallaan, mutta levytilaa kahden.

Mitä laatikossa on. Tässä valinta ratkaisee enemmän kuin asetukset. T2V-A14B tekee videon pelkästä tekstistä ja I2V-A14B lähtökuvasta — jälkimmäinen on käytännössä aina parempi valinta, koska ensimmäisen ruudun voi tehdä huolella kuvamallilla. TI2V-5B on kevyt versio, joka on tarkoitettu tavallisille pelikorteille ja on ainoa järkevä lähtökohta, jos muistia on kuusitoista gigatavua tai vähemmän. S2V-14B ajaa animaation ääniraidan tahtiin, eli puhuvat päät ja musiikkivideot. Animate-14B korvaa hahmon videossa toisella. Fun-InP -versiot ottavat sekä ensimmäisen että viimeisen ruudun ja täyttävät välin — siirtymiin ja silmukoihin. Fun-Control ohjaa generointia asennolla, syvyyskartalla tai reunaviivoilla referenssivideosta, ja Fun-Control-Camera tekee saman kameraradalla. VACE-Fun-A14B yhdistää muokkauksen ja generoinnin samaan graafiin. Lisäksi mukana kulkevat lightx2v-tislauslisäosat, jotka pudottavat askelmäärän murto-osaan laadun kustannuksella.

Käytännön reitit. Jos aloitat tyhjästä ja koneessa on kuluttajakortti: TI2V-5B plus tislauslisäosa, neljä askelta, lyhyet klipit. Jos tarvitset ohjattua liikettä, älä yritä kuvailla sitä kehotteessa vaan kuvaa referenssivideo puhelimella ja aja se Fun-Controlin läpi asentotilassa — tämä on se työtapa, jonka takia koko ohjausperhe on olemassa. Jos teet hahmovetoista sisältöä, Animate on nopeampi reitti kuin hahmon kouluttaminen lisäosaksi. Ja jos tarvitset tarkkaa kameraliikettä, kannattaa katsoa päivän uutisia: LTX-puolella liike on jo eriytynyt omiksi mitattaviksi lisäosikseen, ja Wanin oma Fun-Control-Camera on saman idean vanhempi sukulainen.

Rehellisyyden nimissä. Yleisin yhteisön kritiikki koskee ulkoasua: Wan-perheen jälkeä moititaan toistuvasti "muoviseksi" — puhtaaksi mutta vahamaiseksi ihoksi ja materiaaleiksi. Osa siitä on tislauslisäosien syytä, osa mallin omaa makua, ja korjaus on yleensä sama: vähemmän askelia karsivia oikoteitä ja lähtökuva, jossa materiaali on jo oikein. Alusta ei tee kuvaa puolestasi. Se vain päättää, mitä osia voit vaihtaa.

Lähteet: Comfy Orgin Wan 2.2 -paketointi, Wan2.2-I2V-A14B, Wan2.2-Fun-5B-Control, Marionette-mallikortti, Bernini-v2 MLX, Hugging Face API (trending 19.8.)

Opettajan syy-seuraussuhteet oppilaalle: NVIDIAn tutkimusyksikön cmd tarttuu ongelmaan, joka koskee jokaista reaaliaikaista videogeneraattoria. Kun hidas mutta hyvä malli tislataan nopeaksi autoregressiiviseksi, oppilas menettää opettajan käsityksen siitä, mikä ruutu seuraa mistäkin. Ehdotus on sovittaa konteksti tislauksen aikana niin, että syy-seurausrakenne säilyy. Kameraohjaus on mukana, lisenssi on yksisuuntainen ei-kaupallinen.

Suuri kuva, pieni korjaus: tiistain huomatuimpia artikkeleita oli EditBridge, joka käsittelee erittäin suuritarkkuuksisen kuvan muokkausta. Ongelma on tekijälle tuttu: mallit työskentelevät megapikselin luokassa, mutta työkuva on kymmeniä megapikseleitä, ja pieni paikallinen korjaus tarkoittaa käytännössä koko kuvan uudelleengenerointia. Painopiste on siinä, että muokkaus pysyy uskollisena sille, mitä ei pyydetty muuttamaan.

Videon muokkaus sai aineiston: CoinVE-200K julkaisi 200 000 esimerkin aineiston ohjeella tehtävään videon muokkaukseen, painopisteenä yhdistelmäohjeet — siis "vaihda tausta ja pue hahmo toisin ja pidä liike samana". Ohjepohjainen videon muokkaus on ollut vuoden pullonkaula juuri aineiston puutteen takia, joten tätä kannattaa seurata.

Agentti kirjoittaa mallin, ei kuvaa: aDSL ehdottaa kolmiulotteisen sisällön tekemiseen reittiä, jossa agentti ei generoi geometriaa vaan kirjoittaa ohjelman, joka rakentaa sen — ja suunnittelee samalla kielen, jolla ohjelma kirjoitetaan. Samana päivänä ilmestyi GS-Voxel, joka tuottaa laajojen gaussisplattikohtausten rakenteiset latentit ilman erillistä sovitusvaihetta. Kolmiulotteinen puoli liikkuu tällä hetkellä nopeammin kuin uutisointi ehtii.

Tutkimuskäyttöön, ei tuotantoon: tämän numeron kolmesta pääjulkaisusta yhden painot ovat ei-kaupallisia, ja sama koskee NVIDIAn tuoretta videotislausta. Suuntaus on selvä ja tekijän kannalta ikävä: kun opetusaineisto on peräisin kaupallisesta sisällöstä, rajoitus periytyy painoihin eikä sitä voi kiertää kvantisoimalla tai uudelleenpaketoimalla. Ammattikäyttöön tarkoitetun työnkulun ensimmäinen tarkistus ei ole enää laatu vaan lisenssitiedosto.