Pikselipaino

Tämän numeron jutuilla on yhteinen nimittäjä, joka paljastui vasta taittopöydällä: melkein jokaisessa on liitteenä pieni tiedosto. Qualcommin tutkijat korjasivat tekoälykuvien väkijoukot kahdella adapterilla, jotka painavat murto-osan perusmallistaan. Shanghailainen laboratorio sai pelimaailmansa pyörimään reaaliajassa kiinnittämällä jättimallin kylkeen tislatun lisäpainon. Harrastajat opettivat 33-miljardisen videomallin liikkumaan sulavemmin viilauksella, joka mahtuisi muistitikun nurkkaan. Jättiläiset valetaan konesaleissa, mutta luonteensa ne saavat pienissä pajoissa — ja pajan työkalu on lähes aina sama: LoRA, matalan asteen lisäpaino, joka tarttuu perusmalliin kuin sivuvaunu moottoripyörään.

Siksi klassikkopalstamme esittelee tänään poikkeuksellisesti menetelmän, ei mallia. Ja jotta pienuus ei jäisi pelkäksi lisälaitteeksi, uutisissa on myös sen toinen laji: kahdenkymmenen megatavun kokoisia malleja, jotka lukevat kahdensadan vuoden takaisia käsialoja arkistojen kätköistä. Kun kenttä juhlii miljardeja parametreja, tämän päivän lehti muistuttaa, että pieni ei ole koon puute. Se on muotoilupäätös.

Pelimoottori hajosi kolmeksi malliksi

Yön tunteina julkaistu Marionette jakaa pelattavan tekoälymaailman kolmeen näytökseen: yksi malli ennustaa, mitä tapahtuu, toinen laskee geometrian, kolmas maalaa kuvan. Sama laboratorio päivitti samalla reaaliaikaisen maailmamallinsa.

Maailmamallit — järjestelmät, jotka generoivat pelattavaa videomaailmaa sitä mukaa kun käyttäjä liikkuu — ovat tähän asti olleet yhtä möhkälettä: yksi valtava verkko hoitaa fysiikan, geometrian ja kuvan samassa hämärässä laskennassa. Aamuyöllä Hugging Faceen ilmestynyt Marionette tekee tästä möhkäleestä teatterin. Nimensä mukaisesti se on sätkynukketeatteri kolmessa näytöksessä: ensin kaksi pientä GPT-tyylistä mallia — ActionGPT ja PoseGPT, yhteensä alle puoli gigatavua — ennustavat maailman seuraavan tilan, hahmon asennot ja liikkeet tiiviinä lukusarjana. Sitten parametriton välivaihe muuntaa tilan deterministisesti geometriaksi, kameran näkemäksi ohjausvideoksi. Vasta kolmas näytös koskee pikseleihin: kymmenen gigatavun videodiffuusiomalli maalaa geometrian päälle valmiin kuvan, pätkä kerrallaan edellisestä jatkaen.

Kiinnostavin yksityiskohta on maalarin henkilöllisyys. Se on hienosäädetty versio Alibaban avoimesta Wan2.2-Fun-Control-videomallista — samasta malliperheestä, jonka johdannaisia tämän lehden palstoilla vilisee viikoittain. Avoin videomalli ei siis ole tässä enää generaattori vaan renderöijä: pelimoottorin viimeinen, kaunein vaihe. Työnjaon ansiosta kutakin osaa voi kehittää ja tutkia erikseen — dynamiikkaa voi ajaa ilman kuvaa, ja saman maailmantilan voi maalata eri tyylein. Julkaisun mallikortti ansaitsee oman mainintansa: sen alkuun on kirjoitettu poikkeuksellisen suorasanainen selvitys siitä, miksi painot ovat vain tutkimuskäyttöön (koulutusaineiston ehto periytyy), vaikka koodi on vapaata — ja miksi väärä lisenssimerkintä olisi ollut valhe.

Sama AlayaLab-tunnus työnsi samana yönä ulos myös AlayaWorld v1.1:n, vuorovaikutteisen maailmamallinsa uuden version. Se rakentuu LTX-2.3-videomallin päälle, ja sen kylkeen julkaistiin neljän askeleen pikaversio — ei uutena mallina, vaan 2,5 gigatavun tislattuna lisäpainona opettajamallin päälle. Heinäkuussa AlayaWorld ylitti uutiskynnyksen pysymällä pelattavana yli minuutin putkeen; nyt saman talon kaksi julkaisua näyttävät, mihin laji on menossa: maailmamalli ei ole enää yksi malli vaan työnjako, jossa avoimet videomallit tekevät maalarin työt. Pelistudiolle viesti on konkreettinen — ennakkovisualisointi, jossa näyttämöä ohjataan kuin nukketeatteria ja kuvatyyli vaihdetaan jälkikäteen, on juuri muuttunut ladattavaksi ohjelmistoksi.

Lähteet: Marionetten mallikortti, tutkimusartikkeli, AlayaWorld v1.1 stage2b, v1.1-raportti, pelattava demo, TechTimes 9.7., Hugging Face API (video-to-video & image-to-video, 48 h 17.8.)

Väkijoukon kasvokriisi sai kaksi korjausta

Pyydä kuvamallilta viisi ihmistä, ja saat saman ihmisen viidesti — tai neljä ja puoli. Qualcommin tutkimuslaboratorio julkaisi tänä aamuna kaksi adapteria, jotka hoitavat monen ihmisen kuvat kuntoon eri suunnista.

Kuvamallien noloimpia heikkouksia on väkijoukko. Ryhmäkuvan kasvot sulautuvat toisiinsa, sama naama monistuu riviin, ja henkilömäärä heittää yhdellä tai kahdella — ilmiö, jonka jokainen perhepotrettia yrittänyt on nähnyt. Puolijohdejätti Qualcommin tutkimushaara julkaisi maanantaiaamuna Hugging Faceen kaksi toisiaan täydentävää vastausta. DisCO hyökkää monistumista vastaan: se on FLUX.1-malliin kiinnittyvä adapteri, joka on jatkokoulutettu vahvistusoppimisella niin, että palkkio rankaisee toistuvista kasvoista ja väärästä henkilömäärästä ja palkitsee laadusta. Menetelmä vertailee mallin tuotoksia ryhmänä keskenään — tekniikka tunnetaan kielimallien puolelta — ja lopputulos on tekijöiden mittapenkissä noin 99 prosentin osumatarkkuus siihen, että jokainen kuvan ihminen on eri ihminen. Työ esitellään ensi kesän CVPR-konferenssissa.

Toinen julkaisu, Ar2Can, ratkoo käänteistä pulmaa: entä kun kuvaan pitää saada tietyt ihmiset, kukin omilla kasvoillaan? Sen rakenne on kuin pienoistoimisto. Arkkitehdiksi nimetty adapteri suunnittelee ensin sommitelman — kuka seisoo missäkin — ja Taiteilijaksi nimetty toinen adapteri maalaa lopullisen kuvan referenssikasvojen mukaan. Koulutuksen palkkiolasku täsmäyttää kasvot paikkoihinsa pareittain ja mittaa, säilyikö kunkin henkilöllisyys omalla paikallaan. Huomionarvoista on, että koulutus tehtiin pääosin synteettisellä aineistolla: oikeiden ihmisten ryhmäkuvia ei tarvittu.

Tekijälle nämä ovat vielä tutkimustavaraa — kortit toteavat rehellisesti, etteivät julkaistut painot vastaa artikkelien lukuja yksi yhteen — mutta suunta on selvä ja lataus vaivaton, sillä kumpikin kulkee kevyinä lisäpainoina, ei uutena mallina. Ja juuri siinä on päivän toinen uutinen: kun piirivalmistajan tutkimuslaboratorio julkaisee huippututkimuksensa LoRA-tiedostoina suoraan yhteisön suosikkimallien kylkeen, akateeminen maailma on omaksunut harrastajakentän jakelumuodon. Klassikkopalsta jatkaa aiheesta.

Lähteet: DisCO-mallikortti, DisCO-artikkeli, Ar2Can-mallikortti, Ar2Can-artikkeli, Hugging Face API (text-to-image, 48 h 17.8.)

Arkistojen käsialat aukeavat 20 megatavun mallein

Saman vuorokauden aikana ilmestyi kaksi historiallisten käsialojen lukijaa: toinen Maghrebin arabiankielisille käsikirjoituksille, toinen 1800-luvun puolalaisille kirkonkirjoille — ja jälkimmäisen opettajana on suomalainen malli.

Kuvatekoälyn hiljaisin nurkka on se, jossa kuvia ei tehdä vaan luetaan. Sunnuntai-iltana sinne ilmestyi Phoenix, käsinkirjoitetun arabian tunnistaja, joka on erikoistunut Maghrebin alueen historiallisiin käsikirjoituksiin. Malli on nykymittapuulla liikuttavan pieni — viisi miljoonaa parametria, alle kahdenkymmenen megatavun tiedosto — ja lukee silti noin yhdeksän riviä sekunnissa virheosuudella, joka asettuu aineistosta riippuen 7 ja 18 prosentin väliin merkeistä. Kortti on tutkimusraportin veroinen: vertailu edeltäjäversioon tehtiin ennalta rekisteröidyllä asetelmalla yli 22 000 sinetöidyllä tekstirivillä, ja parannus — neljännes merkkivirheistä pois — raportoidaan myös sillä osa-alueella, jolla malli otti takapakkia. Phoenix on jo töissä: se lukee käsikirjoituksia järjestelmässä, jossa ihminen tarkistaa ja korjaa koneen jäljen sivu sivulta.

Saman vuorokauden sisään ehti toinenkin arkistolukija, ja siinä on suomalainen juonne. Kokeellinen puolalaisten kirkonkirjojen malli lukee vuosien 1800–1865 katolisten seurakuntien metrikkakirjoja — kasteita, vihkimisiä, hautauksia — ja sen pohjana on Suomen Kansallisarkiston monivuosisatainen käsialamalli, jota on jatkokoulutettu noin 12 000 puolalaisella tekstirivillä. Suomalaisesta arkistotyöstä on siis tullut eurooppalaisen sukututkimuksen perustuksia. Kortin rehellisyys ilahduttaa taas: opetusdata on toisen tunnistusjärjestelmän tuottamaa konelukua, ja tekijät alleviivaavat, ettei virhelukuja saa lukea tarkkuuslupauksena ennen kuin ihmisen tarkistama testiaineisto valmistuu. Mukana on myös tuloksellinen sivuhavainto: synteettistä painotekstiä kannatti sekoittaa opetukseen tasan viisi prosenttia — enempi kiillotti painotekstin lukua muttei auttanut käsialaan lainkaan.

Näiden kahden rinnalla julkaistiin vielä perulaisten ostoskuittien lukija — pieni malli sekin. Yhdessä ne piirtävät kuvan kentän toisesta laidasta: siinä missä generatiiviset jättimallit kilpailevat miljardeista, arkistojen avaajat kutistuvat tarkoituksella. Kahdenkymmenen megatavun tiedosto kulkee tutkijan läppärillä, pyörii ilman näytönohjainta ja ennen kaikkea pysyy hallittavana: kun malli on pieni ja aineisto rajattu, virheet ovat ymmärrettäviä ja korjattavia. Sukututkijalle ja arkistolaitokselle tämä viikonloppu oli hyvä muistutus siitä, että tekoälyn arvokkain kuvatyö ei aina ole uuden kuvan luominen — joskus se on vanhan lukeminen.

Lähteet: Phoenix-mallikortti, puolalaismallin kortti, Kansallisarkiston perusmalli, kuittimalli, Hugging Face API (image-to-text, 48 h 17.8.)

LTX-2.5: viikon ladatuin videomalli

Trendilistan ykkönen ei ole tällä viikolla kuvamalli vaan Lightricksin avoin videomalli, joka tekee äänen ja kuvan samalla kertaa. Tässä katsotaan, mitä sillä oikeasti tekee — ja millä koneella.

Sarjan neljäs osa tarttuu malliin, joka on istunut latauslistojen kärjessä julkaisustaan asti: elokuun 11. päivä ilmestynyt LTX-2.5. Ensimmäisessä numerossamme kerroimme, kuinka yhteisö kutisti sen kotikoneille; nyt on aika katsoa itse työkalua. LTX on israelilaisen Lightricksin avoin videomalliperhe, jonka linja on ollut alusta asti sama: painot ladattavissa, ajo nopeaa myös kuluttajaraudalla, ja kaupallinen käyttö sallittu pienille toimijoille (yli 10 miljoonan dollarin liikevaihto vaatii lisenssin). Versio 2.5 tekee natiivisti 4K:ta, jopa 50 ruutua sekunnissa, ja — lajilleen yhä harvinaista — kuvan ja siihen synkronoidun äänen samassa generoinnissa.

Mitä sillä tekee? Kohtauksia, ei vain klippejä. Uutuus on natiivi monikuvaus: yksi ajo tuottaa useita leikkauksia, joissa hahmo, valo, ympäristö ja ääni pysyvät samoina — matkailumainoksen kolme kuvakulmaa syntyvät kerralla, ilman jälkikäteen tehtävää täsmäytystä. Kuvasta eläväksi. Tavallinen aloituskuvaohjaus toimii, ja alku- ja loppukuvan välinen siirtymä (FLF2V) tekee kahdesta valokuvasta sillan. Puhuvia kuvia. Yhteisön työnkulkupaketit vievät kuvan ja äänitiedoston yhteen: henkilökuva alkaa puhua annetulla äänellä. Tarkkaa jälkeä. Version ydinuudistus, kaksivaiheinen renderöinti, laskee ensin liikkeen ja sommittelun tiiviissä esityksessä ja maalaa vasta sitten pikselit erillisellä diffuusiovaiheella — lopputuloksena kasvot ja tekstit pysyvät terävinä myös liikkeessä, ja monimutkaiset kohtaukset saavat automaattisesti enemmän laskentaa kuin staattiset.

Käytännön ohjeet: ComfyUI tukee mallia suoraan versiosta 0.32.0, ja viralliset mallipohjat löytyvät ohjelman Templates-paneelista. Aloita tislatusta versiosta — se ajaa 4–8 askeleella ja on tässä sukupolvessa aiempaa lähempänä täyttä mallia. Ohjausvoima kannattaa pitää maltillisena (noin 3–3,5) ja aloituskuvan pito täydessä 1,0:ssa, ellei halua mallin ottavan vapauksia; yleisimmät kuvanpilaajat ovat yhteisön kokemuksen mukaan väärä kuvasuhde, liian kova ohjaus ja liian täyteen ahdettu kehote. Kehotteen saa myös laajennuttaa mallin omalla saattajalla, joka kasvattaa lyhyen idean elokuvalliseksi ohjeeksi, ja kokeellinen kestopää päättää klipin pituuden itse. Ahtaalle koneelle yhteisön GGUF-pakkaukset alkavat 12,6 gigatavusta; suositeltu keskitie on reilun 15 gigatavun nelibittinen. Muista, että malli on jaettu osiin — tekstienkooderi ja VAE:t ladataan erikseen. Ja jos mieli tekee pidemmälle: juuri tätä varten julkaistu raakaversio on hienosäätöpohja, jonka päälle päivän pääuutisen maailmamallikin on rakennettu.

Lähteet: ComfyUI-blogi, mallikortti, GGUF-pakkaukset, IA2V-työnkulut, LTX:n työnkulkuopas, yhteisön asetusopas, Hugging Face API (trending 17.8.)

Interaktiivinen elokuva ei ole enää oksymoroni: tekoälyelokuvan kouluttaja Curious Refuge julisti tuoreessa katsauksessaan interaktiivisten tekoälyelokuvien vihdoin saapuneen, ja päivän pääuutinen antaa väitteelle selkänojaa: AlayaWorldin selaindemossa generoitua maailmaa kävellään itse. Kun elokuva ja peli generoituvat samasta putkesta, raja katoaa siitä päästä, jossa katsoja saa ohjaimen käteensä.

Lyhytelokuvien liukuhihna: saman talon galleriaan virtasi viikon mittaan tekoälylyhäreitä tiheämpään kuin koskaan — joukossa Hollow Knight -pelin fanifilmi, dokumenttilyhäri The Same Eye ja kuvitusten herättäminen henkiin. Muoto on löytänyt yleisönsä: gallerian rytmi on jo päivittäinen, ja fanifilmit — tekijänoikeuden ikuinen harmaa vyöhyke — näkyvät kärjessä täälläkin.

Tasot takaisin: Stability AI:n tutkimushaaran Stable Layers nousi kuvasta kuvaan -trendilistalle tempulla, josta kuvankäsittelijät ovat haaveilleet Photoshopin alkuajoista: se hajottaa valmiin kuvan takaisin muokattaviksi tasoiksi — tausta ja kohteet omina läpinäkyvinä kerroksinaan. Toteutus on sekin ajan hengen mukainen lisäpaino Qwenin tasomallin päälle; kääntöpuolena pohjamalli vaatii vielä konesaliluokan kortin. Suunta on silti selvä: generoitu kuva lakkaa olemasta läpipääsemätön pintakalvo.

LTX:stä kasvoi alusta: viikon hiljainen ilmiö näkyy rivien välistä — Lightricksin julkaisema raaka hienosäätöpohja, sen päälle rakennettu AlayaWorld, trendaava tarkennusadapteri ja yhteisön työnkulkupaketit kertovat samaa tarinaa. Videomalli ei ole enää tuote vaan maaperä, jossa muut kasvattavat omansa — sama kehityskulku, jonka Stable Diffusion kävi kuvapuolella vuonna 2023.