Pikselipaino

Kuvamallia arvioidaan yleensä siitä, mitä se osaa piirtää. Tämän päivän uutiset koskevat kuitenkin osia, joita kukaan ei koskaan katso: dekooderia, joka kääntää mallin sisäiset luvut pikseleiksi, enkooderia, joka on kuvantekijän putkessa täysin käyttämätön, ja tapaa, jolla painot ovat levyllä järjestyksessä. Viikonlopun aikana kaikkia kolmea korjattiin — eikä yhtäkään mallia koulutettu uudelleen. NVIDIAn korvaaja perinteiselle dekooderille sai ensimmäisen kvantisoidun versionsa, joka mahtuu ComfyUI:n vakiolataajaan. Yksi suosituimmista kuvamalleista purettiin osiin ja koottiin uudelleen niin, että puolet sen autoenkooderista lensi roskiin tarpeettomana. Ja Applen pieni kuvanlukija paketoitiin RISC-V-korteille, joiden reseptissä ei esiinny näytönohjainta lainkaan.

Yhteinen nimittäjä on latenttiavaruus: mallin sisäinen tiivistetty esitys kuvasta, jota on pidetty diffuusiomallien itsestään selvänä perustana siitä asti kun laji oppi kävelemään. Yhden viikonlopun aikana sitä kyseenalaistettiin molemmista päistä — samana päivänä ilmestyi laaja tutkimus mallin kouluttamisesta suoraan pikseliavaruudessa ja toinen työ, joka korvaa videon latentin kokonaan. Siksi tämän numeron klassikkopalsta esittelee ohjelman eikä mallia. ComfyUI on se työpöytä, jolla nämä osat vaihdetaan, ja samalla mittatikku, jolla kenttä nykyään arvioi julkaisun käyttökelpoisuutta: kun uuden dekooderin myyntipuhe kuuluu "pudota vakiolataajaan, ei paikkatiedostoja", puhutaan yhtä paljon ohjelmasta kuin mallista.

Kuvaputken viimeinen vaihe vaihtui

Vuosikausia kuvamallin viimeinen työvaihe on ollut sama vaatimaton dekooderi. NVIDIAn PiD korvaa sen neliaskelisella diffuusiomallilla, joka purkaa kuvan ja nelinkertaistaa sen tarkkuuden samalla kertaa — ja viikonloppuna siitä ilmestyi ensimmäinen kvantisoitu versio suoraan ComfyUI:hin.

Diffuusiomalli ei maalaa pikseleitä. Se työskentelee latentissa — tiivistetyssä lukuesityksessä, jossa tuhannen pikselin levyinen kuva on vain runsaan sadan luvun ruudukko kanavineen — ja vasta lopuksi erillinen dekooderi kääntää ruudukon näkyväksi kuvaksi. Tuo dekooderi on autoenkooderin eli VAE:n jälkipuolisko, kevyt ja nopea verkko, ja se on ollut niin itsestään selvä osa putkea, ettei siitä yleensä puhuta lainkaan. Silti moni vika, jota on totuttu pitämään mallin vikana, syntyy juuri siinä: pehmeät silmät, sotkuiset kirjaimet, ruudukkoartefaktit kuvan kulmissa.

NVIDIAn tutkimusyksikön PiD — Pixel Diffusion Decoder — vastaa tähän radikaalisti: tehdään purkuvaiheesta itsestään pieni generatiivinen malli, joka kohisee suoraan pikseliavaruudessa. Samalla se hoitaa toisenkin työn, sillä yksi läpiajo palauttaa nelinkertaisen tarkkuuden — erillistä skaalausvaihetta ei tarvita. Julkaistut tarkistuspisteet on tislattu neljään askeleeseen, ja niitä on eri latenttiperheille: FLUX, FLUX.2 sekä sen Klein-versiot, Qwen-Image, Z-Image, SD3 ja SDXL. Kuriositeettina mukana on myös DINOv2 ja SigLIP, kuvantunnistuksen piirre-esityksiä, joita ei ole alun perin tarkoitettu purettaviksi kuviksi ollenkaan.

Uutinen on se, että laite mahtui yhteisön koneisiin. Nimimerkki BennyDaBall julkaisi maanantain mittaan ensimmäisen kvantisoidun PiD-parin: yhden Qwen-Image-latenteille ja toisen FLUX.2-perheelle. NVFP4-pakkaus painaa 1,09 gigatavua alkuperäisen 2,61:n sijaan, laatukriittiset kerrokset on jätetty tarkoituksella bf16-tarkkuuteen, eikä käyttö vaadi erikoislataajaa tai paikkatiedostoja: tiedosto menee ComfyUI:n vakiolataajaan kuin mikä tahansa malli. Tekijän mittauksessa 33 megapikselin master purkautuu 5090-kortilla 16 sekunnissa, kun bf16 vie 20 — ja hän korostaa, ettei uusinta Blackwell-sukupolvea vaadita. Vertailukuvat on julkaistu samalla siemenellä ja samasta latentista, sadan prosentin rajauksina kasvoista, tekstistä ja bokehista, mikä on kvantisointijulkaisussa harvinaisen reilu tapa antaa lukijan päättää itse.

Yksi varoitus tekijälle: PiD on NSCLv1-lisenssin alainen eli vain tutkimus- ja arviointikäyttöön, ja kvantisoitu versio perii ehdon sellaisenaan. Kaupallinen työ jää siis toistaiseksi vanhan dekooderin varaan. Laajempi kuva on silti selvä, sillä samaan vuorokauteen mahtui kaksi muutakin latenttiavaruuden kyseenalaistajaa: empiirinen tutkimus siitä, miten teksti-kuva-malli kannattaa kouluttaa suoraan pikseliavaruudessa — vastaus on siirtymä latentista pikseliin vasta jälkikoulutuksessa, koska puhdas pikseliavaruus oppii alussa liian hitaasti — ja singaporelais-oxfordilainen V-RAE, joka korvaa videomallin latentin rakentamalla generatiiviset latentit jäädytettyjen näköperustamallien piirteiden päälle. Latentti on ollut diffuusiomallien kiistaton perusoletus vuodesta 2021. Nyt sitä kolkutellaan molemmista päistä.

Lähteet: PiD 1.5 qwenimage NVFP4, PiD 1.5 FLUX.2 NVFP4, NVIDIAn PiD-kokoelma, PiD-artikkeli, pikseliavaruustutkimus, V-RAE-artikkeli, Hugging Face API (image-to-image, 48 h 18.8.)

Kuvamalli purettiin osiin — ja puolet autoenkooderista lensi roskiin

Uudessa Z-Image-paketoinnissa ei koulutettu, kvantisoitu eikä yhdistetty mitään uudelleen. Silti se on sata megatavua kevyempi ja Applen piillä noin yhdeksän prosenttia nopeampi. Ero syntyy siitä, missä järjestyksessä luvut makaavat levyllä.

Alibaban Z-Image-Turbo on avoimen kuvakentän työjuhtia, ja sen ympärille on ehtinyt kertyä kokonainen pakkausteollisuus. Maanantaina siihen ilmestyi laji, jota näkee harvoin: uudelleenpaketointi, jonka kortti aloittaa vakuuttamalla, ettei yhtään tensoria ole koulutettu, yhdistetty, karsittu tai kvantisoitu. Työ on tehty natiivin ajomoottorin ehdoilla: painot on jaettu yhteen tiedostoon per osajärjestelmä — diffuusiomuuntaja, Qwen3-4B-tekstienkooderi, dekooderi ja sanasto erikseen — jotta moottori voi tarkistaa ja ladata kunkin itsenäisesti sitä mukaa kun niitä tarvitaan.

Sitten alkaa kotitarkastus. Autoenkooderin enkooderipuolisko poistettiin kokonaan, koska tekstistä kuvaksi -ajossa ei koskaan enkoodata kuvaa: 244 tensoria kutistui 138:aan ja 167 megatavua 99:ään. Int8-matriisit tallennettiin päinvastaisessa järjestyksessä kuin alkuperäisessä julkaisussa, syöteulottuvuus riveinä. Perustelu on kaunis pala matalan tason käsityötä: alkuperäisessä järjestyksessä kaksi vierekkäistä laskuyksikköä lukee painonsa syöteulottuvuuden verran toisistaan erillään, jolloin jokainen kaista hakee oman välimuistirivinsä. Käännettynä lukemat ovat vierekkäin — noin yhdeksän prosentin ero Applen piillä. Arvoihin ei koskettu, ja koska käytetty ConvRot-menetelmä kiertää aktivaatiota eikä painoa, kvantisointi säilyy ennallaan.

Hienointa on kuitenkin yksi peruutus. Viimeisen kerroksen kaksi pientä lineaarikerrosta palautettiin takaisin täyteen bf16-tarkkuuteen. Ne ovat 1,2 miljoonaa parametria 6,15 miljardista, eli säästö oli koko ajan 2,5 megatavun ja 1,2 megatavun välinen — samalla kun yksi niistä oli koko mallin aggressiivisimmin kvantisoitu tensori. Kortti sanoo asian suoraan: tämä purkaa kvantisointia sen sijaan että soveltaisi sitä. Lisäksi mukaan on kirjattu recipe.json, joka kantaa ne vakiot — virtaussovituksen siirtymä, latentin skaalaus ja hyperparametrit — jotka muuten elävät vain viiteohjelman Python-koodissa. Tekijälle tämä on hyvä muistutus: mallitiedosto ei ole enää pelkkä painojen säilö vaan ajoartefakti, jonka muoto vaikuttaa nopeuteen siinä missä sisältökin.

Saman illan toinen julkaisu vie asian bittitasolle. Krea 2 Turbon OrbitQuant-versiossa nelibittisiä eivät ole vain painot vaan myös aktivaatiot — siis laskennan aikana liikkuvat luvut — ja käsittely ulotetaan sekä Qwen3-VL-tekstienkooderiin (kaikki 356 lineaarikerrosta) että itse diffuusiomuuntajaan (233 kerrosta; 31 jätettiin bf16:een, niistä 28 laatuherkkää alasprojektiota). Kalibrointiaineistoa ei tarvittu lainkaan, vaan menetelmä nojaa kiertoihin ja koodikirjoihin. Opitut osat kutistuvat 32,7 gibitavusta 12,6:een, ja vertailumatriisi julkaistiin 8192 pikselin levyisenä, jotta lukija voi tuomita itse. Kolmannessa numerossamme kysyimme, kuinka monta bittiä kuva tarvitsee; vastaus on hiipimässä neljään — nyt myös laskennan aikana, ei vain levyllä.

Lähteet: H3ddle-paketointi, alkuperäinen INT8-ConvRot, Z-Image-Turbo, OrbitQuant W4A4, Krea 2 Turbo, Hugging Face API (text-to-image, 48 h 18.8.)

Kuvan ymmärtäjä siirtyi RISC-V-korteille

Tiistaiaamuna kiinalainen piirivalmistaja julkaisi Applen pienen näkö- ja kielimallin paketoituna omille korteilleen. Koko ohjeessa ei mainita näytönohjainta kertaakaan.

Kuvatekoälyn arkisin muoto ei ole kuvien tekeminen vaan niiden lukeminen: mikä kuvassa on, mitä siinä tapahtuu, mitä siitä pitäisi kirjoittaa. Applen tutkimusryhmän FastVLM on tähän suunniteltu perhe, jonka koko idea on vähentää työtä ennen kielimallia: sen näköenkooderi tuottaa selvästi vähemmän kuvatokeneita kuin tavanomaiset ratkaisut, jolloin ymmärtämiseen kuluva aika lyhenee ilman että kuvasta katoaa olennainen. Pienin versio on puolen miljardin parametrin kokoinen.

Tiistaiaamuna SpacemiT julkaisi siitä siirroksen omille K1- ja K3-korteilleen. Näköenkooderi on viety ONNX-muotoon ja ajetaan valmistajan omalla suoritustaustalla, kielimalli taas nelibittisenä GGUF-tiedostona heidän llama.cpp-haarallaan. Kortin taulukot ovat sitä lajia, jota harvoin näkee mallikortissa: mitkä prosessoriytimet ovat kiihdytettyjä (K1:llä neljä, K3:lla kahdeksan) ja millä säieluvulla palvelin kannattaa käynnistää. Lopputulos tarjoillaan OpenAI-yhteensopivana rajapintana, eli mikä tahansa työkalu, joka osaa puhua tavallisen chat-rajapinnan kanssa, voi kysyä pöydällä olevalta piirilevyltä mitä kuvassa näkyy.

Kiinnostavin osa on kirjainyhdistelmä RISC-V. Se on avoin käskykanta-arkkitehtuuri — prosessorin ja ohjelmiston välinen sopimus siitä, miltä konekäskyt näyttävät — ja avoin siinä mielessä, ettei sen käyttöön tarvita lisenssiä keneltäkään. Kun kuvan ymmärtäminen alkaa toimia tällaisella piirillä ilman erillistä kiihdytintä, muuttuu kaksi asiaa kerralla. Ensinnäkin kuvan lukeminen irtoaa pilvestä: valokuva-arkiston kuvailu, näyttelyinstallaatio joka kertoo mitä näkee, kameran laukaisin joka reagoi sisältöön tai saavutettavuustekstien tuottaminen onnistuvat laitteessa, josta mikään ei lähde ulos. Toiseksi kynnys madaltuu rahassa: kortti maksaa murto-osan näytönohjaimesta. Eilen kirjoitimme kahdenkymmenen megatavun arkistolukijoista; tänään sama kutistuminen sai vastinparinsa laitepuolelta. Kortin tekijät ovat itse asiassa hillittyjä lupauksissaan — kyseessä on heidän sanoin siirros, ei uusi perusmalli — ja juuri siksi julkaisu on uskottava.

Lähteet: SpacemiT FastVLM-0.5B, Applen alkuperäinen malli, FastVLM-artikkeli, SpacemiTin llama.cpp-haara, Hugging Face API (image-to-text, 48 h 18.8.)

Z-Image-Turbo: kuusi miljardia, kahdeksan askelta, alle sekunti

Latauslistojen kärjessä komeilee malli, joka mahtuu tavalliselle pelikortille ja osaa kirjoittaa luettavaa tekstiä kahdella kielellä. Tässä katsotaan, mihin sitä oikeasti käytetään ja millä asetuksilla.

Sarjan viides osa tarttuu Z-Image-Turboon, Alibaban Tongyi-laboratorion avoimeen kuvamalliin, joka on tämän lehden seuraamista malleista ladatuin — lähes 900 000 latausta ja yli 5 000 tykkäystä. Perhe on kuuden miljardin parametrin kokoinen, mikä nykymitassa on keskikokoinen, ja arkkitehtuuri on niin sanottu yksivirtainen muuntaja: teksti, kuvan merkitystokenit ja latentti ajetaan yhtenä jonona saman verkon läpi kahden rinnakkaisen haaran sijaan. Turbo on tästä tislattu versio, joka tekee kuvan kahdeksalla askeleella ilman ohjausvoimaa, mahtuu 16 gigatavun näyttömuistiin ja on Apache-lisensoitu — yhdistelmä, joka on kuvapuolella yhä harvinainen.

Mitä sillä tekee? Valokuvamaista jälkeä nopeasti. Turbon vahvuus on realismi ja se, että yhden kuvan hinta on sekunnin luokkaa, joten sitä voi käyttää luonnostelutyökaluna: kymmenen versiota sommittelusta ennen kuin valitset suunnan. Tekstiä kuvaan. Malli kirjoittaa luettavaa englantia ja kiinaa, mikä tekee siitä käyttökelpoisen julisteisiin, pakkauksiin ja kylttiharjoituksiin — tämä on edelleen ala, jolla useimmat mallit kompastuvat. Pohjan hienosäätöön. Jos aiot kouluttaa oman tyylin, älä ota Turboa vaan perusmalli: tislattu versio on vaihtanut monimuotoisuutensa laatuun, mikä näkyy heti kun pyytää kymmentä erilaista ihmistä. Perhettä on luvattu täydentää muokkausversiolla ja yhdistelmämallilla.

Käytännön ohjeet: pidä askelmäärä kahdeksassa ja ohjausvoima nollassa — Turbo on koulutettu ilman sitä, ja sen nostaminen vain polttaa värit. Kehotteessa kannattaa kuvailla valo ja objektiivi kuten valokuvatilauksessa; mallin oma kehotteenlaajentaja osaa täydentää lyhyen idean, mutta se myös keksii yksityiskohtia, joten tarkkaan sommiteltuun kuvaan se kannattaa ohittaa. Ahtaalle koneelle on int8-muunnoksia, ja tämän päivän uutisissa esitelty osiin purettu paketointi vie saman ajatuksen pisimmälle. Ja jos haluat kokeilla päivän pääuutista käytännössä: NVIDIAn PiD-dekooderissa on tarkistuspiste myös Z-Imagen latenttiperheelle, eli saman kuvan voi purkaa nelinkertaisella tarkkuudella ilman erillistä suurennusvaihetta — tutkimuskäytössä, kuten lisenssi vaatii.

Lähteet: mallikortti, tekninen raportti, selaindemo, PiD-tarkistuspisteet, Hugging Face API (trending 18.8.)

Kolmiulotteinen maailma tilauksesta: viikon eniten ääniä kerännyt VibeWorlding kysyy, pystyykö monimediainen agentti rakentamaan valmiin 3D-maailman pelkän pyynnön perusteella: päättelemään mitä käyttäjä haluaa, suunnittelemaan pohjan, kutsumaan 3D-työkaluja ja korjaamaan jälkeään palautteen perusteella. Mukana tulee mittaristo, jossa on 2 616 valmista assettia ja yli 6 800 käyttäjäpyyntöä. Peliharrastajan silmin tämä on se hetki, jossa työkalupakki alkaa käyttää itseään.

Reititin solmugraafien perilliseksi: GenRouter tarttuu ongelmaan, jonka jokainen ComfyUI:n käyttäjä tunnistaa: sama raskas työnkulku ajetaan yksinkertaisellekin pyynnölle. Ehdotus on standardoida työnkulut yhteiseksi palikkajoukoksi ja antaa reitittimen valita kevyin riittävä polku. Klassikkopalstamme kertoo, mistä se palikkajoukko on peräisin.

Monen referenssin diagnoosi: TRACE-Bench hajottaa "tee kuva näiden kolmen viitekuvan pohjalta" -tehtävän neljäksi perusoperaatioksi ja mittaa mallia niiden yhdistelminä. Tekijälle hyödyllistä, koska juuri tämä on arjen työ: hahmo yhdestä kuvasta, asu toisesta, valo kolmannesta — ja epäonnistuminen johtuu yleensä yhdestä vaiheesta, ei kaikista.

Kamera-ajot avoimen videomallin päälle: TencentARC:n SCoPE nousi viikon aikana videopuolen trendilistalle. Se lisää kameran katselinjat mallin paikkatietoon, jolloin aloituskuvasta voi generoida videon annettua kamerarataa pitkin ilman että malli unohtaa alkuperäisen kuvan. Kokeilu onnistuu selaimessa, mutta lataajaa varoitetaan: tarkistuspiste on 67 gigatavua.

Hollywood etsii puhdasta mallia: eilisessä paikallisuutisessa esiteltiin eteläkalifornialainen tuotantoyhtiö, joka kuvaa itseään taiteilijavetoiseksi generatiivisen tekoälyn elokuvastudioksi ja markkinoi mallinsa aineiston puhtautta myyntivalttina. Väite kannattaa lukea väitteenä, mutta suunta on merkille pantava: kun tekniikka on kaikilla sama, kilpailu siirtyy siihen, mistä opetusaineisto on peräisin.