Pikselipaino

Uuden mallin elinkaaressa on kaksi selvästi erillistä kierrosta. Ensimmäinen kestää muutaman päivän ja koostuu pakkaamisesta: yhteisö puristaa painot pienempään tilaan, kunnes ne mahtuvat siihen näytönohjaimeen, joka ihmisillä oikeasti on. Toinen kierros alkaa hiljaisemmin, eikä siitä uutisoida yhtä innokkaasti — mutta se on se, jolla on väliä. Silloin lakataan kysymästä pyöriikö tämä ja aletaan kysyä tekeekö tämä sitä mitä minä haluan.

Tämän numeron molemmat pääjutut ovat toiselta kierrokselta. MiniMax H3 avattiin kaksi viikkoa sitten, sen pakkaukset ilmestyivät jo samana päivänä, ja viimeisen 48 tunnin sato ei ole enää kvantisointeja vaan liikeadaptereita, avainkuva-LoRia ja työnkulkuja — välineitä, joilla mallille sanotaan mitä tehdä. Toisaalla joukko tekijöitä siirtää kuvamalleja puhelimeen neljällä eri ajoympäristöllä yhden viikonlopun aikana. Kummassakin tarinassa toistuu sama miellyttävä yksityiskohta: mallikorteissa kerrotaan myös se, mikä ei toiminut. Kentällä, joka on tottunut lupaamaan enemmän kuin lunastaa, mitattu epäonnistuminen on uutinen sekin.

MiniMax H3:n toinen kierros: pakkaajista tuli ohjaajia

Avoin videomalli sai painonsa 3. elokuuta ja ensimmäiset pakkauksensa samana aamuna. Nyt yhteisö ei enää kutista sitä — se opettaa sen liikkumaan.

MiniMax julkaisi H3:n avoimin painoin 3. elokuuta, ja ComfyUI tuki sitä samana päivänä. Malli on omanlaisensa otus: se ottaa sisään tekstiä, kuvaa, videota tai ääntä ja tuottaa ulos videota, jossa on mukana synkronoitu stereoääni — 4–15 sekuntia, 24 kuvaa sekunnissa, 32 kilohertsin ääni. Yhteisön ensireaktio oli odotettu ja nopea: kvantisoinnit eli pakkaukset alkoivat ilmestyä samana aamuna, ja Abirayn GGUF-versio on kerännyt alle kahdessa viikossa lähes 700 000 latausta.

Viimeisen kahden vuorokauden sato näyttää toiselta. Ensin ilmestyivät Turbo-variantin GGUF-pakkaukset, joissa neljän askeleen tislaus on sulautettu suoraan painoihin — 11,4 gigatavun Q4-tiedosto tekee 768p-videota neljällä askeleella ilman erillistä LoRA-lataajaa. Perjantaina tuli avainkuva-animoinnin LoRA (toistaiseksi pääsyrajoitettu) ja tänään liikeadapteri sekä valmiita ComfyUI-työnkulkuja. Suunta on selvä: ensimmäinen viikko meni mallin mahduttamiseen, toinen sen ohjaamiseen.

Kiinnostavin näistä on MATLOWAI:n liikeadapteri, ja osin siksi että sen mallikortti on epätavallisen rehellinen. Kyseessä on pieni rank-16-LoRA, joka on koulutettu muutamassa tunnissa 38 harjoitusesimerkillä viidestätoista itse tuotetusta klipistä yhteen ainoaan ongelmaan: nopeassa liikkeessä perusmalli keksii liikaa uutta, ja lopputulos nykii eteen ja takaisin ruudusta toiseen. Adapteri opettaa mallin käyttämään ylimääräisen laskenta-ajan pehmeyteen keksimisen sijaan. Mittaukset on julkaistu: nykiminen parani kaikissa neljässä testiklipissä, ylituotanto putosi noin puoleen, ja sokkovertailussa operaattorit valitsivat adapterin seitsemän kertaa nollaa vastaan. Mutta myös huonot puolet on mitattu ja kirjattu — noin desibelin tarkkuustappio alkuperäisissä avainkuvissa ja taipumus ylikorjata rauhallista materiaalia, minkä vuoksi tekijä neuvoo pitämään sen pois päältä hitaissa otoksissa. Tekijä kutsuu julkaisua itse pilotiksi ja kertoo yrittävänsä seuraavaksi jotain kunnianhimoisempaa, joka saattaa myös epäonnistua.

Tekijälle tästä seuraa käytännön johtopäätös. Jos H3 tuntui pari viikkoa sitten lupaavalta mutta hallitsemattomalta, kannattaa katsoa uudestaan — nyt tarjolla on nopea neljän askeleen variantti kokeiluun ja täsmäadaptereita niihin kohtiin, joissa perusmalli tunnetusti horjuu. Huomaa silti, että H3:n oma lisenssi on yhteisölisenssi eikä puhdas avoin lisenssi: kaupallisiin suunnitelmiin kannattaa lukea ehdot.

Lähteet: Hugging Face API (image-to-video, uutuudet ja trending 15.8.), liikeadapterin mallikortti, Turbo-GGUF, ComfyUI-blogi: H3 day-0, ComfyUI Wiki: yhteisön kvantisoinnit

Neljä ajoympäristöä yhdessä viikonlopussa — kuvatekoäly muuttaa taskuun

Asentotunnistus, esineenpoisto, tarkennus ja kokonainen 3D-rekonstruktio siirtyivät 48 tunnissa puhelimen piirille. Kiinnostavinta on se, mitä ei julkaistu.

Perjantaiaamuna Hugging Faceen ilmestyi parissa tunnissa rypäs käännöksiä samalta tekijältä, kuusi niistä suoraan kuvatyön ytimestä: RTMPose-asentotunnistus vartalolle, käsille, kasvoille ja eläimille, LaMa-paikkausmalli esineiden poistoon ja Real-ESRGAN-tarkennin — kaikki ExecuTorch-muodossa. ExecuTorch on PyTorchin ajoympäristö laitteille, joissa ei ole konesalia takataskussa: sama malli kääntyy iPhonen Neural Engineen tai Androidin suorittimelle ilman että sovelluskoodia kirjoitetaan uusiksi. Samassa 48 tunnin ikkunassa TRELLIS.2 sovitettiin Applen MLX-kehykseen ja Applen oma SHARP-malli Qualcommin Hexagon-piirille. Neljä eri ajoympäristöä, yksi viikonloppu.

Luvut ovat vakuuttavia. Paikkausmalli, joka Macin suorittimella vie 816 millisekuntia, ajaa Applen Neural Enginellä 59 millisekunnissa — ja tekijän mittauksissa seitsemän mallin joukossa Core ML -käännös oli 3,5–13,9 kertaa nopeampi kuin suoritinversio, mediaani kaksitoistakertainen, tiedostokoon pudotessa noin puoleen. TRELLIS.2:n MLX-paketti kutistui 18,5 gigatavusta 11,2:een, eli lähes 40 prosenttia, ja sisältää kaiken tarvittavan yhtenä nippuna. SHARP puolestaan tekee yhdestä valokuvasta gaussisen splatti-rekonstruktion sekunnin murto-osassa — nyt Android-puhelimen NPU:lla, ilman verkkoyhteyttä.

Mutta paras osa näissä korteissa on otsikko "builds that did not earn a slot": käännökset, jotka eivät ansainneet paikkaansa. Asentotunnistuksen 8-bittinen versio hylättiin, koska yksikään avainpiste ei osunut neljän pikselin päähän alkuperäisestä — mediaani nolla. Puolitarkkuusversio pääsi 76 prosenttiin eikä sekään riittänyt. Paikkausmallin 8-bittinen käännös hylättiin 22 desibelin kuvanlaadulla. Tämä on tärkeämpää kuin miltä kuulostaa: kvantisoinnin yleinen totuus on, että "laatu ei juuri kärsi", mutta se pitää paikkansa hyvin eri tavalla kuvamallilla, jossa silmä sietää pientä sumeutta, kuin avainpistemallilla, jossa yhden nivelen siirtyminen kolme pikseliä pilaa koko animaation. Tekijä mittaa jokaisen mallin sen omassa yksikössä eikä yleisellä korrelaatioluvulla — ja julkaisee tuloksen silloinkin, kun se tarkoittaa ettei tiedostoa julkaista lainkaan.

Tekijälle tämä tarkoittaa, että "tekoälykuvankäsittely puhelimessa" siirtyy demoista rakennusalustaksi. Esineenpoisto, taustan irrotus, syvyyskartta ja asentotunnistus ovat juuri niitä palikoita, joista kuvaus- ja videosovellukset rakennetaan — ja ne pyörivät nyt lentokonetilassa. Kolmiulotteinen rekonstruktio puhelimessa on vielä kokeellisempaa, mutta suunta on sama.

Lähteet: Hugging Face API (keypoint-detection, image-to-image, image-to-3d, 48 h), RTMPose-ExecuTorch, LaMa-ExecuTorch, TRELLIS.2 MLX, ML-Sharp-QNN, SHARP-artikkeli

Krea 2 nousi hiljaa yhteisön uudeksi pohjamalliksi

Kahdeksassa viikossa Krea 2:n ympärille on kertynyt hienosäätöjä, ControlNet, kvantisointeja ja nyt kokonainen jatkokoulutettu tarkistuspiste.

Kun selaa viimeisen 48 tunnin uusia tekstistä kuvaksi -malleja, sama nimi toistuu rivi toisensa jälkeen: Krea 2. Muotokuva-LoRia, tyylihienosäätöjä, muokkausvariantteja — pieniä julkaisuja, jotka eivät yksinään ole uutinen, mutta joiden kertymä on. Tähän asti yhteisön hienosäädöt on rakennettu SDXL:n, FLUXin ja Chroman päälle. Nyt oletus näyttää siirtyneen. Syy on todennäköisesti siinä, että Krea 2 Raw julkaistiin nimenomaan jatkokoulutettavaksi: se on tislaamaton perusmalli ilman askel- tai ohjausdistillaatiota, eli juuri se muoto, jota hienosäätäjä tarvitsee — ja siihen tehdyt LoRAt toimivat myös nopeassa Turbo-versiossa.

Kertymän kärjessä on lodestonesin Kroma, joka otti viime viikonvaihteessa askeleen eteenpäin. Versio 0.1 oli LoRA-delta, joka piti ladata Krea 2:n päälle; versio 0.2 on kokonainen tarkistuspiste, jonka sisään Turbo-delta on sulautettu rank-512-LoRAna. Käytännössä: yksi tiedosto, ei erillistä pohjamallia, ei LoraLoader-solmua työnkulussa, ja hienosäädetty laatu Turbo-nopeudella — 8–12 askelta, ohjaus 1,0–1,5. Sama kädenliike, jonka SDXL-aikakausi teki tuhat kertaa, mutta uudella alustalla. (Mallikortin lisenssimerkinnät ovat keskenään osin ristiriitaiset, joten kaupallisiin aikeisiin kannattaa tarkistaa ehdot ennen kuin nojaa niihin.)

Tekijälle valinta on nyt aito. Kolmen viikon takainen vastaus kysymykseen "mille pohjalle koulutan LoRAni" olisi ollut FLUX tai SDXL puhtaasti ekosysteemin koon takia. Krea 2 ei vielä syrjäytä kumpaakaan, mutta ympärille on kahdessa kuukaudessa kertynyt asentoja ohjaava ControlNet, GGUF-pakkaukset, muokkausvariantteja ja nyt vakavasti otettava yhteisötarkistuspiste. Se on nopeampi kaari kuin millään edeltäjällä.

Lähteet: Hugging Face API (text-to-image & image-to-image, uutuudet ja trending 15.8.), Kroma-mallikortti, Krea 2 Turbo, ComfyUI Wiki: Kroma, Krea 2 -inferenssikoodi

Qwen-Image-Edit-2511: kuvan muokkaus tavallisilla lauseilla

Yli 1 200 tykkäystä, yli 200 000 latausta kuukaudessa ja Apache-lisenssi. Tässä katsotaan, mihin sitä oikeasti käytetään.

Sarjan toinen osa käsittelee mallia, joka ei tee kuvia tyhjästä vaan muuttaa olemassa olevia: Qwen-Image-Edit-2511. Idea on yksinkertainen — annat kuvan ja lauseen siitä, mitä pitäisi muuttua, ja saat muokatun kuvan. Ero aiempiin muokkausmalleihin on siinä, mitä ei muutu: tämän version pääparannus on ajautumisen hillintä eli se, että kuva ei hiljalleen ryömi pois alkuperäisestä muokkaus muokkaukselta, ja että ihmiskasvot pysyvät samoina. Malli ottaa myös useamman kuvan sisään kerralla, mikä avaa oman työkaluvalikoimansa.

Mitä sillä tekee? Tuotekuvat: yksi hyvin valaistu kuva tuotteesta, ja siitä syntyy variantit eri taustoilla, eri väreillä, eri vuodenaikoina — ilman uutta kuvauspäivää. Vaatteet ja mallit: "vaihda takki tummansiniseksi" toimii lauseena; kentällä tehdään tästä jo omia hienosäätöjä, ja tämänkin viikon uutuuksissa oli asukokonaisuuksiin erikoistunut versio. Hahmon johdonmukaisuus: sarjakuvan tai kuvakirjan tekijälle tämä on se kohta, jossa muokkausmalli lyö kuvageneraattorin — sama hahmo eri kohtauksissa on muokkaustehtävä, ei arpapeli kehotteella. Kahden kuvan yhdistäminen: annat kaksi kuvaa ja kerrot, kumpi on vasemmalla ja kumpi oikealla ja missä he ovat; malli sommittelee ne samaan kohtaukseen. Teolliset luonnokset: versio on erikseen parantunut tuotesuunnittelukuvissa ja geometrisessa päättelyssä, eli mittasuhteet ja rakenteet kestävät katsomista aiempaa paremmin.

Käytännön vinkit. Kirjoita ohje käskymuotoon ja tee yksi muutos kerrallaan — pitkä lista yhdessä kehotteessa tuottaa yleensä kompromissin, jossa mikään kohta ei ole täysin oikein. Jos kone on vaatimaton, käytä GGUF-pakkausta; jos haluat iteroida nopeasti, Lightning-lisäosa pudottaa askelmäärän murto-osaan, ja sen voi vaihtaa pois viimeistä versiota varten. Muistilappu ammattikäyttäjälle: malli on Apache-2.0-lisensoitu, eli tuotokset kelpaavat myös kaupallisiin töihin — mikä ei ole tässä genressä itsestäänselvyys, kuten tämänkin numeron ei-kaupalliset uutuudet muistuttavat.

Lähteet: mallikortti, Qwenin blogi, Lightning-lisäosa, GGUF-pakkaukset, Hugging Face API (trending 15.8.)

Tausta splattiviikolle: tämän numeron kolmiulotteiset löydöt — panoraamalennot, taskuun kutistettu rekonstruktio — nojaavat kaikki samaan kesäkuiseen muutokseen. ComfyUI sai silloin versiossa 0.23.0 natiivin GAUSSIAN-tietotyypin, ja gaussiset splatit alkoivat kulkea solmulta toiselle samalla tavalla kuin kuvat ja latentit, ilman lisäosia. Mukana tulivat esikatselusolmu, oikea rasteroija ja päivän nollana tuki MIT-lisensoidulle TripoSplatille, joka tekee yhdestä kuvasta splattiassetin ja säätää yksityiskohtien tiheyttä sen mukaan, missä niitä tarvitaan. Alustamuutos näkyy usein vasta kuukausia myöhemmin siinä, mitä ihmiset alkavat sillä tehdä — kuten tässä numerossa. (ComfyUI-blogi, Radiance Fields)

Tubettaja putkimiehenä: tekoälyelokuvaustaan tunnetuksi tehnyt mickmumpitz julkaisi perjantaina Pano360-LoRAn, joka saa Wan 2.1:n tuottamaan yhtenäisen kameraliikkeen 360 asteen kohtauksen läpi ja paikkaamaan mustat aukot, joita mesh-renderöinti jättää jälkeensä. Kiinnostavaa on, mitä työ oikeasti oli: ei uudelleenkoulutusta, vaan Skywork AI:n tutkimusmallin painojen häviötön avainnimien muunnos ComfyUI:n ymmärtämään muotoon. Iso osa siitä, mikä tekee tutkimuksesta käytettävää, on juuri tällaista putkityötä — ja se jää harvoin kenenkään ansioluetteloon.

Toinen puoli pelialalta: torstain numerossa kerroimme studiosta, joka rakentaa generatiivista tekoälyä esituotantoonsa. Vastakkainen esimerkki on Larian: Divinityn tekoälyavusteinen konseptitaide herätti joulukuussa fanien vastustuksen, ja studion johtaja ilmoitti tammikuun Reddit-kyselyssä, että konseptivaiheessa luovutaan generatiivisista työkaluista, jottei valmiin pelin taiteesta jää epäselvyyttä. Rajaus on tarkempi kuin otsikoista päättelisi — kokeilut jatkuvat studiossa muualla. Kaksi taloa, sama työkalu, eri raja, ja kummankin perustelu on yleisösuhde eikä teknologia. (Kotaku, TheGamer)

Päivän hyvä tapa: kaksi tämän numeron tekijää julkaisi mallikortissaan erikseen luettelon siitä, mikä ei toiminut — liikeadapterin ylikorjaus rauhallisella materiaalilla, ja kokonainen osasto käännöksistä, jotka hylättiin mittausten perusteella. Tämä on hiljainen mutta merkittävä kulttuurinen siirtymä. Kun mallikortti kertoo rajansa, sitä voi käyttää harkiten; kun se kertoo vain parhaat puolensa, sitä voi käyttää vain toivoen.