Pikselipaino

Tämän vuorokauden kaksi kiinnostavinta julkaisua eivät voisi olla kauempana toisistaan. Toinen on kahdeksan miljardin parametrin yleiskone, joka lupaa hoitaa koko kuvatyön: se ymmärtää kuvia, tuottaa niitä, muokkaa ja tottelee aluetarkkoja ohjeita — samoilla painoilla. Toinen on 36 miljoonan parametrin lukulaite, joka tekee täsmälleen yhden asian: lukee painettua kabyylia, kieltä jota yksikään merkintunnistin ei tähän asti ole osannut. Kokoeroa on yli kaksisataakertainen, ja silti kumpikin on omassa tehtävässään päivän paras uusi työkalu.

Kenttä ei siis kulje yhteen suuntaan, vaan venyy molemmista päistä. Yleismallit sulattavat sisäänsä tehtäviä, jotka eilen vaativat kolmen mallin putken; samaan aikaan erikoismallit kutistuvat niin pieniksi, että yhden kielen, yhden asiakirjapinon tai yhden robottikäden malli on yhden ihmisen projekti. Puristuksiin jää keskikasti — mallit, jotka ovat liian isoja ollakseen näppäriä ja liian yleisiä ollakseen parhaita missään. Tekijälle tämä on hyvä uutinen ja yksi ratkaistava kysymys vähemmän: enää ei valita parasta mallia, vaan tehtävän kokoinen malli. Loppu on lisenssien lukemista — niistäkin tässä numerossa lisää.

Silmä ja sivellin samassa rungossa

SenseTimen avoin haara julkaisi yhtenäismallin, joka sekä ymmärtää kuvia että tuottaa niitä samoilla painoilla — Apache-lisenssillä ja kotikoneen kokoisena. Kolmessa päivässä yhteisö ehti pakata sen neljään eri ajomuotoon.

Kuvantuotanto on tähän asti ollut putki: yksi malli tulkitsee tekstin, toinen maalaa kuvan, kolmas viimeistelee pikselit. Yhtenäismalli — englanniksi native unified model — hylkää putken ja tekee molemmat suunnat samalla rungolla: sama verkko, joka osaa katsoa kuvaa ja vastata siitä kysymyksiin, osaa myös piirtää ja korjata sitä. Keskiviikkona tämä laji sai tuoreimman avoimen edustajansa, kun SenseTimen avoimen tutkimuksen haara julkaisi SenseNova-U1.5-8B-MoT -mallin. Nimen loppuosa viittaa Mixture of Transformers -tyyppiseen rakenteeseen, jossa tekstillä ja kuvalla on omat painonsa yhteisen huomiomekanismin ympärillä; pohjapiirros on kuvattu tekijöiden NEO-unify-kirjoituksessa.

Kortti lupaa kuusi parannusta heinäkuun lopun esiversioon: parempi sommittelu ja värien hallinta, luettavampi tekstinpiirto julisteisiin ja infografiikkaan, natiivi 4K-tarkkuus, muokkaus joka säilyttää kasvot ja koskemattomat alueet, monivaatimuksisten ohjeiden noudattaminen sekä aluetarkka ohjaus laatikoin, merkein ja usean referenssikuvan yhdistelmin. Lupausten lunastamista voi arvioida selaindemossa itse. Olennaisin rivi on kuitenkin lisenssikentässä: koko kahdeksanmiljardinen malli on Apache 2.0 — aidosti vapaa myös ansiokäyttöön, ilman pääsypyyntöä, mikä on tässä kokoluokassa harvinaista. Torstaina julkaisua täydensi virallinen LoRA-paketti, jonka tislausversio pudottaa ajon kahdeksaan askeleeseen, ja tekninen raportti koulutusputkineen on luvattu avoimeksi GitHub-repon mukaan.

Sitten tapahtui se, minkä tämä lehti on oppinut tuntemaan videopuolelta: muunnosaalto. Perjantaina painot oli paketoitu yhden tiedoston ComfyUI-muotoon yhteisösolmuineen — SenseTimen oma solmupaketti ajaa ComfyUI Wikin mukaan natiivia 4K-generointia noin 17 gigatavun huippumuistilla — sekä FP8-kevennykseksi ja GGUF-paketeiksi. Lauantaiaamuna listaan ilmestyi vielä ONNX-käännös. Kolme vuorokautta julkaisusta, ja malli pyörii käytännössä jokaisessa ajoympäristössä, jota harrastajakenttä käyttää — välikerros, jonka synnyn tämä lehti kirjasi H3-videomallin ympärillä, palvelee nyt myös yhtenäismalleja.

Tekijälle yhtenäismallin lupaus on työnkulun lyheneminen. Muokkausmallit ovat jo arkiveitsiä, mutta ne tekevät mitä käsketään ymmärtämättä miksi; yhtenäismalli ottaa saman pyynnön, jossa on sekä katsomista että tekemistä — "katso tämän kuvan valaistus ja tee samanhenkinen kuva toisesta tuotteesta" — yhtenä tehtävänä, ei putkena. Vielä on aikaista sanoa, kuinka suuri osa lupauksesta kestää arkikäytön; mutta harvoin uusi mallilaji on saapunut näin valmiiksi jaeltuna.

Lähteet: SenseNova-U1.5-8B-MoT, NEO-unify, OpenSenseNova (GitHub), LoRA-paketti, ComfyUI Wiki, Hugging Face API (any-to-any-haku ja muunnokset, 48 h 22.8.)

Splatit muuttivat Macille, lisenssi muutti perässä

Kuvasta suoraan kolmiulotteiseksi läiskäpilveksi, Applen omalla laskentakirjastolla ja ilman PyTorchia. Siirron mukana kulki jotain, minkä moni huomaa vasta laskua kirjoittaessaan: painojen perimä.

Zürichin teknillisen korkeakoulun kesäkuinen ZipSplat kuuluu rekonstruktiomallien uuteen polveen: se ei optimoi kohtausta tuntikausia valokuvista, vaan päättelee Gaussin läiskät — miljoonien värillisten soikioiden pilven, josta kolmiulotteinen näkymä piirtyy — suoraan kuvasta yhdellä ajolla. Nimi on ohjelmanjulistus: Fewer Gaussians, Better Splats, vähemmän läiskiä ja parempi jälki, eli kevyempiä pilviä joita jaksaa pyörittää vaatimattomampikin laite. Torstaina painot käännettiin Applen MLX-kirjastolle: fp16-muodossa, ladattavissa ilman PyTorchia, valmiina Swift-sovellukseen. Kääntäjä sanoo kortissaan suoraan, ettei kyse ole uudesta mallista vaan uudesta muodosta — mutta muoto ratkaisee: kuvasta splateiksi -rekonstruktio pyörii nyt natiivisti Apple Silicon -koneilla, samaan tapaan kuin Bernini-veistosmalli, jonka Mac-muuton lehti kirjasi numerossa 006.

Kiinnostavin rivi on kuitenkin lisenssikentässä. ZipSplatin koodi on vapaata Apache-lisensoitua — mutta painot ovat CC BY-NC, vain ei-kaupalliseen käyttöön. Ei siksi, että tekijät niin halusivat, vaan perintönä: malli on alustettu Depth Anything 3:n jättiversiosta ja koulutettu DL3DV-10K-kuvastolla, ja molempien ei-kaupallinen ehto valuu jokaiseen johdannaiseen, myös torstain MLX-käännökseen. Kortti kirjoittaa sukupuun auki harvinaisen selkeästi.

Sama ilmiö näkyi saman viikon toisessa julkaisussa. Marionette-maailmamallin painokortti alkaa kommentilla, jossa tekijät kieltäytyvät merkitsemästä painoja Apache-lisenssillä, vaikka koodi on: Hubin suodattimet mainostaisivat silloin painoja kaupallisesti vapaiksi, ja tutkimuskäyttörajoitus periytyy koulutusaineistosta. Tekijälle opetus on käytännöllinen. Kysymys "saanko käyttää tätä ansiotyössä" ei ratkea projektisivun lisenssimerkistä vaan painojen sukupuusta: millä mallilla alustettiin, millä aineistolla koulutettiin. Tällä viikolla kaksi korttia kirjoitti vastauksen näkyviin itse — useimmat jättävät sen lukijan selvitettäväksi. Mitä läiskät sitten ovat ja mistä ne tulivat, kerrotaan tämän numeron klassikko-osiossa.

Lähteet: zipsplat-mlx, ZipSplat (ETH Zürich), alkuperäispainot, Marionette, Hugging Face API (image-to-3d ja video-to-video, 48 h 22.8.)

Kone oppi kielen, jota mikään kone ei lukenut

Kabyylin kirjallinen muisti on paperilla, eikä yksikään merkintunnistin ole osannut sen kirjaimia. Torstaina ilmestyi 36 miljoonan parametrin malli, joka lukee sekä latinalaista oikeinkirjoitusta että tifinagh-kirjaimistoa — ja jonka tulokset voi tarkistaa läppärillä kuudessa minuutissa.

Optinen merkintunnistus eli OCR — kuvan muuttaminen tekstiksi — on kielille portti digitaaliseen elämään. Kabyyli, miljoonien puhujien berberikieli Pohjois-Algeriasta, on jäänyt portin väärälle puolelle: romaanit, kieliopit, lehdet ja arkistoskannaukset ovat kuvia, joita yksikään yleiskäyttöinen lukija ei osaa avata. Syy on pisteissä. Kielen emfaattiset konsonantit kirjoitetaan peruskirjaimella ja alapisteellä, jonka yleismallit pudottavat tai normalisoivat pois — ja pisteen kato muuttaa sanan toiseksi.

Torstaina julkaistu Feraoun-36M on rakennettu täsmälleen tämän ongelman ympärille. Malli on 36,3 miljoonan parametrin lukija — murto-osa pienimmistäkin nykymalleista — joka lukee painetun kabyylirivin ja kirjoittaa sen sekä latinalaisittain että uustifinaghilla, berberikielten omalla geometrisella kirjaimistolla, samasta mallista. Tulokset on mitattu tuhannella rivillä tekstiä ja kirjasimia, joita malli ei ole koskaan nähnyt: 2,85 prosentin merkkivirhe, ja alapisteiden paikkatarkka F1-luku 0,85 — kortti erikseen huomauttaa mittaavansa pisteet sijainnin tarkkuudella eikä lukumäärällä, ja selittää myös, miksi tifinagh-puolen pienemmät virheluvut eivät ole parempi tulos vaan helpompi tehtävä. Arvioinnin voi toistaa ilman näytönohjainta noin kuudessa minuutissa. Nimi on kunnianosoitus: Mouloud Feraoun oli opettaja, joka kirjoitti kabyylielämän romaaneihin ja toi Si Mohandin suullisen runouden painettuun muotoon — samaan suuntaan, paperilta säilyväksi, malli kulkee.

Ilmiö ei rajoitu pieniin kieliin, vaan ulottuu myös pieniin kansioihin. Saman vuorokauden Werea-DocOCR-1B on turkkilaisten virastopaperien lukija: valtakirjat, vakuutuskirjat, verkkolaskut ja vuokrasopimukset — kaksitoista asiakirjatyyppiä kolmessa kuvausolosuhteessa — puretaan lukujärjestyksen mukaiseksi markdown-tekstiksi taulukoineen. Pohjana on LightOnin miljardiparametrinen OCR-perusmalli, jonka päälle erikoistuminen on hienosäädetty. Lukumallit eriytyvät siis kieliksi ja kansioiksi, ja pienten pohjamallien ansiosta työ on nykyään yhden tekijän tai pienen yrityksen kokoinen: sama liike, jonka numero 004 kirjasi käsinkirjoitettujen arkistojen kohdalla, on edennyt painettuun tekstiin ja viraston lomakkeisiin.

Lähteet: Feraoun-36M, Werea-DocOCR-1B, LightOnOCR-2-1B, Hugging Face API (image-to-text, 48 h 22.8.)

Krea 2: kahden vaihteen kuvakone

Kesäkuussa julkaistu perhe pitää yhä trendilistan kärkisijoja, ja sen ympärille on kasvanut ControlNet, kvantisoinnit, yhteisötarkistuspiste ja tällä viikolla neljän askeleen tislaus. Numero 002 kertoi, että Krea 2:sta tuli yhteisön uusi pohjamalli — tässä katsotaan, mitä sillä oikeasti tekee.

Sarjan yhdeksäs osa käsittelee mallia, jonka idea selviää parhaiten sen kahdesta versiosta. Krea 2 Turbo on tislattu pikavaihde: kuva syntyy kahdeksalla askeleella, eikä ohjauskerrointa säädetä. Krea 2 Raw on tislaamaton perusvaihde: hitaampi ajaa, mutta juuri siksi sitä voi jatkokouluttaa — tislattu malli kun kestää hienosäätöä huonosti, kuten tämä lehti on toistuvasti kirjannut. Perheen ydintemppu on siinä, että vaihteet kytkeytyvät toisiinsa: Raw-versiolle koulutettu LoRA toimii myös Turbossa. Kumpikin kerää edelleen kymmenientuhansien kuukausilatausten virtaa, ja molemmat ovat pääsypyynnön takana — Krean ilmoittautumislomake on kevyt, mutta lomake kuitenkin.

Käytännön reitit. Ensimmäinen: luonnostelu keskustelun tahtiin. Kahdeksan askeleen Turbo — ja tämän viikon LoRAlla neljän — tekee kehotteen hionnasta vuoropuhelua: parikymmentä sommitteluvarianttia maksaa vähemmän aikaa kuin yksi ison mallin ajo. Toinen ja tärkein: kouluta kerran, aja nopeasti. Oma tyyli, tuote tai hahmo opetetaan LoRAna Raw-versiolle, ja arkiajot tehdään Turbolla, jossa sama lisäosa toimii sellaisenaan. Tämä työnjako on syy, miksi hienosäätäjät ovat muuttaneet perheen ympärille: pohja on suunniteltu koulutettavaksi, ei vain ajettavaksi. Kolmas: valokuvamainen jälki. Krean malleilla on maine estetiikasta, joka ei näytä koneelta — Raw pidemmillä askelilla on se vaihde, jolla lopullinen veto ajetaan, kun luonnos on löytynyt. Neljäs: yhteisöhaarat. Kentän suosikiksi on noussut Kroma-tarkistuspiste, johon Turbo-nopeus on sulautettu valmiiksi hienosäädetyn laadun rinnalle — yksi tiedosto ilman lisäosasolmuja.

Rehellisyyden nimissä. Pääsypyyntö tarkoittaa, että painot eivät ole vapaasti peilattavissa, ja käyttöehdot kannattaa lukea itse ennen ansiotyötä; yhteisöhaarojen lisenssimerkinnät ovat paikoin keskenään ristiriitaisia, kuten numero 002 Kroman kohdalla huomautti. Perusmalli on iso, eikä pyöri pienimmillä korteilla ilman kvantisointeja — ne tosin löytyvät jo valmiina, GGUF-muotoa myöten. Ja kahdeksan askeleen estetiikka on tislauksen estetiikkaa: tasainen ja varma, mutta ääripäiden yksityiskohdissa Raw voittaa. Arkityön mittarilla perhe vastaa silti sarjan kysymykseen komeasti: luonnos Turbolla, koulutus Rawilla, tuotanto siltä väliltä — kahden vaihteen kone, jossa kumpaakin käytetään siihen, mihin se on suunniteltu.

Lähteet: Krea-2-Turbo, Krea-2-Raw, Kroma, 4 askeleen LoRA, Hugging Face API (text-to-image, trending 22.8.)

Paras dokumentaatio on vitsi: AI Toolkit -koulutustyökalun tekijä ostris julkaisi opetusvideon siitä, miten MiniMax H3:n referenssivideotilaan koulutetaan oma LoRA — ja koulutti kameran käydessä esimerkin, joka tekee jokaisesta videon hahmosta silmiinpistävän lihaksikkaan. Absurdi esimerkki on pedagogisesti täydellinen: kukaan ei erehdy luulemaan sitä tuotteeksi, ja jokainen näkee täsmälleen, mitä lisäosa muutti. Video ja Comfy-solmut ovat vapaasti saatavilla — videomallin kotikoulutus on nyt tutoriaalin päässä siinä missä kuvamallin vuosi sitten.

Neljäs ulottuvuus arkivideosta: videosta videoksi -luokan viikon trendiykkönen on Ant Researchin 4DAnyone, joka muuntaa yhdellä kännykällä kuvatun videon moninäkymävideoiksi — ikään kuin kohtaus olisi kuvattu usealla kameralla — ja niistä edelleen ajassa eläväksi läiskärekonstruktioksi. Ihmisen voi siis siirtää arkivideosta vapaasti kierrettäväksi 4D-hahmoksi. Projektisivu näyttää, miten pitkälle yhden kameran materiaalilla nykyään pääsee; termit avataan tämän numeron klassikko-osiossa.

Merkintä muuttui laiksi: EU:n tekoälyasetuksen 50 artikla astui sovellettavaksi elokuun alussa: tekoälyllä tuotettu tai muokattu kuva, ääni ja video on merkittävä koneluettavasti, ja aidoilta näyttävät valehenkilöesitykset on kerrottava katsojalle. Keväinen omnibus-sopu antaa ennen elokuuta markkinoilla olleille generaattoreille siirtymäajan koneluettavaan merkintään joulukuun alkuun asti, ja komissio julkaisi kesällä ohjeistuksen ja käytännesäännöt. Tekijälle käytännön rivi: merkintä hoituu enimmäkseen työkalukerroksessa metatietoina, mutta vastuu jakelusta on jakelijalla — kannattaa tietää, mitä oma putki kuviin upottaa ja mitä jälkikäsittely siitä riisuu. Tarkempi artiklateksti selityksineen on luettavissa asetuksen hakuteoksesta.