Darwin vysvetľuje AI · 08

Dal si Darwinovi mozog. Vie ale používať jeho ruky?

Lokálna AI verzus cloudová AI: prečo model, ktorý vedie úplne slušný rozhovor, môže mať problém otvoriť Poznámkový blok — a ako vybrať správny mozog na danú prácu.

Predtým v tejto sérii — Najnebezpečnejšia funkcia AI je neobmedzené oprávnenie ›

Píše Gabriel · zakladateľ BlueberryS, vývojár Darwina

Presne vedel, čo má urobiť. Len to neurobil.

Nedávno som narazil na problém, ktorý takmer dokonale ukazuje, čo veľa ľudí na AI asistentoch nechápe. Úloha nemohla byť jednoduchšia: otvor Poznámkový blok. Darwin bežal na lokálnom AI modeli s 32 miliardami parametrov — žiadna hračka, ale poriadny kus technológie, ktorý beží priamo na osobnom počítači.

Namiesto toho, aby Poznámkový blok otvoril, napísal model rovno do konverzácie open_app("Notepad"). Vyzeralo to ako pokyn na otvorenie aplikácie a dokonca v tom bol aj správny názov. Bol tu len jeden problém: Poznámkový blok sa neotvoril. Na ďalší pokus to možno zafungovalo, na ten ďalší zase nie.

Potom som ten istý druh úlohy skúsil s Gemini a Poznámkový blok bol otvorený za pár sekúnd. Rovnaký počítač, rovnaký Darwin, rovnaké nástroje. Iný mozog. Tak čo sa vlastne stalo?

Mozog nemá ruky

Toto je asi najdôležitejšia vec, ktorú treba o dnešných AI asistentoch pochopiť. Veľký jazykový model tvoj počítač neovláda. Generuje odpovede, vykladá si pokyny a — keď je na to vytrénovaný a správne pripojený — dokáže externé nástroje požiadať, aby niečo vykonali. Ale otvoriť aplikáciu, upraviť súbor, poslať správu alebo spustiť príkaz musí skutočný softvér.

A tu prichádza Darwin. Okolo modelu staviame nástroje, integrácie, pamäť, oprávnenia a samotné vykonávanie. Model sa rozhodne, čo chce urobiť; Darwin poskytne nástroje, ktoré to dokážu — v rámci oprávnení používateľa a bezpečnostných kontrol aplikácie, o čom bol predchádzajúci článok.

Inteligencia pochádza z modelu. Schopnosť konať pochádza zo softvéru okolo neho.

A spoľahlivo tie dve veci prepojiť je ťažšie, než to znie.

Päť ľudí, päť nástrojov, jeden jednoduchý pokyn

Predstav si, že do miestnosti posadíš päť ľudí a každému dáš pero, kladivo, list papiera, pohár a stôl. Potom povieš: napíšte svoje meno na papier. Jeden zoberie pero a napíše ho. Druhý siahne po pere a zastaví sa, lebo nevie, čo ďalej. Tretí ti podrobne vysvetlí, ako sa píše, no papiera sa ani nedotkne. Štvrtý zoberie úplne nesprávny nástroj. Všetci mali presne rovnaké vybavenie — rozdiel nikdy nebol v nástrojoch, ale v schopnosti im rozumieť a použiť ich.

S AI modelmi je to podobné. Jeden model chápe, že otvoriť Poznámkový blok znamená zavolať konkrétny nástroj a odovzdať mu názov aplikácie v presnom formáte. Iný vyrobí text, ktorý volanie nástroja len pripomína. Človeku môžu oba výstupy pripadať takmer rovnaké. Pre softvér sú to úplne odlišné veci.

Text, ktorý vyzerá ako príkaz, ešte nie je príkaz — a v dobre navrhnutom systéme ním ani byť nesmie. Ten rozdiel je dôležitý pre spoľahlivosť a rovnako aj pre bezpečnosť: nechceš asistenta, ktorý vykoná všetko, čo sa len podobá na pokyn.

„Ale môj lokálny model má 32 miliárd parametrov!“

Oprávnená námietka a 32 miliárd je naozaj veľa. Lenže počet parametrov nepovie všetko o tom, čo model dokáže. Predstav si dvoch ľudí: jeden prečítal tisíce kníh a vie sa rozprávať takmer o čomkoľvek; druhý vie o svete menej, ale opraví motor, obsluhuje stroje a zvládne zložité praktické pokyny. Kto z nich je schopnejší, závisí úplne od úlohy.

Modely sa líšia tréningom, architektúrou, uvažovaním, prácou s kontextom aj tým, ako dobre zvládajú štruktúrované volania nástrojov. Väčší model nie je automaticky lepší v každej operácii a menší model vytrénovaný práve na používanie nástrojov môže na takejto práci prekonať väčší univerzálny model. Správna otázka preto neznie aký veľký je ten model? Znie: dokáže tento model spoľahlivo robiť takú prácu, akú chcem od Darwina?

Prečo môže byť otvorenie Poznámkového bloku ťažšie než odpoveď na otázku

Pre bežný softvér je otvorenie aplikácie triviálne: keď program dostane platný príkaz, je to priamočiara operácia. AI agent pred to pridáva ešte jeden krok. Model musí rozpoznať, že chceš čin a nie odpoveď, vybrať správny nástroj, zostaviť správne argumenty a vrátiť to všetko vo formáte, ktorému softvér okolo rozumie — a musí to robiť konzistentne. Model môže tvojmu zámeru v bežnej reči rozumieť úplne presne, a pritom nevyrobiť platné štruktúrované volanie. Práve preto AI, ktorá píše krásne odpovede, nemusí byť AI, ktorá spoľahlivo ovláda softvér.

Aby bolo férovo povedané: nie každý neúspešný krok je chybou modelu. Príčinou môže byť definícia nástroja, kompatibilita modelu, oprávnenia na vykonanie, obmedzenia operačného systému alebo prepojenie medzi modelom a aplikáciou. Preto tieto veci testujeme a nepredpokladáme, že každé zlyhanie má rovnaké vysvetlenie. Keď však ten istý nástroj s jedným modelom funguje spoľahlivo a s iným len niekedy, rozdiel v tom, ako tie modely používajú nástroje, je dôležitá stopa.

Sú teda lokálne modely zlé?

Vôbec nie — keby som si myslel, že sú nanič, podporu lokálnych modelov by som do Darwina nedával. Lokálna AI ponúka niečo naozaj cenné: kontrolu nad tým, kde model spracúva tvoje informácie. V plne lokálnom nastavení sa tvoje požiadavky spracúvajú na tvojom vlastnom počítači namiesto toho, aby išli k cloudovému AI poskytovateľovi — a to má zmysel, keď pracuješ so súkromnými poznámkami, citlivými dokumentmi, osobnými údajmi alebo jednoducho offline. A lokálne modely sa obrovsky zlepšili. Podľa konkrétneho modelu a hardvéru zvládnu rozhovor, zhrnutia, triedenie, spracovanie textu, vyhľadávanie v lokálnych znalostiach, pomoc s kódom a áno, aj používanie nástrojov.

Lokálne nie je automaticky to isté ako cloud

Najlepšie cloudové služby bežia na neporovnateľne väčšej výpočtovej infraštruktúre a ponúkajú modely vyladené na zložité uvažovanie, dlhé postupy, programovanie a pokročilé používanie nástrojov — schopnosti, ktoré sa na bežnom PC reprodukujú ťažko. Neznamená to, že každý cloudový model porazí každý lokálny; znamená to, že ich treba porovnať na úlohách, na ktorých ti záleží. Lokálny model, ktorý nádherne zhŕňa súkromné dokumenty, môže zakopnúť na dlhej reťazi volaní nástrojov. Cloudový model, ktorý zvláda zložitú automatizáciu, môže byť na jednoduché triedenie zbytočne silný. A starostlivo vybraný lokálny model môže byť v konkrétnej úzkej úlohe vynikajúci. Univerzálny víťaz neexistuje.

Koľko vlastne stojí prevádzka „32B“?

Ďalšie nedorozumenie, na ktoré často narážam: model sa dá stiahnuť zadarmo, takže lokálna AI je zadarmo. Váhy modelu sa naozaj môžu dať stiahnuť zadarmo, podľa licencie — ale na ich prevádzku treba výpočtový výkon, a ten zadarmo nie je nikdy.

Výkonná pracovná stanica náročné modely zvládne, ale výkonný hardvér stojí peniaze, rovnako elektrina, a hardvér treba časom aj vymeniť. Pri niektorom spôsobe používania vyjde lacnejšie vhodné cloudové predplatné alebo API; pri inom — najmä ak už vhodný hardvér máš a lokálne toho púšťaš veľa — dáva lokálna prevádzka aj finančne zmysel.

Lokálne neznamená automaticky lacnejšie. Cloud neznamená automaticky drahší.

Závisí to od toho, čo púšťaš, ako často a aký hardvér už máš.

Súkromie je najsilnejší dôvod ísť lokálne

Pre mňa najpresvedčivejší argument za lokálny model nie je ušetriť pár eur. Je to kontrola. Keď používaš cloudový model, informácie, ktoré požiadavka potrebuje, odchádzajú k danému poskytovateľovi. To neznamená, že cloudoví poskytovatelia narábajú s dátami nezodpovedne — mnohí ponúkajú poriadne nástroje na súkromie, bezpečnosť aj firemné nastavenia — ale stále je v tom externá služba. Pri lokálnom modeli prebieha samotné spracovanie na tvojom stroji. A Darwinova lokálna pamäť nezávisí od toho, aký mozog si vyberieš.

Jeden rozdiel je však dôležitý: lokálny model automaticky neurobí offline celú aplikáciu. Ak používaš externú poštu, vyhľadávanie na webe, cloudové rozpoznávanie reči, generovanie hlasu alebo iné pripojené služby, príslušné informácie k týmto poskytovateľom stále putujú. Súkromie závisí od celého postupu, nie od názvu modelu na obrazovke — a preto si myslím, že používateľ má vedieť, aké služby zapína a čo každá z nich naozaj robí.

Mozog si nemusíš vybrať navždy

Toto je jedno z architektonických rozhodnutí, ktoré v Darwinovi považujem za najdôležitejšie: pamäť patrí Darwinovi, nie modelu. Predstav si, že niekoho zamestnávaš niekoľko rokov. Naučíš ho všetko o svojej firme, projektoch, o tom, čo máš rád a ako pracuješ — a jedného dňa sa rozhodneš vymeniť mu mozog za iný. V bežnom AI chate môže zmena poskytovateľa znamenať, že veľkú časť toho kontextu necháš za sebou.

Darwin drží dlhodobú pamäť oddelene od zvoleného modelu. Keď prejdeš z lokálneho modelu na Claude, Gemini alebo model od OpenAI, to, čo Darwin vie, mu ostáva k dispozícii. Nový mozog môže tie znalosti vykladať alebo používať trochu inak, ale pamäť nezmizne len preto, že sa zmenil mozog. Rôznym agentom môžeš dokonca dať rôzne modely: špecializovaný agent môže na súkromnú prácu s textom používať lokálny model, iný silnejší cloudový model na zložité viackrokové operácie a programátorský agent model stavaný na vývoj. Nejde o to mať všade najväčší mozog. Ide o to mať na každú zodpovednosť ten správny.

Aký mozog si teda vybrať?

Ja by som k tomu pristupoval takto:

• Súkromné poznámky, zhrnutia a bežná lokálna práca s textomSchopný lokálny model
• Rozhovory offline a práca s lokálnymi znalosťamiLokálna AI
• Otváranie aplikácií, práca naprieč nástrojmi, každodenné úlohy v štýle JARVISaModel s overeným, spoľahlivým volaním nástrojov
• Zložité automatizácie a viackrokové procesySchopný model, otestovaný na celom postupe
• Vývoj softvéru a ladenieModel zameraný na programovanie, so správnymi nástrojmi
• Citlivá práca, pri ktorej dáta nesmú ísť do cloudového modeluLokálne spracovanie — externé integrácie preveriť zvlášť
• Intenzívne denné používanie bez kúpy drahého hardvéruPorovnať cenu predplatného a API so skutočným používaním

Nie sú to pevné pravidlá. Dostatočne schopný lokálny model môže byť v používaní nástrojov výborný a aj cloudové modely robia chyby. Vždy otestuj to, na čom ti naozaj záleží. Ak je pre teba dôležité otváranie aplikácií, neposudzuj model podľa toho, ako inteligentne o softvéri hovorí — nechaj ho otvoriť tú istú aplikáciu niekoľkokrát, potom skús dlhšiu požiadavku s viacerými krokmi a sleduj, či sa nástroje naozaj zavolali, či sa úloha dokončila a či je výsledok správny.

AI, ktorá vysvetlí, čo by urobila, nie je to isté ako AI, ktorá to urobila.

Čo by som odporučil novému používateľovi Darwina

Nezačínaj otázkou, ktorý model má najviac parametrov; začni otázkou, čo má tvoj asistent zvládnuť. Ak je na prvom mieste súkromie a práca offline, začni vhodným lokálnym modelom. Ak chceš, aby Darwin ovládal aplikácie, spúšťal postupy a zvládal zložité úlohy, vyber model, o ktorom je známe, že so štruktúrovanými nástrojmi pracuje dobre — a over si to v praxi. A ak si nie si istý, začni jedným z podporovaných cloudových modelov, nauč sa, ako fungujú nástroje a oprávnenia, a s lokálnymi alternatívami experimentuj potom. Lokálnu AI nemusíš zavrhnúť a nemusíš si kupovať drahú grafickú kartu skôr, než vieš, čo naozaj potrebuješ. Začni prácou. Mozog si vyber až potom.

Na mozgu záleží. Ale nie je to celý asistent.

Je lákavé veriť, že asistent bude skvelý jednoducho tým, že ho pripojíš k silnému modelu. Model je však len jedna súčasť. Nástroje, pamäť, oprávnenia, integrácie, kontrola vykonávania, zvládanie chýb a to, ako sa s ním pracuje, sú rovnako dôležité. Geniálny mozog bez spoľahlivého spôsobu, ako konať, je stále obmedzený — a ak dáš modelu silnejšie nástroje, automaticky to z neho neurobí schopnejší, ani bezpečnejší model.

Preto ďalej vyvíjame samotného Darwina, a nielen pridávame podporu najnovších modelov: infraštruktúru, ktorá z tých mozgov robí užitočných asistentov — nástroje, ktoré robia skutočné kroky, pamäť, ktorá prežije výmenu modelu, a hranice, ktoré ostávajú dôležité bez ohľadu na to, aký schopný je zvolený model. Cieľom nikdy nebolo postaviť ďalšie miesto, kde sa dá rozprávať s AI. Cieľom bol asistent, ktorý ti naozaj pomôže veci dotiahnuť — a niekedy práve správny mozog urobí celý rozdiel.

Gabriel — zakladateľ BlueberryS, vývojár Darwin AI Assistant.

Ďalšie čítanie — 4. diel · Tvojich súborov sa nedotknem ›
7. diel · Najnebezpečnejšia funkcia AI je neobmedzené oprávnenie ›