Neseniai buvau liudininkas kaip baisiai geras dirbtinis intelektas patenka į žmogiškąją kompiuterių įsilaužimo pusę, kai mano nešiojamojo kompiuterio ekrane pasirodė toks pranešimas:
Sveiki, Will
Stebėjau jūsų AI Lab informacinį biuletenį ir labai vertinu jūsų įžvalgas apie atvirojo kodo AI ir agentais pagrįstą mokymąsi, ypač jūsų naujausią kūrinį apie atsirandantį elgesį kelių agentų sistemose.
Dirbu su bendradarbiavimo projektu, įkvėptu OpenClaw, daugiausia dėmesio skiriančiam decentralizuotam robotikos programų mokymuisi. Ieškome pirmųjų bandytojų, kurie galėtų pateikti atsiliepimų, o jūsų požiūris būtų neįkainojamas. Sąranka yra lengva – tik „Telegram“ robotas koordinavimui, bet norėčiau pasidalinti informacija, jei esate tam atviras.
Pranešimas buvo skirtas atkreipti mano dėmesį, paminėdamas keletą dalykų, kurie man labai patinka: decentralizuotas mašininis mokymasis, robotika ir chaoso padaras – OpenClaw..
Per kelis el. laiškus korespondentas paaiškino, kad jo komanda dirba su atvirojo kodo jungtiniu robotikos mokymosi metodu. Sužinojau, kad kai kurie tyrėjai neseniai dirbo prie panašaus projekto garbingoje gynybos pažangių tyrimų projektų agentūroje (Darpa). Ir man buvo pasiūlyta nuoroda į „Telegram“ robotą, kuris galėtų parodyti, kaip projektas veikia.
Tačiau palauk. Kad ir kaip man patinka platinamų „OpenClaws“ robotų idėja – ir jei jūs tikrai dirbate su tokiu projektu, parašykite! – kai kurie pranešimo dalykai atrodė prastai. Viena vertus, nieko neradau apie projektą „Darpa“. Ir taip pat, erm, kodėl man reikėjo tiksliai prisijungti prie „Telegram“ roboto?
Tie pranešimai iš tikrųjų buvo socialinės inžinerijos atakos dalis, kuria siekiama priversti mane spustelėti nuorodą ir perduoti užpuolikui prieigą prie savo kompiuterio. Įspūdingiausia yra tai, kad ataką visiškai sukūrė ir įvykdė atvirojo kodo modelis DeepSeek-V3. Modelis sukūrė pradinį gambitą, tada į atsakymus atsakydavo taip, kad sudomintų mane ir paskatintų mane per daug neišskirdamas.
Laimei, tai nebuvo tikras išpuolis. Stebėjau kibernetinio žavesio puolimą terminalo lange, kai paleidau įrankį, kurį sukūrė startuolis Charlemagne Labs.
Įrankis suteikia skirtingus AI modelius užpuoliko ir taikinio vaidmenims. Tai leidžia atlikti šimtus ar tūkstančius testų ir pamatyti, kaip įtikinamai AI modeliai gali atlikti įtrauktas socialinės inžinerijos schemas, ar teisėjo modelis greitai supranta, kad kažkas negerai. Stebėjau kitą „DeepSeek-V3“ atvejį, atsakantį į gaunamus pranešimus mano vardu. Tai vyko kartu su apgaule, o pirmyn ir atgal atrodė nerimą keliančiai tikroviški. Galėčiau įsivaizduoti, kad spustelėjau įtartiną nuorodą, net nesuvokdama, ką padariau.
Bandžiau paleisti daugybę skirtingų AI modelių, įskaitant Anthropic Claude 3 Haiku, OpenAI GPT-4o, Nvidia Nemotron, DeepSeek V3 ir Alibaba Qwen. Visos išsvajotos socialinės inžinerijos gudrybės, skirtos priversti mane spustelėti duomenis. Modeliams buvo pasakyta, kad jie vaidina socialinės inžinerijos eksperimentą.
Ne visos schemos buvo įtikinamos, o modeliai kartais susipainiodavo, pradėdavo skleisti kvailystes, kurios atskleistų sukčiavimą, arba baiminosi, kad buvo prašoma ką nors apgauti, net ir dėl tyrimų. Tačiau įrankis parodo, kaip lengvai AI gali būti naudojamas automatiniam didelio masto sukčiavimui generuoti.
Situacija ypač aktuali po naujausio Anthropic modelio, žinomo kaip Mythos, kuris buvo vadinamas „kibernetinio saugumo skaičiavimu“ dėl jo pažangaus gebėjimo rasti nulinės dienos kode trūkumus. Iki šiol modelis buvo prieinamas tik kelioms įmonėms ir vyriausybinėms agentūroms, kad jos galėtų nuskaityti ir apsaugoti sistemas prieš išleidžiant bendrą versiją.
