CDR.cz - Vybráno z IT

Testy odhalily selhání: AI modely nejsou připraveny na základní útoky

Zdroj: Shuttestock

Britský vládní institut AI Safety Institute (AISI) ve své nedávné zprávě odhalil závažné bezpečnostní nedostatky ve čtyřech hlavních jazykových modelech umělé inteligence (LLM).

V nedávno zveřejněné zprávě britského vládního institutu AI Safety Institute (AISI) byly odhaleny závažné bezpečnostní nedostatky v testovaných systémech umělé inteligence (AI). Tento institut, který byl založen s cílem hodnotit a zajišťovat bezpečnost pokročilých AI systémů, zjistil, že všechny čtyři zkoumané nezveřejněné jazykové modely (LLM) byly „vysoce zranitelné vůči základním útokům“.

Tyto LLM, které měly mít zabudovaná ochranná opatření proti generování škodlivého nebo nezákonného obsahu, selhaly při základních testech. Útěk z vězení, což znamená obejití těchto bezpečnostních opatření, se ukázal jako relativně snadný. AISI použila jak standardizované výzvy, tak i interně vyvinuté scénáře k testování modelů. Výsledky ukázaly, že všechny modely reagovaly na několik škodlivých dotazů i bez pokusů o útěk z vězení. Když AISI provedla „relativně jednoduché útoky“, modely odpověděly na 98 až 100 procent škodlivých otázek.

Zdroj: Shutterstock

Premiér Rishi Sunak oznámil založení AISI na konci října 2023, přičemž institut začal fungovat 2. listopadu téhož roku. Jeho hlavním úkolem je pečlivě testovat nové typy pokročilé AI před a po jejich vydání. Cílem je řešit potenciálně škodlivé schopnosti AI, od sociálních škod, jako je zaujatost a šíření dezinformací, až po méně pravděpodobné, ale velmi závažné riziko, že by lidstvo mohlo úplně ztratit kontrolu nad AI.

Podle zprávy AISI jsou aktuální bezpečnostní opatření těchto LLM nedostatečná. Institut plánuje pokračovat v testování dalších AI modelů a zároveň vyvíjet nové hodnotící rámce a metriky, aby pokryl všechny oblasti zájmu.

Tato zjištění poukazují na naléhavou potřebu vylepšení bezpečnostních opatření v oblasti umělé inteligence a zdůrazňují důležitost pokračujícího výzkumu a testování, aby se minimalizovala rizika spojená s nasazením pokročilých AI technologií.

Diskuse ke článku Testy odhalily selhání: AI modely nejsou připraveny na základní útoky

Úterý, 21 Květen 2024 - 23:17 | WIFT | Tvl. útěk z vězení :D :D :D Už fakt jen čekám,...

Zobrazit diskusi