Zachránci dostali padáka: Skončil tým v OpenAI, který měl chránit lidstvo
Zdroj: Shuttestock
V létě 2023 se společnost OpenAI rozhodla vytvořit tým „Superalignment“ s ambiciózním cílem zajistit bezpečnost a kontrolu nad budoucími systémy umělé inteligence (AI). Tyto systémy by mohly být natolik výkonné, že by představovaly potenciální hrozbu pro samotnou existenci lidstva. Avšak méně než rok poté tento tým přestal existovat.
OpenAI uvedla, že skupina bude nyní integrována do širšího výzkumného úsilí společnosti. Nicméně, podle série tweetů od Jana Leikeho, bývalého vedoucího týmu, existovalo mezi bezpečnostním týmem a vedením společnosti značné napětí. Leike ve svých příspěvcích na platformě X zmínil, že tým Superalignment měl značné problémy se získáváním potřebných zdrojů pro svůj výzkum. „Vytváření inteligentnějších strojů než člověk je inherentně nebezpečné,“ uvedl Leike. „OpenAI má obrovskou odpovědnost vůči celému lidstvu, ale kultura bezpečnosti a postupy byly v posledních letech potlačeny na úkor atraktivních produktů.“
Odchod Leikeho následoval jen několik hodin po oznámení rezignace hlavního vědce Ilye Sutskevera, který byl rovněž jedním ze spoluzakladatelů OpenAI. Sutskeverův odchod přišel šest měsíců po kontroverzním rozhodnutí propustit generálního ředitele Sama Altmana, což vedlo k vnitřnímu povstání ve společnosti, když téměř 800 zaměstnanců hrozilo odchodem, pokud nebude Altman znovu dosazen. Nakonec byl Altman znovu jmenován generálním ředitelem po pouhých pěti dnech.
Zdroj: Shutterstock
Při založení týmu Superalignment OpenAI slíbila, že věnuje 20 % svého počítačového výkonu na řešení problémů spojených s kontrolou výkonných systémů AI během příštích čtyř let. Nicméně Leike ve svých tweetech zdůraznil, že tým měl problémy s přístupem k těmto zdrojům, což komplikovalo jejich výzkum. „Posledních několik měsíců jsme se museli potýkat s nepřízní osudu,“ napsal Leike a dodal, že dosáhl „zlomového bodu“ kvůli neshodám s vedením společnosti ohledně hlavních priorit.
Další směřování bezpečnostního úsilí OpenAI nyní povede John Schulman, spoluzakladatel společnosti, který se zaměřuje na výzkum velkých jazykových modelů. Jakub Pachocki, který vedl vývoj GPT-4, nahradí Sutskevera na pozici hlavního vědce.
Je důležité zmínit, že tým Superalignment nebyl jedinou iniciativou OpenAI zaměřenou na bezpečnost AI. V říjnu společnost založila nový tým „připravenosti“, který se má zaměřit na prevenci potenciálních katastrofických rizik spojených se systémy umělé inteligence, včetně kybernetických bezpečnostních problémů a chemických, jaderných a biologických hrozeb.
Zdroje:
