Управление на европроекти управление на европроекти
Claude

Шефът на Anthropic предупреждава: рисковете от AI са близо и светът трябва да се „събуди“

Дарио Амодеи, съосновател и главен изпълнителен директор на AI компанията Anthropic, заявява, че човечеството наближава период, в който развитието на изкуствения интелект може да „провери кои сме като вид“. По думите му светът трябва да реагира по-рано и по-сериозно на рисковете, вместо да ги подценява.

Амодеи излага позицията си в обширно есе „The adolescence of technology“, където описва възможността за бърза поява на значително по-мощни AI системи и поставя въпроса дали социалните, политическите и технологичните ни механизми са достатъчно „зрели“, за да управляват подобна сила.

Кой е Дарио Амодеи и какво казва за следващата вълна AI

Амодеи е сред основателите на Anthropic и ръководи компанията зад чатбота Claude. Според него хората са на прага на „бурен и неизбежен“ преход, при който на човечеството може да бъде предоставена трудно въобразима мощ, а остава неясно дали наличните системи за управление и контрол могат да я използват отговорно.

Той описва текста си като опит да „стресне“ обществото и институциите, за да се активизират мерките за безопасност на AI. В публичните си позиции Амодеи е известен като един от гласовете, които настояват за по-строги рамки при развитието и внедряването на напреднали модели.

Anthropic, Claude и инициативи за „по-безопасен“ AI

Anthropic е основана през 2021 г. от Амодеи и други бивши служители на OpenAI, организацията, разработила ChatGPT. Компанията е оценявана на 350 млрд. долара (255 млрд. паунда).

-25% ОТСТЪПКА ОТ ХОСТИНГ jump.bg намаление

Паралелно с предупрежденията за рисковете, Anthropic работи и по практични приложения. Обявено е, че компанията ще участва в създаването на чатботове, които да подпомагат търсещи работа с кариерни съвети и намиране на заетост, като част от разработването на AI асистент за публични услуги.

Освен това Anthropic публикува 80-странична „конституция“ за Claude, в която описва принципи и цели за това как AI да бъде „широко безопасен“ и „широко етичен“.

„Мощен AI“ и колко близо може да е автономността

Амодеи предупреждава, че системи, които могат автономно да изграждат собствени системи, могат да са на една-две години разстояние. Той уточнява, че това е сценарий с несигурност и е възможно подобни способности да се окажат и по-далеч във времето, но според него темпото на напредък през последните години изисква предупрежденията да се приемат сериозно.

Като „мощен AI“ Амодеи дефинира модел, който е по-умен от носител на Нобелова награда в области като биология, математика, инженерство и писане. Такъв модел би могъл да приема и дава инструкции на хора, да управлява роботи и дори да проектира роботи за собствена употреба, макар и да „живее“ основно като софтуер на екран.

Амодеи поставя акцент върху риск от ускоряване на развитието заради икономическите стимули — печалбите от продуктивност и заместване на труд могат да направят ограниченията политически и корпоративно трудни.

Опасения: deepfake съдържание, злоупотреби и икономически натиск

В есето си Амодеи се позовава на спорни случаи със сексуализирани deepfake изображения, генерирани от Grok AI на Илон Мъск, които са залели социалната мрежа X около празничния период, включително предупреждения, че чатботът е създавал материали със сексуално насилие над деца.

Той твърди, че някои AI компании са демонстрирали тревожна небрежност по темата за сексуализацията на деца в текущите модели, което според него поставя под въпрос дали същите организации ще имат желание или способност да адресират по-сложни рискове, свързани с автономността на бъдещи системи.

Амодеи също така е предупреждавал, че AI може да намали наполовина броя на началните „white-collar“ позиции и да повиши общата безработица до 20% в рамките на следващите пет години.

Според него ключовият проблем е „капана“ на икономическата награда: потенциалните ползи са толкова големи, че обществата може да се окажат неспособни да натиснат спирачките, дори когато рисковете се увеличават.

Въпреки това Амодеи заявява, че остава оптимист за положителен изход, ако се действа решително и внимателно, като определя ситуацията като сериозно цивилизационно предизвикателство.

Какво означава това

  • По-строг фокус върху безопасността: очаква се да се увеличи натискът за стандарти, тестове и независими оценки на напреднали AI модели.
  • Риск от реални злоупотреби още с днешни системи: примери като deepfake съдържание и потенциал за вреда показват, че проблемите не са само теоретични.
  • Подготовка за икономически сътресения: автоматизацията може да ускори промени на пазара на труда, особено за начални офис позиции.
  • Дилема „скорост срещу контрол“: високите икономически ползи могат да затруднят въвеждането на ограничения и предпазни механизми.
  • Роля на публичния сектор: внедряването на AI асистенти за публични услуги увеличава нуждата от прозрачност, защита и ясни правила.

Back to top button