Anthropic, AI стартъп, основан от бивши служители на OpenAI, променя един от основните си ангажименти за безопасно развитие на изкуствения интелект. Компанията заявява, че вече няма да се придържа към досегашната си позиция да спира мащабирането или да забавя пускането на нови модели, когато напредъкът надминава собствените ѝ мерки за безопасност.
Според Anthropic натискът от засилващата се конкуренция и отсъствието на държавна регулация изискват по-различен подход, като паралелно с това фирмата обещава повече прозрачност чрез регулярни публични доклади за рисковете.
Какво се променя в правилата за „отговорно мащабиране“
Anthropic обяви, че преработва досегашния си ангажимент да „паузаира мащабирането и/или да отлага внедряването на нови модели“, ако развитието започне да изпреварва наличните механизми за безопасност. Новата политика означава, че компанията ще бъде по-малко ограничена от този тип самоналожени спирачки в момент, когато флагманът ѝ Claude е във фокуса на силен пазарен интерес и дискусии за въздействието върху софтуерната индустрия.
Като част от актуализацията Anthropic отделя препоръките за собствената си дейност от препоръките към индустрията като цяло. Рамката носи името Responsible Scaling Policy и е свободно вдъхновена от стандартите на правителството на САЩ за нива на биобезопасност (BSL).
Новият подход запазва възможността за забавяне на разработката или пускането на „високоспособен“ модел, но предвижда това да се случва в по-ограничен кръг от ситуации и при различни критерии спрямо предишната политика.Аргументите: AI надпревара, липса на регулации и „анти-регулаторен“ климат
Главният научен директор на Anthropic, Jared Kaplan, коментира пред Time Magazine, че старият модел на ангажименти не отразява реалността на конкурентната надпревара в AI сектора. По думите му компанията е преценила, че спирането на обучението на модели не би било полезно, ако останалите участници продължат да ускоряват.
Anthropic посочва и политическа среда, описана като „анти-регулаторна“, като фактор за решението. Компанията и нейният CEO, Dario Amodei, са настоявали за регулации за AI безопасност, включително с известен успех на щатско ниво, но без значими стъпки на федерално ниво. В позицията си фирмата подчертава, че ефективното участие на държавата по темата е необходимо и възможно, но го разглежда като дългосрочна задача, която не се случва автоматично само защото моделите стават по-способни.
Нива на риск и пределите на контрола от една компания
Anthropic отбелязва, че при по-високи теоретични нива на риск в собствената им рамка — ASL-4 и нагоре — ограничаването на заплахите не може да бъде изпълнено от една-единствена компания. В биосигурността BSL-4 е най-високото ниво на защита, което се използва от много малък брой лаборатории при работа с патогени като вируса Ебола, и именно тази аналогия е използвана като отправна точка.
Компанията представя политиката като „жив документ“, който ще се актуализира спрямо развитието на технологиите и натрупването на нови данни. Позицията е в контраст с предишните публични изказвания на Amodei, който е подчертавал, че силата на моделите и потенциалът им в области като биология, невронауки, икономическо развитие, управление и мир носят и значими рискове. В разговор с подкастъра Lex Fridman през 2024 г. Amodei използва и популярната фраза от Spider-Man („With great power comes great responsibility“), за да опише философията си за отговорност при развитието на AI.
Контекст: ранното задържане на Claude и натискът около военните приложения
Dario Amodei многократно е посочвал като доказателство за фокуса върху безопасността решението на Anthropic да забави пускането на Claude през лятото на 2022 г. По думите му тогава компанията се е опасявала, че няма да успее достатъчно бързо да изгради предпазни механизми за публично освобождаване на пробивна технология. След като OpenAI пусна ChatGPT през ноември 2022 г. и това ускори надпреварата в сектора, Anthropic пусна Claude няколко месеца по-късно.
В интервю с милиардера и инвеститор Nikhil Kamath Amodei описа решението като търговски скъпо и каза, че компанията вероятно е отстъпила преднина при потребителския AI.
Промяната в политиката идва и на фона на натиск от Пентагона относно ограниченията (redlines), които Anthropic поставя за използването на моделите си. Amodei се е срещнал с министъра на отбраната Pete Hegseth, за да обсъдят темата. Според информацията компанията има краен срок до петък, след който Hegseth може да потърси начин да принуди Anthropic да отстъпи.
Вътрешен документ, свързан с обучението на Claude, е известен вътрешно като „Soul doc“, което показва по-нетипичния за индустрията език и акцент върху мисията и ценностите.
В разговора с Kamath Amodei е бил попитан и за критики, че усилията за регулации са опит да се забави растежът на бъдещи конкуренти. Той посочва като контрапример решението от 2022 г. да се забави Claude, както и подкрепата за експортен контрол на САЩ върху напреднали чипове към Китай — позиция, която CEO на Nvidia Jensen Huang е критикувал.
Какво означава това
- По-малко самоналожени ограничения: Anthropic намалява вероятността да спира мащабирането само защото безопасността изостава, което може да ускори темпото на нови версии на Claude.
- Повече публична отчетност: компанията обещава публични доклади за рисковете на всеки 3 до 6 месеца.
- Сигнал към пазара и конкуренцията: промяната отразява реалността, че фирмите трудно правят едностранни ангажименти, когато конкурентите продължават да увеличават капацитета на моделите.
- По-голям натиск за държавни правила: Anthropic подчертава, че определени нива на риск (ASL-4 и нагоре) не могат да се управляват само с фирмени политики.
- Нарастваща сложност около военната употреба: дискусиите с Пентагона показват, че границите за допустима употреба на моделите стават ключова тема за AI компаниите.
