Спорът между Anthropic и Пентагона за етичните граници на използването на генеративен AI в армията влияе върху конкуренцията при водещите чатботове. Случаят също така изважда на преден план притесненията дали големите езикови модели са достатъчно надеждни за високорискови военни приложения.
По данни на Sensor Tower приложението Claude за първи път е изпреварило ChatGPT по изтегляния в САЩ, което се тълкува като потребителска подкрепа за позицията на Anthropic в конфликта с правителството.
Забрана за Claude и позицията на Anthropic
Администрацията на Доналд Тръмп е разпоредила държавните агенции да прекратят използването на Claude и е определила продукта като риск за веригата на доставки. Мярката е свързана с отказа на главния изпълнителен директор на Anthropic Дарио Амодеи да отслаби етичните защити на компанията, които ограничават прилагането на технологията за автономни оръжия и вътрешно масово наблюдение.
Anthropic е заявила, че ще оспори действията на Пентагона по съдебен път, след като получи официално уведомление за санкциите. Министерството на отбраната не е коментирало дали продължава да използва Claude, включително в контекста на войната с Иран, като се е позовало на оперативна сигурност.
Експерти: проблемът е надеждността, не „самосъзнанието“
Случаят получи подкрепа от част от военните и правозащитните среди заради акцента върху етиката, но и критики към индустрията заради дългогодишен маркетинг, насърчаващ внедряването на AI в задачи с висок залог.
Миси Къмингс — бивш пилот на изтребител във ВМС на САЩ и директор на центъра за роботика и автоматизация в George Mason University — посочва, че големите езикови модели допускат твърде много грешки (т.нар. „халюцинации“ или „конфабулации“) и по природа са ненадеждни в среда, където може да се стигне до загуба на човешки живот. Тя е публикувала научен труд, в който аргументира, че държавните агенции трябва да забранят използването на генеративен AI „за контролиране, насочване, водене или управление на каквото и да е оръжие“.
Ключовият риск според критиците не е, че AI ще „излезе извън контрол“, а че системите правят убедително звучащи, но неверни твърдения и това може да доведе до грешни решения в реални операции.По думите на Къмингс това може да доведе до жертви сред некомбатанти или дори сред собствените войски, ако ограниченията на системите не бъдат правилно разбрани и управлявани. Тя подчертава необходимостта от „човек в цикъла“ и строг процес на проверка — „проверка, проверка, проверка“.
Амодеи е акцентирал върху тези ограничения при защитата на етичната позиция на Anthropic, като е заявил, че „frontier“ AI системите не са достатъчно надеждни, за да захранват напълно автономни оръжия, и че компанията няма да предоставя продукт, който би изложил на риск американски военнослужещи и цивилни.
Класифицирани среди, Palantir и напрежение в партньорствата
До неотдавна Anthropic е била единствената сред близките си конкуренти с одобрение за използване в класифицирани военни системи, като е работила с Palantir и други изпълнители в отбраната. Доналд Тръмп е заявил, че Пентагонът ще разполага с шест месеца, за да изведе от употреба военните приложения на Anthropic.
Къмингс, която е била съветник на Palantir, допуска, че Claude може вече да е използван при планиране на удари, като изразява надежда, че решенията са били под строг човешки контрол. Според нея има разминаване между подобни предпазни подходи и публичните послания на част от AI индустрията, които внушават, че технологията се доближава до „почти съзнателно“ поведение.
В онлайн коментари проблемите на Anthropic с правителството са наречени „Hype Tax“, като това определение е било споделено и от водещия AI съветник на Доналд Тръмп — Дейвид Сакс, известен критик на компанията. Въпреки риска за бизнес отношенията с военни изпълнители, спорът укрепва репутацията на Anthropic като разработчик, фокусиран върху безопасността, според Дженифър Хъдълстън, старши научен сътрудник в Cato Institute.
Пазарна реакция: Claude набира, ChatGPT среща негативни отзиви
Sensor Tower отчита рязък ръст на изтеглянията на Claude, който е изкачил приложението до първо място по популярност в iPhone среда и до водеща позиция общо за мобилните платформи в САЩ. Това е станало за сметка на OpenAI и ChatGPT, чието потребителско възприятие е било засегнато след обявяване на сделка с Пентагона за използване на ChatGPT в класифицирани среди, на практика като заместител на Anthropic.
В Apple App Store броят на 1-звездните оценки за ChatGPT е нараснал с 775% в рамките на кратък период, което подсказва организирана или масова негативна реакция. Главният изпълнителен директор на OpenAI Сам Алтман е признал в публикация в социалните мрежи, че комуникацията е била прибързана и че темата изисква ясно обяснение, тъй като „въпросите са изключително сложни“. Той е провел и обща среща с екипа („all-hands“), за да обсъди следващи стъпки.
Алтман е посочил още, че има много области, за които технологията не е готова, както и че остават неясни компромисите, нужни за безопасност. Той е заявил, че OpenAI ще работи по темата постепенно, заедно с Пентагона, чрез технически защити и други методи.
Какво означава това
- Етиката се превръща в конкурентно предимство: позицията на Anthropic влияе директно върху потребителското поведение и пазарния дял на приложенията.
- Надеждността на LLM остава ключов риск: „халюцинациите“ и грешките са централният аргумент срещу използването на генеративен AI за управление или насочване на оръжия.
- Възможни са сътресения в отбранителните партньорства: спорът и обозначаването като риск за веригата на доставки могат да усложнят отношенията с подизпълнители и държавни структури.
- Комуникацията към обществото има реални последствия: негативната реакция срещу ChatGPT показва колко чувствителна е темата за военни приложения на AI и как публичните послания влияят на доверието.
- „Човек в цикъла“ вероятно ще остане стандарт: натискът за строги проверки и контрол от хора се засилва при високорискови сценарии.
