Най-новият AI модел на Meta е безплатен за всички
Meta се насочва към ИИ с отворен код. Днес компанията представя LLaMA 2, първия си голям езиков модел, който е достъпен за всеки – безплатно.
Откакто OpenAI пусна изключително популярния си чатбот с изкуствен интелект ChatGPT през ноември миналата година, технологичните компании се надпреварват да пускат модели с надеждата да свалят превъзходството му. Meta е в бавната лента. През февруари, когато конкурентите Microsoft и Google обявиха своите чатботове с изкуствен интелект, Meta пусна първата, по-малка версия на LLaMA, ограничена за изследователи. Но тя се надява, че пускането на LLaMA 2 и безплатното ѝ предоставяне на всеки, който може да изгражда търговски продукти на нейна основа, ще ѝ помогне да навакса изоставането си.
Компанията всъщност пуска пакет от модели на ИИ, който включва версии на LLaMA 2 в различни размери, както и версия на модела на ИИ, която хората могат да вградят в чатбот, подобно на ChatGPT. За разлика от ChatGPT, до който хората имат достъп чрез уебсайта на OpenAI, моделът трябва да бъде изтеглен от партньорите на Meta за пускане на пазара Microsoft Azure, Amazon Web Services и Hugging Face.
„Това е от полза за цялата общност на ИИ и дава на хората възможност да избират подходи със затворен или отворен код, независимо от това, което е подходящо за тяхното конкретно приложение“, казва Ахмад Ал-Дале, вицепрезидент в Meta, който ръководи работата на компанията в областта на генеративния изкуствен интелект. „Това е наистина, наистина важен момент за нас“
Но все още остават много предпазни клаузи. Meta не разкрива информация за набора от данни, който е използвала за обучението на LLaMA 2, и не може да гарантира, че не включва произведения, защитени с авторски права, или лични данни, според изследователски документ на компанията, споделен ексклузивно с MIT Technology Review. LLaMA 2 има и същите проблеми, които тормозят всички големи езикови модели: склонност към създаване на фалшиви и обидни изрази.
Идеята, казва Ал-Дахле, е, че като пусне модела в дивата природа и позволи на разработчиците и компаниите да се занимават с него, Meta ще научи важни уроци за това как да направи своите модели по-безопасни, по-малко предубедени и по-ефективни.
Мощен модел с отворен код като LLaMA 2 представлява значителна заплаха за OpenAI, казва Пърси Лианг, директор на Центъра за изследване на моделите на Фондацията в Станфорд. Лианг е част от екипа изследователи, разработили Алпака, конкурент с отворен код на GPT-3, по-ранна версия на езиковия модел на OpenAI.
„LLaMA 2 не е GPT-4“, казва Лианг. И в изследователския си документ Meta признава, че все още има голяма разлика в производителността между LLaMA 2 и GPT-4, който сега е най-съвременният модел на AI на OpenAI. „Но за много случаи на употреба не е необходим GPT-4“, добавя той.
Един по-персонализиран и прозрачен модел, като LLaMA 2, може да помогне на компаниите да създават продукти и услуги по-бързо, отколкото голям, сложен патентован модел, казва той.
„Да се превърне LLaMA 2 във водеща алтернатива с отворен код на OpenAI би било огромна победа за Meta“, казва Стив Вебер, професор в Калифорнийския университет в Бъркли.
Под капака
Подготовката на LLaMA 2 за стартиране изискваше много настройки, за да стане моделът по-безопасен и по-малко склонен да изхвърля токсични лъжи от своя предшественик, казва Ал-Дале.
Мета има много минали гафове, от които да се поучи. Нейният езиков модел за наука, Galactica, беше свален от мрежата само след три дни, а предишният й модел LLaMA, който беше предназначен само за изследователски цели, изтече онлайн, предизвиквайки критики от политици, които поставиха под въпрос дали Meta отчита правилно рисковете, свързани с езиковите модели с изкуствен интелект, като дезинформация и тормоз.
За да намали риска от повтаряне на тези грешки, Meta приложи комбинация от различни техники за машинно обучение, насочени към подобряване на полезността и безопасността.
Подходът на Meta към обучението на LLaMA 2 имаше повече стъпки от обичайното за генеративните модели на ИИ, казва Саша Лучиони, изследовател в стартъпа за ИИ Hugging Face.
Моделът е обучен върху 40% повече данни от своя предшественик. Ал-Дахле казва, че е имало два източника на данни за обучение: данни, които са били иззети онлайн, и набор от данни, нагласени и коригирани според обратната връзка от човешките анотатори, за да се държат по по-желан начин. Компанията казва, че не е използвала метаданни за потребителите в LLaMA 2 и е изключила данни от сайтове, за които е знаела, че съдържат много лична информация.
Въпреки това LLaMA 2 все още изрича обидни, вредни и по друг начин проблематични изрази, също като конкурентните модели. Meta казва, че не е премахнала токсичните данни от набора от данни, защото оставянето им може да помогне на LLaMA 2 да открива по-добре речта на омразата, а премахването им може да доведе до риск от случайно филтриране на някои демографски групи.
Независимо от това, ангажиментът на Meta за откритост е вълнуващ, казва Лучиони, защото позволява на изследователи като нея да изучават правилно пристрастията, етиката и ефективността на моделите на ИИ.
Фактът, че LLaMA 2 е модел с отворен код, също така ще позволи на външни изследователи и разработчици да го изследват за пропуски в сигурността, което ще го направи по-безопасен от патентованите модели, казва Ал-Дале.
Лианг е съгласен. „Много се вълнувам да изпробвам нещата и мисля, че това ще бъде от полза за общността“, казва той.
