OpenAI пусна CriticGPT за откриване на грешки в ChatGPT
OpenAI представи новаторски инструмент, наречен CriticGPT – авангарден голям езиков модел (LLM) с изкуствен интелект (AI), предназначен да подпомага хората при идентифицирането и коригирането на грешки в кода, генериран от ChatGPT.
Тази иновативна технология има за цел да повиши точността и полезността на моделите на GPT на OpenAI.
Как работи CriticGPT
CriticGPT е изграден на основата на Reinforcement Learning from Human Feedback (RLHF), техника, която включва преглед и критика на резултатите от моделите на изкуствения интелект от страна на хора.
Този инструмент е създаден, за да подпомага обучителите на ИИ в процеса на RLHF, като осигурява по-всеобхватни и задълбочени критики от тези, които се правят само от човек.
Когато хората получават помощ от CriticGPT за преглед на кода на ChatGPT, те превъзхождат тези без помощ в 60 % от случаите, както е показано в експеримент, който показва, че човек, обучаващ ИИ, предпочита критиките от екип от човек плюс CriticGPT пред човек без инструмента за ИИ в 60 % от случаите.
Обучение на CriticGPT
CriticGPT беше обучен с помощта на методологиите RLHF на OpenAI.
Обучителите взеха код, написан от ChatGPT, и след това вкараха грешки в кода.
След това написаха примерна обратна връзка, която моделът би могъл да предостави, ако е открил вмъкнатата грешка.
Обучителите сравняват резултатите от новия модел, като преглеждат множество критики на модифицирания сегмент от кода и виждат кога моделът правилно е идентифицирал и обяснил вмъкнатата грешка.
Ограничения на CriticGPT
Въпреки че CriticGPT показа обещаващи резултати, той не е лишен от ограничения.
Данните за обучение досега са съсредоточени само върху кратки отговори, написани от ChatGPT, и ще са необходими допълнителни изследвания и разработки, за да може да се справи с по-дълги и по-сложни изходи.
Освен това CriticGPT не е имунизиран срещу страховитите халюцинации на изкуствения интелект, които поразяват LLM.
Освен това в момента той може да се справя само с дискретни грешки, които се появяват на едно място, и ще е необходима допълнителна работа, за да може да идентифицира и критикува разпръснати грешки.
Какво следва за CriticGPT?
OpenAI планира да интегрира CriticGPT в своя конвейер на RLHF и да разшири работата, за да увеличи полезността му.
Потенциалните приложения на CriticGPT са огромни, а способността му да подпомага хората при идентифицирането и коригирането на грешки в кода, генериран от ChatGPT, има потенциала да революционизира начина, по който подхождаме към разработването и внедряването на ИИ.
