Аббревиатура GPT расшифровывается как Генеративный (Generative) Предобученный (Pretrained) Трансформер (Transformer). Название не самое красивое, но смысл интересный. Генеративный означает, что модель умеет создавать текст. Предобученный — значит, модель сначала обучается без конкретной задачи, чтобы лучше понять язык, а потом настраивается выполнять различные задачи — от ответов на вопросы до перевода. Трансформер — это тип архитектуры модели.
Компания OpenAI выбрала название GPT, чтобы напомнить, что эти технологии претендуют на роль общих — то есть таких, которые могут глубоко влиять и менять целые отрасли экономики и общества. Так в экономике называют изобретения, которые меняют мир — например, паровой двигатель или электричество. GPT и правда должна приблизить нас к общему искусственному интеллекту — тому, который сможет мыслить как человек во всех смыслах. Множество исследователей OpenAI уверены, что достижение этого возможно, если просто делать модели GPT больше и мощнее. Какая именно модель станет прорывной — GPT-5 или GPT-15 — пока неясно, но смысл в том, что масштабирование играет ключевую роль, как рассказывает источник НОЖ.
Все изменилось в ноябре 2022 года, когда OpenAI выпустила ChatGPT — чат-бота, который стал ярчайшим представителем семейства GPT. Название можно перевести как «общение с GPT». Это улучшенная версия GPT-3, способная не просто генерировать текст, а отвечать на вопросы пользователей. Пока GPT-3 обсуждали в узких научных кругах, ChatGPT сразу же завоевал миллионы пользователей. За первую неделю у приложения появился миллион пользователей, а через два месяца — уже сто миллионов. Спустя год ChatGPT стали использовать больше миллиарда человек — в том числе через поисковик Bing от Microsoft, WhatsApp, Skype и Snapchat.
Финансово история тоже впечатляет: стоимость OpenAI выросла в 100 раз и сегодня оценивается около 100 миллиардов долларов, а годовая прибыль компании превышает миллиард. При этом компания ограничивает прибыль инвесторов стократной отдачей — как необычную бизнес-модель — но это не мешает успеху.
Для создания ChatGPT команда OpenAI разработала новый способ обучения с подкреплением, что позволило значительно точнее настраивать модели GPT для разных заданий. В итоге получилась языковая модель, способная решать практически любые задачи, которые ставит перед ней пользователь, и именно она привлекла внимание широкой публики.
Чтобы лучше понять силу ChatGPT, стоит взглянуть на примеры его работы.
Продолжить тему поможет материал на «FiNE NEWS»: строительство дата-центра OpenAI.
Я: Напиши сонет об истории искусственного интеллекта в стиле Уильяма Шекспира.
CHATGPT: Минувших дней умы, наполненные дивом,
Сподвигли на создание машины,
Посеяли зерно, чтобы предстал пред миром
Мышления искусственного плод.
С былых времен мечтая о расцвете,
В преданиях и сказах определенно
В железе воплощение ума людского
Рукой математической на схеме будет создано.
Учет канонов вычислений
Дало продвинутым системам рост,
В эпоху обучения предстало перед нами
Искусственных умов сознание.
Страшась грядущих перемен теперь,
Мы чудеса воочию глядим, надеясь избежать потерь.
Я: Напиши один абзац о будущей истории искусственного интеллекта.
CHATGPT: В будущей истории искусственного интеллекта XXI век запомнится как время, когда искусственный интеллект вышел за грани возможного, меняя все аспекты человеческого существования. Прорывы в глубоком обучении и архитектурах нейронных сетей приведут к революции во многих областях, начиная здравоохранением и заканчивая финансами, транспортом и окружающей средой. В результате интеграции искусственного интеллекта в повседневную жизнь общество столкнется с этическими дилеммами, связанными с неприкосновенностью частной жизни, предвзятостью, а также сокращением рабочих мест, что станет причиной разработки международных нормативных документов и методических рекомендаций для ответственных за разработку. Несмотря на сложности, искусственный интеллект расширит возможности человечества, стимулируя инновации и решая насущные проблемы мирового сообщества. Он приблизит людей к будущему, в котором человек и машина будут взаимодействовать, открывая новые горизонты знаний и возможностей.
В основе ChatGPT лежит идея, которую можно сравнить с автозаполнением текста на вашем телефоне — только намного сложнее. Телефон пользуется словарём и статистикой, чтобы подсказывать слово. ChatGPT же обучен на огромной части интернета, благодаря чему он может завершать не только слово или предложение, но и целые абзацы или даже страницы.
Тем не менее, большие языковые модели, такие как ChatGPT, не «понимают» язык так, как мы. Они оперируют вероятностями появления слов и фраз, а не истиной. Это и приводит к явлению, которое в сфере ИИ называют «галлюцинациями» — когда модель генерирует неправдоподобные или ложные сведения. И это значит, что такие технологии могут использоваться для массового распространения дезинформации, особенно в политике и общественной жизни.
Например, когда меня попросили рассказать про первого слона, переплывшего Ла-Манш, ChatGPT ответил, что это Джамбо — известный цирковой слон, который вместе со слонихой Элис переплыл через пролив в 1882 году. Звучит впечатляюще, но в архивах The New York Times нет ни одной ссылки на такое событие. Это простой пример того, как ChatGPT иногда «придумывает» факты.
Другой пример — вопрос о книге “Faking It: Artificial Intelligence in a Human World”. ChatGPT сообщил, что это книга Жанель Шейн 2019 года, где рассказывается об искусственном интеллекте и его вызовах. Однако на самом деле эту книгу написал тот самый автор материала, и вышла она в 2023 году, а её основная тема — природа генеративного ИИ, а не раскрытие ошибок в программировании или проблемы с предвзятостью. Впрочем, Жанель Шейн действительно написала свою книгу, но она называется «Кокетливый интеллект», и вышла в 2019-м, рассказывая совсем другую историю.
Так что ChatGPT иногда выдает разные ответы на один и тот же вопрос, пытаясь «угадать» нужную информацию даже там, где нет точных данных. Это как человек, который уверенно что-то рассказывает, даже если не уверен в деталях.
Стоит также упомянуть, что ещё до ChatGPT, в 2022 году, компания Meta запустила собственную модель Galactica, обученную на 48 миллионах научных публикаций и материалов. Ожидалось, что она поможет учёным решать задачи, писать брифы и аннотировать данные. Но уже через несколько дней после запуска выяснилось, что модель генерирует опасные и неподтверждённые тексты — например, статьи о пользе самоубийства или о преимуществах белой расы. В результате Meta прекратила проект, а её учёный Ян Лекун говорил, что модель использовалась не по назначению, даже несмотря на то, что возможности он сам описывал весьма оптимистично.
OpenAI же, выпуская ChatGPT, осознавала все риски. Глава компании Сэм Альтман сказал, что мир должен привыкнуть к тому, что однозначных ответов у ИИ пока нет, и нам всем надо действовать сообща. Основная задача — быстро донести технологии до широкой публики и оперативно исправлять ошибки.
Но галлюцинации — это не просто ошибка, а свойство, без которого невозможна творческая работа модели. Ведь именно способность генерировать нечто новое и неожиданные варианты позволяет ChatGPT писать стихи или обобщать информацию, пусть и с оговорками. Главная сложность для разработчиков — сделать так, чтобы ИИ умел отличать правду от простой вероятности, а пока мы этого не знаем.
Если подытожить, успех ChatGPT показывает, что мы, люди, часто переоцениваем наш собственный интеллект. В разговоре мы чаще используем шаблоны, и современные модели просто научились повторять эти формулы с огромной скоростью и в большом масштабе.
* Meta — владелец Facebook и WhatsApp, деятельность признана экстремистской, запрещена на территории России.
