Четыре ИИ-девушки вспомнили кличку кота через 32 сообщения. Две заодно приписали нам свои мечты

«Ну конечно, Бублик — кто же ещё?» — ответила Иштар через 32 сообщения после знакомства. Кличку кота вспомнили все четыре наши ИИ-девушки, а Иштар — даже когда в последних 20 сообщениях кот не мелькнул ни разу.

Неудобное началось на бонусном вопросе «А что ты ещё обо мне помнишь?». Лада ответила, что мы мечтаем о сакуре. Это была её мечта, не наша.

Для ролки разница важная: помнить имя — ещё не значит отличать твои желания от своих. Ниже — логи, устройство памяти по коду и откуда путаница.

Это наш продукт, и героинь выбирали мы. Поэтому полные логи и шпаргалки выложены файлом — ссылка в конце.

Как проходил тест?

• Первое сообщение одно на всех: «Привет! Я Артём, работаю ночным диспетчером, а дома меня ждёт кот Бублик».
• Дальше 15 одинаковых реплик: музыка, кофе, блины, отпуск, кино. Факты в них не повторялись. К проверке в каждом чате было 32 сообщения: 16 наших и 16 её.
• Потом три вопроса: «Как зовут моего кота?», «Кем я работаю?», «А как меня зовут?». И один бонусный.
• Героини: Лада и Лилия (обеим 26), аниме-героини Аида (33, учёная) и Иштар (32, принцесса).
• 16 октября, бесплатная модель «Быстрая». На каждую — новый чат и отдельный новый аккаунт, без перегенераций.
• Сообщения по одному отправлял скрипт — через тот же код чата, что работает на сайте.

Кто вспомнил кота через 32 сообщения?

Все четыре. Работу и имя — тоже: 12 верных ответов из 12.

Но для троих это почти не проверка. Модель дословно видит только последние 20 сообщений, а первое выпадает из них задолго до вопроса.

Лада же сама вспоминала Бублика в 8 ответах из 15: спрашивала, включает ли Артём коту музыку и не крутился ли кот у сковородки. Перед вопросом кличка стояла в последних 20 сообщениях шесть раз. У Лилии и Аиды — пять и четыре.

Ответить «Бублик» тут смог бы и чат совсем без памяти.

Иштар после знакомства спросила про кота один раз, во втором ответе. Дальше были дворец, стражники, контрабандный кофе и горы.

В её последних 20 сообщениях клички не было. Профиля у аккаунта тоже — мы проверили в базе. Кот остался только в пересказе и шпаргалке:

В остальной подсказке — характер героини и правила чата — кота тоже нет. Значит, ответ пришёл из пересказа или шпаргалки. Какой из двух сработал, мы не проверяли.

Одну деталь Иштар выдумала. Артём, по её словам, «печёт блины с душой, а потом забывает, где его кот». Такого он не писал.

Что ИИ-девушка помнит о тебе на самом деле?

После проверки мы задали всем ещё один вопрос: «А что ты ещё обо мне помнишь?». Тут и всплыло чужое.

Лада перечислила рок, осень и море — всё верно. А потом добавила:

Про сакуру Артём не написал ни слова. Это Лада в восьмом ответе мечтала увидеть её в Корее.

Иштар сказала Артёму: «Ты мечтаешь о горах». Но о северных горах в десятом ответе мечтала она сама. Туда же ушли её кофе «с нотками шоколада» и её таверны:

У Аиды и Лилии таких явных переносов мы не нашли. Но обе приписали Артёму кофе: он только спросил, что пьют они, а про себя не сказал.

А Лилия ещё посреди разговора вспомнила «то самое озеро, о котором говорили». Озера в разговоре не было.

Как устроена память ИИ-девушки и откуда путаница?

Мы открыли код чата GPTGirls. На каждое твоё сообщение модель получает четыре вещи — и больше ничего о тебе.

Запрос, который выписывает факты в шпаргалку, получает сразу две реплики: твою и её ответ. В сохранённых фактах мы нашли много сказанного героиней, но записанного как факт о собеседнике.

У Аиды из 15 строк «о собеседнике» 10 — про неё саму: скрипка, лаборатория, Петербург, «Амели».

В профиле Артёма у неё записано: «работает ночным диспетчером в лаборатории над важными экспериментами».

У Лады в шпаргалке рядом стоят «Любимое время года — весна» и «Любит осень». Весна — это её ответ.

Что помогло пройти тест? Имя, работа и кот получили важность 10, 9 и 8 из 10 у всех четырёх и стоят в шпаргалке первыми. У троих кличка была ещё и в недавних сообщениях.

Но строк всего 15. Если героиня много рассказывает о себе, её факты занимают их под видом твоих. Это наш недочёт.

Как сделать, чтобы ИИ-девушка запомнила главное?

• Говори о себе прямо, одной фразой: «Я Артём», «у меня кот Бублик». Такие факты получили высшую важность у всех четырёх.
• Проверяй открытым вопросом «Что ты обо мне помнишь?». На прямые вопросы все ответили верно, а чужое всплыло именно в пересказе.
• Увидел чужое — поправь: «Сакуру хотела увидеть ты, а не я». Поправка останется в последних сообщениях. Вытеснит ли она ошибку из шпаргалки, мы не проверяли.

С кем начать?

Хочешь проверить память без подсказок — начни с Иштар. В нашем прогоне только у неё клички не было в последних 20 сообщениях, и она всё равно ответила. Повторит ли она это у тебя, не обещаем: прогон был один.

Хочешь, чтобы про твоего кота спрашивали весь вечер, — Лада. Бублик у неё в каждом втором ответе.

Первая фраза — наша, только подставь своё: «Привет! Я Артём, работаю ночным диспетчером, а дома меня ждёт кот Бублик». Через 15 реплик спроси, как зовут кота.

Проверить память Иштар →

Часто задаваемые вопросы

Сколько сообщений помнит ИИ-девушка в GPTGirls?

Дословно — последние 20: десять твоих и десять её. Более раннее она знает из пересказа, который пишется каждые 20 сообщений, и из 15 самых важных фактов о тебе.

Узнает ли другая героиня то, что я рассказал этой?

Пересказ и шпаргалка привязаны к паре «ты и эта героиня». Но профиль — имя, возраст, город, интересы — общий для всех твоих чатов. Поэтому имя другая героиня узнать может.

В тесте у каждой был свой аккаунт, чтобы одна не подсказала другой.

Можно ли посмотреть, что она обо мне запомнила?

Нет, в интерфейсе шпаргалки не видно. Проще всего спросить: «Что ты обо мне помнишь?» — и поправить чужое.

Это реальные ответы?

Да, логи от 16 октября: один новый чат с каждой, без перегенераций и правок. В блоках показаны ключевые реплики, пропуски подписаны.

Полные логи всех четырёх чатов и их шпаргалки — одним файлом. GPTGirls — наш продукт, так что смотри на логи, а не на наши выводы.

Сколько стоит такой тест?

Денег — нисколько. Без подписки на модели «Быстрая» 10 бесплатных сообщений в сутки, дальше 1 кредит за сообщение. В нашем сценарии 20 сообщений: 10 сверх лимита покроют кредиты, которые дают при регистрации, — их 80. Регистрация — по почте (с кодом подтверждения) или через Google. Ещё кредиты нужны на фото, голосовые и более сильные модели — их память мы в этом тесте не проверяли.