Как устроен Нейрофильтр с YandexGPT в Яндекс Почте? Рассказывает разработчик Яндекс 360

Команда Яндекс 360 впервые внедрила искусственный интеллект в Яндекс Почту, чтобы пользователи не упускали важные письма. Новый инструмент — Нейрофильтр с YandexGPT — работает на базе двух нейросетей. Первая нейросеть определяет важность каждого письма, чтобы сделать выборку из главных сообщений, вторая — выделяет ключевые тезисы из них и выводит краткое резюме. Подробнее о технологиях отбора и суммаризации писем рассказывает Руслан Дюсаев, разработчик Яндекс 360.

Как Нейрофильтр с YandexGPT определяет важность письма

Отдельная подборка важных писем в Почте помогает пользователям не упустить ценную информацию в потоке входящих. Так сообщение с данными об онлайн-заказе или с новыми вводными по проекту не затеряется среди рассылок и других писем.

За отбор писем для дайджеста отвечает нейросетевая технология Спамооборона, которая уже используется в Почте для борьбы со спамом. У неё нет доступа к содержимому переписок — она обучается на обезличенных данных о том, как люди взаимодействуют с письмами: какие из них открывают, какие помечают как важные, какие удаляют.

Важность письма определяется на основе более 1 000 факторов: отправитель, количество полученных и прочитанных писем от него, размер сообщения, наличие вложений и других. В процессе участвуют две модели:

Текстовая модель. Текст письма в зашифрованном виде отправляется в предобработчик, который преобразует его в элементы, понятные нейросети, — токены. Аналогичный процесс проходят subject и from — имя отправителя и тема. На выходе модель выдаёт число, которое показывает, с какой вероятностью пользователь прочитает имейл или кликнет по ссылке внутри.

Бустинговая модель. Получает информацию о нескольких сотнях факторов из текстовой модели и Спамообороны. Затем анализирует данные, выдаёт «число важности» и сравнивает его с установленным порогом. Например, если результат будет равен пяти, то, вероятнее всего, письмо пришло от реального отправителя и содержит нужную информацию, поэтому оно попадёт в специальный блок.

Когда Нейрофильтр с YandexGPT обучался, он проанализировал миллионы логов — обезличенных записей событий из Яндекс Почты. В них отражаются данные о том, какие письма пришли, какие из них открыли, какие отметили как важные, — без конкретного содержания. Теперь Нейрофильтр с YandexGPT работает на основе закономерностей, которые он почерпнул из массива данных.

Как Нейрофильтр с YandexGPT генерирует краткое содержание писем

Резюме важных писем, которое делает Нейрофильтр с YandexGPT, экономит время. Пользователи могут, не вчитываясь в сообщения, сразу увидеть промокоды, договорённости с коллегами и другую нужную информацию.

Разработчики взяли общую модель YandexGPT, которая уже работает, например, в Яндекс Браузере и Яндекс Станциях. Чтобы краткий пересказ формировался максимально корректно, модель дообучили на тысячах эталонных текстов, написанных AI-тренерами.

Сам процесс суммаризации проходит в два этапа:

1. Сначала с помощью энкодера (кодировщик) текст разбивается на токены. А затем они преобразуются в эмбеддинги — численное представление, понятное модели.
2. После декодер (расшифровщик) получает это числовое представление и пытается его расшифровать. Благодаря ему нейросеть переводит основные мысли в тезисы — читабельный для человека формат из отдельных предложений.

Нейрофильтр самообучается на оценках пользователей — можно оценить качество подборки и качество пересказа. Включить или отключить дайджест можно в настройках Почты.

Коротко: как работают нейросети в Яндекс Почте

Нейрофильтр с YandexGPT последовательно работает с письмами: определяет, какие входящие важны для получателя, и преобразует длинный текст сообщения в чёткое саммари. При этом процессы анализа и суммаризации проходят в виде числовых комбинаций, поэтому персональная информация остаётся конфиденциальной.

Новый инструмент уже доступен в веб-версии и мобильном приложении Яндекс Почты. Чтобы упростить работу со входящими письмами и сэкономить время для важных дел, подключайте Яндекс 360 Премиум.