«Вы слышали, что такое эмбеддинг?» — интервью с Владиславом Сунгуровым

Публикуем первое в этом году интервью о летних стажировках!

Этим летом ученики Л2Ш прошли стажировки в 14 разных компаниях и организациях-партнёрах Лицея. Ранее мы уже рассказывали о конференции по итогам летних стажировок, на которой в том числе выступал Влад. А теперь начинаем серию интервью, чтобы подробнее рассказать об опыте ребят!

Мы поговорили с Владиславом Сунгуровым. Влад учится в 11-м классе на математико-программистском профиле, является призёром заключительного этапа ВсОШ по информатике (профиль «Искусственный интеллект») и Национальной олимпиады по анализу данных DANO, а также победителем Innopolis Open по ИИ в 2023-2024 году.

Этим летом Влад прошёл стажировку в Газпромбанк.Тех.
Как выбрать стажировку? Когда искусственный интелект захватит мир? Что такое эмбеддинг? Как чанкировать документ? И чем работа отличается от учебы в школе? На все эти вопросы ответил Влад!

На фотографиях — хайлайты интервью, а полную версию читайте ниже:

Интервью с Владиславом Сунгуровым

Этим летом наш ученик 11 класса математико-программистского профиля Владислав Сунгуров прошёл стажировку в Газпромбанк.Тех, где работал над задачей в области искусственного интеллекта.

Влад — призёр заключительного этапа ВсОШ по информатике (профиль «Искусственный интеллект») и Национальной олимпиады по анализу данных DANO.

Александр Игоревич Малахов, заместитель директора и учитель математики Лицея «Вторая школа», поговорил с Владом о том, чем он занимался на стажировке, какие трудности возникали в процессе работы, чему удалось научиться и какие впечатления оставил этот опыт.

Интервью состоит из пяти разделов: выбор стажировки и прохождение отбора, организация рабочего процесса, задачи и работа с RAG-системой, итоги и впечатления от стажировки, а также бонусный вопрос об искусственном интеллекте и захвате мира!

Контакты Владислава: vladislavsunny@gmail.com, tg — @VladG00dman

Выбор стажировки и отбор

Александр Игоревич: Влад, мы попросим вас рассказать немного о себе: какой у вас профиль обучения и почему вы выбрали для стажировки именно Газпромбанк.Тех?

Владислав Сунгуров: Я учусь в 11 классе Л2Ш на математико-программистском профиле. Направление моей стажировки было связано с искусственным интеллектом.

Мне интересна разработка в целом, но при выборе стажировки я скорее ориентировался на то, чтобы получить опыт в продакшене в сфере искусственного интеллекта.

Из компаний-партнёров я выбрал Газпромбанк.Тех. Были и другие компании со смежными направлениями — например, в области аналитики или машинного обучения. Но у Газпромбанк.Теха мне понравился отбор на стажировку.

Там были задачи из моей сферы, а последняя была напрямую связана с машинным обучением. Поэтому я сразу понял, что, скорее всего, когда попаду туда, буду заниматься тем, что мне нравится.

Плюс компания пошла мне навстречу при выборе дат. В середине лета было несколько лагерей, и они согласились перенести стажировку на последний месяц и сократить её. Изначально она должна была длиться полтора месяца, но в итоге я стажировался только часть августа.

Александр Игоревич: А можете чуть подробнее рассказать про сам отбор – как он проходил?

Владислав Сунгуров: Сначала нужно было подать заявку: написать мотивационное письмо, рассказать о своём опыте, приложить портфолио.

После этого был контест. На него давалось довольно много времени – кажется, двенадцать часов, – но мне понадобилось примерно четыре. Я сделал его за вечер, после школы.

Там было несколько задач по олимпиадной математике — на подумать, несколько заданий на алгоритмическое программирование, а последняя была связана с машинным обучением. Это была и небольшая исследовательская работа: нужно было на основе датасетов экономических новостей обучить модель для классификации новостей на правдивые и ложные. Для отрицательных примеров я генерировал синтетические данные на основе положительных примеров из открытого источника.

Александр Игоревич: Вы сказали, там был блок про математику. Какие это были задачи по уровню? У них есть какая-то специфика?

Владислав Сунгуров: Ну, это были спецматовские задачи, они были не очень сложные, как я помню, – на логику, только с терминами из соответствующей сферы.

Александр Игоревич: Вы прошли контест – а что происходило дальше?

Владислав Сунгуров: Было онлайн-собеседование. У меня оно сразу проходило с будущим лидом команды. На нем мы поговорили о моем опыте, меня спрашивали о достижениях. И в конце дали небольшое техническое задание – кажется, посчитать метрику. Атмосфера была дружелюбная.

Как была устроена стажировка

Александр Игоревич: Влад, расскажите про саму стажировку – как она была устроена?

Владислав Сунгуров: Моя стажировка длилась чуть меньше месяца – примерно с 8 августа и до конца лета.

Строгого требования постоянно находиться в офисе не было. Я был в офисе несколько раз: встречался с командой, просто чтобы увидеться – лично ведь и работать продуктивнее, – ну и посмотреть на сам офис. И последний раз приехал в офис, когда стажировка закончилась. Но большую часть времени работал из дома.

Александр Игоревич: Вы упомянули, что работали с командой. Можете рассказать подробнее об этом? И чем этот опыт отличается от школьных индивидуальных задач?

Владислав Сунгуров: На самом деле «команда» здесь, может быть, некоторое преувеличение. У меня был тимлид Гоша, который ввёл меня в курс задачи и объяснил, с чего лучше начать. В основном я работал сам, он только подкидывал материалы, давал советы и помогал понять, куда двигаться.

Задача и работа с RAG-системой

Александр Игоревич: Но при этом задача, которой вы занимались, была частью какой-то большей задачи?

Владислав Сунгуров: Есть юридические документы, которые нужно анализировать юристам Газпромбанка, например, уставы организаций. Но проблема в том, что такие документы могут быть очень большими, а их структура не фиксирована: у каждой компании этот документ выглядит по-разному.

Для этого создавалась RAG-система: юрист задаёт ей вопрос, а она отвечает, используя релевантные данные из документа. Создание этой системы состоит из нескольких этапов. Один из них – чанкирование: большой документ нужно разделить на отдельные фрагменты так, чтобы потом другой модели было удобно находить релевантные данные по заданному вопросу.

Я работал над улучшением качества чанкера, чтобы потом улучшить качество всей RAG-системы.

Так что я знал общую задачу и знал ту часть, над которой конкретно должен работать. Мы вместе с моим лидом обсуждали идеи – как раз иногда лично в офисе. Я постоянно держал его в курсе того, что делал, он давал советы, поправлял, если что, и мы вместе придумывали, куда двигаться дальше.

Александр Игоревич: А могли бы вы объяснить работу RAG-системы человеку, который не занимается искусственным интеллектом? Правильно ли я понимаю, что вы работали над созданием модели для решения конкретных задач?

Владислав Сунгуров: Конкретно в этом кейсе обучение модели не подразумевалось. Давайте подробнее расскажу, что такое RAG-система. Можно просто отправить в ChatGPT весь текст и задать вопрос по какой-то его небольшой части, но тогда в контексте будет очень много лишней информации, а модель может ошибиться или сгаллюцинировать.

В RAG-системе сначала отдельный алгоритм ищет в документе фрагменты, которые относятся именно к вашему вопросу. И уже эти фрагменты вместе с вопросом передаются языковой модели.

Я дорабатывал чанкер – алгоритм, который делит документ на фрагменты.

Александр Игоревич: Не могу сказать, что мне стало всё совсем понятно, но в какой-то мере как будто бы да :)

Получается, это была не монотонная работа, а работа, в которой было пространство для творчества и ваших идей?

Владислав Сунгуров: Это определённо была исследовательская задача. Мне нужно было улучшить чанкер, а для этого — научиться оценивать качество его работы. Оказалось, что метрики для отдельного этапа чанкирования — довольно нишевая тема: обычно оценивают качество всей RAG-системы. Поэтому сначала пришлось исследовать, как вообще можно измерять результат работы чанкера.

Сложность в том, что обычно метрики считаются так: у вас есть идеальные ответы и ответы вашей модели, и вы можете их сравнить. А в моей задаче не существует одного идеального способа поделить документ на куски. Можно сказать, что один вариант лучше другого, но нет эталонной разметки, с которой ты просто сравнишь результат. Поэтому для расчёта таких метрик приходится использовать довольно сложные подходы.

Например, есть метрика, которая оценивает цельность одного чанка. Каждое его предложение переводится в эмбеддинг. Вы слышали, что такое эмбеддинг? В общем, предложения можно представить в виде числовых векторов, которые отражают их смысл, а потом сравнить их между собой. Так можно посчитать, насколько цельно скомпонован чанк.

С помощью этого можно оценить, добавил ли чанкер в один фрагмент несколько смыслов. Это важно, потому что потом система может выбрать его как релевантный вопросу, хотя часть информации внутри окажется лишней. Это не всегда хорошо.

Александр Игоревич: То есть в рамках этой задачи вам нужно было искать, тестировать разные метрики?

Владислав Сунгуров: Да, план был такой. В любой задаче важно начинать с метрик, потому что нужно оценивать успех, сравнивать эксперименты и всё остальное. После этого можно тестировать разные подходы к чанкированию и сравнивать их результаты.

Эти метрики для чанкирования, очевидно, находились в разных научных статьях, и специалисты, которые их придумывали, старались сделать их так, чтобы они коррелировали с метрикой всей системы: ты улучшаешь метрику конкретного этапа чанкирования – и в идеальном случае метрика на всей задаче тоже растёт.

Александр Игоревич: Вы пошли на эту стажировку, окончив 10 класс. Из тех знаний, что вы получаете на уроках по вашему профилю – что из этого оказалось релевантно и полезно для решения задачи?

Владислав Сунгуров: С инфопрофиля, наверное, пригодилось просто развитие интеллекта, алгоритмического мышления. На инфопрофиле мы в основном занимаемся алгоритмами, делаем небольшие проекты. Но они мало относились к тому, чем я занимался на стажировке.

Мне пришлось довольно много нового изучить. Например, после того как я исследовал, какие есть метрики, нужно было написать собственную библиотеку на Python, которая автоматически будет их считать. Полноценных библиотек, которые было бы удобно использовать в разных проектах, я до этого не писал – пришлось в это погрузиться.

Потом ещё был шаг, когда мы проверяли эти метрики на юридических текстах, – отдельный этап генерации синтетических данных. Это тоже было для меня новым: как эффективно генерировать с помощью нейросети данные для проверки своих экспериментов.

При этом у нас в школе есть кружок по искусственному интеллекту, там рассказывают связанные с этими задачами вещи. Я уверен, что этот кружок тоже внёс свой вклад в мои знания.

Александр Игоревич: Если попробовать сравнить сложность этой работы с чем-то из школьной жизни – например, с олимпиадами, – насколько сложными были эти задачи?

Владислав Сунгуров: Я думаю, отличие этой задачи от олимпиад в том, что сложность зависит от того, что ты умеешь.

Здесь нет конкретной математической задачи, которую надо решить. Ты вообще не ограничен в способах решения. Есть глобальная задача – и ты можешь делать что угодно, лишь бы продвинуться к результату.

Если ориентироваться на те шаги, которые предпринимал я, то по уровню сложности я бы сравнил это где-то с региональным или заключительным этапом олимпиады, скорее ближе к заключительному.

Нужно понимать довольно много концепций из сферы ИИ. За этим стоит довольно сложная математика, в которой тоже хорошо бы разбираться, чтобы видеть общую картину, понимать, куда двигаться и как это улучшать.

Александр Игоревич: А можно вас спросить: в процессе самостоятельного изучения новых тем вы использовали искусственный интеллект?

Владислав Сунгуров: Да, конечно, потому что это удобно. Обычно новая тема состоит из нескольких подтем, информация по которым может находиться в разных источниках. Когда спрашиваешь искусственный интеллект, можно быстрее собрать всю информацию и разобраться в новой теме.

Итоги и впечатления

Александр Игоревич: Что вам больше всего понравилось в этой стажировке?

Владислав Сунгуров: Мне понравилось, что я занимался реальной задачей. Многие говорят о стажировках: «Будешь перекладывать джейсончики*, кофе носить». А мои наработки действительно будут использовать и, скорее всего, продолжат развивать.

Причём она была именно из той области, которая мне интересна. Получилось всё так, как я ожидал, и даже лучше.

Александр Игоревич: А что, наоборот, вызвало у вас, может быть, разочарование или оставило негативное впечатление во всём этом процессе?

Владислав Сунгуров: Негативного впечатления точно не было. Наверное, хотелось больше непосредственно обучать модели. По факту я занимался больше анализом данных. А ИИ использовался для оценки метрик, для генерации данных. Но машинным обучением как таковым я почти не занимался.

Но думаю, если бы стажировка длилась изначальные полтора месяца, я бы успел дойти и до этого.

Александр Игоревич: Но я правильно понимаю, что поставленную задачу вы в итоге сделали?

Владислав Сунгуров: Да. В итоге end-to-end-метрики были улучшены за счёт исправления текущего чанкера – на основе метрик, которые я разработал и проверил.

Ещё мне очень понравилось, что пришлось разработать отдельную библиотеку. Я думал, что буду решать какие-то разовые задачи, а в итоге у меня появилась целая Python-библиотека, которая теперь лежит у меня на GitHub и которую, скорее всего, будут дальше использовать и дорабатывать в Газпромбанке.

Отдельная строчка в портфолио! Тоже очень удачно вышло.

Александр Игоревич: Несмотря на то что вы не так часто бывали в офисе, успели ли вы за этот месяц составить впечатление о рабочей жизни?

Владислав Сунгуров: У меня осталось хорошее впечатление. Я ещё мало говорил про команду. Вот был Гоша, у него был друг Вася, который заведовал другой командой, – мы обычно вместе встречались на очных митах. Общались, не обязательно даже о работе: конечно, в первую очередь о работе, но потом можно и просто по-дружески пообщаться. Там очень дружный коллектив, в перерывах вместе в кафе ходили. Ещё рядом с одним из офисов очень классная столовая со шведским столом – мне тоже очень понравилось.

А общее впечатление – я большую часть жизни учусь – и на работе также приходится учиться чему-то новому. Рядом тоже есть друзья, как одноклассники, только коллеги. У меня произошёл довольно плавный переход, и мне всё понравилось!»

Александр Игоревич: А вот эта стажировка повлияла на ваши планы – на учёбу в 11 классе, поступление дальше?

Владислав Сунгуров: Насчёт выбора вуза и направления, думаю, не очень повлияла: когда я шёл на стажировку, я уже был всем этим заинтересован и знал, чем хочу заниматься.

Но работа была довольно плотной. Иногда я работал даже больше, чем было нужно, просто потому что задача была интересная и у меня оставалось время. И стажировка укрепила меня в мысли, что, скорее всего, полноценно работать я начну только после первого-второго курса, а может быть, даже третьего-четвёртого.

То есть я бы не совмещал учёбу в вузе с работой, потому что вряд ли с такой нагрузкой хорошо справлялся бы и с учебой, и с работой. В этом я убедился за счёт стажировки.

Александр Игоревич: Поскольку у вас, очевидно, осталось положительное впечатление, я думаю, вы бы в целом рекомендовали стажировки другим школьникам?

Владислав Сунгуров: Да-да. В школе летом — это вообще самое лучшее. Я думаю, я бы каждое лето стажировался, потому что летом как раз есть свободное время. При этом стажировка занимает далеко не всё лето: интенсивно работать приходится только определенную часть дня, так что и отдохнуть тоже успеваешь.

Александр Игоревич: Может быть, у вас есть какая-то рекомендация вашим последователям – ребятам, которые сейчас в 9–10 классе и тоже хотели бы поучаствовать в каких-то стажировках следующим летом?

Владислав Сунгуров: Я думаю, обязательно стоит выбирать стажировку, которая действительно нравится, и внимательно смотреть на компании и сами задачи.

Потому что может оказаться, что ты пошёл на направление, которое называлось, например, аналитикой, а в итоге занимаешься совсем не тем, чего ожидал. Мне повезло, я с этим не столкнулся!

Важно попасть туда, куда нравится, – тогда опыт будет только положительным, полезным и продуктивным.

Бонусный вопрос: ИИ и безопасность

Александр Игоревич: Влад, вопрос бонусом: как вы думаете, сможет ли искусственный интеллект завоевать мир – и когда?

Владислав Сунгуров: Смотря что считать «завоевать мир».

В каком-то смысле он уже его завоевал – просто потому что все им пользуются. Как когда-то завоевал мир интернет, когда появился.

А если в другом смысле – возможность этого, конечно, не нулевая, но пока крайне мала. Есть отдельная сфера, которая мне тоже интересна, хотя я в неё пока глубоко не погружался, – AI safety. Она как раз занимается вопросами предотвращения возможности уничтожения человечества искусственным интеллектом.

Пока вроде бы плюс-минус безопасно, хотя, когда выходят новые модели, довольно часто пишут о том, что они могут что-то взломать. Но физического тела у них пока нет. В общем, можно бесконечно рассуждать, какие шаги он может предпринять – запустить ракету куда-то или ещё что-нибудь. Так что я считаю, что шанс не нулевой.

Ну, мы будем стремиться его смягчить.

Владислав Сунгуров: Вы слышали о василиске Роко? Ну, в общем, это мысленный эксперимент: когда-нибудь в будущем создадут могущественный искусственный интеллект общего назначения, и он уничтожит всех людей, которые знали о его существовании, но не способствовали его созданию.

Теперь и мы, и вы, наши дорогие читатели, обречены!