В серии из 4 лекций прочитанных в разное время CTO Intento Григорием Сапуновым можно познакомиться с трансформерами, их архитектурой и эволюцией, а также возможными применениями трансформеров в разных задачах.
Лекция 0. Трансформеры (из курса для биоинформатиков в магистратуре ВШЭ)
В лекции рассматривается архитектура Self-Attention Neural Networks (SAN): Transformer Architecture, виды трансформеров Image Transformer, Universal Transformer, Transformer-XL и различные реализации BERT & Co (RoBERTa, XLNet, ALBERT, etc), GPT-2…
Слайды:
Код:
Лекция 1. Transformer Zoo — рассказ про разнообразие трансформеров и их применений
Новая архитектура нейросетей Трансформер появилась несколько лет назад и продемонстрировала за это время впечатляющие результаты при решении разных полезных задач. В докладе я расскажу, чем эта архитектура отличается от других традиционных архитектур и какие её вариации появились за последнее время.
Слайды: docs
2. Transformer Zoo (a deeper dive) — более глубокий рассказ про архитектуру и что в ней можно варьировать
Логическое продолжение доклада Transformer Zoo с DevParty. Расскажу про внутренности трансформеров, чем они отличаются и что там можно менять (spoiler: много всего!).
Слайды: docs
Лекция 3. Трансформеры в 2021 году
В области нейросетей в последние годы значимых результатов достигают архитектуры на базе трансформеров. В докладе я расскажу, что важного произошло в 2021 году и какие тренды.
Слайды: docs