НТР провела вебинар на тему: “Псевдо-разметка для распознавания речи”
Государственное унитарное предприятие, охватывающее своей деятельностью Москву и частично Московскую область и выполняющее городские и пригородные перевозки автобусами, городские перевозки троллейбусами и трамваями, а также заказные перевозки автобусами городского и междугородного класса.

НОВОСТЬ

16 февраля Татьяна Лихоманенко, Постдокторант-исследователь, Facebook AI Research, Менло-Парк, Калифорния, США, провела научно-технический вебинар в Zoom на тему “Псевдо-разметка для распознавания речи”.

Спикер о презентации:

Для моделей распознавания речи, обученных с частичным привлечением учителя, недавно было показано, что метод псевдо-разметки эффективен при обучении как CTC (Connectionist Temporal Classification), так и seq2seq (Sequence-to-Sequence) функций потерь. В наших исследованиях мы предложили улучшенный итеративный вариант метода псевдо-разметки (Iterative Pseudo-Labeling, IPL), который учит одну модель с помощью псевдо-меток, итеративно перегенерированных самой моделью во время обучения.

Однако предложенный алгоритм IPL переобучается на лингвистическую модель. Чтобы избежать такого вида переобучения, мы далее рассмотрим вариант алгоритма (Language-Model-Free IPL, slimIPL), который итеративно перегенерирует транскрипции для речи с помощью hard меток, то есть без участия лингвистической модели. slimIPL эффективно работает как для CTC, так и для seq2seq функций потерь. В сравнении с существующими методами обучения с частичным привлечением учителя и без учителя IPL и slimIPL не только упрощают процесс обучения, но и имеют близкое к топовым методам или state-of-the-art качество на LibriSpeech датасете при большом и малом числе обучающих данных с разметкой.

Совместно с HITs ТГУ мы организуем открытые научно-технические вебинары о нейронных сетях. С докладами выступают спикеры со всего мира. Вебинары проводятся на русском языке, по вторникам. 

Материалы прошедших и информация о предстоящих событиях на странице: https://www.ntr.ai/webinar.

Модератор и контакт: Генеральный директор НТР Николай Михайловский nickm@ntr.ai.


No items found.

МАТЕРИАЛЫ

СХОЖИЕ ПРОЕКТЫ

Мосэнергосбыт
Российская энергосбытовая компания страны, реализующая свыше 8 % вырабатываемой в России электрической энергии.