НТР провела вебинар на тему "Термодинамика машинного обучения"
Государственное унитарное предприятие, охватывающее своей деятельностью Москву и частично Московскую область и выполняющее городские и пригородные перевозки автобусами, городские перевозки троллейбусами и трамваями, а также заказные перевозки автобусами городского и междугородного класса.

НОВОСТЬ

25 августа  Виталий Ванчурин, профессор, Department of Physics, University of Minnesota провел научно-технический вебинар в Zoom на тему  "Термодинамика машинного обучения". 

В этом докладе Виталий применил методы статистической физики для изучения поведения нейронных сетей в пределе большого количества нейронов. Вывел первый и второй законы обучения: во время обучения общая энтропия должна уменьшаться (т.е. второй закон обучения), и увеличение функции потерь должно быть пропорционально увеличение энтропии плюс увеличение сложности нейронной сети (т.е. первый закон обучения). 

Рассчитал разрушение энтропии, чтобы показать, что эффективность обучения задается лапласианом свободной энергии, которая должна быть максимизирована в оптимальной нейронной архитектуре, и объяснил, почему условие оптимизации лучше выполняется в глубокой сети с большим числом скрытых слоев. Ключевые свойства модели были проверены численно путем обучения нейронной сети с использованием метода стохастического градиентного спуска. Также рассмотрел возможность того, что вся Вселенная на самом фундаментальном уровне представляет собой нейронную сеть".

Вебинары открытые. Приглашаем присоединиться всех интересующихся. Информация о прошедших и предстоящих событиях на странице: https://www.ntr.ai/webinar.

No items found.

МАТЕРИАЛЫ

СХОЖИЕ ПРОЕКТЫ

Мосэнергосбыт
Российская энергосбытовая компания страны, реализующая свыше 8 % вырабатываемой в России электрической энергии.