![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
vak"The statistical thermodynamics of generative diffusion models: Phase transitions, symmetry breaking and critical instability"
https://arxiv.org/pdf/2310.17467v2
"Генеративные диффузионные модели достигли впечатляющих результатов во многих областях генеративного моделирования. Хотя фундаментальные идеи, лежащие в основе этих моделей, исходят из неравновесной физики, вариационного вывода и стохастического исчисления, в этой статье мы показываем, что многие аспекты этих моделей можно понять с помощью инструментов равновесной статистической механики. Используя эту переформулировку, мы показываем, что генеративные диффузионные модели претерпевают фазовые переходы второго рода, соответствующие явлениям нарушения симметрии. Мы показываем, что эти фазовые переходы всегда находятся в классе универсальности среднего поля, поскольку они являются результатом условия самосогласованности в генеративной динамике. Мы утверждаем, что критическая нестабильность, возникающая из фазовых переходов, лежит в основе их генеративных возможностей, которые характеризуются набором критических показателей среднего поля. Кроме того, используя статистическую физику неупорядоченных систем, мы показываем, что запоминание можно понимать как форму критической конденсации, соответствующую неупорядоченному фазовому переходу. Наконец, мы показываем, что динамическое уравнение генеративного процесса можно интерпретировать как стохастическое адиабатическое преобразование, которое минимизирует свободную энергию, сохраняя при этом систему в тепловом равновесии."
https://arxiv.org/pdf/2310.17467v2
"Генеративные диффузионные модели достигли впечатляющих результатов во многих областях генеративного моделирования. Хотя фундаментальные идеи, лежащие в основе этих моделей, исходят из неравновесной физики, вариационного вывода и стохастического исчисления, в этой статье мы показываем, что многие аспекты этих моделей можно понять с помощью инструментов равновесной статистической механики. Используя эту переформулировку, мы показываем, что генеративные диффузионные модели претерпевают фазовые переходы второго рода, соответствующие явлениям нарушения симметрии. Мы показываем, что эти фазовые переходы всегда находятся в классе универсальности среднего поля, поскольку они являются результатом условия самосогласованности в генеративной динамике. Мы утверждаем, что критическая нестабильность, возникающая из фазовых переходов, лежит в основе их генеративных возможностей, которые характеризуются набором критических показателей среднего поля. Кроме того, используя статистическую физику неупорядоченных систем, мы показываем, что запоминание можно понимать как форму критической конденсации, соответствующую неупорядоченному фазовому переходу. Наконец, мы показываем, что динамическое уравнение генеративного процесса можно интерпретировать как стохастическое адиабатическое преобразование, которое минимизирует свободную энергию, сохраняя при этом систему в тепловом равновесии."
no subject
Date: 2024-08-19 19:02 (UTC)no subject
Date: 2024-08-19 19:41 (UTC)no subject
Date: 2024-08-20 06:25 (UTC)- фазовые переходы всегда находятся в классе универсальности среднего поля
no subject
Date: 2024-08-20 22:27 (UTC)