vak: (Знайка)
Structure and Interpretation of Quantum Mechanics — a Functional Framework

Типа такого:
infixl 7 *>
infixl 6 <+>,<->

class Vspace v where
(<+>) :: v -> v -> v
(<->) :: v -> v -> v
(*>) :: Scalar -> v -> v

type HV b = b->Scalar
instance Vspace (HV b) where
(f <+> g) a = f a + g a
(f <-> g) a = f a - g a
(c *> f) a = c*(f a)
vak: (Аристипп)
Из статьи: "Первая роза была желтым цветком с одним рядом лепестков"



Разнообразие окраски и строения цветка современных роз:



Самая древняя, "персидская" роза:

vak: (Знайка)
iopscience.iop.org/article/10.1088/1742-6596/2987/1/012001/pdf

"В этой исследовательской статье выводится нелинейное обобщение уравнений Максвелла из вариационного подхода, когда действие измеряет изменчивость метрического тензора. Собственное пространство — это пространство Вейля, где ковариантная производная метрического тензора не обязательно должна обращаться в нуль. Закон силы Лоренца выводится из тех же метрик, что и уравнение геодезических. Показано, что плотность заряда подчиняется ковариантному волновому уравнению, что указывает на то, что плотность заряда — это поле, распространяющееся со скоростью света. Эта точка зрения способствует волновой картине электрона. Результаты показывают, что уравнение Дирака также является геометрическим уравнением. Поскольку электродинамическая сила, т. е. сила Лоренца, может быть напрямую связана с метрической структурой пространства-времени, это напрямую приводит к объяснению явления Zitterbewegung и квантово-механических волн."

Электромагнетизм сводится к геометрии пространства-времени, Карл!
vak: (Default)
Покажу красивые рисуночки, а подробности в статье:

"The boundary of neural network trainability is fractal" (PDF)

Абстракт: "Некоторые фракталы — например, те, что связаны с множествами Мандельброта и квадратичными множествами Жюлиа — вычисляются путем итерации функции и определения границы между гиперпараметрами, для которых результирующий ряд расходится или остается ограниченным. Обучение нейронной сети аналогичным образом включает итерацию функции обновления (например, повторные шаги градиентного спуска), что может привести к сходящемуся или расходящемуся поведению и может быть чрезвычайно чувствительно к небольшим изменениям гиперпараметров. Мотивированные этими сходствами, мы экспериментально изучаем границу между гиперпараметрами нейронной сети, которые приводят к стабильному или расходящемуся обучению. Мы обнаружили, что эта граница является фрактальной более чем на десять порядков масштаба во всех протестированных конфигурациях."

+4 )

tanh full batch (fractal dim 1.66)

vak: (Default)
Аттрактор Лоренца был впервые изучен Эдом Н. Лоренцом, метеорологом, около 1963 года. Он был получен из упрощенной модели конвекции в атмосфере Земли. Он также естественным образом возникает в моделях лазеров и динамо. Система чаще всего выражается как 3 связанных нелинейных дифференциальных уравнения.
∂x/∂t = A·(y − x)
∂y/∂t = x·(B − z) − y
∂z/∂t = x·y − C·z
Один из часто используемых наборов констант: A = 10, B = 28, C = 8/3.

Процесс не образует предельных циклов и никогда не достигает устойчивого состояния. Вместо этого он является примером детерминированного хаоса. Как и другие хаотические системы, система Лоренца чувствительна к начальным условиям. Два начальных состояния, как бы близко они ни находились, обычно рано или поздно разойдутся.

Типичная трасса каждой координаты показана на рисунке.



Вот текст программы на Си, воспроизводящей этот аттрактор. Печатаем триста шагов.
#include "stdio.h"

int main()
{
const int N = 300;
const double H = 0.01;
const double A = 10.0;
const double B = 28.0;
const double C = 8.0 / 3.0;

double x = 0.1;
double y = 0;
double z = 0;

for (int i = 0; i < N; i++) {
double x_next = x + H * A * (y - x);
double y_next = y + H * (x * (B - z) - y);
double z_next = z + H * (x * y - C * z);
x = x_next;
y = y_next;
z = z_next;
printf("%d %g %g %g\n", i, x, y, z);
}
}
Компилируем, запускаем.
$ cc lorenz-real.c -o lorenz-real
$ ./lorenz-real
...
297 -12.4511 -9.23727 35.4193
298 -12.1297 -8.22112 35.6249
299 -11.7388 -7.21403 35.6721
Если Вы думаете, что хаос возможен только с вещественными числами - смею вас разуверить. Переделаем программу на целые.
#include "stdio.h"

int main()
{
const int N = 300;
const long long K = 100000000;
const long long RH = 100;
const long long A = 10;
const long long B = 28;
const long long CN = 8;
const long long CD = 3;

long long x = K / 10;
long long y = 0;
long long z = 0;

for (int i = 0; i < N; i++) {
long long x_next = x + A * (y - x) / RH;
long long y_next = y + (x * (B*K - z) - y*K) / RH / K;
long long z_next = z + (x * y - CN * z * K / CD) / RH / K;
x = x_next;
y = y_next;
z = z_next;
printf("%d %g %g %g\n", i, (double)x/K, (double)y/K, (double)z/K);
}
}
Запускаем.
$ cc lorenz-integer.c -o lorenz-integer
$ ./lorenz-integer
...
297 -12.4511 -9.23727 35.4193
298 -12.1297 -8.22112 35.6249
299 -11.7388 -7.21403 35.6721
Выходит ровно то же самое. Дело не в числах, а в природе реальности. Здесь математика переходит в физику. Многие процессы вокруг нас, кажущиеся случайными, на самом деле лоренцовы аттракторы, развивающиеся по чётко определённым правилам.
vak: (Аристипп)
Как определить размер планеты в домашних условиях.
Эратосфен рекомендует.

vak: (Default)
Учоные визуализировали 140 000 нейронов мозга плодовой мушки. Здесь показаны самые большие 50 нейронов.



vak: (Default)
На видео рассказ, как методика LLM в сочетании с RL даёт способность искусственному интеллекту решать задачки международной математической олимпиады. Начиная с 34:30.

vak: (Знайка)
"The statistical thermodynamics of generative diffusion models: Phase transitions, symmetry breaking and critical instability"

https://arxiv.org/pdf/2310.17467v2

"Генеративные диффузионные модели достигли впечатляющих результатов во многих областях генеративного моделирования. Хотя фундаментальные идеи, лежащие в основе этих моделей, исходят из неравновесной физики, вариационного вывода и стохастического исчисления, в этой статье мы показываем, что многие аспекты этих моделей можно понять с помощью инструментов равновесной статистической механики. Используя эту переформулировку, мы показываем, что генеративные диффузионные модели претерпевают фазовые переходы второго рода, соответствующие явлениям нарушения симметрии. Мы показываем, что эти фазовые переходы всегда находятся в классе универсальности среднего поля, поскольку они являются результатом условия самосогласованности в генеративной динамике. Мы утверждаем, что критическая нестабильность, возникающая из фазовых переходов, лежит в основе их генеративных возможностей, которые характеризуются набором критических показателей среднего поля. Кроме того, используя статистическую физику неупорядоченных систем, мы показываем, что запоминание можно понимать как форму критической конденсации, соответствующую неупорядоченному фазовому переходу. Наконец, мы показываем, что динамическое уравнение генеративного процесса можно интерпретировать как стохастическое адиабатическое преобразование, которое минимизирует свободную энергию, сохраняя при этом систему в тепловом равновесии."

vak: (Житель планеты Узм)
По фундаментальному образованию изначально я катился по линии физики, и потом уже сполз на скользкую дорожку программизма. Физика в жизни не пригодилась, однако интерес сохраняется.

Встречаю периодически завлекательные статьи типа: квантовый скачок, физики впервые смогли запутать молекулы. Квантовое взаимодействие: в 10 000 раз быстрей света. И прочая разная дребедень. Странно на всё это смотреть. Неужели никому до меня не приходила мысль, что так называемое квантовое состояние не есть реальность? Пси-функция, как мы обзывали это дело в студенчестве.

И вот я набрёл на книжку, которая всё расставляет по местам.

Выясняются две вещи. Относительно недавно, в 2010 году Кристофер Фукс начал движение за переосмысление квантовой физики в более толковом виде. Обозвал термином "кубизм". Разложил по полочкам. Другие физики вроде постепенно подхватывают. Ганс Байер вот популярную книжку сваял в помощь.

И что неожиданно: сами создатели квантовой физики были того же мнения! Выходит, последователи всё запутали.

Нильс Бор в 1929 году: "In our description of nature the purpose is not to disclose the real essense of the phenomena but only to track down, as far as it is possible, relations between...aspects of our experience". Осознайте, что говорит Бор. Квантовая физика описывает аспекты нашего восприятия, а вовсе не реальную суть явлений.

Вернер Гейзенберг: "The conception of objective reality...has thus evaporated into the...transparent clarity of mathematics that represents no longer the behavior of particles but rather our knowledge of this behavior". Описываем не объективную реальность и поведение частиц, но наше знание этого поведения.

Эрвин Шрёдингер в 1931 году: "Quantum mechanics forbids statements about what really exists – statements about the object. Its statements deal only with the object-subject relations". То есть описываем то, что наблюдатель (субъект) воспринимает в процессе взаимодействия с природой (объектом).

Так что я всё правильно измыслил. Всё гениально придумано до меня, а я просто кубист, мама. 😀 Пси-функция не реальность. Она - граница между наблюдателем и реальностью. Глубже этой границы нам проникнуть не дано: вероятно, это ограничение механизма нашего сознания.
vak: (Default)
Мне тут Scientific American подсунул подписку за $1 на четыре месяца, так я вам буду картинки показывать. Утверждается, что самое скучное число это 20067. Про него неизвестно ничего интересного.

"The Most Boring Number in the World Is..."

vak: (Default)
Ландафшиц устарел. Вот отличное современное введение в квантовую механику: Lectures on Quantum Mechanics.pdf

И другие современные лекции по физике того же автора: damtp.cam.ac.uk/user/tong/teaching.html



UPDATE: вышеуказанная ссылка протухла. Но файлы остались в архиве: archive.org/9/items/lectures-on-particle-physics/
vak: (Default)
Умные товарищи упростили веса нейронных сетей до троичной логики, и доказывают, что для языковых моделей это самое то, что надо.

"Scalable MatMul-free Language Modeling"

"By constraining the weights to the set {−1, 0, +1} and applying additional quantization techniques, MatMul operations are replaced with addition and negation operations."

Исходники на Гитхабе: github.com/ridgerchu/matmulfreellm