Trength

[vak]

Узнал новое слово: как называется четвёртая размерность, в дополнение к высоте, ширине и глубине (или длине). Соответственно height, width, depth, и вдобавок ещё trength. "Something with great trength is trong, and something with small trength is tarrow."

Comments

[x86128]

От оно что! Почему-то думал что это игра слов :)

[vak]

Да любая наука на 90% игра слов. 😀
Так нам лектор по физике говорил, вводя новые термины.

[dennisgorelik]

> как называется четвёртая размерность

Кем называется?
В Википедии слово trength не видно.

Четвертая размерность, обычно, называется "time", а не "trength".

[vak]

Вот тут упоминается: https://diannesalerni.com/wip/multi-dimensional-vocabulary/

Мало ли википедия, может там никому не надо. А мне вот надо, по делу между прочим. Чтобы осмысленно переменные в коде именовать.

Time не годится: слишком много неправильных ассоциаций вызывает. У меня там обычно цветовые каналы располагаются.

[dennisgorelik]

> https://diannesalerni.com/wip/multi-dimensional-vocabulary/

Выбор имен в этой статье разумный.
Но только если эта дополнительная размерность, действительно, нужна.

> мне вот надо, по делу между прочим.

Какой бизнес-смысл у размерности "trength"?

[vak]

Вот реальный пример. В нейронных сетях есть такая операция над матрицами, свёртка называется. В классическом случае трёхмерная матрица А сворачивается с четырёхмерной матрицей Б и получается трёхмерная матрица Ц. На жаргоне А называется картой входных признаков, Ц - картой выходных признаков.

У карт признаков первые две размерности традиционно называются высотой и шириной. Третья размерность - признаки, или ещё говорят "каналы". Но "глубина" тоже годится.

Четырёхмерная матрица Б соответственно имеет высоту, ширину, входные признаки (каналы) и выходные признаки. Которые я и обзываю depth и trength. Коротко и хорошо запоминается.

[dennisgorelik]

Зачем нужна четырёхмерная матрица в нейронных сетях?
Впрочем, непонятно, зачем нужна трёхмерная матрица в нейронных сетях.
Нейронная сеть же представляется набором аксонов (list).
Двухмерная матрица может отражать изображение.
Но уже трёхмерная матрица выглядит ненужной абстракцией.

[vak]

Боюсь, я не потяну объяснять азы нейронных сетей. Читайте Яна Лекуна. Перефразирую Ферма: "поля этого блога слишком узки". 😀

Why use 4D in a neural network?

[dennisgorelik]

> азы нейронных сетей. Читайте Яна Лекуна.

Статья https://en.wikipedia.org/wiki/Yann_LeCun не упоминает ни matrix, ни 3D ни 4D.

3D указывается первым признаком "Convolutional neural network", но 4D не упоминается вообще:

https://en.wikipedia.org/wiki/Convolutional_neural_network
3D volumes of neurons. The layers of a CNN have neurons arranged in 3 dimensions: width, height and depth.[64] Where each neuron inside a convolutional layer is connected to only a small region of the layer before it, called a receptive field. Distinct types of layers, both locally and completely connected, are stacked to form a CNN architecture.

Re: Why use 4D in a neural network?

[dijifi]

На Coursera должен быть бесплатный ликбез от Andrew Ng

[vak]

Вот более информативная статья.

https://ru.wikipedia.org/wiki/%D0%A1%D0%B2%D1%91%D1%80%D1%82%D0%BE%D1%87%D0%BD%D0%B0%D1%8F_%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D1%81%D0%B5%D1%82%D1%8C

[dennisgorelik]

> Вот более информативная статья.

1) Вы имеете ввиду, что русскоязычная статья более информативна, чем англоязычная статья?

2) Ни в русскоязычной, ни в англоязычной статье 4D не упоминается вообще.
Использование 4D neural network - это ваше собственное изобретение?

[vak]

Извините, некогда разглагольствовать, работать надо. Читайте книги, в них всё написано.

[dijifi]

Про тензоры слышали?

[dennisgorelik]

Про эти?
https://en.wikipedia.org/wiki/Tensor

[dijifi]

Молодец.

А про tensorflow?

[dennisgorelik]

Tensorflow обрабатывает массивы данных для Neural Networks.

Как это объясняет зачем нужна 4D-матрица в Neural Network?

[dijifi]

А теперь полюбуйтесь на API.

[dennisgorelik]

Этот API?
https://www.tensorflow.org/api_docs/python/tf

Я не вижу упоминания четырехмерных матриц.

[dijifi]

Не видите? А они там есть!

[dennisgorelik]

Может процитируете, что именно вы считаете 4D матрицей в https://www.tensorflow.org/api_docs/python/tf ?

[dijifi]

Вам нужно смотреть на keras, и задуматься что такое channel и batch_size

[vak]

Это будет слишком тернистый путь познания добра и зла. Tensorflow вообще не подарок. 😀

[dijifi]

Да, по книгам было бы легче.

[dennisgorelik]

> смотреть на keras, и задуматься что такое channel и batch_size

Смотрим:

https://www.tensorflow.org/api_docs/python/tf/keras
Modules
activations module: Built-in activation functions.
applications module: Keras Applications are premade architectures with pre-trained weights.
backend module: Keras backend API.
callbacks module: Callbacks: utilities called at certain points during model training.
constraints module: Constraints: functions that impose constraints on weight values.
datasets module: Small NumPy datasets for debugging/testing.
dtensor module: Keras' DTensor library.
estimator module: Keras estimator API.
experimental module: Public API for tf.keras.experimental namespace.
initializers module: Keras initializer serialization / deserialization.
layers module: Keras layers API.
losses module: Built-in loss functions.
metrics module: All Keras metrics.
mixed_precision module: Keras mixed precision API.
models module: Keras models API.
optimizers module: Built-in optimizer classes.
preprocessing module: Utilities to preprocess data before training.
regularizers module: Built-in regularizers.
utils module: Public Keras utilities.

Нет ни "channel" ни "batch_size".

[dijifi]

А вы читайте дальше, по ссылочкам. И примерчики тоже.

[dennisgorelik]

https://stats.stackexchange.com/questions/153531/what-is-batch-size-in-neural-network/153535#153535
The batch size defines the number of samples that will be propagated through the network.

What does batch_size have to do with dimensions?

https://machinelearningmastery.com/a-gentle-introduction-to-channels-first-and-channels-last-image-formats-for-deep-learning/
Color images have height, width, and color channel dimensions.

I see how color can be an additional dimension.
{Horizontal, Vertical, Color} of an image can form 3D output matrix.

What is the reason to have 4D output matrix?

[dijifi]

А Вы почему спрашиваете?

Но я всё равно отвечу. На самом деле CNN преобразуют двумерные изображения в двумерные меньшей размерности (по ширине и высоте) но более многоканальные, где каждый канал — это натренированный аспект чего-то. Весь смысл ML в том, что инженеру не нужно знать что каждый канал несет.

Ну, а batch_size для эффективной имплементации.

Я тут только заметил что Вы искусственно себя ограничили только обработкой цветных изображений. Зачем Вы это сделали?

Ну как, книжки по ML читать будем, или найдём отмазку? Я не против отмазок, мне бы от Вас отмазаться как-нибудь.

[dennisgorelik]

> А Вы почему спрашиваете?

Чтобы понять, зачем нужно обрабатывать 4-мерные матрицы в Neural Networks.

> На самом деле CNN преобразуют двумерные изображения в двумерные меньшей размерности (по ширине и высоте)

Какой смысл преобразовывать в двухмерные матрицы?
На выходе же нужен лишь список (вектор). Или даже вообще только одно значение.

> но более многоканальные, где каждый канал — это натренированный аспект чего-то.

Допустим, что внутри Neural Network мы, всё равно, сохраняем двухмерные матрицы. С толстыми каналами.
Это, всё равно, 3D, а не 4D.

> Весь смысл ML в том, что инженеру не нужно знать что каждый канал несет.

Вообще-то, смысл ML (machine learning) в том, чтобы создать систему, которая будет самообучаться.
Почти всегда для этого инженеру (инженерам) нужно знать все детали имплементации.

> Ну, а batch_size для эффективной имплементации.

Но batch_size же не увеличивает размерность обрабатываемых матриц, верно?

> Вы искусственно себя ограничили только обработкой цветных изображений.

Какие еще бывают изображения, которые требуют бОльшей размерности обрабатываемых матриц?

А вы в своей работе используете Neural Networks?
Или для вас это лишь хобби?

> книжки по ML читать будем, или найдём отмазку?

Если я найду интересную книжку по ML, то прочитаю.
Но, пока что, книжки по ML довольно унылы.
Хотя бывают интересные статьи.

[dijifi]

> А Вы почему спрашиваете?

Чтобы понять, зачем нужно обрабатывать 4-мерные матрицы в Neural Networks.

А это зачем? Хобби?

Какой смысл преобразовывать в двухмерные матрицы?
На выходе же нужен лишь список (вектор). Или даже вообще только одно значение.

На выходе может быть картинка.

Какой смысл преобразовывать в двухмерные матрицы?

Структура convolutional networks

Но batch_size же не увеличивает размерность обрабатываемых матриц, верно?

Неверно.

Почти всегда для этого инженеру (инженерам) нужно знать все детали имплементации.

Детали имплементации — это структура. Что конкретно сидит в канале какого-нибудь среднего уровня сетки определяется весами как результатом обучения и инженеру знать не надобно.


Какие еще бывают изображения, которые требуют бОльшей размерности обрабатываемых матриц?

Постоянно просят. Поищите Keras 4D.

А вы в своей работе используете Neural Networks?

Использую

Если я найду интересную книжку по ML, то прочитаю.

Ещё за денежку можно пройти курс. Нагрузка порядка 8 часов а неделю на несколько месяцев. Скучно не будет.

[dennisgorelik]

> Что конкретно сидит в канале какого-нибудь среднего уровня сетки определяется весами как результатом обучения и инженеру знать не надобно.

Как же инженер сможет принять решение о возможном направлении оптимизации, если он не понимает, какого рода данные находятся в канале?

> Поищите Keras 4D.

Первая ссылка:

https://stackoverflow.com/questions/52936132/4d-input-in-lstm-layer-in-keras
I have data with a shape of (10000, 20, 15, 4) where num samples = 10000, num series in time = 20, height = 15, weight = 4. So I have table 15x4 which is distributed over time.

В канал записывают время, что намекает о том, что это обработка видео.
Но зачем добавляют размерность "num samples" - вообще непонятно.
Это же усложняет обработку: вместо того, чтобы многократно обработать 3D матрицу, обрабатывается огромная 4D матрица.

>> А вы в своей работе используете Neural Networks?

> Использую

Что вам удается с помощью Neural Networks делать?

[dijifi]

Как же инженер сможет принять решение о возможном направлении оптимизации, если он не понимает, какого рода данные находятся в канале?

Вот если Вы не понимаете как, Вы пропустили весь смысл ML.

Что вам удается с помощью Neural Networks делать?

Не могу об этом говорить, секрет не мой.

[dennisgorelik]

> Как же инженер сможет принять решение о возможном направлении оптимизации, если он не понимает, какого рода данные находятся в канале?

> Вот если Вы не понимаете как, Вы пропустили весь смысл ML.

ML program оптимизирует обработку данных на своем уровне (более низком).
Инженер оптимизирует ML program architecture на своем уровне (более высоком).

Если инженер не может оптимизировать ML program architecture, то зачем нужен такой инженер?

[dijifi]

Инженер может и должен оптимизировать без того чтобы знать какие данные в конкретном канале в промежуточных уровнях.