Пятнадцать байтов на стек от конца

...Фирма делает чипы. Целенаправленно для искусственного интеллекта и машинного обучения. Но какие нейронные сетки на наших чипах можно гонять, и с какой эффективностью? А вот вам рисунок. По горизонтали количество обрабатываемых изображений в секунду. По вертикали точность распознавания. Точность получается повыше, если модель работает в плавающей точке FP32, и пониже, если она квантована в целые числа INT8.

Подробнее на сайте: https://sima.ai/model-browser/

“The 10 most innovative computing companies of 2025”

#6. SIMA.AI
For helping industrial robots, self-driving machines, and other machines run AI applications on their own hardware

A burgeoning subsector of AI hardware is focused on so-called AI-at-the-edge technology, which enables local standalone processing of AI workloads in a wide range of real-world applications, including industrial robotics and autonomous vehicles. The edge AI hardware market is projected to grow from $24.2 billion in 2024 to $54.7 billion by 2029, according to research firm MarketsandMarkets.

Silicon Valley semiconductor startup Sima.ai is a leading developer of embedded machine learning system-on-chip (MLSoC) solutions. After securing $70 million in funding in April, in September the company announced Modalix, the first edge-computing chips targeted at multi-modal AI. The new SoCs, which process text, computer-vision images, and audio, can run cutting-edge reasoning models like Meta’s Llama 2-7B. Energy efficiency is critical in edge applications, and Sima.ai’s chips have demonstrated up to 85% greater efficiency compared to leading competitors. Sima is targeting the embedded edge market, the computing layer that sits between the cloud and personal devices, and is pursuing applications in healthcare, smart retail, self-driving vehicles, government, and robotics.

In this video we demonstrate the ability of Modalix to run speech to text and large multimodal models. Given a speech prompt and image, Modalix first runs the Whisper-Small model and converts the speech prompt to text. The text and image are then converted into a sequence of tokens. The image itself is converted into approximately 600 tokens and the combined text and image tokens are passed to the LLaVA-7B large multimodal model, which is also running on Modalix. Modalix accelerates the Time-To-First-Token by processing these tokens in batch at a rate of 240 tokens per second, and it currently generates tokens at a rate of 6.8 tokens per second. The generated tokens are converted into words and streamed back to the host, where they are converted back to speech.

(pressing button "Choose File" and opening file "car.jpg")
(pressing button "Begin Record")

Who makes the car in the picture?

(Modalix speaks)

"The car in the picture is made by Porsche."

(this concludes the large multimodal model demo)



Подробности читайте в компанейском блоге: sima.ai/implementing-multimodal-genai-models-on-modalix/

Раз уж публика увлеклась новомодной нейронной сетью DeepSeek, коллеги решили запустить её на нашем чипе. Причём с очень приличной производительностью: больше 30 токенов в секунду. Общее потребление системы не превышает 10 ватт.

EE Times:

“Customers are saying that having just the IP doesn’t help them, they need an environment where they can explore how the IP will behave in the final environment, completely up front, so they can work with the semiconductor partner and say, I need this IP, I need this many versions of it, these configurations of it,” De Schutter said. “They also want to start the software development well before the car comes out. Customers said the only true solution is being able to do all this pre-silicon.”

“We’ve shown the world how powerful our [accelerator] is, how power efficient it is, which are the key ingredients for automotive,” he said. “Bringing this together is great for us, of course, it’s exciting because it opens up new ways to go into the market.”

“It’s not just the accelerator part, getting a high performing, super power-efficient ML SoC together means you need to have a lot of other pieces connected to that,” he said. “Theoretically a company could say, give me your IP and I’ll build it into my product, but then how do they test that? How do they virtualise it? How do they make a test run on a chip that doesn’t exist yet?”

“That will help us define our path in more detail,” Kroeger said. “The automotive world needs exactly the product we’re trying to enable here, and this is the first step we are taking.”

"Companies like Nvidia and Qualcomm, along with startups like SiMa.ai, are creating specialized chips for edge computing, maximizing efficiency for data processing near the point of generation."

На этой неделе наш стартап запустил новый онлайн-сервис для желающих попробовать главный наш продукт: чип для искусственного интеллекта. Сервис находится на Amazon Marketplace и называется Palette Edgematic.



Что это означает для простого сермяжного программиста? Можно за разумные деньги ($120 в месяц) получить доступ к софту, хардверу и коллекции ИИ-моделей. Сконструировать прототип вашего приложения, скомпилировать его, установить на одно из имеющихся в облаке устройств SiMa, позапускать его c вашими входными видеоданными, проанализировать производительность, поиграться с вариантами. Если у вас уже есть своя ИИ-модель - можно загрузить её в Edgematic, пропустить через компилятор, запустить на железе и глянуть эффективность.

Предполагается, что вы видите возможность применить нейронные сети / машинное обучение / искусственный интеллект в своём бизнесе. Считается, что основное направление - обработка видео потоков. Хотя необязательно видео: аудио или текст тоже приветствуется. Типовое приложение выглядит как камера (или несколько камер), посылающих видео в процессор (с Линуксом), который это дело обрабатывает и выдаёт некий осмысленный результат.

Обычно наши клиенты покупают у нас плату с чипом (Development Kit) и софтом, и программируют это дело по своему разумению. Но онлайн-сервис Palette Edgematic позволяет оценить наш продукт до всякой покупки. Сервис этот не то чтобы совсем новый. Он уже больше года доступен нашим приоритетным клиентам на сайте developer.sima.ai. Но теперь и широкая публика может приобщиться. Не из Китая или России, конечно.

На выбор предлагается коллекция из 250 моделей ИИ. Представлены все типовые группы, и все популярные модели, в том числе самые новые и модные. Приложение строится на базе Gstreamer, компонуясь из набора плагинов, как из кубиков. Всё под вашим контролем. Запустив построенное приложение и подав на вход нужный видеопоток - из коллекции или ваш собственный - можно глянуть результат.



Анализ эффективности даёт ориентировочные метрики производительности приложения, учитывая все задействанные хардверные компоненты: видеопроцессор, линуксный процессор, ИИ-процессор. К примеру:



Подробности смотрите в блоге: sima.ai/empowering-your-ai-vision-at-the-edge-with-palette-edgematic-software/

Произносится примерно как "сваагатá", с ударением на последний слог.

ಸ್ವಾ = сваа
ಗ = га
ತ = та

Это я расшифровываю надпись на стене в нашем офисе. Индийская письменность Каннада.

Интересно образуется слог "сваа": из трёх частей фактически.

• Берём слог "са" = ಸ
• Удлиняем до "саа" = ಸಾ
• Вклеиваем внутрь слог "ва" = ವ
• Он опускается вниз, получается "сваа" = ಸ್ವಾ

В прихожей нашей конторы народ нарисовал на стене непонятные знаки. Надо разобраться. 😀



Письменность Каннада произошла от древнего индийского слогового письма Брахми. А оно в свою очередь - от финикийского алфавита, через арамейский.

Однако мы умудрились получить премию Timmy Award 2024 за лучший технологический стартап! Наш главный хардверщик Шриви выступил с речью. Смотрите на видео с 9:08 до 11:45.