Пятнадцать байтов на стек от конца

Один крутой чувак из Австралии взялся развивать 2.11BSD для архитектуры i386.

github.com/TheSledgeHammer/2.11BSD_X44

Хотите взглянуть, как грузится RetroBSD с точки зрения последовательности системных вызовов? Стартует /sbin/iuit, из-под него /bin/sh выполняет скрипт /etc/rc, проверяет файловую систему, запускает cron и в конце концов getty. Я сделал флажок в QEMU для pic32, чтобы трассировать системные вызовы. Вывод слегка обработал вручную, вот результат.

gist.github.com/sergev/c0c21f47220e2d3ec6eee4b5b076ec0f

Нашёлся умный человек, подсказал как собрать на нынешнем Debian 12 (bookworm) симулятор pic32, который я сварганил десять лет назад. Приятно вспомнить.

Главная хитрость - установить Python 2.7. Официально делать это крайне не рекомендуется, но оно работает, как ни странно.

wget http://ftp.debian.org/debian/pool/main/libf/libffi/libffi7_3.3-6_amd64.deb
wget http://ftp.debian.org/debian/pool/main/o/openssl/libssl1.1_1.1.1w-0+deb11u1_amd64.deb
wget http://ftp.debian.org/debian/pool/main/p/python2.7/libpython2.7-minimal_2.7.18-8+deb11u1_amd64.deb
wget http://ftp.debian.org/debian/pool/main/p/python2.7/python2.7-minimal_2.7.18-8+deb11u1_amd64.deb
wget http://ftp.debian.org/debian/pool/main/p/python2.7/libpython2.7-stdlib_2.7.18-8+deb11u1_amd64.deb
wget http://ftp.debian.org/debian/pool/main/p/python2.7/python2.7_2.7.18-8+deb11u1_amd64.deb
sudo dpkg -i libffi7_3.3-6_amd64.deb \
    libssl1.1_1.1.1w-0+deb11u1_amd64.deb \
    libpython2.7-minimal_2.7.18-8+deb11u1_amd64.deb \
    python2.7-minimal_2.7.18-8+deb11u1_amd64.deb \
    libpython2.7-stdlib_2.7.18-8+deb11u1_amd64.deb \
    python2.7_2.7.18-8+deb11u1_amd64.deb

Теперь соберём и установим QEMU для pic32:

sudo apt install libpixman-1-dev libfdt-dev zlib1g-dev libglib2.0-dev libsdl1.2-dev
git clone https://github.com/sergev/qemu.git
mkdir qemu-build
cd qemu-build
../qemu/configure --prefix=/usr/local/qemu-mips \
    --target-list=mipsel-softmmu \
    --python=/usr/bin/python2.7 \
    --disable-werror
make CFLAGS="-O3 -Wno-error -isystem /usr/include/glib-2.0 -isystem /usr/lib/$(uname -m)-linux-gnu/glib-2.0/include" -j "$(nproc)"
make install

Бинарник QEMU будет установлен как /usr/local/qemu-mips/bin/qemu-system-mipsel. Запустим LiteBSD:

wget https://raw.githubusercontent.com/wiki/sergev/qemu/binaries/boot-wifire.hex
wget https://raw.githubusercontent.com/wiki/sergev/qemu/binaries/vmunix.hex
wget https://raw.githubusercontent.com/wiki/sergev/qemu/binaries/litebsd.zip
unzip litebsd.zip
/usr/local/qemu-mips/bin/qemu-system-mipsel \
    -machine pic32mz-wifire \
    -nographic \
    -monitor none \
    -serial vc \
    -serial vc \
    -serial vc \
    -serial stdio \
    -bios "boot-wifire.hex" \
    -kernel "vmunix.hex" \
    -sd "litebsd.img"

Стартует классический юникс 30-летней давности:

Board: chipKIT WiFire
Processor: microAptivP
RAM size: 512 kbytes
Load file: 'boot-wifire.hex', 6916 bytes
Load file: 'vmunix.hex', 522408 bytes
Card0 image 'litebsd.img', 339969 kbytes
Copyright (c) 1982, 1986, 1989, 1991, 1993
	The Regents of the University of California.  All rights reserved.

4.4BSD-Lite build 13 compiled 2015-01-20
    sergev@ubuntu-sergev:LiteBSD/sys/compile/WIFIRE.pic32
cpu: PIC32MZ2048ECG100 rev A4, 200 MHz
oscillator: system PLL div 1:6 mult x50
real mem = 512 kbytes
avail mem = 344 kbytes
using 18 buffers containing 73728 bytes of memory
spi1 at pins sdi=D14/sdo=C1/sck=D1
spi2 at pins sdi=F0/sdo=D11/sck=G6
spi3 at pins sdi=B10/sdo=C4/sck=B14
spi4 at pins sdi=F5/sdo=G0/sck=D10
uart1 at pins rx=F1/tx=D15, interrupts 112/113/114
uart4 at pins rx=F2/tx=F8, interrupts 170/171/172, console
sd0 at port spi3, pin cs=C3
sd0: type I, size 339968 kbytes, speed 12 Mbit/sec
sd0a: partition type b7, sector 2, size 204800 kbytes
sd0b: partition type b8, sector 409602, size 32768 kbytes
sd0c: partition type b7, sector 475138, size 102400 kbytes
bpf: sl0 attached
bpf: lo0 attached
WARNING: preposterous clock chip time -- CHECK AND RESET THE DATE!

starting file system checks.
/dev/rsd0a: file system is clean; not checking
starting network
clearing /tmp
standard daemons: update.
Wed Dec 10 21:07:36 PST 2014

4.4BSD-Lite (bsd.net) (tty4)

login: _

Заходите как root, без пароля. Остановить систему можно командой halt -q.

Подрихтовал ещё немного тулзу, и таки добился своего. Можем теперь наблюдать интимные подробности работы динамического загрузчика.

Пример состоит из двух частей, обе написаны на ассемблере.

• Главная программа foobar.S выдаёт пару текстовых сообщений, вызывая функцию say() из динамической библиотеки. Затем завершается системным вызовом _exit().
• Бибилиотека lib.S реализует функцию say(), которая выполняет системный вызов write().

Всё это на процессоре arm32 под FreeBSD.



Компилируем, запускаем. Работу динамического загрузчика я сократил для ясности. Инструкции главной программы выделены зелёным, инструкции библиотечной функции сиреневым. Видно, как при первом вызове функции say() её адрес ещё не готов. Активируется динамический загрузчик, находит адрес функции и уходит в неё. При втором вызове say() переход происходит напрямую. Вставка-переходник say@plt занимает три машинных команды.

$ cpp foobar.S | as -o foobar.o -
$ cpp lib.S | as -o lib.o -
$ ld -shared -o lib.so lib.o
$ ld -o foobar foobar.o lib.so
$ export LD_LIBRARY_PATH=.
$ bintrace ./foobar
Starting program: ./foobar
        sp = 0xbfbfeb50
        lr = 0x20025538
      cpsr = 0x10
----------------------------------------------------------- dynamic loader
0x20025538:  e1a0600d   mov r6, sp
        r6 = 0xbfbfeb50
...
(initialize dynamic loader)
...
0x20025590:  e1a0f003   mov pc, r3
----------------------------------------------------------- 00010158 <_start>:
0x00010158:  e300017c   movw r0, #0x17c
        r0 = 0x17c
0x0001015c:  e3400001   movt r0, #1
        r0 = 0x1017c
0x00010160:  ebfffff9   bl #0x1014c
        lr = 0x10164
----------------------------------------------------------- 0001014c <say@plt>:
0x0001014c:  e28fc600   add ip, pc, #0, #12
       r12 = 0x10154
0x00010150:  e28cca01   add ip, ip, #0x1000
       r12 = 0x11154
0x00010154:  e5bcf0c4   ldr pc, [ip, #0xc4]!
       r12 = 0x11218
----------------------------------------------------------- 00010138 <.plt>:
0x00010138:  e52de004   str lr, [sp, #-4]!
        sp = 0xbfbfeb4c
0x0001013c:  e59fe004   ldr lr, [pc, #4]
        lr = 0x10c4
0x00010140:  e08fe00e   add lr, pc, lr
        lr = 0x1120c
0x00010144:  e5bef008   ldr pc, [lr, #8]!
        lr = 0x11214
----------------------------------------------------------- into dynamic loader
0x200255a0:  e92d0c3f   push {r0, r1, r2, r3, r4, r5, sl, fp}
        sp = 0xbfbfeb2c
...
(find symbol 'say' in lib.so)
...
0x200255d4:  e1a0f00c   mov pc, ip
----------------------------------------------------------- 000000d4 <say>:
0x200170d4:  e92d4080   push {r7, lr}
        sp = 0xbfbfeb48
0x200170d8:  e1a01000   mov r1, r0
        r1 = 0x1017c
0x200170dc:  e3a00001   mov r0, #1
        r0 = 0x1
0x200170e0:  e3a02004   mov r2, #4
        r2 = 0x4
0x200170e4:  e3a07004   mov r7, #4
        r7 = 0x4
0x200170e8:  ef000000   svc #0
foo
        r0 = 0x4
        r1 = 0
0x200170ec:  e8bd8080   pop {r7, pc}
        r7 = 0
        sp = 0xbfbfeb50
----------------------------------------------------------- back to _start
0x00010164:  e3000180   movw r0, #0x180
        r0 = 0x180
0x00010168:  e3400001   movt r0, #1
        r0 = 0x10180
0x0001016c:  ebfffff6   bl #0x1014c
        lr = 0x10170
----------------------------------------------------------- 0001014c <say@plt>:
0x0001014c:  e28fc600   add ip, pc, #0, #12
       r12 = 0x10154
0x00010150:  e28cca01   add ip, ip, #0x1000
       r12 = 0x11154
0x00010154:  e5bcf0c4   ldr pc, [ip, #0xc4]!
       r12 = 0x11218
----------------------------------------------------------- 000000d4 <say>:
0x200170d4:  e92d4080   push {r7, lr}
        sp = 0xbfbfeb48
0x200170d8:  e1a01000   mov r1, r0
        r1 = 0x10180
0x200170dc:  e3a00001   mov r0, #1
        r0 = 0x1
0x200170e0:  e3a02004   mov r2, #4
0x200170e4:  e3a07004   mov r7, #4
        r7 = 0x4
0x200170e8:  ef000000   svc #0
bar
        r0 = 0x4
        r1 = 0
0x200170ec:  e8bd8080   pop {r7, pc}
        r7 = 0
        sp = 0xbfbfeb50
----------------------------------------------------------- back to _start
0x00010170:  e3a07001   mov r7, #1
        r7 = 0x1
0x00010174:  e3a00000   mov r0, #0
        r0 = 0
0x00010178:  ef000000   svc #0
Process exited normally.

Я таки смог запустить трассировку на архитектуре ARM32. Для этого пришлось научиться ставить FreeBSD на виртуальном Cortex-A15 под симулятором QEMU.

$ bintrace ./demo-arm32-freebsd
Starting program: ./demo-arm32-freebsd
        sp = 0xbfbfeb58
        lr = 0x10054
      cpsr = 0x10
0x00010054:  e3a07004   mov r7, #4
        r7 = 0x4
0x00010058:  e3a00001   mov r0, #1
        r0 = 0x1
0x0001005c:  e3001078   movw r1, #0x78
        r1 = 0x78
0x00010060:  e3401001   movt r1, #1
        r1 = 0x10078
0x00010064:  e3a0200d   mov r2, #0xd
        r2 = 0xd
0x00010068:  ef000000   svc #0
Hello world!
        r0 = 0xd
        r1 = 0
0x0001006c:  e3a07001   mov r7, #1
        r7 = 0x1
0x00010070:  e3a00000   mov r0, #0
        r0 = 0
0x00010074:  ef000000   svc #0
Process exited normally.

Всё оказалось просто. Вот исходники глючащей функции: git.musl-libc.org/cgit/musl/tree/src/math/log10l.c

Суть в ифдефах:

#if LDBL_MANT_DIG == 53 && LDBL_MAX_EXP == 1024
long double log10l(long double x)
{
        return log10(x);
}
#elif LDBL_MANT_DIG == 64 && LDBL_MAX_EXP == 16384

...собственно реализация функции...

#elif LDBL_MANT_DIG == 113 && LDBL_MAX_EXP == 16384
// TODO: broken implementation to make things compile
long double log10l(long double x)
{
        return log10(x);
}
#endif

В нашем случае срабатывает именно последний вариант, когда в мантиссе 113 бит и максимальная экспонента равна 16384.

И такого добра там навалом.

$ git clone https://git.musl-libc.org/git/musl
$ cd musl/src/math
$ grep TODO:\ broken *.c
acoshl.c:// TODO: broken implementation to make things compile
asinhl.c:// TODO: broken implementation to make things compile
coshl.c:// TODO: broken implementation to make things compile
erfl.c:// TODO: broken implementation to make things compile
expl.c:// TODO: broken implementation to make things compile
expm1l.c:// TODO: broken implementation to make things compile
lgammal.c:// TODO: broken implementation to make things compile
log10l.c:// TODO: broken implementation to make things compile
log1pl.c:// TODO: broken implementation to make things compile
log2l.c:// TODO: broken implementation to make things compile
logl.c:// TODO: broken implementation to make things compile
powl.c:// TODO: broken implementation to make things compile
sinhl.c:// TODO: broken implementation to make things compile
tanhl.c:// TODO: broken implementation to make things compile
tgammal.c:// TODO: broken implementation to make things compile

То есть никто не тестировал эту библиотеку на компиляторе со 128-битным long double. Тут чинить и чинить.

UPD: правильные реализации можно найти в OpenLibm, к примеру: github.com/JuliaMath/openlibm/blob/master/ld128/e_log10l.c

Меня неожиданно порадовал этот проект. Не знаю как пойдёт, но у него потенциально большое будущее. Попробую пояснить почему.

Что такое современная опенсорсная операционная система? Это сообщество + ядро + /bin/init + libc + пакеты приложений. Так по пунктам и буду рассуждать.

1. Новая операционная система общего назначения, строящая по принципам скорее BSD чем GNU. То есть сathedral супротив bazaar, в терминах Эрика Рэймонда. За последние десять лет движение BSD стало как-то утрачивать энергию. Здесь есть шанс на возрождение.

2. Используется ядро Linux вместо FreeBSD/NetBSD/OpenBSD. У Линукса огромное преимущество в драйверах и поддержке со стороны бизнеса. Всякий производитель процессоров или компьютерных плат нынче предоставляет версию линукса в драйверами. Для BSD нет смысла пытаться догнать уходящий поезд. Проще к нему присоединиться.

3. Ядро это только половина юникса, а вторую половину, возможно более важную для юзера, определяет набор системных процессов. В классике это был /bin/init, а нынче всё чаще systemd. И то, и другое имеет серьёзные проблемы. Здесь эти проблемы решено рубить радикальным образом, опираясь на современные идеи. Новый подход dinit выглядит весьма неплохо.

4. Теоретически приложения общаются с ядром через системные вызовы, а на практике через набор библиотек нижнего уровня. Условно говоря, это libc, libc++ и прочие. В мире GNU оно всё стандартизовалось вокруг glibc. И это проблема, так как сделано оно там не лучшим образом. Громоздко, часто неэффективно, а переделывать уже поздно: субстанция слиплась и затвердела. 😀 Здесь же за основу взяты библиотеки из мира BSD. Они написаны более качественно, понятно, а главное эффективно и компактно.

5. Установка приложений из централизованных репозиториев и беспроблемное обновление их (и самой операционной системы) по ходу жизни - критически важная часть функциональности. Иначе никто не будет такой системой пользоваться. Те же Debian и Ubuntu обязаны популярностью именно своей системе пакетов и обновлений. Был даже проект kFreeBSD, с ядром BSD и пакетами в формате Debian (не выжил). Многое там сделано по уму, но спроектировано 30 лет назад, тяжеловесное и переусложнённое. Здесь же, в Chimera Linux, взята другая технология пакетов "apk-tools", современная, но хорошо отработанная в Alpine Linux. Однако система сборки пакетов сделана новая, на основе Python. Выгляди намного проще и надёжнее.

Я установил виртуальную Химеру на макбуке, закачал и собрал несколько своих проектов - всё отлично, всё нравится. Поглядим, как дальше у проекта будет судьба складываться. Если кого интересует готовый образ установленной Химеры для UTM - скажите, дам скачать. Ужатый файл размером 1.1 Гбайт.

Смотрите на 11:48.

Вам надоели указатели в Си/Си++? Тогда CHERI идёт к вам!

CHERI расшифровывается как "Capability Hardware Enhanced RISC Instructions". Это исследовательский проект в Кембридже по замене указателей на более безопасные capabilities. Не знаю как это по русски. В отличие от указателей capabilities содержат также границы и уровень доступа. ARM сделал экспериментальный процессор Morello с поддержкой capabilities.

Архитектура хардвера описана в статье: "CheriABI: Enforcing Valid Pointer Provenance and Minimizing Pointer Privilege in the POSIX C Run-time Environment" (PDF).

Особенности языка Си/Си++ на такой архитектуре приведены в статье: "CHERI C/C++ Programming Guide" (PDF).

Развивается проект CheriBSD: перенос операционной системы FreeBSD на платформу CHERI.

На видео показана работа графического сервера Wayland и демо OpenGL на процессоре Morello под операционной системой CheriBSD.



Подобных проектов в истории было много. Кто помнит, советская ЭВМ Эльбрус разрабатывалась с аналогичной целью, защититься от программных ошибок адресации памяти. Но во всех таких проектах софт приходилось писать с нуля из-за полной несовместимости с существующими методами программирования. А здесь 99% софта переносится без проблем.

Народ на днях задал мне вопрос, нет ли способа пересобрать RetroBSD из исходников на каком-нибудь современном линуксе, типа Ubuntu 22.04, не откатываясь на десять лет назад. Я потыркался маленько, и оказалось, что компилятор для mips32r2 найти не так уж легко. Нет способа просто установить GCC для MIPS из готовых пакетов ни на линуксе, ни на маке. Старые бинарные сборки устарели и на новых MacOS вообще не запускаются. Пытался скомпилировать последний GCC из исходников - валится где-то при сборке runtime библиотеки. Непруха в общем.

Неожиданно обнаружилось, что ситуацию может спасти Clang. Это другой Си компилятор, из проекта LLVM. Оказалось, что стандартный пакет типа clang-14 содержит бэкенд не только для x86-64, но и для кучи других архитектур, включая mips32. Вот полный список.

$ clang-14 -print-targets
  Registered Targets:
    aarch64    - AArch64 (little endian)
    aarch64_32 - AArch64 (little endian ILP32)
    aarch64_be - AArch64 (big endian)
    amdgcn     - AMD GCN GPUs
    arm        - ARM
    arm64      - ARM64 (little endian)
    arm64_32   - ARM64 (little endian ILP32)
    armeb      - ARM (big endian)
    avr        - Atmel AVR Microcontroller
    bpf        - BPF (host endian)
    bpfeb      - BPF (big endian)
    bpfel      - BPF (little endian)
    hexagon    - Hexagon
    lanai      - Lanai
    m68k       - Motorola 68000 family
    mips       - MIPS (32-bit big endian)
    mips64     - MIPS (64-bit big endian)
    mips64el   - MIPS (64-bit little endian)
    mipsel     - MIPS (32-bit little endian)
    msp430     - MSP430 [experimental]
    nvptx      - NVIDIA PTX 32-bit
    nvptx64    - NVIDIA PTX 64-bit
    ppc32      - PowerPC 32
    ppc32le    - PowerPC 32 LE
    ppc64      - PowerPC 64
    ppc64le    - PowerPC 64 LE
    r600       - AMD GPUs HD2XXX-HD6XXX
    riscv32    - 32-bit RISC-V
    riscv64    - 64-bit RISC-V
    sparc      - Sparc
    sparcel    - Sparc LE
    sparcv9    - Sparc V9
    systemz    - SystemZ
    thumb      - Thumb
    thumbeb    - Thumb (big endian)
    ve         - VE
    wasm32     - WebAssembly 32-bit
    wasm64     - WebAssembly 64-bit
    x86        - 32-bit X86: Pentium-Pro and above
    x86-64     - 64-bit X86: EM64T and AMD64
    xcore      - XCore

У меня есть в запаснике пример прошивки для pic32. Пришлось повозиться, чтобы поправить его для Clang, но вроде неплохо выходит. Компиляция выглядит следующим образом:

$ make
/usr/lib/llvm-14/bin/clang -target mipsel -mcpu=mips32r2 -mabi=o32 -mfloat-abi=soft -DPIC32MX7 -c uart.c
/usr/lib/llvm-14/bin/ld.lld -m elf32ltsmip -T using-bootloader.ld -e _start -g uart.o -o uart.elf
/usr/lib/llvm-14/bin/llvm-objcopy -O ihex uart.elf uart.hex
/usr/lib/llvm-14/bin/llvm-objdump --mcpu=mips32r2 -d -S uart.elf > uart.dis

С компилятором разобрались, а теперь стоит большая задача поправить все исходники RetroBSD под него. Нынче Си гораздо более строгий, чем тридцать лет назад. Всяких глупостей не прощает.