Глава 18. Сложные темы

18.1. Как можно узнать больше о внутреннем устройстве FreeBSD?
18.2. Как можно оказать помощь проекту FreeBSD?
18.3. Что такое SNAP и RELEASE?
18.4. Как самому сделать релиз?
18.5. По команде make world были переустановлены все программы.
18.6. Почему cvsup.FreeBSD.org не является одной DNS-записью для нескольких машин, чтобы распределить нагрузку между несколькими CVSup-серверами?
18.7. Почему при загрузке системы выдаётся сообщение ''(bus speed defaulted)?''.
18.8. Можно ли работать с -CURRENT при ограниченном доступе в Internet?
18.9. Как вы разделяете дистрибутив на файлы по 240К?
18.10. Я написал некоторое добавление к ядру, кому его послать?
18.11. Как распознаются и инициализируются адаптеры ISA Plug N Play?
18.12. Мне нужно старшее число для написанного мною драйвера устройства.
18.13. Альтернативный метод размещения каталогов
18.14. Что делать при аварийном остановах системы
18.15. Перестала работать функция dlsym() для ELF!
18.16. Увеличение и уменьшение адресного пространства ядра

18.1. Как можно узнать больше о внутреннем устройстве FreeBSD?

В настоящее время существует только одна книга по внутреннему устройству ОС, посвящённая FreeBSD, а именно ''The Design and Implementation of the FreeBSD Operating System'' Маршалла Кёрка МакКузика (Marshall Kirk McKusick) и Джорджа В. Невилле-Нейла (George V. Neville-Neil), ISBN 0-201-70245-2. В ней рассматривается FreeBSD версии 5.X.

Кроме того, большинство общих знаний о UNIX® непосредственно применимо к FreeBSD.

Список относящихся к делу книг можно найти в разделе Руководства Библиография по внутреннему устройству операционной системы.

18.2. Как можно оказать помощь проекту FreeBSD?

Пожалуйста, обратитесь к соответствующей статье, в которой вы получите советы относительно того, как это сделать. Ваша помощь более чем приветствуется!

18.3. Что такое SNAP и RELEASE?

В Хранилище CVS сейчас находятся три активно/полуактивно развивающихся ветки FreeBSD. (Более ранние ветки изменяются очень редко, именно поэтому в разработке только три активных ветки):

  • RELENG_5 AKA 5-STABLE

  • RELENG_6 AKA 6-STABLE

  • HEAD AKA -CURRENT AKA 7.X-CURRENT

HEAD - это не реальный тэг ветки, как другие два; это просто символьная константа для обозначения ''текущего, не ветвящегося, находящегося в разработке дерева'', то есть ''-CURRENT''.

На данный момент ''-CURRENT'' является находящимся в разработке деревом 7.X, ветка 5-STABLE, RELENG_5, отделилась от ''-CURRENT'' в октябре 2004 года, а ветка 6-STABLE, RELENG_6, отделилась от ''-CURRENT'' в ноябре 2005 года.

18.4. Как самому сделать релиз?

Пожалуйста, обратитесь к статье о процессе выпуска релизов.

18.5. По команде make world были переустановлены все программы.

Да, так и должно быть; как говорит название этой команды, make world выполняет построение всех системных файлов с нуля, так что в итоге можете быть уверены, что получите чистую рабочую систему (вот почему это занимает столько времени).

Если в момент запуска команд make world или make install определена переменная окружения DESTDIR, то вновь создаваемые файлы будут помещены в дерево каталогов. идентичное существующему, с корнем, располагающимся в ${DESTDIR}. Однако некоторые случайные комбинации модификаций совместно используемых библиотек и версий компилируемых программ при исполнении команды make world, могут этому помешать.

18.6. Почему cvsup.FreeBSD.org не является одной DNS-записью для нескольких машин, чтобы распределить нагрузку между несколькими CVSup-серверами?

Хотя зеркала CVSup обновляются с основного CVSup-сервера каждый час, это обновление может происходить в любой момент в течение часа. Это значит, что некоторые серверы будут иметь более новый код, чем остальные, хотя разница между версиями кода не превышает часа. Если бы для серверов cvsup.FreeBSD.org использовалась одна DNS-запись, то простое перенаправление пользователей на случайно выбранный сервер CVSup, при условии, что CVSup будет запускаться два раза подряд, может привести к сгрузке кода, более старого, чем тот, что присутствует в системе.

18.7. Почему при загрузке системы выдаётся сообщение ''(bus speed defaulted)?''.

Адаптеры SCSI Adaptec 1542 позволяют программно изменять скорость доступа к шине. Предыдущие версии драйвера 1542 пытались определить максимально возможную скорость работы и установить это значение. Мы обнаружили, что у некоторых пользователей это приводило к нарушению работоспособности системы, поэтому эта возможность сейчас вынесена в параметр конфигурации ядра TUNE_1542. Использование этой опции на тех системах, где она работает, может привести к ускорению доступа к дискам, а там, где это не работает, может привести к потере данных.

18.8. Можно ли работать с -CURRENT при ограниченном доступе в Internet?

Да, это можно делать без скачивания полного дерева исходных текстов с помощью системы CTM.

18.9. Как вы разделяете дистрибутив на файлы по 240К?

Команда split(1) в современных BSD-системах имеет опцию -b, позволяющую разрезать файлы на части с точностью до байта.

Вот пример из файла /usr/src/Makefile.

bin-tarball:
(cd ${DISTDIR}; 
tar cf - . 
gzip --no-name -9 -c | 
split -b 240640 - 
${RELEASEDIR}/tarballs/bindist/bin_tgz.)
 

18.10. Я написал некоторое добавление к ядру, кому его послать?

Обратитесь к статье о том, как помочь проекту FreeBSD, чтобы выяснить, как это сделать.

И спасибо Вам за Ваши усилия!

18.11. Как распознаются и инициализируются адаптеры ISA Plug N Play?

От: Фрэнка Дурды IV (Frank Durda IV)

Если рассматривать на самом низком уровне, то существует несколько портов ввода/вывода, в которые должны выводить информацию все адаптеры PnP, когда компьютер пытается выполнить запрос о наличии установленных адаптеров. Так что, когда запускается процедура определения адаптеров PnP, она выполняет запрос о наличии каких-либо адаптеров PnP, а все такие адаптеры выдают свой номер модели при чтении того же порта ввода/вывода, поэтому процедура определения получит ответ на свой запрос, состоящий из логически наложенных номеров моделей, интерпретируемый как ''да''. В этом ответе по крайней мере один бит будет установлен в единицу. Затем код определения адаптеров может ''выключать'' адаптеры с ID (назначаемыми Microsoft/Intel), большими, чем X. Потом следует попытка определить, остались ли ещё адаптеры, отвечающие на запрос. Если ответ 0, то адаптеров с ID, большими чем X, нет. После этого делается попытка определить наличие адаптеров с номерами, меньшими чем X. Если они есть, то становится известно, что есть адаптеры с номерами, меньшими, чем X. Тогда происходит запрос адаптерам, большим чем X-(limit-4), на выключение. Запрос повторяется. Применив этот метод полудвоичного поиска границ расположения ID достаточное количество раз, код идентификации найдёт все адаптеры PnP, установленные в данной машине за число итераций, гораздо меньшее, чем может занять перебор 2^64 возможных вариантов ID.

ID представляет собой два 32-разрядные числа (всего их 2^64) + 8 бит контрольной суммы. Первые 32 бита являются идентификатором производителя. Они никогда не сообщаются, однако часто бывает, что различные типы адаптеров от одного и того же производителя имеют различные 32-битные значения идентификатора производителя. Необходимость в 32 разрядах только для задания производителя адаптера выглядит несколько излишним.

Оставшиеся 32 бита являются серийным номером, Ethernet-адресом, чем-либо, делающим этот адаптер уникальным. Производитель не должен выпускать других адаптеров, имеющих то же самое значение этих битов, если, конечно, у них не разные идентификаторы производителя. Таким образом, вы можете иметь несколько адаптеров одинакового типа, но с различными 64-разрядными номерами.

Группы по 32 бита не могут быть нулевыми. Это позволяет при логическом объединении OR их номеров получать ненулевое значение во время начального поиска адаптеров.

Как только система определила ID всех адаптеров, она активизирует каждый адаптер, по одному за раз (через те же порты ввода/вывода), и определяет, какие ресурсы требуются данному адаптеру, какие возможные прерывания доступны и т.д. Сканирование и сбор информации происходит по всем адаптерам.

Эта информация соотносится с содержащейся в файлах ECU на диске или в MLB BIOS. Поддержка PnP из ECU и BIOS для аппаратуры на MLB обычно имеет синтетический характер, и периферия не выполняет полностью процедуру настоящего PnP. Однако, используя BIOS и информацию из ECU, процедура инициализации может обнаружить устройства PnP, которые не могут быть найдены другим способом.

Затем устройства PnP опрашиваются ещё раз для назначения им портов ввода/вывода, DMA, IRQ и адресов отображаемой памяти. Теперь устройства должны иметь именно такие настройки и они должны оставаться такими до следующей перезагрузки, хотя нигде не сказано, что вы не можете их менять, когда захотите.

Здесь сделано много упрощений, однако общую идею вы должны уловить.

Microsoft использовала для PnP некоторые порты статуса первого принтера, по их логике, не существует адаптеров, использующих эти адреса для ввода/вывода. Я обнаружил один такой адаптер принтера от IBM, который декодирует запись в порт статуса в момент начального опроса устройств PnP, на что MS ответил ''хулиган''. Так что они выполняют запись в порт статуса принтера для установки адресов, вдобавок используют этот адрес + 0x800, и ещё один порт ввода/вывода, который может располагаться где угодно в диапазоне между 0x200 и 0x3ff, для чтения.

18.12. Мне нужно старшее число для написанного мною драйвера устройства.

В FreeBSD-CURRENT после февраля 2003 года появился механизм динамического и автоматического выделения старших номеров для драйверов устройств во время выполнения. Этот механизм гораздо более предпочтителен, чем устаревшая процедура статического распределения старших номеров устройств. Некоторые комментарии по этому поводу можно найти в файле src/sys/conf/majors.

Если по каким-то причинам вам обязательно нужно использовать статические старшие номера, то процесс их получения зависит от того, планируете вы сделать этот драйвер общедоступным или нет. Если это так, то, пожалуйста, пошлите нам копию исходных текстов драйвера вместе с соответствующими модификациями в файле files.i386, пример описания устройства в файле конфигурации ядра и соответствующий код MAKEDEV(8) для создания специальных файлов устройств, которые использует ваше устройство. Если это не так. или это невозможно из-за лицензионных ограничений, то для старшего числа символьного устройства и старшего числа блочного устройства для этих целей были зарезервированы значения 32 и 8 соответственно; используйте их. В любом случае. мы будем рады услышать о вашем драйвере в Список рассылки FreeBSD, посвящённый техническим дискуссиям.

18.13. Альтернативный метод размещения каталогов

В ответ на вопрос о других методах размещения каталогов могу сказать, что используемая в настоящее схема не претерпела изменений с 1983 года. Эти соглашения были предназначены для оригинальной файловой системы FFS, я никогда их не пересматривал. Эта схема прекрасно работает, позволяя избежать переполнения групп дорожек. Как некоторые из вас замечали, она работает плохо при поиске. Большинство файловых систем создаются из архивов, которые были созданы с глубиной первого поиска (aka ftw). Это приводит к тому, что их каталоги размещаются на нескольких группах дорожек, создавая наихудший случай для последующего поиска глубиной один. Если бы было известно общее количество каталогов, которые должны быть созданы, выходом было бы создание (общее количество / количество групп дорожек) на дорожку группу перед переходом. Обычно это число определяется чисто эвристически. Даже при использовании маленького фиксированное числа, скажем 10, значительно улучшает ситуацию. Чтобы различать операции восстановления от обычных операций (где текущий алгоритм подходит), вы можете использовать объединение в кластеры объёмом до 10, если они делаются в окне, равным 10 секундам. Во всяком случае, я думаю, что это требует некоторых экспериментов.

Кёрк МакКузик (Kirk McKusick), Сентябрь 1998

18.14. Что делать при аварийном остановах системы

[Этот раздел был вырезан из письма, написанного Bill Paul в список рассылки freebsd-current Dag-Erling C. Smørgrav , который исправил несколько опечаток и добавил комментарии в квадратных скобках]

From: Bill Paul <wpaul@skynet.ctr.columbia.edu>
Subject: Re: the fs fun never stops
To: Ben Rosengart
Date: Sun, 20 Sep 1998 15:22:50 -0400 (EDT)
Cc: current@FreeBSD.org
 

Бен Розенгарт отправил письмо, содержащее следующее аварийное сообщение системы]

> Fatal trap 12: page fault while in kernel mode
> fault virtual address = 0x40
> fault code    = supervisor read, page not present
> instruction pointer  = 0x8:0xf014a7e5
        ^^^^^^^^^^
> stack pointer   = 0x10:0xf4ed6f24
> frame pointer   = 0x10:0xf4ed6f28
> code segment   = base 0x0, limit 0xfffff, type 0x1b
>       = DPL 0, pres 1, def32 1, gran 1
> processor eflags  = interrupt enabled, resume, IOPL = 0
> current process   = 80 (mount)
> interrupt mask   =
> trap number    = 12
> panic: page fault
 

[Если] вы увидите такое сообщение, просто его воспроизвести и послать нам не достаточно. Указатель инструкций, выделенный мною, важен, к сожалению, его значение зависит от конфигурации ядра. Другими словами, его значение меняется в зависимости от конкретного ядра, которое вы используете. Если вы используете ядро GENERIC одного из снэпшотов, то кто-то ещё может отследить функцию, вызвавшую ошибку, но если вы работаете со специально отконфигурированным ядром, то только вы можете сказать нам, где случилась ошибка.

Вот что вы должны сделать:

  1. Запишите значение указателя инструкций. Заметьте, что часть 0x8: в этом случае не важна: нам нужна часть 0xf0xxxxxx.

  2. Когда система перезагрузится, сделайте следующее:

    % nm -n /kernel.that.caused.the.panic | grep f0xxxxxx
      
    
    где f0xxxxxx - это значение указателя инструкций. Однако неприятность заключается в том, что вы не получите точного соответствия, так как в таблице имен ядра для точек входа в функции даны адреса на начало функций, а указатель инструкций будет указывать куда-то внутрь её тела. Если вы не получили точного соответствия, опустите последнюю цифру в значении указателя инструкций и попробуйте снова, то есть:
    % nm -n /kernel.that.caused.the.panic | grep f0xxxxx
      
    
    Если и это не привело ни к каким результатам, отрежьте следующую цифру. Повторяйте, пока не получите хоть что-то. Результатом будет список функций, которые, возможно, привели к аварийному останову. Этот механизм обнаружения ошибочного места довольно неточен, но это всё же лучше, чем ничего.

Зачастую люди приводят подобные аварийные сообщения, на редко кто утруждается привести соответствие указателя инструкций с функцией в таблице символов ядра.

Лучшим способом выяснить причину, вызвавшую аварийный останов, является получение аварийного дампа системы, а затем использование gdb(1) для получения трассировки вызовов в этом дампе.

Во всяком случае, обычно я использую такой способ:

  1. Отредактируйте конфигурационный файл ядра, добавив строку options DDB, если вам зачем-то понадобился встроенный отладчик. (Я использую его в основном для указания точек останова, если подозреваю возникновение бесконечных циклов.)

  2. Выполните config -g KERNELCONFIG для создания каталога построения ядра.

  3. cd /sys/compile/KERNELCONFIG; make

  4. Дождитесь окончания компиляции ядра.

  5. make install

  6. reboot

В процессе выполнения команды make(1) будут построены два ядра, kernel и kernel.debug. kernel будет установлен как /kernel, тогда как kernel.debug может быть использован в качестве источника отладочной информации для gdb(1).

Чтобы включить сброс аварийного дампа, вам нужно отредактировать файл /etc/rc.conf так, чтобы устройство dumpdev указывало на раздел подкачки. В этом случае скрипты rc(8) будут вызывать команду dumpon(8) для включения создания аварийных дампов. Вы можете запустить команду dumpon(8) вручную. После аварийной остановки аварийный дамп может быть получен с помощью программы savecore(8) если значение переменной dumpdev было установлено в /etc/rc.conf, скрипты rc(8) запустят savecore(8) автоматически и поместят аварийный дамп в каталог /var/crash.

Замечание: Аварийные дампы FreeBSD обычно имеют размер, равный физическому объёму оперативной памяти вашей машины. Так что если у вас 64 Мбайт ОЗУ, вы получите дамп размером 64 Мбайт. Поэтому вы должны удостовериться, что в каталоге /var/crash достаточно места для хранения дампа. Либо вы можете вручную запустить savecore(8) и создать аварийный дамп в другом каталоге, где достаточно места. Размер аварийного дампа можно уменьшить, указав в конфигурации ядра options MAXMEM=(размер) подходящее значение для объёма памяти, которое будет использоваться ядром. Например, если у вас 128 Мбайт ОЗУ, вы можете ограничить использование памяти ядром 16 мегабайтами, так что размер аварийного дампа будет равен 16 Мбайт, а не 128.

Как только вы получили аварийный дамп, вы можете выполнить трассировку вызовов с помощью gdb(1) таким образом:

% gdb -k /sys/compile/KERNELCONFIG/kernel.debug /var/crash/vmcore.0
(gdb) where

Заметьте, что при этом может быть выведено несколько экранов информации; в идеале вы должны использовать script(1) для их перехвата. При использовании необработанного образа ядра со всей отладочной информацией может быть найдена конкретная строка исходного текста ядра, при достижении которой случилась аварийная остановка. Для выяснения последовательности событий, приведших к аварийному останову, обычно читается трассировка стека снизу вверх. Вы можете также использовать gdb(1) для вывода значений различных переменных или структур, чтобы выяснить состояние системы во время аварии.

Теперь, если вы в самом деле душевнобольной и у вас есть второй компьютер, то можете настроить gdb(1) для удалённой отладки, так, что сможете использовать gdb(1) на одном компьютере, чтобы отладить ядро на другом, включая использование точек останова, пошагового прохода по коду ядра, всё как с обычной прикладной программой. Я пока с этим не игрался, так как не часто имею возможность поставить две машины одну напротив другой для отладки.

[Билл (Bill) добавил: "Я забыл обратить ваше внимание на одну вещь: если у вас включена поддержка DDB и ядро переходит в режим отладки, вы можете намеренно вызвать аварийный останов (и создание аварийного дампа), набрав 'panic' в командной строке ddb. Этот процесс может снова вызвать отладчик. В этом случае наберите 'continue' и процесс будет завершён созданием аварийного дампа." -ed]

18.15. Перестала работать функция dlsym() для ELF!

По умолчанию при работе с форматом ELF символы, определённые в выполнимом файле, не доступны динамическому загрузчику. Поэтому при вызове функции dlsym(), которая осуществляет поиск по дескриптору, полученному после вызова dlopen(NULL, flags), желаемый результат достигнут не будет.

Если вы хотите осуществить поиск в выполнимом файле процесса с помощью функции dlsym(), вам нужно компоновать выполнимый файл с опцией -export-dynamic компоновщика ELF (ld(1)).

18.16. Увеличение и уменьшение адресного пространства ядра

По умолчанию размер адресного пространства ядра равен 256 Мбайт во FreeBSD 3.X и 1 Гбайт во FreeBSD 4.X. Если вы используете FreeBSD в качестве сервера с интенсивной сетевой нагрузкой (скажем, большой FTP или HTTP сервер), вы можете обнаружить, что 256 Мбайт недостаточно.

Каким же образом можно увеличить адресное пространство? Здесь есть два момента. Во-первых, вам нужно указать ядру выделить большее количество адресного пространства для самого ядра. Во-вторых, так как ядро загружается в верхнюю часть адресного пространства, вам нужно уменьшить адрес загрузки так, чтобы он не вышел за верхнюю границу.

Первая проблема решается увеличением значения константы NKPDE в файле src/sys/i386/include/pmap.h. В случае 1 Гбайта адресного пространства он должен выглядеть примерно так:

#ifndef NKPDE
#ifdef SMP
#define NKPDE     254  /* addressable number of page tables/pde's */
#else
#define NKPDE     255  /* addressable number of page tables/pde's */
#endif /* SMP */
#endif
 

Для вычисления значения NKPDE разделите желаемый объём адресного пространства (в мегабайтах) на четыре и вычтите из получившегося числа единичку в случае однопроцессорной машины и двоечку в случае многопроцессорного ядра.

Для достижения второй цели вам нужно правильный адрес для загрузки ядра: просто отнимите размер адресного пространства (в байтах) от 0x100100000; результат будет равным 0xc0100000 для адресного пространства в 1 Гбайт. Установите значение константы LOAD_ADDRESS в файле src/sys/i386/conf/Makefile.i386 в это значение; затем установите значение счётчика в начале списка секций в файле src/sys/i386/conf/kernel.script в то же самое значение, как это сделано здесь:

OUTPUT_FORMAT("elf32-i386", "elf32-i386", "elf32-i386")
OUTPUT_ARCH(i386)
ENTRY(btext)
SEARCH_DIR(/usr/lib); SEARCH_DIR(/usr/obj/elf/home/src/tmp/usr/i386-unknown-freebsdelf/lib);
SECTIONS
{
 /* Read-only sections, merged into text segment: */
 . = 0xc0100000 + SIZEOF_HEADERS;
 .interp  : { *(.interp) }
 

После этого переконфигурируйте и перестройте ядро. Вы можете столкнуться с проблемами при работе утилит ps(1), top(1) и подобных им; решить их может make world (или ручная перекомпиляция libkvm, ps(1) и top(1) после копирования исправленного pmap.h в /usr/include/vm/).

ЗАМЕЧАНИЕ: Размер адресного пространства ядра должен быть кратен четырём мегабайтам.

[David Greenman добавил: Я думаю, что размер адресного пространства ядра должен быть степенью двойки, но я в этом не уверен. Для работы с верхними адресами памяти использовался код старого загрузчика, и я ожидаю по крайней мере точность в 256 Мбайт.]

Этот, и другие документы, могут быть скачаны с ftp://ftp.FreeBSD.org/pub/FreeBSD/doc/.

По вопросам, связанным с FreeBSD, прочитайте документацию прежде чем писать в <questions@FreeBSD.org>.
По вопросам, связанным с этой документацией, пишите <doc@FreeBSD.org>.
По вопросам, связанным с русским переводом документации, пишите в рассылку <frdp@FreeBSD.org.ua>.
Информация по подписке на эту рассылку находится на сайте проекта перевода.

Обновлено: 12.03.2015