Solaris 10: советы и приёмы системного администрирования - ZFS

Местные новости: ZFS Performance Talk

nospam@example.com (Gleb Reys) — Tue, 03 Apr 2007 12:42:03 +0400

Тим Фостер (Tim Foster) вчера прислал письмо, что завтра, в 7 вечера, в Тринити Колледже состоится лекция по производительности ZFS, которую прочтёт Roch Bourbonnais - эксперт в вопросах производительности ядра Solaris и, естественно, сотрудник Sun Microsystems.

Все детали - в официальном приглашении IOSUG8.

Руководство администратора ZFS на русском языке

nospam@example.com (Gleb Reys) — Wed, 07 Mar 2007 01:43:04 +0300

Ура! Дождались-таки!

На днях был опубликован официальный перевод руководства администратора ZFS на русском языке!

На странице локализации OpenSolaris доступен для скачивания архив, содержащий это руководство сразу в трёх форматах: SGML, HTML и PDF.

Я-то уже давным давно читаю всю документацию на английском, но отчасти это из-за того, что на русском её нет. А тут такой подарок! В общем, мелочь - но приятно.

Скачать перевод руководства можно с вот этой страницы: OpenSolaris/G11 (Globalization) Consolidation.

ZFS: эмуляция выполнения команд

nospam@example.com (Gleb Reys) — Wed, 15 Mar 2006 01:20:27 +0300

Я тут подумываю обзавестись домашним x86-севером с Solaris, и сегодня решил немного поэксперементировать с ZFS на старом Sparc-боксе, что у меня уже есть. Так вот, многим новичкам может очень понравиться опция -n команд zfs и zpool, которая позволяет просматривать результаты выполнения этих команд без каких-либо реальных действий, производимых с вашими дисками.

Т.е. если вы хотите создать новый пул дисков или очередной раздел zfs, то реально их создавать, только лишь чтобы посмотреть, на что будет похож результат, не обязательно - достаточно просто использовать опцию -n:

bash-3.00$ zpool create -n mypool raidz /export/vdev/d1 /export/vdev/d2 /export/vdev/d3 /export/vdev/d4

would create 'storage' with the following layout:



             storage

                raidz

                   /export/vdev/d1

                   /export/vdev/d2

                   /export/vdev/d3

                   /export/vdev/d4

При этом будут произведены проверки валидности команды - как её синтаксис, так и существование указанных дисков или виртуальных дисков в системе. Так что вы можете увидеть и что-нибудь вроде этого:

bash-3.00$ zpool create -n mypool raidz /export/vdev/d1 /export/vdev/d2 /export/vdev/d3 /export/vdev/d4

cannot open '/export/vdev/d1': No such file or directory

ZFS: свойства файловых систем

nospam@example.com (Gleb Reys) — Tue, 24 Jan 2006 00:28:45 +0300

Существует довольно много свойств файловых систем ZFS, и сегодня я расскажу о наиболее полезных из них.

Но сначала - немного повторим пройденный материал. Как я уже рассказывал, для серии заметок по ZFS я буду создавать несколько файловых систем на своих дисках. На данный момент я ограничиваюсь следующей конфигурацией:

bash-3.00# zfs list
NAME USED AVAIL REFER MOUNTPOINT
stock 2.40G 31.1G 8.50K /stock
stock/oracle 2.32G 693M 2.32G /stock/oracle
stock/try 8K 512M 8K /try

Для получения значения какого-либо свойства ZFS, следует пользоваться вот такой командой:

bash-3.00# zfs get used stock/try

NAME             PROPERTY       VALUE                      SOURCE

stock/try        used           8K                         -

Но такой вывод не всегда удобен, потому что он отформатирован для более удобного восприятия человеком. Если же мы собираемся использовать zfs get для получения каких-то параметров ZFS из скриптов, то подобная роскошь нам ни к чему. Поэтому, следует воспользоваться специальной опцией-H:

CODE:

bash-3.00# zfs get -H used stock/try
stock/try used 8K -

Ещё одна мелкая и полезная, но совершенно естественная вещь - это возможность указывать имена нескольких свойств, значения которых нас интересуют:

CODE:

bash-3.00# zfs get -H used,available,mounted stock/try
stock/try       used    8K      -
stock/try       available       512M    -
stock/try       mounted yes     -

Теперь перейдём непосредственно к полезным свойствам файловых систем ZFS.

Например, название свойства mountpoint говорит само за себя. Причём, по умолчанию, та файловая система, чья точка монтирования изменяется, автоматически монтируется к новому пути:

CODE:

bash-3.00# zfs set mountpoint=/younameit stock/try
bash-3.00# zfs list
NAME                   USED  AVAIL  REFER  MOUNTPOINT
stock                 2.40G  31.1G  8.50K  /stock
stock/oracle          2.32G   693M  2.32G  /stock/oracle
stock/try                8K   512M     8K  /younameit
bash-3.00# df -k | grep stock
stock                35112960       8 32597477     1%    /stock
stock/oracle         3145728 2436188  709540    78%    /stock/oracle
stock/try             524288       8  524280     1%    /younameit

Ещё одна потенциально полезная опция - компрессия данных на лету. Планируется иметь несколько доступных администратору ZFS алгоритмов сжатия данных, но пока реализован только один - lzjb.

Тем не менее, результаты говорят сами за себя:

CODE:

bash-3.00# ls -l /younameit/access_log
total 3082
drwxr-xr-x   2 root     sys            3 Jan 23 21:59 .
drwxr-xr-x  44 root     root        1024 Jan 23 21:45 ..
dr-xr-xr-x   3 root     root           3 Jan 23 22:04 .zfs
-rw-r--r--   1 root     root     8904090 Jan 23 21:59 access_log
bash-3.00# zfs list
NAME                   USED  AVAIL  REFER  MOUNTPOINT
stock                 2.41G  31.1G  8.51M  /stock
stock/oracle          2.32G   693M  2.32G  /stock/oracle
stock/try             1.51M   510M  1.51M  /younameit

Неудивительно, что коэффициент сжатия для этой файловой системы так хорош:

CODE:

bash-3.00# zfs get compressratio stock/try
NAME PROPERTY VALUE SOURCE
stock/try compressratio 5.63x -

Так хорошо, к сожалению, только несколько типов файлов сжимается, и текстовые файлы (логи к моему Apache2, например) в том числе. Исполняемые файлы, конечно же, сожмутся гораздо хуже.

Ну, пожалуй довольно. Сразу говорю: у меня запланированы ещё несколько заметок из серии свойств объектов ZFS, и поэтому многие свойства гораздо более простые и необходимые, чем изложенные выже, ещё не были мною затронуты. Я обязательно исправлю эту ситуацию в ближайшие дни.

ZFS: работа с файловыми системами

nospam@example.com (Gleb Reys) — Wed, 18 Jan 2006 00:21:19 +0300

Приветствую!

Подумать только - это, оказывается, всего лишь первая запись в 2006м году! Решил, что больше откладывать нельзя, и собрался написать очередную заметку :)

Уже довольно давно я расчистил один из дисков на моей домашней Netra t105, чтобы полностью ввести его под контроль ZFS. В результате был создал zfs-pool размером в 33гб, с которым я теперь и экспериментирую. Сегодня у меня есть немного свободного времени, так что решил поделиться самыми основами работы с файловыми системами ZFS.

Вот такой у меня пул:

CODE:

bash-3.00# zpool list
NAME SIZE USED AVAIL CAP HEALTH ALTROOT
stock 33.8G 2.40G 31.4G 7% ONLINE -

Как я и сказал, состоит он из одного-единственного диска:

CODE:

bash-3.00# zpool status
  pool: stock
state: ONLINE
scrub: scrub stopped with 0 errors on Tue Jan 17 21:00:45 2006
config:

        NAME        STATE     READ WRITE CKSUM
        stock       ONLINE       0     0     0
          c0t1d0    ONLINE       0     0     0

По умолчанию, при создании zfs-пула, всё доступное его пространство представляется в виде одной файловой системы имеющей то же самое название, что и сам пул. Также этой файловой системе присваивается точка монтирования с таким же названием, и файловая система автоматически монтируется. Т.е. после команды zpool create (вот тут есть пример) можно немедленно начинать работу с файловой системой.

Я же на данный момент создал себе ещё одну файловую систему, для Oracle 10g. Так что у меня имеется две файловые системы:

CODE:

bash-3.00# zfs list
NAME                   USED  AVAIL  REFER  MOUNTPOINT
stock                 2.40G  31.1G  8.50K  /stock
stock/oracle          2.32G   693M  2.32G  /stock/oracle

Согласно концепциям ZFS, любые новые создаваемые файловые системы по умолчанию коллективно используют всё доступное дисковое пространство zfs-пула. Поэтому, когда я создаю ещё одну файловую систему в моём zfs-пуле stock, этой файловой системе доступно больше 30Gb:

CODE:

bash-3.00# zfs create stock/try
bash-3.00# zfs list
NAME                   USED  AVAIL  REFER  MOUNTPOINT
stock                 2.40G  31.1G   9.5K  /stock
stock/oracle          2.32G   693M  2.32G  /stock/oracle
stock/try                8K  31.1G     8K  /stock/try

Для того, чтобы некоторые файловые системы не съедали всё доступное место, их следует ограничивать. Делается это очень легко:

CODE:

bash-3.00# zfs set quota=512m stock/try
bash-3.00# zfs list
NAME                   USED  AVAIL  REFER  MOUNTPOINT
stock                 2.40G  31.1G   9.5K  /stock
stock/oracle          2.32G   693M  2.32G  /stock/oracle
stock/try                8K   512M     8K  /stock/try

Как можно догадаться из этого примера, quota - это имя параметра файловой системы, а set - опция команды zfs для присвоения параметрам новых значений. Параметров этих довольно много, и большинство можно изменять, но некоторые доступны только для чтения. Вот пример такого параметра и того, что происходит, если пытаться его изменить:

CODE:

bash-3.00# zfs get mounted stock/try
NAME PROPERTY VALUE SOURCE
stock/try mounted yes -
bash-3.00# zfs set mounted=on stock/try
cannot set mounted property: read-only property

Полный список параметров можно найти в man-странице zfs, а я покажу ещё только один очень полезный, на мой взгляд, параметр: текущую точку монтирования файловой системы. Как и всё остальное с ZFS, меняется она элементарно, автоматически монтируя файловую систему с новой точки:

CODE:

bash-3.00# df -k | grep ^stock
stock                35112960       8 32597478     1%    /stock
stock/oracle         3145728 2436188  709540    78%    /stock/oracle
stock/try             524288       8  524280     1%    /stock/try
bash-3.00# zfs set mountpoint=/try stock/try
bash-3.00# df -k | grep ^stock
stock                35112960       8 32597478     1%    /stock
stock/oracle         3145728 2436188  709540    78%    /stock/oracle
stock/try             524288       8  524280     1%    /try

Я специально привёл команды df, чтобы стало понятно, что никаких дополнительных манипуляций с файловой системой try я не производил - это действительно просто!

Ну, на сегодня достаточно - в следующий раз расскажу про ещё пару полезных параметров файловых систем ZFS. Удачи в ваших эскпериментах!

Возможности ZFS: RAID-Z

nospam@example.com (Gleb Reys) — Tue, 29 Nov 2005 03:16:00 +0300

Я начал потихоньку углублять свои познания ZFS, и решил начать с самых вкусных вещей. Одна из них - технология RAID-Z.

Джефф Бонвик (Jeff Bonwick), автор ZFS и один из лидеров свежесозданного сообщества OpenSolaris ZFS, написал замечательную статью про RAID-Z, где он подробно изложил, чем нова и удобна концепция RAID-Z в сравнении с известным многим RAID-5. Так что милости прошу, читайте заметку на английском вот тут.

Вкратце, вот основные преимущества RAID-Z:

1) Исправлена традиционная болезнь RAID схем, основанных на чётности - write hole.

2) Повышена производительность за счёт использования страйпов произвольной длины - любой сколь угодно малый объём данных будет считаться блоком RAID-Z со страйпом соответствующей длины - и записан немедленно и полностью на диски.

3) Повышена сохранность данных - вместо традиционных XOR для проверки данных на основе чётности, теперь каждый блок RAID-Z ещё и проверяется с помощью 256-битной контрольной суммы.

4) ZFS обладает возможностью само-восстановления. Если один из дисков возвращает неверные данные, ZFS восстанавливает правильные данные на основе чётности, сверяет контрольные суммы для пущей верности, возвращает корректные данные запросившей их дисковой операции, и восстанавливает эти же данные на диске, выдающем неверную информацию. Должно быть очень удобно!

Вот пока и всё. Скоро должны появиться новые презентации по ZFS - там, я надеюсь, будет ещё больше информации по RAID-Z.

Когда ZFS появится в Solaris 10

nospam@example.com (Gleb Reys) — Sat, 26 Nov 2005 03:06:19 +0300

Вчера меня уже спрашивали, когда ZFS появится в Solaris 10. Точного ответа никто не даст, но я думаю, что самым достоверным источником есть и останется официальный FAQ по ZFS от OpenSolaris.org

Согласно этой странице, ZFS планируют поставить во втором апдейте к Solaris 10, который ожидается во втором квартале 2006го года. Но дата ещё вполне может измениться.

Вот точная цитата со страницы на данный момент:

ZFS should be available in Solaris 10 Update 2, which is scheduled to ship in Q2CY06. All such plans are tentative, however, and subject to change.

ZFS: первый опыт

nospam@example.com (Gleb Reys) — Thu, 24 Nov 2005 18:03:05 +0300

Не удержался, и решил что-нибудь попробовать с ZFS. И нашёл очень полезный совет от Бена Роквуда (Ben Rockwood), который позволяет использовать обычные файлы, создаваемые mkfile как виртуальные диски для ZFS. ОЧЕНЬ удобно, особенно, когда так хочется поиграться с такой замечательной технологией, попробовать разные конфигурации, а отдельных физических дисков для таких игрищ ну совершенно нет.

Нужно будет ещё, конечно же, подробно прочесть и разобраться, как же всё работает, но первые впечатления от работы с ZFS - это всё слишком просто, чтобы быть правдой! :)

Вот что я сделал:

CODE:

bash-3.00# mkdir /export/vdev
bash-3.00# mkfile 128m /export/vdev/d1
bash-3.00# mkfile 128m /export/vdev/d2
bash-3.00# zpool create try /export/vdev/d1 /export/vdev/d2
bash-3.00# zpool status
  pool: try
state: ONLINE
scrub: none requested
config:

        NAME               STATE     READ WRITE CKSUM
        try                ONLINE       0     0     0
          /export/vdev/d1  ONLINE       0     0     0
          /export/vdev/d2  ONLINE       0     0     0
bash-3.00# zpool list
NAME                    SIZE    USED   AVAIL    CAP  HEALTH     ALTROOT
try                     246M   32,5K    246M     0%  ONLINE     -

После этого свежесозданная файловая система стала сразу же автоматически доступна (фрагмент из df -k):

CODE:

Filesystem kbytes used avail capacity Mounted on
try 235520 3722 231771 2% /try

На пока - достаточно! Теперь нужно будет попробовать один из физических дисков в моей Netra t1 освободить, чтобы полностью внести его под контроль ZFS.

Почувствуй разницу с ZFS

nospam@example.com (Gleb Reys) — Mon, 21 Nov 2005 14:35:09 +0300

Читал сегодня блоги и наткнулся на интересную заметку: Тим Фостер (Tim Foster) наглядно продемонстрировал, как упрощаются многие вещи в своей статье ZFS, is that it?

Жду не дождусь, когда тоже смогу что-нибудь попробовать! Вот только нету времени свободного в эти дни, и непонятно, когда оно появится...

ZFS

nospam@example.com (Gleb Reys) — Fri, 18 Nov 2005 11:50:08 +0300

Ну вот и дождались наконец-то! ZFS доступна широкой публике в последнем билде OpenSolaris :)

Даже немного жалко, что у меня на домашнем сервере только два жёстких диска, на них, конечно же, всей мощи и полезности ZFS нельзя ни увидеть, ни показать... Но кое-что, я уверен, можно будет попробовать ;) Так что чуть позже обязательно об этом расскажу!

Ну а пока - всем советую посмотреть презентацию от Дэна Прайса (Dan Price) по самым основам ZFS: ZFS basics