Всего комментариев: 17 Комментировать

  1. dyasny /

    Отличная статья, я для этого использовал ZoL но он иногда так разваливается что уже не восстановить. Сейчас работаю без дедупликации, так как места чуть более чем дофига, но иметь возможность всегда полезно

    1. Алексей Максимов / Автор записи

      Спасибо, Дмитрий. С дедупликацией от ZFS я не рискнул связываться, так как судя по отзывам комьюнити понял, что во первых эта штука для нормальной работы требует прямого доступа к физическим дискам (а в моём случае на нижних уровнях уже 2 слоя виртуализации: HP LUN и mdadm), а во вторых, если в сервере нет 100500GB оперативной памяти — можно столкнуться с ощутимой просадкой производительности. Смотрел ещё на OpenDedupe, но что-то так и не решился. Остановился пока на QUADStor, буду наблюдать.

      1. dyasny /

        дедупликация требует ресурсов, ничего с этим не поделаешь. Причем не только памяти но и процессоров — ведь постоянно надо просчитывать хеши блоков или блоксетов, а не только держать таблицы этих хешей в памяти. Я в свое время был близко связан с разработкой первых XtremIO, еще до того как EMC купили стартап, и уже тогда узким местом у них были именно процессоры а не память.

        насчет прямого доступа к дискам — ZFS немного капризен, но их можно понять, система управляет дисками на уровне блоков, и все можно изрядно поломать если под ногами у нее внезапно эти блоки сменили оффсеты

  2. Обратная ссылка: Настройка Kerberos аутентификации с SSO на веб-сервере Apache с помощью SSSD | Блог IT-KB /

  3. AlektroNik /

    Спасибо.
    1. Я тоже использую дедуплекацию на связке Veeam + win 2012R2 и очень доволен. Жаль, что дедуплицировать шифрованные архивы нельзя.
    2. «занятое место на разделе смонтированном на виртуальном диске, отображается примерно схожим с размером записанных на него данных»
    Мониторить безусловно надо, но меня больше волнует как сама система воспримит такой, в какой-то степени, глюк. Алексей, если Вас не затруднит, проведите эксперемент. Создайте маленький диск на 4ГБ (возможно маленький для чистоты эксперемента не подойдет, но мысль я думаю вы поймете). Запихнуть в него две изошки Ubuntu-desktop, предположим они по 1.9 ГБ, дождаться окончания дедуплекации и впихнуть Windows10.iso (предположим 1,2 ГБ, чтобы максимально отличались блоки. Тем сам получим 1,9 ГБ сдедуплецируются во едино, если образ Windows без проблем скопируется, значит система понимает размер свободного места, а если нет, то печалька 1,9 + 1,9 + 1,2 = 5ГБ > 4ГБ(нашего виртуального, а еще лучше физического диска).
    3. Поделитесь пожалуйста соображениями. Как вы пришли именно к этому програмному решению? Наверняка ведь думали по поводу FreeNAS и т. д. Шаре NFS ведь без разницы где лежать, а ZFS из коробки умеет дедуплекацию и иже с ним. Предполагаю следующие варианты, лежащие на поверхности «не хочу зоопарк», «есть уже поднятый сервак на centos, а хранилок нет» и т. д. Меня интересует что-то более глубокое. Например почему не «ZoL», который упомянул dyasny?

    1. AlektroNik /

      3. Закншировалась страничка, был только 1 коментарий на тот момент :)
      В принципе про ZoL понятно. Но FREENAS как слой вместо mdadm … да и оперативки у вас 16ГБ вполне достаточно. Есть что добавить?

      1. dyasny /

        freenas использует ту же ZFS. Лично мне, после того как она у меня несколько раз рассыпалась страшно трогать ZFS на чем либо кроме соляры, а соляра только ради ZFS мне не нужна — это уже зоопарк начинается.

        Вообще, когда я интересовался вопросом для себя, я тоже остановился на quadstor, как на самом поддерживаемом и стабильном именно под линукс. Эксперимент тогда прошел успешно, но я его выбросил потому что прикатило столько железа, что дедупликация стала не нужна.

        1. AlektroNik /

          «freenas использует ту же ZFS». Да я в курсе. Я не тестил дедуплекацию под FreeNAS т. к. на тот момент ее еще только портировали с соляры под FreeBSD и была подпси «На свой страх и риск» :) Но на FreeBSD ZFS появился гораздо раньше чем на linux и вроде как интеграция получше. По крайней мере у меня zfs за год использования (без дедуплекации) ни разу не разваливался.

          А по поводу quadstor, спасибо, полезная информация.

          1. dyasny /

            A freebsd разве не зоопарк? Я стараюсь держать у себя всего две ОС — винду (потому что к сожалению без нее никак) и линукс.

          2. AlektroNik /

            процетирую сам себя :)
            «варианты, лежащие на поверхности «не хочу зоопарк»»

  4. Алексей Максимов / Автор записи

    «дождаться окончания дедуплекации». Этого не требуется. В QUADStor используется онлайн-дедупликация, то есть данные дедуплицируются на лету в процессе записи на виртуальный диск.

    «…нашего виртуального, а еще лучше физического диска». С точки зрения QUADStor это разные сущности. Физический диск может быть объёмом 5GB, а созданный на нём виртуальный диск может быть объёмом 100GB и больше (до 64TB). Виртуальный диск будет способен наполняться до тех пор, пока не иссякнет место на физическом носителе с учётом сделанной дедупликации и компрессии (если используется).

    «Наверняка ведь думали по поводу FreeNAS». Не думал. Я не знаю, какие задачи я захочу дополнительно организовать завтра на сервере, к которому сейчас прицеплена дисковая ёмкость из SAN под бэкапы, поэтому стараюсь не смотреть в сторону узко-заточенных дистрибутивов. Например сейчас, в случае необходимости, я могу этот сервер с лёгкостью сделать дополнительным хостом в кластере oVirt.

    1. AlektroNik /

      » пока не иссякнет место на физическом носителе с учётом сделанной дедупликации»
      Вот меня именно это и интересует. Если df -h покажет, что весь диск занят, а на самом деле там дедуплекация включена, не случится ли глюка в системе при очередном копировании (увеличении места). Если еще проще df -h покажет 100%, что будет если скопировать туда еще процентов 20%, покажет 120% или не даст копировать?

      1. Алексей Максимов / Автор записи

        Ну помилуйте, батенька :)
        У Вас же в системе не df контролирует процедуру записи на диск :)))
        Запись на диск будет выполняться через стек управления QUADStor, и именно он будет контролировать момент заполнения диска.
        Если размер виртуального диска будет маленький, а данных на него с учётом дедупликации будет записано много, то df будет с честными глазами врать о том, что диск переполнен.
        Вот посмотрите здесь на третью снизу картинку в конце статьи:
        https://blog.eaglenn.ru/ustanovka-nastrojka-quadstor-na-baze-centos/
        Именно поэтому в конце своей заметки я и написал, что вопрос мониторинга свободного места на виртуальном диске для меня остаётся открытым.
        Когда доберусь до освоения мониторинга Linux-систем, буду изучать вопрос того, как контролировать это дело, например с помощью SNMP (http://www.quadstor.com/support/140-snmp-trap-notifications.html).

        1. AlektroNik /

          «Запись на диск будет выполняться через стек управления QUADStor, и именно он будет контролировать момент заполнения диска.»
          Теперь понял :) Просто хотелось знать наверняка, а то мало ли … df берет инфу из того же место что и QUADStor :)

  5. Обратная ссылка: Ошибка загрузки службы QUADStor Storage Virtualization после обновления ядра Linux — quadstor.init: Starting quadstor: Failed to insert core module | Блог IT-KB /

  6. Oleg /

    Добрый день !
    Решил потестить вышеуказаный софт и настроил storage, создал виртуальные диски , сделал на виртуальных дисках файловую систему и начал тестировать.
    Записываю файлы смотрю дедупликацию и сжатие — вроде все работает НО
    почему после удалении файлов usage space на дисках (те которые физические) не увеличивается ?
    Получается то что записывается занимает место но после удаления не высвобождается
    Место смотрю через web-ку Global Disk Statistics или с командной строки bdconfig -l

  7. Обратная ссылка: Используем Veeam Backup Free Edition 9.5 для резервного копирования виртуальных машин с хоста Hyper-V на выделенный файловый сервер на базе Debian Linux 8.6 c деду /

Добавить комментарий