Вопрос Насколько важна 1 ГБ ОЗУ на 1 ТБ для дискового пространства для ZFS?


Я планирую создать свой первый блок NAS, и в настоящее время я рассматриваю FreeNAS а также ZFS для этого. Я прочитал ZFS и это набор функций звучит интересно, хотя я, вероятно, буду использовать только часть его.

Большинство гидов говорят, что рекомендуемое эмпирическое правило состоит в том, что вам нужно 1 ГБ (ECC-) ОЗУ для каждого TB дискового пространства в вашем пуле. Поэтому мой вопрос: каково фактическое (ожидаемое) влияние на игнорирование этого правила?

Вот настройка того, кто строит 71 TiB NAS с ZFS и 16GB RAM, По его словам, это работает как шарм. Однако он использует Linux (если это имеет значение).

По-видимому, вам действительно не нужно 96 или даже 64 гигабайта оперативной памяти для запуска такого большого пула. Но правило должно быть по какой-то причине. Итак, что произойдет, если у вас нет рекомендуемого объема оперативной памяти? Это немного медленнее или вы рискуете потерять данные или получить доступ к своим данным только по улитки?


Я понимаю, что это также имеет много общего с функциями, которые будут использоваться, поэтому вот параметры, которые я рассматриваю:

  • Это домашняя система
  • 16 ГБ ОЗУ ECC (максимум поддерживается настройкой, которую я имею в виду)
  • Нет дедупликации, нет ЗИЛ, нет L2ARC
  • Вероятно, с включенным сжатием
  • Будут хранить в основном медиафайлы разных размеров
  • Вероятно, он запускает бит-торрент или аналогичные службы (частое чтение / чтение)
  • 4 диска, вероятно, 5 ТБ каждый
  • Фактическая настройка пула, вероятно, будет частью другого вопроса, но я думаю, что нет RAIDZ (хотя мне было бы интересно узнать, действительно ли это имеет значение в этом контексте), возможно, два пула с двумя дисками каждый (для хранения 10 ТБ в нетто), один действующий в качестве резервного

4
2017-10-28 15:30


происхождения


Конечно, вы не необходимость это много памяти. Если не использовать dedup, это серьезно укусит вас в прикладе. Конечно, производительность может быть не оптимальной. - Daniel B
Это рекомендация. Очень мало аппаратных конфигураций, которые даже поддерживают 96 ГБ памяти. В большинстве случаев требуется многопроцессорная конфигурация для достижения большой плотности памяти. Даже если потребовалось, чтобы ваша система по вашим собственным характеристикам не поддерживала 20 ГБ памяти. Нынешние 6-го поколения процессоры Intel поддерживают только 64 ГБ DDR4, Я понимаю, что существуют системы с объемом памяти в несколько TB, которые существуют, мы говорим о потребительском оборудовании, а не о огромных серверах. - Ramhound
Прежде чем кто-нибудь скажет, что я ошибаюсь. Соблюдайте контекст этого вопроса и внимание Superuser. - Ramhound
@Ramhound Ограничение по 16 ГБ - причина, по которой я задал вопрос. Я еще не купил его, поэтому можно переключиться на машину, способную поддерживать 32 ГБ, но сделать все подороже. Если бы это было просто еще одна палочка памяти, я бы не прочь. Но я не хочу вкладывать лишние деньги, если это абсолютно необходимо. - Sebastian_H
@DanielB производительность может быть не оптимальной - та часть, на которую меня интересует ответ. Я понимаю, что недостаточная память может привести к потере производительности системы. Но о каком объеме мы говорим? Разве мы говорим о том, что «не всегда может насытить 1-гигабитное Ethernet-соединение» или «потеря производительности 64-мегабайтного модема быстрее вашей системы»? - Sebastian_H


ответы:


Единственная причина, по которой вам нужно будет использовать это отношение ОЗУ к месту хранения, будет, если вы решили использовать дедупликацию данных. Он не говорит, что соотношение 1 ГБ к 1 ТБ является требованием.

Согласно вики:

Для эффективного использования дедупликации может потребоваться большая емкость ОЗУ; рекомендации варьируются от 1 до 5 ГБ ОЗУ для каждого ТБ хранилища. Недостаточная физическая память или нехватка кеша ZFS могут привести к переполнению виртуальной памяти при использовании дедупликации, которая может либо снизить производительность, либо привести к полному голоданию памяти. Твердотельные накопители (SSD) можно использовать для кэширования таблиц дедупликации, тем самым ускоряя производительность дедупликации.

Источник


4
2017-10-28 15:43



Интересно. Я на самом деле просто увидел, что в старой документации FreeNAS для версии 9.2.2 есть следующее предложение:Если вы планируете использовать свой сервер для домашнего использования, вы можете часто смягчать эмпирическое правило 1 ГБ ОЗУ для каждого 1 ТБ хранилища [...]. Сладкое место для большинства пользователей дома / малого бизнеса - 16 ГБ оперативной памяти.«Однако в документации к текущей версии этого предложения нет. Вместе с ответами на форуме FreeNAS о памяти часто звучит так, как будто это должно быть соблюдено, или ваше NAS замедляется до 64K или что-то в этом роде. - Sebastian_H
@Sebastian_H: В основном это мусор. Эмпирическое правило - это эмпирическое правило, приближенное в лучшем случае, совершенно неуместное в худшем случае. Все что-то более 4 ГБ в порядке, даже для массива 100 ТБ. - qasdfdsaq