Открытые Мастерские

...
Текущее время: 21 окт 2019 02:45

Часовой пояс: UTC + 5 часов




Начать новую тему Ответить на тему  [ Сообщений: 6 ] 
Автор Сообщение
 Заголовок сообщения: Организация больших массивов дисков для IP видеонаблюдения.
СообщениеДобавлено: 13 окт 2010 21:39 
Не в сети
Дух Labi

Зарегистрирован: 02 окт 2010 10:02
Сообщений: 168
Организация больших массивов дисков для IP видеонаблюдения.

Написано по заказу журнала Системы безопасности, издательство Гротек.

Не секрет, что с увеличением разрешения видеокамер в IP системах видеонаблюдения и безопасности возросли требования к размеру архивов. Но не стоит волноваться - возникшие задачи решаются стандартными IT средствами, для знакомства с которыми особые усилия не потребуются.

Большой массив дисков

Чтобы организовать массив жестких дисков, например на 64 Тбайт, достаточно к серверу последовательно подключить четыре SAS корзины (обозначение SAS будет раскрыто чуть ниже) на шестнадцать однотерабайтных SATA дисков (рис. 1). При этом в стандартный слот сервера необходимо установить RAID контроллер с внешним SAS разъемом. Соединяется все специальными SAS шнурами. Теоретически, так можно объединить в один большой массив 128 SAS корзин, в которых могут располагаться 16 384 жестких диска.

�

Рис. 1. Последовательное соединение SAS корзин дисков


Массив дисков поменьше

Чуточку труднее самостоятельно собрать сервер с внутренним массивом дисков (рис. 2). Для этого необходимо приобрести серверное шасси (Case) с достаточным количеством слотов для установки жестких дисков (при желании в одном сервере можно разместить 8-16 дисков). Затем шасси следует укомплектовать стандартными PC компонентами (материнской платой, процессором и памятью).

Объединение дисков в единый массив обеспечит RAID контроллер, имеющий нужное число внутренних SASx4 или SATA портов.

Сложность сборки такого сервера заключается в том, что необходимо как-то уложить чудовищное количество кабелей. На приведенном рисунке каждые четыре SATA шнура объединены в один SASx4 шнур (один SASx4-порт обслуживает четыре SATA/SASx1 порта). Это типовое решение, позволяющее несколько уменьшить клубок проводов. Однако, помимо соединения SAS и SATA портов еще необходимо подключить питание дисков, а поскольку блоки питания обычно не оснащаются большим числом разъемов, то придется воспользоваться разделителями питания. К этому вороху кабелей также добавляются провода от дополнительных вентиляторов охлаждения дисков.

Значительно легче собрать сервер с небольшим хранилищем на основе "пустой" корзины. Внешне такая корзина не отличается от готовой SAS-корзины, однако внутри у нее предусмотрено место под стандартную материнскую плату.

Сборка подобного сервера упрощается за счет того, что диски подключаются с помощью объединительной платы, через которую раздается питание винтов и каждые 4 SATA порта сводятся в один SASx4. То есть RAID контроллер и объединительная плата соединяются шнурами, имеющими c обеих сторон разъемы SASx4. И этих шнуров вчетверо меньше. Кроме того, корзины дисков обычно оснащены достаточным количеством вентиляторов, питание на которые подается через отдельную платку, что также существенно сокращает общее количество проводов.

�

Рис. 2. Организация внутреннего RAID массива


Как настроить массив дисков

Настройка массива дисков осуществляется через BIOS RAID контроллера, который загружается до входа в BIOS материнской платы. Там можно выбрать те диски, которые будут сгруппированы в RAID. Обычно в один RAID объединяется 4-6 жестких дисков. В этом случае достигается приемлемая скорость записи/чтения данных.

Выбор типа RAID задается возможностью оперативной замены сбойного диска. Если массив легко доступен для обслуживания, то логично будет выбрать RAID 5, допускающий сбой одного диска (при 6 дисках это 16% емкости архива, отложенных в запас). Если возможности оперативной замены дисков нет, то следует выбрать RAID 6, допускающий сбой двух дисков (при 6 дисках это 33% запаса).

Помимо RAID 5 и 6 есть RAID 0 (чередование двух дисков), не предназначенный для дисковых массивов и применяемый исключительно с целью существенного увеличения скорости записи/чтения, а также RAID 1 (зеркалирование двух дисков), вполне подходящий для защиты ПО сервера.

По аналогии с RAID 0, добавление "0" к индексу RAID означает, что тот обеспечивает лучшую производительность. Например RAID 50 -- это RAID 5 c повышенной скоростью записи/чтения.

После выбора типа RAID массив запускается на форматирование, которое обычно длится несколько часов. На этом подготовка массива заканчивается.

Нелишние сведения о массивах дисков:

Что полезно знать, но не страшно забыть.

1) Аббревиатура SAS расшифровывается как Serial Attached SCSI, т.е. SAS - это последовательный SCSI.
Другими словами, предшественником SAS был параллельный SCSI (интерфейс, предназначенный для приложений с высокой доступностью).

Уникальность SAS заключается в том, что он сохранил качества SCSI и при этом совместим с простыми SATA дисками. Т.е. к порту SASx4 можно подключить четыре обычных SATA диска.

2) Массивы с параллельным SCSI интерфейсом все еще есть на складах поставщиков, но для новых систем покупать их не следует - завтра они окажутся не совместимыми ни с одним современным решением.

3) Сегодня заметно растет популярность iSCSI - интерфейса подключения массивов по обычной локальной сети (Ethernet), в котором SCSI данные встраиваются (инкапсулируются) в обычные сетевые пакеты (TCP/IP). Благодаря этому iSCSI массивы можно располагать там, где это удобнее всего сделать, а соединять их можно с помощью стандартных Ethernet-коммутаторов. Обратной стороной такой гибкости является большое время задержки, которое возникает из-за особенностей стека TCP/ІР.

iSCSI поддерживается большинством ОС (в том числе Linux), и теоретически такие массивы могут подключаться к серверам без каких-либо дополнительных устройств. Однако на практике либо массивы требуют установки в сервер iSCSI контроллеров, с помощью которых они администрируются/настраиваются, либо контроллеры нужны в качестве акселераторов для получения более-менее приличной скорости записи/чтения данных.

На iSCSI массивы делает ставку такой именитый производитель решений для IP видеонаблюдения, как BOSH. Выпускаемые им камеры способны напрямую отправлять данные в iSCSI массивы, минуя серверы и компьютеры пользователей.

4) Среди прочих есть FC (Fibre Chanel) - оптический интерфейс. Его основное предназначение - организация сетей хранения данных (SAN, Storage Area Network). Для объединения FC массивов в сеть также потребуются специальные оптические хост-адаптеры. В целом это весьма дорогая технология.

5) Многие специалисты связывают перспективы развития IP видеонаблюдения с NAS (Network Attached Storage), т.е. с сетевыми хранилищами. Здесь следует быть осторожными. Большинство изделий, выпускаемых под аббревиатурой NAS, не что иное, как файл-серверы, которые плохо предназначены для записи больших потоков видеоданных. Те же NAS, что в принципе подходят для видеонаблюдения, обычно обладают заоблачной ценой.

Что нужно знать для заказа RAID контроллеров, корзин дисков и т.д.

RAID контроллер

В мире 69% RAID контроллеров выпускает Adaptec. Под задачи видеонаблюдения подходят контроллеры этой фирмы серии 5XXX. Сегодня разумным будет выбор образцов с PCI - Express-шиной (PCI-e). Для подключения SAS-корзины контроллер должен иметь внешний порт (External SAS).

�

Фото 1. SAS контроллер

Если выбирать не Adaptec, то логичнее использовать RAID контроллеры той же фирмы (торговой марки), что и сервер (IBM, HP, Intel и т.д.). При этом под фирменной наклейкой, скорее всего, окажется тот же Adaptec или LSI (это два основных OEM-производителя RAID контроллеров).

Riser-Card

При установке RAID контроллера в 1U сервер, следует не забыть заказать подходящую Riser-Card (соединительную платку, позволяющую установить контроллер горизонтально).

SAS корзина дисков

Продавцы могут называть ее SAS JBOD (Just a Bundle Of Disks, дословно "просто куча дисков") или корзиной дисков с SAS экспандером. К контроллеру Adaptec лучше всего подходят SAS корзины дисков Xtore, к фирменным контроллерам - массивы той же торговой марки, что и контроллер, и сервер.

SAS шнуры

Внешние соединительные SAS шнуры могут быть оконцованы двумя одинаковыми разъемами - Mini SAS to Mini SAS (SFF-8088 to SFF-8088), SAS to SAS (SFF-8470 to SFF-8470) или двумя разными разъемами - Mini SAS to SAS (SFF-8088 to SFF-8470).

Внешние SAS шнуры могут иметь длину от одного до шести метров. Внутренние SAS шнуры для соединения контроллера с объединительной платой могут быть оконцованы двумя одинаковыми разъемами - Mini SAS to Mini SAS (SFF-8087 to SFF-8087), SAS to SAS (SFF-8484 to SFF-8484) или двумя разными разъемами - Mini SAS to SAS (SFF-8087 to SFF-8484).

Для подключения SATA дисков напрямую к контроллеру потребуются шнуры SAS (SFF-8087 или SFF-8484) to SATA.

Объединительная плата

Продавцы могут называть ее Back Plane или Backplane, то есть это задняя (относительно дисков) обьединительная панель (плата). Она может иметь разъемы Mini SAS (SFF-8087) или SAS (SFF-8484). Иногда объединительные платы оснащаются простыми SATA разъемами. В случае с SAS корзиной (SAS JBOD) объединительная плата напрямую соединяется с SAS экспандером или составляет с ней единое целое.


Заключение или как пользоваться полученными знаниями

Собственно говоря, это все, что реально необходимо знать о дисковых массивах специалисту по безопасности.

Как пользоваться этими знаниями? Очень просто - можно попросить трех разных IT поставщиков подобрать массив с нужными характеристиками. Затем выбросить их предложения в мусорную корзину и заказать то, что реально будет работать, воспользовавшись этим материалом.

После этого можно убедиться в том, что знание - не только сила, но и сэкономленные большие деньги! Если кто-то не знает, как их теперь потратить - пусть срочно свяжется с автором статьи.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Организация больших массивов дисков для IP видеонаблюден
СообщениеДобавлено: 13 окт 2010 21:46 
Не в сети
Экскурсант

Зарегистрирован: 13 окт 2010 21:42
Сообщений: 1
Тут недавно обнаружил, что скорость записи в архив зависит не только от скорости интерфейса хранилища и линейной скорости записи на диск, но и от степени фрагментации дисков. С течением времени прекрасно работавший архив может перейти в режим зашкаливания очереди записи. Как с этой фрагментаций по-правильному бороться?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Организация больших массивов дисков для IP видеонаблюден
СообщениеДобавлено: 13 окт 2010 22:01 
Не в сети
Дух Labi

Зарегистрирован: 02 окт 2010 10:02
Сообщений: 168
Рустам, у вас стоит Windows-система. Подозреваю, что серьёзно в ней ничего уже не улучшить.

Однако, причин расстраиваться нет - каждый раз, когда перестанавливаете Windows (а это всё равно придётся делать), просто заново форматируйте диски.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Организация больших массивов дисков для IP видеонаблюден
СообщениеДобавлено: 13 окт 2010 22:10 
Не в сети
Экскурсант

Зарегистрирован: 13 окт 2010 21:49
Сообщений: 1
Чего нет в статье:

1) Батарея для RAID-контроллеров. Насколько она необходима для серверов систем видеонаблюдения.
2) В материнскую плату сервера чаще всего встроен RAID-контроллер. Его можно задействовать для жестких дисков под систему, создав RAID1, а для внешних корзин использовать более дешевый RAID-контроллер, но при этом имеющий 2 miniSAS. http://www.nix.ru/autocatalog/controllers_adaptec/Controller_Adaptec_ASR5085_PCIE_x8_8port_SAS_SATA_RAID_1E_5EE_Cache_75305.html
3) Есть еще RAID 5EE, в котором есть резервный диск. Оправдано ли его применять?
4) В статье сказано про время сборки массива, но ничего не сказано про время пересборки после сбоя. Происходит ли остановка/перезагрузка сервера при пересборке и какой массив быстрее пересоберется.
5) Есть диски SAS большой емкости. Дадут ли они какое-нибудь преимущество? http://www.nix.ru/autocatalog/hdd_seagate/HDD_Tb_SAS_Seagate_Barracuda_ES.2_ST31000640SS_75753.html


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Организация больших массивов дисков для IP видеонаблюден
СообщениеДобавлено: 13 окт 2010 22:17 
Не в сети
Дух Labi

Зарегистрирован: 02 окт 2010 10:02
Сообщений: 168
Phoenix

1. Для Виндовс-систем батарейка безусловно нужна. И в контроллере, и в корзине.

2. Рейд в материнской плате только внешне аппаратный. На самом деле он программный (живёт в Биосе). Однако, "под систему" он вполне подходит. В статейке об этом сказано.

3. Adaptec_ASR5085 сейчас стоит около 35-38 тыс.рублей и дешёвым я бы его не назвал. В статейке именно такие и упомянуты. Как серия 5XXX. То есть, как старшие среди адаптеков.

4. RAID 5EE - это вполне логичное развитие 5E. Раз уж в 5E резервный (hot-spare) диск вовсе не резервный, а постоянно используемый…, разумным было признать то, что он таки "не резервный" и распределить его по всем дискам с целью увеличения скорости. Заодно придумать новое загадочное название - hot-space. Однако, этот диск что в 5E, что в 5ЕЕ уже не может быть задействован другими RAID_ами (обычно в корзине рейд не один и прикольно, когда есть резервный диск, которым может воспользоваться тот рейд, где упал винт.

Вообще E (Enhanced) - это некий символ скорости. Соответственно, EE - это двойное подгоняние чего либо. Это как в мультфильме про черепаху и львёнка, где последний, стоя на первой, весело выкрикивал "ЕЕ-Е"! Тем самым, видимо, напрямую воздействовал на скорость перемещения черепахи.

5. Время пересборки после сбоя зависит от количества дисков в рейде и их обьёма. В 5Е и 5ЕЕ оно меньше, но в любом случае это несколько часов. То есть, один за другим вынимать диски, демонстрируя заказчику преимущества рейда, не стоит.

Выбрали один не задействованный винт - на нём всегда и "демонстрируйте" надёжность рейда :)

6. Диски SAS в видеонаблюдении преимущества не дают, а стоимость увеличивают сильно. С моей точки зрения, платить за них не разумно.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Организация больших массивов дисков для IP видеонаблюден
СообщениеДобавлено: 13 окт 2010 22:27 
Не в сети
Экскурсант

Зарегистрирован: 13 окт 2010 17:04
Сообщений: 3
А как-же быть обладателям ЦОД с блэйдами? :(
экспериментировать с дорогущщим файберченэл или мучать ISCSI?


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 6 ] 

Часовой пояс: UTC + 5 часов


Кто сейчас на форуме

Сейчас этот форум просматривают: Google [Bot] и гости: 3


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Разработано в 7sites