Открытые Мастерские

...
Текущее время: 28 июн 2017 10:19

Часовой пояс: UTC + 5 часов




Начать новую тему Ответить на тему  [ Сообщений: 6 ] 
Автор Сообщение
 Заголовок сообщения: Организация больших массивов дисков для IP видеонаблюдения.
СообщениеДобавлено: 13 окт 2010 21:39 
Не в сети
Дух Labi

Зарегистрирован: 02 окт 2010 10:02
Сообщений: 168
Организация больших массивов дисков для IP видеонаблюдения.

Написано по заказу журнала Системы безопасности, издательство Гротек.

Не секрет, что с увеличением разрешения видеокамер в IP системах видеонаблюдения и безопасности возросли требования к размеру архивов. Но не стоит волноваться - возникшие задачи решаются стандартными IT средствами, для знакомства с которыми особые усилия не потребуются.

Большой массив дисков

Чтобы организовать массив жестких дисков, например на 64 Тбайт, достаточно к серверу последовательно подключить четыре SAS корзины (обозначение SAS будет раскрыто чуть ниже) на шестнадцать однотерабайтных SATA дисков (рис. 1). При этом в стандартный слот сервера необходимо установить RAID контроллер с внешним SAS разъемом. Соединяется все специальными SAS шнурами. Теоретически, так можно объединить в один большой массив 128 SAS корзин, в которых могут располагаться 16 384 жестких диска.

Изображение

Рис. 1. Последовательное соединение SAS корзин дисков


Массив дисков поменьше

Чуточку труднее самостоятельно собрать сервер с внутренним массивом дисков (рис. 2). Для этого необходимо приобрести серверное шасси (Case) с достаточным количеством слотов для установки жестких дисков (при желании в одном сервере можно разместить 8-16 дисков). Затем шасси следует укомплектовать стандартными PC компонентами (материнской платой, процессором и памятью).

Объединение дисков в единый массив обеспечит RAID контроллер, имеющий нужное число внутренних SASx4 или SATA портов.

Сложность сборки такого сервера заключается в том, что необходимо как-то уложить чудовищное количество кабелей. На приведенном рисунке каждые четыре SATA шнура объединены в один SASx4 шнур (один SASx4-порт обслуживает четыре SATA/SASx1 порта). Это типовое решение, позволяющее несколько уменьшить клубок проводов. Однако, помимо соединения SAS и SATA портов еще необходимо подключить питание дисков, а поскольку блоки питания обычно не оснащаются большим числом разъемов, то придется воспользоваться разделителями питания. К этому вороху кабелей также добавляются провода от дополнительных вентиляторов охлаждения дисков.

Значительно легче собрать сервер с небольшим хранилищем на основе "пустой" корзины. Внешне такая корзина не отличается от готовой SAS-корзины, однако внутри у нее предусмотрено место под стандартную материнскую плату.

Сборка подобного сервера упрощается за счет того, что диски подключаются с помощью объединительной платы, через которую раздается питание винтов и каждые 4 SATA порта сводятся в один SASx4. То есть RAID контроллер и объединительная плата соединяются шнурами, имеющими c обеих сторон разъемы SASx4. И этих шнуров вчетверо меньше. Кроме того, корзины дисков обычно оснащены достаточным количеством вентиляторов, питание на которые подается через отдельную платку, что также существенно сокращает общее количество проводов.

Изображение

Рис. 2. Организация внутреннего RAID массива


Как настроить массив дисков

Настройка массива дисков осуществляется через BIOS RAID контроллера, который загружается до входа в BIOS материнской платы. Там можно выбрать те диски, которые будут сгруппированы в RAID. Обычно в один RAID объединяется 4-6 жестких дисков. В этом случае достигается приемлемая скорость записи/чтения данных.

Выбор типа RAID задается возможностью оперативной замены сбойного диска. Если массив легко доступен для обслуживания, то логично будет выбрать RAID 5, допускающий сбой одного диска (при 6 дисках это 16% емкости архива, отложенных в запас). Если возможности оперативной замены дисков нет, то следует выбрать RAID 6, допускающий сбой двух дисков (при 6 дисках это 33% запаса).

Помимо RAID 5 и 6 есть RAID 0 (чередование двух дисков), не предназначенный для дисковых массивов и применяемый исключительно с целью существенного увеличения скорости записи/чтения, а также RAID 1 (зеркалирование двух дисков), вполне подходящий для защиты ПО сервера.

По аналогии с RAID 0, добавление "0" к индексу RAID означает, что тот обеспечивает лучшую производительность. Например RAID 50 -- это RAID 5 c повышенной скоростью записи/чтения.

После выбора типа RAID массив запускается на форматирование, которое обычно длится несколько часов. На этом подготовка массива заканчивается.

Нелишние сведения о массивах дисков:

Что полезно знать, но не страшно забыть.

1) Аббревиатура SAS расшифровывается как Serial Attached SCSI, т.е. SAS - это последовательный SCSI.
Другими словами, предшественником SAS был параллельный SCSI (интерфейс, предназначенный для приложений с высокой доступностью).

Уникальность SAS заключается в том, что он сохранил качества SCSI и при этом совместим с простыми SATA дисками. Т.е. к порту SASx4 можно подключить четыре обычных SATA диска.

2) Массивы с параллельным SCSI интерфейсом все еще есть на складах поставщиков, но для новых систем покупать их не следует - завтра они окажутся не совместимыми ни с одним современным решением.

3) Сегодня заметно растет популярность iSCSI - интерфейса подключения массивов по обычной локальной сети (Ethernet), в котором SCSI данные встраиваются (инкапсулируются) в обычные сетевые пакеты (TCP/IP). Благодаря этому iSCSI массивы можно располагать там, где это удобнее всего сделать, а соединять их можно с помощью стандартных Ethernet-коммутаторов. Обратной стороной такой гибкости является большое время задержки, которое возникает из-за особенностей стека TCP/ІР.

iSCSI поддерживается большинством ОС (в том числе Linux), и теоретически такие массивы могут подключаться к серверам без каких-либо дополнительных устройств. Однако на практике либо массивы требуют установки в сервер iSCSI контроллеров, с помощью которых они администрируются/настраиваются, либо контроллеры нужны в качестве акселераторов для получения более-менее приличной скорости записи/чтения данных.

На iSCSI массивы делает ставку такой именитый производитель решений для IP видеонаблюдения, как BOSH. Выпускаемые им камеры способны напрямую отправлять данные в iSCSI массивы, минуя серверы и компьютеры пользователей.

4) Среди прочих есть FC (Fibre Chanel) - оптический интерфейс. Его основное предназначение - организация сетей хранения данных (SAN, Storage Area Network). Для объединения FC массивов в сеть также потребуются специальные оптические хост-адаптеры. В целом это весьма дорогая технология.

5) Многие специалисты связывают перспективы развития IP видеонаблюдения с NAS (Network Attached Storage), т.е. с сетевыми хранилищами. Здесь следует быть осторожными. Большинство изделий, выпускаемых под аббревиатурой NAS, не что иное, как файл-серверы, которые плохо предназначены для записи больших потоков видеоданных. Те же NAS, что в принципе подходят для видеонаблюдения, обычно обладают заоблачной ценой.

Что нужно знать для заказа RAID контроллеров, корзин дисков и т.д.

RAID контроллер

В мире 69% RAID контроллеров выпускает Adaptec. Под задачи видеонаблюдения подходят контроллеры этой фирмы серии 5XXX. Сегодня разумным будет выбор образцов с PCI - Express-шиной (PCI-e). Для подключения SAS-корзины контроллер должен иметь внешний порт (External SAS).

Изображение

Фото 1. SAS контроллер

Если выбирать не Adaptec, то логичнее использовать RAID контроллеры той же фирмы (торговой марки), что и сервер (IBM, HP, Intel и т.д.). При этом под фирменной наклейкой, скорее всего, окажется тот же Adaptec или LSI (это два основных OEM-производителя RAID контроллеров).

Riser-Card

При установке RAID контроллера в 1U сервер, следует не забыть заказать подходящую Riser-Card (соединительную платку, позволяющую установить контроллер горизонтально).

SAS корзина дисков

Продавцы могут называть ее SAS JBOD (Just a Bundle Of Disks, дословно "просто куча дисков") или корзиной дисков с SAS экспандером. К контроллеру Adaptec лучше всего подходят SAS корзины дисков Xtore, к фирменным контроллерам - массивы той же торговой марки, что и контроллер, и сервер.

SAS шнуры

Внешние соединительные SAS шнуры могут быть оконцованы двумя одинаковыми разъемами - Mini SAS to Mini SAS (SFF-8088 to SFF-8088), SAS to SAS (SFF-8470 to SFF-8470) или двумя разными разъемами - Mini SAS to SAS (SFF-8088 to SFF-8470).

Внешние SAS шнуры могут иметь длину от одного до шести метров. Внутренние SAS шнуры для соединения контроллера с объединительной платой могут быть оконцованы двумя одинаковыми разъемами - Mini SAS to Mini SAS (SFF-8087 to SFF-8087), SAS to SAS (SFF-8484 to SFF-8484) или двумя разными разъемами - Mini SAS to SAS (SFF-8087 to SFF-8484).

Для подключения SATA дисков напрямую к контроллеру потребуются шнуры SAS (SFF-8087 или SFF-8484) to SATA.

Объединительная плата

Продавцы могут называть ее Back Plane или Backplane, то есть это задняя (относительно дисков) обьединительная панель (плата). Она может иметь разъемы Mini SAS (SFF-8087) или SAS (SFF-8484). Иногда объединительные платы оснащаются простыми SATA разъемами. В случае с SAS корзиной (SAS JBOD) объединительная плата напрямую соединяется с SAS экспандером или составляет с ней единое целое.


Заключение или как пользоваться полученными знаниями

Собственно говоря, это все, что реально необходимо знать о дисковых массивах специалисту по безопасности.

Как пользоваться этими знаниями? Очень просто - можно попросить трех разных IT поставщиков подобрать массив с нужными характеристиками. Затем выбросить их предложения в мусорную корзину и заказать то, что реально будет работать, воспользовавшись этим материалом.

После этого можно убедиться в том, что знание - не только сила, но и сэкономленные большие деньги! Если кто-то не знает, как их теперь потратить - пусть срочно свяжется с автором статьи.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Организация больших массивов дисков для IP видеонаблюден
СообщениеДобавлено: 13 окт 2010 21:46 
Не в сети
Экскурсант

Зарегистрирован: 13 окт 2010 21:42
Сообщений: 1
Тут недавно обнаружил, что скорость записи в архив зависит не только от скорости интерфейса хранилища и линейной скорости записи на диск, но и от степени фрагментации дисков. С течением времени прекрасно работавший архив может перейти в режим зашкаливания очереди записи. Как с этой фрагментаций по-правильному бороться?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Организация больших массивов дисков для IP видеонаблюден
СообщениеДобавлено: 13 окт 2010 22:01 
Не в сети
Дух Labi

Зарегистрирован: 02 окт 2010 10:02
Сообщений: 168
Рустам, у вас стоит Windows-система. Подозреваю, что серьёзно в ней ничего уже не улучшить.

Однако, причин расстраиваться нет - каждый раз, когда перестанавливаете Windows (а это всё равно придётся делать), просто заново форматируйте диски.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Организация больших массивов дисков для IP видеонаблюден
СообщениеДобавлено: 13 окт 2010 22:10 
Не в сети
Экскурсант

Зарегистрирован: 13 окт 2010 21:49
Сообщений: 1
Чего нет в статье:

1) Батарея для RAID-контроллеров. Насколько она необходима для серверов систем видеонаблюдения.
2) В материнскую плату сервера чаще всего встроен RAID-контроллер. Его можно задействовать для жестких дисков под систему, создав RAID1, а для внешних корзин использовать более дешевый RAID-контроллер, но при этом имеющий 2 miniSAS. http://www.nix.ru/autocatalog/controllers_adaptec/Controller_Adaptec_ASR5085_PCIE_x8_8port_SAS_SATA_RAID_1E_5EE_Cache_75305.html
3) Есть еще RAID 5EE, в котором есть резервный диск. Оправдано ли его применять?
4) В статье сказано про время сборки массива, но ничего не сказано про время пересборки после сбоя. Происходит ли остановка/перезагрузка сервера при пересборке и какой массив быстрее пересоберется.
5) Есть диски SAS большой емкости. Дадут ли они какое-нибудь преимущество? http://www.nix.ru/autocatalog/hdd_seagate/HDD_Tb_SAS_Seagate_Barracuda_ES.2_ST31000640SS_75753.html


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Организация больших массивов дисков для IP видеонаблюден
СообщениеДобавлено: 13 окт 2010 22:17 
Не в сети
Дух Labi

Зарегистрирован: 02 окт 2010 10:02
Сообщений: 168
Phoenix

1. Для Виндовс-систем батарейка безусловно нужна. И в контроллере, и в корзине.

2. Рейд в материнской плате только внешне аппаратный. На самом деле он программный (живёт в Биосе). Однако, "под систему" он вполне подходит. В статейке об этом сказано.

3. Adaptec_ASR5085 сейчас стоит около 35-38 тыс.рублей и дешёвым я бы его не назвал. В статейке именно такие и упомянуты. Как серия 5XXX. То есть, как старшие среди адаптеков.

4. RAID 5EE - это вполне логичное развитие 5E. Раз уж в 5E резервный (hot-spare) диск вовсе не резервный, а постоянно используемый…, разумным было признать то, что он таки "не резервный" и распределить его по всем дискам с целью увеличения скорости. Заодно придумать новое загадочное название - hot-space. Однако, этот диск что в 5E, что в 5ЕЕ уже не может быть задействован другими RAID_ами (обычно в корзине рейд не один и прикольно, когда есть резервный диск, которым может воспользоваться тот рейд, где упал винт.

Вообще E (Enhanced) - это некий символ скорости. Соответственно, EE - это двойное подгоняние чего либо. Это как в мультфильме про черепаху и львёнка, где последний, стоя на первой, весело выкрикивал "ЕЕ-Е"! Тем самым, видимо, напрямую воздействовал на скорость перемещения черепахи.

5. Время пересборки после сбоя зависит от количества дисков в рейде и их обьёма. В 5Е и 5ЕЕ оно меньше, но в любом случае это несколько часов. То есть, один за другим вынимать диски, демонстрируя заказчику преимущества рейда, не стоит.

Выбрали один не задействованный винт - на нём всегда и "демонстрируйте" надёжность рейда :)

6. Диски SAS в видеонаблюдении преимущества не дают, а стоимость увеличивают сильно. С моей точки зрения, платить за них не разумно.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Организация больших массивов дисков для IP видеонаблюден
СообщениеДобавлено: 13 окт 2010 22:27 
Не в сети
Экскурсант

Зарегистрирован: 13 окт 2010 17:04
Сообщений: 3
А как-же быть обладателям ЦОД с блэйдами? :(
экспериментировать с дорогущщим файберченэл или мучать ISCSI?


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 6 ] 

Часовой пояс: UTC + 5 часов


Кто сейчас на форуме

Сейчас этот форум просматривают: Google [Bot] и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
Разработано в 7sites