Экскурсия по дата центру

Экскурсии в дата‑центр: как мы провели 300 человек на закрытый объект и почему нас уже не остановить

Отвлекитесь немного от экрана и посмотрите на вещи, которые вас окружают. Стол, кружка, лампа, смартфон, клавиатура — всё это материальные предметы, к которым вы можете прикоснуться. Скорее всего, перед их покупкой в магазине вы попросили продавца-консультанта показать товар и дать возможность его потрогать.

Но кроме таких вещей, существуют и нематериальные услуги, которыми вы также пользуетесь каждый день: браузеры, операционные системы, программы, сайты, игры. Их нельзя увидеть напрямую или потрогать руками. К этой категории относятся домены и серверы — наша основная специализация. Мы стремимся максимально подробно рассказывать о наших услугах и их возможностях, но практически всегда ограничены только окном браузера.

И мы подумали: а ведь это крутая идея — дать возможность «пощупать» Интернет и сайты! В целом это вполне реализуемо на площадке дата-центра в формате экскурсии. В качестве первых участников мы выбрали, пожалуй, самую прогрессивную аудиторию — старшеклассников и студентов технических вузов.

Начало

Изолированная территория под охраной, биометрическая система доступа, видеонаблюдение с 400 камерами — нет, это не крепость, которую Джеймс Бонд будет штурмовать в своём новом фильме. Так охраняется ЦОД компании DataPro, в котором REG.RU размещает часть своего оборудования. Если бы Боромир из «Властелина Колец» жил в нашем мире, то, скорее всего, он сказал бы: «Нельзя так просто взять и провести экскурсию в дата-центре». Поэтому на начальном этапе главной задачей было согласовать проект.

Одна из сложностей была в том, что охрана дата-центра работает автономно. Поэтому каждое посещение необходимо согласовывать со службой безопасности. Также у каждого сотрудника или посетителя есть прописанный путь перемещения по территории.

В итоге вместе с нашими партнёрами из DataPro мы нашли оптимальный формат экскурсий. Каждая из них длится примерно 90 минут. За это время участники проходят инструктаж у сотрудников дата-центра о том, что можно и нельзя делать в здании. После этого они посещают кабинет дежурных администраторов, блоки с противопожарным оборудованием и резервным питанием. Завершение экскурсии — машинный зал с серверами.

После финальных согласований всё было готово к старту.

Стартуем!

Первая экскурсия состоялась 8 октября 2018 года. Несмотря на то, что мы всё предусмотрели и обеспечили максимальную безопасность для серверов клиентов, опасений было много.

И знаете, всё прошло даже лучше, чем мы могли представить! Глаза горели не только у школьников, но и у сопровождающего преподавателя. Оказалось, что с учениками работать очень легко и интересно.

Особое впечатление произвёл источник бесперебойного питания. Когда большинство людей слышат это словосочетания, они представляют себе небольшое устройство, которое используется в офисах или домах. Но промышленные ИБП, применяющиеся в дата-центрах, — это совершенно другая история. Они размером с двухэтажный дом и могут обеспечить дата-центр питанием, даже если во всём городе отключится электричество.

Следующая остановка, которая вызвала интерес, — машинный зал. В нём расположены стойки с серверами.

В вычислительном центре инженеры REG.RU оборудовали специальный тестовый стенд, на котором посетители могли бы посмотреть, как устроена серверная стойка, как работает сервер, собственными руками потрогать все его комплектующие. Также у школьников была возможность увидеть, как устроены серверные HDD и SSD различных поколений.

Такой первый успех вдохновил нас и показал, что мы всё делаем правильно.

Планы меняются — и это прекрасно!

Инфлюенсеры, блогеры и прочие известные интернет-личности сегодня для многих уже заменили традиционных знаменитостей с ТВ. И хотя изначально экскурсии создавались как образовательный проект для старшеклассников и студентов, идея позвать блогеров витала в воздухе практически с самого старта.

К тому же сами инфлюенсеры активно писали нам на почту и в социальные сети и спрашивали, как принять участие. На YouTube, в Instagram и других площадках один из главных критериев успеха — оригинальность и уникальность контента. А материал про закрытый объект, на который не пускают посторонних, может собрать хорошие просмотры. Поэтому за счёт нашего сотрудничества с блогерами сложилась ситуация win-win: они получают трафик, а мы — дополнительное паблисити среди новой аудитории.

Сейчас на русскоязычном YouTube множество каналов технологической тематики. Мы решили работать именно с ними, так как только люди, разбирающиеся в IT, могли бы сделать полезный и интересный материал про ЦОД и его внутреннее устройство. Так, дата-центр с экскурсией посетили ведущие и авторы одного из крупнейших российских техно-каналов PRO Hi-Tech и сняли об этом ролик.

От блогеров к клиентам REG.RU!

Как только мы запустили проект для школьников и студентов, практически сразу нам начали писать клиенты, и спрашивать, могут ли они тоже посетить дата-центр. Поэтому организация экскурсий для клиентов была вопросом времени.

Спустя почти полгода после старта экскурсий мы поняли, что готовы принять клиентов REG.RU в дата-центре. Кроме того, этим мы решали сразу две задачи:

1. Продолжили проект без остановок. Потому что летом школьники и студенты на каникулах, show must go on!

2. Получили дополнительную возможность наглядно показать, что услуги хостинга и серверов, на которых размещаются их сайты, находятся под надёжной защитой.

В итоге выяснилось, что программа нашей экскурсии впечатляет не только школьников и студентов, но и взрослых. Об этом говорят отзывы.

Источник

Экскурсия в самый крупный дата-центр в России*

В основе любого бизнеса — данные и связь. Без данных и связи бизнес не живёт. Можно найти замену плохим сотрудникам, можно купить новое оборудование, сменить помещение. Но если потеряны данные, то восстановить их задача неподъёмная, как правило. Данные нужно беречь с первого дня работы бизнеса. Они могут быть бесценны.

Экскурсия будет полезна:

1. собственникам бизнеса;
2. директорам;
3. руководителям IT-отделов;
4. руководителям отделов закупки;
5. начальникам служб безопасности.

Зачем приходить на экскурсию, что вы узнаете нового:

1. Какие три сертификата Tier III должны быть, чем отличается сертифицированный дата-центр от обычного. Когда можно сэкономить, а когда не стоит.
2. Истории проколов. Данные — самое ценное, что есть у любого бизнеса. Представьте, что вы их потеряли и бекапов нет. Как теряются данные. Учитесь на ошибках других.
3. Как надёжность дата-центра влияет на ваши позиции в поисковиках Яндекс и Google.
4. Покажем как устроен настоящий дата-центр.
5. Расскажем об облачных услугах, и как цифровизация и digital помогут вам зарабатывать больше.
6. Посоветуем что вам следует внедрить в ближайшее время.
7. Угостим свежеобжаренным кофе от наших друзей.

Для записи на экскурсию заполните предварительный чек-лист, чтобы вы получили максимум новых идей:

1. Используются ли у вас SSL-сертифкаты, какого уровня?
2. Замеряли ли вы эффективность вашего сайта для Яндекс, Гугл (скорость ответа, скорость загрузки, мониторинг простоев, адаптивность)?
3. Контролируете ли вы бекапирование, сохраняются ли резервные копии в два разных места, проводили ли вы испытания по восстановлению данных? Сколько время займёт восстановление с нуля? Вы уверены, что всё бекапируется?
4. Как хранятся пароли? Передаются ли они в открытом доступе сотрудниками друг другу? Есть ли у сотрудников инструкции, что пароли нельзя хранить в открытом доступе, например, в файле на компьютере?
5. Используете ли вы ЭЦП, ЭДО?
6. Какими корпоративными мессенджерами вы пользуетесь?
7. Есть ли у вас номер в коде 8-800?
8. Отправляете ли вы постоянно прикреплённые файлы по электронной почте? Так уже давно делать не нужно.
9. Соблюдаются ли у вас положения 152-ФЗ о защите персональных данных? Как вы защищаете данные? Можете ли вы попасть в ситуацию как Сбербанк, когда у вас украдут данные клиентов?

Источник

Экскурсия по дата-центру NORD-4

Изучаем жизнь и устройство самого большого коммерческого дата-центра TIER III в России.

Сегодня отправимся гулять по самому большому коммерческому дата-центру в России — NORD-4. По пути расскажем, как все устроено в дата-центре TIER III.

Немного истории

Строительство дата-центра стартовало летом 2013 года на площадке NORD на Коровинском шоссе в Москве. NORD-4 стал самым большим проектом не только для DataLine, но и для всего российского рынка коммерческих дата-центров. NORD-4 занимает отдельное четырехэтажное здание общей площадью 11 700 кв.м. 8 машинных залов вмещают 2016 стойкомест. Общая мощность дата-центра 18 МВт.

Дата-центр примечателен не только своими масштабами, но вложенным опытом. Мы сами проектируем, строим и эксплуатируем все свои дата-центры с 2007 года, и NORD-4 стал для нас седьмым.

NORD-4 планировалось вводить в эксплуатацию поэтапно, поэтому дата-центр спроектирован так, чтобы монтаж и пусконаладка новых очередей не мешали работе уже запущенных залов.

В марте 2015 в эксплуатацию была сдана первая очередь NORD-4 — 2 зала по 252 стойкомест, в декабре 2015 — еще столько же.

В июне 2015 проект NORD-4 прошел сертификацию Uptime Institute по стандарту TIER III Design, а в феврале 2016 мы сертифицировали уже готовый объект (TIER III Facility).

Следующие две очереди дата-центра на 1008 стойкомест запустятся в 2017 году.

NORD-4 находится на севере Москвы, на Коровинском шоссе 41

Физическая безопасность

На входе в дата-центр нас встречает круглосуточный пост охраны. Как и все наши ЦОДы, NORD-4 — режимный объект, поэтому попасть внутрь можно только по удостоверению личности и заявке на пропуск от сотрудника дата-центра.

Все помещения и территория дата-центра просматриваются через камеры внутреннего и наружного наблюдения. Картинка о происходящем в NORD-4 круглосуточно транслируется на мониторы охраны. Все видео записываются и хранятся 3 месяца на случай, если потребуется воспроизвести события дней минувших.

Итак, с пропуском на шее, бахилами на ногах и в сопровождении дежурного инженера отправляемся исследовать NORD-4. В сам дата-центр можно попасть только через специальный отсек — шлюз. Эта своего рода двойное заграждение для того, чтобы в ЦОД не попал человек без пропуска. Работает шлюз так: посетитель прикладывает пропуск к считывателю СКУД (система контроля и управления доступом), заходит в шлюз и закрывает за собой дверь. После этого повторяет все те же действия со второй дверью, ведущей в дата-центр. Если в шлюзе каким-то образом оказывается человек без пропуска, то охрана блокирует его, и вторая дверь не открывается.

Машинные залы

Каждый машинный зал находится в отдельном контейнере, со своей крышей и стенами. Эти внутренние здания называются гермозонами. Они защищают от протечек, попадания пыли в машинные залы, обеспечивают нужную степень огнестойкости.

При сдаче дата-центра служба эксплуатации щедро проливает крышу гермозоны водой и проверяет на предмет протечек. Для этого испытания и реальных потопов, у гермозоны даже предусмотрены водосточные трубы.

Каждый машинный зал занимает площадь 500 кв. м и вмещает 252 стоек. В 4 запущенных залах уже работают 389 стоек.

Все стойки с серверным и телеком оборудованием устанавливаются на фальшпол высотой 800 мм. Основная функция фальшпола — подвод холодного воздуха к стойкам. Под фальшполом расположены шинопроводы, по которым подводится электричество к стойкам, датчики протечки и задымления, распылители огнетушащего вещества.

Второй комплект датчиков задымления и распылителей огнетушащего вещества находится под потолком зала. Красные трубы — это система раннего пожарообнаружения (VESDA). Она постоянно “нюхает” воздух и фиксирует малейшее задымление.

Там же находятся динамики для оповещения об эвакуации на случай пожара.

В случае пожара через желтые трубы на потолке в машинные залы подается огнетушащее вещество Novec.

В начале и в конце каждого ряда стоек на лотках СКС установлены камеры видеонаблюдения. Отдельные 2 камеры фиксируют, кто заходит и выходит из зала.

Если заказчикам нужен дополнительный периметр физической защиты, то мы помещаем их стойки в специальные клетки — кейджи. В кейдж устанавливается свой СКУД. Системы идентификации могут быть разными: считыватель магнитных карт, отпечатков пальцев, сетчатки глаза. Внутри можно повесить дополнительные камеры видеонаблюдения, датчики объема и движения.

Энергоснабжение

В дата-центре 4 независимых энергоцентра. В каждом энергоцентре по 2 ввода от городской электросети, 2 понижающих трансформатора, 4 дизель-генератора (ДГУ) и 11 источников бесперебойного питания (ИБП). Каждый энергоцентр питает по 2 машинных зала и установленное в них инженерное оборудование.

Распределение электричества в дата-центре происходит примерно так: питание от городской сети по двум лучам поступает на понижающие трансформаторы, а затем на главный распределительный щит.

Ко всему критическому инженерному оборудования подведены два луча электропитания. Все вычислительное оборудование подключается к двум независимым лучам через источники бесперебойного питания (ИБП).

Если пропадет городское питание, то ИБП автоматически переводит свою нагрузку на аккумуляторные батареи. В это же время система автоматики дает команду на запуск ДГУ. Им нужно около минуты для выхода на рабочую мощность, после чего дата-центр начинает питаться от ДГУ, а не от аккумуляторных батарей. Время автономной работы на батареях при полной нагрузке — 15 минут.

В NORD-4 работают 44 ИБП MGE Galaxy 7000. ИБП зарезервированы по схеме 2N.

Так выглядят аккумуляторные батареи, за счет которых ИБП питают весь ЦОД, пока заводятся ДГУ.

В NORD-4 мы используем FG Wilson мощностью 1750 кВт. Резервирование N+1: для работы одного энергоцентра достаточно трех ДГУ, один резервный.

На территории NORD-4 организовано подземное топливохранилище на 100 куб. м. Из него топливо автоматически доливается в расходные баки ДГУ. На собственных запасах без питания от города дата-центр может проработать более суток.

Трассы топливохранилища, по которым топливо поступает в ДГУ, зарезервированы по схеме 2N

Каждый две недели мы тестируем систему энергоснабжения: на 1 час отключаем один луч питания и проверяем работу ДГУ, автоматики, ИБП, системы мониторинга и подготовку дежурных инженеров.

Холодоснабжение

В NORD-4 мы остановились на чиллерной схеме на этиленгликоле и воде. В машинных залах и энергоцентрах располагаются внутренние блоки кондиционеров, на крыше работают чиллеры, на техническом этаже находятся система автоматики и управления, теплообменники, насосы водяного контура, баки-аккумуляторы.

В контуре, который находится на крыше с чиллерами, циркулирует этиленгликоль. Он не замерзает при минусовых температурах. Внутри дата-центра по трубам системы охлаждения течет вода.

Технический этаж с трубопроводами системы охлаждения

Если этиленгликоль теплее, чем наружный воздух, то система охлаждения отводит ненужное тепло без включения компрессоров. Такой режим естественного охлаждения за счет “улицы” называется фрикулингом (free cooling). NORD-4 переходит на полный фрикулинг, когда на улице +13°С и ниже, а в режим частичного фрикулинга при температуре от +14 до +20°С.

С фрикулингом электропитание системы холодоснабжения обходится гораздо дешевле: когда компрессоры кондиционеров выключены, электричество расходуют только вентиляторы и насосы. Экономится до 85% электричества.

По проекту, на крыше NORD-4 будет установлено 14 чиллеров марки Stulz CyberCool-2. Сейчас работает 7, так как запущена только половина дата-центра. Уровень резервирования N+2.

Каждый машинный зал NORD-4 охлаждают 14 кондиционеров марки Stulz. Если есть желание заглянуть внутрь кондиционера, кликайте сюда.

Из кондиционера охлажденный воздух поступает под фальшпол и через перфорированные плитки фальшпола попадает в холодный коридор. Оттуда холодный воздух забирается оборудованием. Теплый воздух выдувается из оборудования в горячий коридор и снова возвращается в кондиционер. Такая схема называется “холодные и горячие коридоры”.

В холодном коридоре поддерживается температура 25°С (± 2), в горячем — на 10-15 градусов выше. Влажность — 30-70%.

Вот так движется холодный и горячий воздух в машинном зале, устроенному по принципу “холодного и горячего коридоров”.

Один из холодных коридоров зала Whiskey.

Все компоненты холодоснабжения зарезервированы по схеме N+1 или N+2: любой чиллер, кондиционер, насос, теплообменник, трубопровод можно отключить для ремонта или сервисного обслуживания без перерыва в работе всей системы.

Пожарная безопасность

На 1 этаже NORD-4 располагается станция пожаротушения с баллонами с Novec. Эта вещество при распылении оставляет сухими оборудование и даже бумагу. Из-за этого свойства Novec называют еще “сухой водой”. Некоторые умельцы приспособили это вещество для жидкостного охлаждения серверов.

Система автоматическая, но мы ее эксплуатируем в полуручном режиме: автоматика срабатывает только, когда из помещений, затронутых огнем, эвакуированы люди. При возникновении задымления срабатывает датчик, который посылает сигнал на пост охраны с указанием места возгорания. Чтобы исключить подачу Novec по ложному срабатыванию, охранник проверяет проблемное помещение. В это же время во всех помещениях ЦОДа начинает завывать сирена, призывающая всех эвакуироваться из дата-центра. На время эвакуации СКУД на всех дверях отключается, чтобы люди могли быстро покинуть здание.

Если возгорание все-таки есть, охранник проверяет, не осталось ли внутри людей, закрывает дверь в помещение и включает автоматику. Через 45 секунд в помещение начинает поступать Novec. Через 2-3 минуты уже два охранника в противогазах (один заходит в зал, другой страхует на входе) проверяют, удалось ли ликвидировать пожар.

По этим трубам Novec устремляется в машинные залы и инженерные помещения. Система пожаротушения зарезервирована по схеме 2N.

Центр мониторинга

Вся информация о состоянии инженерной инфраструктуры дата-центров собирается в единую систему мониторинга. В каждом ЦОДе есть оперативный центр управления с видеостеной, куда выводится подробная информация по данному дата-центру в виде наглядных схем, таблиц и графиков. Систему делали собственными силами на базе ПО Nagios и Cacti. Обязательно расскажем о ней подробнее в будущих постах.

В оперативном центре управления дата-центра круглосуточно работает дежурная смена инженеров. В любой момент времени за видеостеной находится как минимум один инженер. Дежурные отслеживают основные показатели жизнедеятельности ЦОД, работают с клиентскими и инфраструктурными инцидентами.

В NORD-4 мы мониторим 1785 объектов и 15 200 параметров инженерной инфраструктуры. Вот основные:.

Состояние оборудования (включено/выключено, наличие ошибок, загрузка, рабочие параметры): кондиционеры, чиллеры, щиты управления, насосы, ДГУ, ИБП, аккумуляторные батареи, датчики протечек и т.д.

Климатические условия: температура и влажность в машинных залах и инфраструктурных объектах, датчики протечек, температура гликоля.

На территории площадки NORD работает даже своя метеостанция. Собираемая статистика по метеоусловиям помогает нам прогнозировать нагрузку на систему холодоснабжения.

Энергоснабжение (напряжение, токи, частота, мощность на анализаторах тока): вводы, главные и промежуточные распределительные щиты, АВР и PDU в стойках.

Физическая безопасность: СКУД, наружные и внутренние камеры видеонаблюдения.

На видеостену в центре мониторинга выводятся ключевые параметры, определяющие работоспособность дата-центра. Все остальные данные остаются в единой системе мониторинга и попадают на специальный монитор видеостены только в случае неполадок.

При отключении одного луча питания на этой принципиальной схеме мы увидим, перешло ли питание на ИБП, уровень заряда аккумулятора и завелись ли ДГУ, не повысилась ли температура в зале

Сейчас работает только часть дата-центра, поэтому видеостена в ЦУПе пока выглядит скромнее, чем в других наших дата-центрах.

Для сравнения: так выглядит ЦУП дата-центра NORD 2.

Помимо автоматизированного мониторинга, два раза в день дежурные инженеры обходят все машинные залы и инфраструктурные объекты с электронными чек-листами. Если какое-либо клиентское оборудование подключено некорректно, в коридоре перегорела лампочка или где-то неправильно проложена кроссировка, во время обхода все это будет отмечено и заведено в виде инцидентов в тикетной системе. Для следующей смены и директора по производству результаты проверки придут в виде автоматически сгенерированного отчета.

Какие-то из параметров инженерных систем мы выводим на сайт в разделе ЦОД-онлайн и в мобильном приложении DataLine4All для Android и iOS-устройств. Более подробная информация доступна клиентам дата-центра в Личном кабинете.

Удобства для эксплуатации

Напоследок важные мелочи, которые добавляют комфорта при работе в NORD-4.

Зона разгрузки. Все оборудование попадает в дата-центр через специальный отсек. Подъемный стол помогает разгружать коробки с оборудованием с грузового транспорта любой высоты.

Для транспортировки оборудования в машинные залы на 2 и 3 этажи предусмотрены 2 грузовых лифта на 5 тонн.

На этажах с машинными залами установлены шкафчики, закрывающиеся на ключ, для хранения клиентских инструментов, запчастей и других мелочей. Это дает возможность клиентам удобно хранить свои сокровища, не используя для этого стойки.

Мы посмотрели все основные инфраструктурные объекты дата-центра NORD-4. Задавайте вопросы в комментариях, если хочется больше подробностей. Увидеть работающий дата-центр и получить полезные знания об эксплуатации дата-центра можно на одном из семинаров нашего бесплатного курса “Управление инженерной инфраструктурой ЦОД”. Подавайте заявку на сайте, ждите нашего подтверждения и приходите.

В ближайших постах подробно расскажем о том, как устроено электроснабжение в дата-центре.

Источник