Железо, дата-центры и хостинги. Настоящий хардовый выпуск

Всем привет! Меня зовут Самат Галимов, и это подкаст «Запуск завтра». Как технический директор я пытаюсь разобраться, как устроены сложные и интересные штуки. Я зову профессионала, с которым можно поговорить простым человеческим языком. Подписывайтесь и слушайте нас везде, где вы слушаете подкасты. А еще наш подкаст теперь выходит на ютубе, на канале либо-либо. Ссылка в описании. Мы все пользуемся онлайн-сервисами, а для них нужен бэкэнд, то есть компьютеры и сервера. Но никто не знает, где эти компьютеры расположены и кто их обслуживает. Кажется, что это все в облаке. На самом деле никакого облака не существует. Любое облако— это просто очень много компьютеров, составленных в каком-то помещении. Это помещение охлаждается, и туда подведено электричество. Много электричества. И сегодня я поговорю с человеком, который отвечает за эту технологию и знает, что такое облако. Это подкаст студии Либо-Либо, и у нас есть партнер— сервис онлайн-образования Яндекс.Практикум. Если вы хотите стать программистом, дизайнером или дата-сайентистом, идите на сайт Яндекс.Практикум и учитесь.

Меня зовут Олег Любимов, я генеральный директор и сооснователь компании Selectel. Selectel— это сеть датацентров и сервис-провайдер в области облачных сервисов и сдача в аренду выделенных серверов.

Блин, ты, конечно, заготовил эту фразу, но говоря проще, это же хостинг, да?

Хостинг— это такой термин из далекого прошлого, когда это был shared-хостинг, и очень много клиентов жили на одном сервере и делили ресурсы между собой. И поэтому сейчас правильно называть эту область либо дата-центрами, либо сервис-провайдерами, либо облачными провайдерами.

Расскажи, пожалуйста, как это все устроено.

Можно просто начать с того, какие в принципе есть задачи, как они решаются, какие есть подходы к развертыванию этой инфраструктуры в облаке, в дата-центрах.—

Давай, да.—

В зависимости от того, о какой части IT-инфраструктуры клиент готов заботиться сам, о какую часть отдать сервис-провайдеру или дата-центру, эти услуги делятся на уровни или классы. Самый простой вариант— это когда клиент держит всю лучшую инфраструктуру где-то на своей собственной площадке. Своей серверной, у себя в офисе.—

Это вот то, как было, когда вот эти знаменитые фотографии, где сервер Яндекса стоит под столом у Сигаловича.—

Да, да, именно так. В этом случае клиент отвечает вообще за все. За то, чтобы было электричество, за то, чтобы был холод, за то, чтобы само оборудование не сломалось, и за то, чтобы весь софт на нем был настроен и правильно работал. Следующий уровень— это когда клиент не хочет заботиться об инженерной инфраструктуре, но все еще готов заботиться о серверной инфраструктуре и об IT-части. В этом случае он свое оборудование приносит в дата-центр. Дата-центр— это специально подготовленное здание, обеспечивающее непрерывное электроснабжение оборудования, его охлаждение. пожаротушение, охрану, обслуживание и так далее. То есть клиенту уже не нужно об этом беспокоиться, он эту часть отдал провайдеру инфраструктуры. Следующий уровень— это аренда железа, аренда выделенных серверов. В этом случае клиенту уже не нужно думать о покупке оборудования, о его своевременном апгрейде, обновлении и о его замене в случае, если что-то вышло из строя. Эту часть полностью железную сервер-провайдер берет на свою сторону. Дальше, если по уровню услуг подниматься, идет облачная инфраструктура, когда на стороне сервис-провайдера также появляется гипервизор и оркестрация, и в каком-то удобном виде управление виртуальными машинами, сетями вокруг них, подключением дополнительных сервисов к ним, например, облачного хранилища или облачных баз данных. Ну и самый высокий уровень— это платформа как сервис, когда клиент уже не думает о значительной части своего софта, и весь этот софт настроен на стороне сервис-провайдера. Он просто думает уже о своих непосредственных бизнес-приложениях.

Олег, есть такая шутка, что нет облака, есть только жесткий диск на компьютере другого чувака в интернете. Вот ты когда в Google фото загружаешь фото или в Google Docs пишешь документ, Тебе кажется, что он просто где-то сохраняется у Гугла? Но Гугл не магическая корпорация, там просто есть компьютеры, на которых сохраняется этот документ. Правильно ли я сформулировал?

Да, именно так. Если раньше еще, может быть, был такой стереотип, что это все делается на каких-то суперкомпьютерах, и частично эти суперкомпьютеры использовались для чего-то. то сейчас удел суперкомпьютеров— это какие-то очень узкоспециализированные вычислительные научные в основном задачи, а все интернет-сервисы, все бизнес-приложения, все те сервисы, с которыми обычный человек сталкивается в своей жизни и работе, они все выполняются на совершенно обычных компьютерах, просто их очень много, и нагрузка равномерно распределяется между ними.

Опиши, пожалуйста, как выглядит современный хостинг и дата-центр. Современный дата-центр—

это мегаватты, а то и десятки мегаватт электричества, которое подведено к тысячам серверных шкафов. Серверный шкаф— это металлический ящик чуть больше двух метров в высоту, 60 или 80 сантиметров в ширину и там метр, метр двадцать в глубину. В нем размещены серверы. Сервер— он по сути обычный x86 компьютер с точки зрения материнской платы процессора, оперативной памяти. Он отличается только тем, что там используются более высокопроизводительные, более надежные серверные компоненты. Но по сути архитектура та же самая. По своему форм-фактору, то есть размерам корпуса и подходу к его охлаждению, он принципиально отличается от десктопных компьютеров. Эти компьютеры тонкие и глубокие.

Они в шкаф вставляются, как будто ты много пиццы одновременно выпекаешь.

Да, как будто у вас 40-50 коробок от пиццы, и вам их нужно друг над другом на специальные рельсы, как ящик в шкаф, вдвинуть в этот серверный шкаф, где они будут находиться. Соответственно, чем хорош сервер, в отличие от обычного доступного компьютера? Во-первых, он гораздо лучше охлаждается, потому что там нет отдельных кулеров, например, на процессоре. Там на всей передней части сервера стоят вентиляторы, которые постоянно продувают воздух сквозь сервер, охлаждая все его компоненты. Если один из вентиляторов выходит из строя, то, в принципе, ничего страшного, потому что их там много, обычно там 8 штук, и остальные эту нагрузку также вытягивают.

То есть холодный воздух всасывается спереди и выдувается сзади?

По классике так, да. То есть в дата-центре система охлаждения обычно предполагает жесткое разделение так называемого холодного коридора. Это зона, куда кондиционеры закачивают холодный воздух и откуда серверы его берут для собственного охлаждения. И зона горячего коридора, она обычно находится с тыльной стороны серверной стойки. Это та зона, куда серверы выбрасывают этот тёплый воздух, и он дальше идёт по кругу обратно в кондиционеры, чтобы охладиться.

Когда я был в дата-центре один раз в жизни, мне запомнилось две вещи. Первое, там очень холодно, потому что я, видимо, был в холодном коридоре. И второе, там дико шумно. С чем это связано?

Если в дата-центре, например, в серверной комнате в одной может быть тысяча серверных стоек, в каждой из них по 30-40 серверов, это 30-40 тысяч компьютеров, в каждом из которых десяток вентиляторов, которые на максимальной мощности дуют, естественно там стоит гул, в принципе часто в серверных можно встретить либо берушу, либо наушники на входе, которые можно надеть для защиты слуха. Что касается холода, то считалось раньше, и сейчас все еще во многих стандартах продолжается считаться, что для серверов оптимальная температура 20-22 градуса, и такая температура обычно поддерживается в холодном коридоре. Однако в последний год есть тенденция к увеличению этой температуры. Во-первых, это делается с целью экономии электричества, потому что большую часть времени можно использовать не к кондиционированию, а просто охлаждать серверную наружную воздухом. И во-вторых, меньше и меньше становится в дата-центрах жестких дисков, А все остальные компоненты, кроме жёсткого диска, они гораздо более терпимы к высокой температуре.—

Ты вот упоминал, что дата-центр— это десятки мегаватт. Мне это, к сожалению, ничего не говорит. Можешь привести какую-то аналогию?—

Ну, 10 мегаватт— это, можно сказать, небольшой город, там 30-50 тысяч жителей. То есть, или там микрорайон города. То есть крупнейшие дата-центры в мире сейчас доходят под 100 мегаватт примерно. ЭМБИО-коммерческие дата-центры, которые сдают эти сервисы сторонним клиентам. Корпоративные дата-центры, то есть, которые большие компании строят под собственные нужды, они могут быть даже больше, особенно в Китае, либо там у крупнейших компаний в Америке, Facebook, Amazon. Часть энергии обычно тратится на системах преобразования электричества на системе бесперебойного электроснабжения. То есть, в первую очередь, на источник бесперебойного питания там может до 7-8% тратиться. Одна из интересных технологических индексов, которые сейчас есть, это то, что кроме источников бесперебойного питания с химическими аккумуляторами, периодически появляются системы, использующие кинетическую энергию вращающегося ротора.

То есть они просто раскручивают большой железный диск тяжёлый?

Да, грубо говоря, многотонный стальной волчок, который крутится, с огромной скоростью и тем самым накапливает энергию, которой хватит на работу в течение 20-30 секунд после пропадания ввода электропитания, которого хватит на то, вышел на обороты и принял нагрузку. Там, конечно, система не такая простая, как кажется, этот стальной волчок вращается в вакууме, он вращается на электромагнитном подвесе, то есть, по сути, левитирует, чтобы не передавать нагрузку на подшипник. Это достаточно сложная инженерная система, которая по своей стоимости даже превышает стоимость аккумуляторов химических. Но за счёт того, что она может в необслуживаемом режиме работать 10 лет, через 10 лет нужно поменять подшипник, и следующие 10 лет она продолжает работать, она в эксплуатации получается гораздо выгоднее, чем использование химических аккумуляторов, которые всё-таки каждые 5-7 лет надо менять.

Офигеть! Вот это первая вещь, которую ты мне сказал, которую я вообще никогда не знал, никогда не слышал, даже представить себе не мог. Есть ещё что-то такое безумное, о чём люди вне индустрии не знают?

Ну это не безумно, это технология известная с 50-х годов, просто сейчас некоторое такое возрождение испытывающее. Сейчас же все начали заботиться об окружающей среде, а когда у вас свинцовые щелочные аккумуляторы, прямо скажем, не самая зелёная технология. А тут кусок стали вращается десятилетиями, гораздо чище получается.

У вас в дата-центрах уже есть такое?

Мы используем это в одном из самых новых дата-центров.

Правда ли, что половина энергии тратится на охлаждение?

Это зависит от выбранной системы охлаждения. Если мы используем традиционные фреоновые кондиционеры, то на охлаждение используется примерно 30-40% всей мощности. Ну, от IT-мощности, если считать. То есть, вот 1 мегаватт потребляется серверами, 300-400 киловатт будет уходить на работу фреоновых кондиционеров. Это, конечно, очень много. Поэтому все производители оборудования дата-центров и операторы дата-центров Последние годы стараются этот показатель снизить, то есть улучшить соотношение IT-мощности к общепотребляемой мощности. И поэтому последние годы стараются все больше и больше использовать наружный воздух для охлаждения оборудования. либо весь год, либо только в холодное время года, и использовать не замкнутый цикл, когда один и тот же воздух внутри серверный по кругу ведет и охлаждается кондиционерами, а, например, доохлаждать наружный воздух.

Означает ли это, что выгоднее держать серверы в холодных городах? В России же есть вообще холодные места.

Вопрос о том, кому он там вообще нужен.

Большая разница, где находится дата-центр, то есть там 700 километров или 2000 километров в одну сторону или в другую.

Есть ряд факторов тут. Во-первых, доступность электричества, доступность каналов связи и сетевой latency, то есть задержка отклика сигнала. 600-700 километров— это 10 миллисекунд, это не принципиально. Если у вас там начинается большее расстояние, ну не знаю, как от Москвы, например, до Франкфурта или Амстердама, где там уже порядка 2000 километров, насколько я помню, там задержка порядка 30 миллисекунд. Это уже заметно. но еще не критично для большинства задач. Если сигнал проходит через весь континент, и уже сотни миллисекунд идут задержки, это критично для большинства задач и заметно. Это один фактор.

Это критично для людей, которые играют в видеоигры, мне кажется.

Для видеоигр, для трейдинга, для любых задач, которые требуют отклика в реальном времени. А второй фактор— это строите ли вы дата-центр для себя или вы планируете размещать оборудование сторонних клиентов. Если вы строите для себя и вам окей, что это где-то за полярным кругом, окей. Но даже за пределы города клиенты едут с очень большим трудом.—

Ты имеешь в виду привозить свои сервера физически?—

Да. Поэтому на Западе, где рынок более развит и более зрелый, мы это можем видеть, что большинство коммерческих датацентров, ориентированных на размещение оборудования клиентов, они находятся либо в городах, либо близко к ним. А большие интернет-компании, как Facebook, Amazon, Apple, они могут себе позволить строить дата-центры там, где им это удобнее, в местах, где наиболее доступно электричество, каналы связи и хорошие климатические условия. Например, у Facebook значительная часть дата-центров построена в Орегоне, не самый населенный штат и не самый близкий ни к разработке, ни к конечным пользователям. Однако там хороший климат, дешевое электричество.

И налоги низкие.

Да.

Я слышал, была история очень красивая, где Microsoft придумал запихивать много серверов в такой обычный контейнер морской, дальше запаивать это все в трубу железную и эту трубу опускать под воду и охлаждаться за счет морской воды. Слышал ли ты об этой истории и пытаетесь ли вы делать какие-то такие необычные штуки, потому что кроме воздуха можешь еще охлаждаться водой, например?

Да, я слышал про такие эксперименты. Насколько я знаю, в продакшен они не пошли и каким-то мейнстримом не стали, и вряд ли станут, потому что всё же обслуживание этих систем подводных достаточно сложное. тёплая труба под водой, она неизбежно заиливается очень быстро, засоряется просто местной флорой, фауной и так далее, и теряет эффективность охлаждения.

Расскажи, пожалуйста, как вообще выглядит дата-центр современный снаружи?

Очень неприметное здание, как правило, одноэтажное, потому что серверы и инженерное оборудование дата-центров, оно имеет большую массу, и просто дешевле строить здание, где будет бетонная плита залита по грунту, чтобы ничего никуда вниз не провалилось. Ну, также есть и укрепленные здания многоэтажные. Опознать такое здание можно по обилию наружных блоков кондиционеров или чиллеров на кровле, либо на стене, либо где-то рядом на отдельно залитой плите. Ну и также, как правило, либо трубы от дизель-генераторов торчат из какого-то сарайчика рядом с этим дата-центром, либо эти дизель-генераторы стоят запакованные в контейнеры на площадке рядом со зданием.

Ясно. А сколько человек нужно, чтобы вот это махинное здание работало?

Обычно в дежурной смене два человека. То есть один человек, отвечающий за инженерную часть, один человек, отвечающий за IT-оборудование.

И всё?

Плюс охрана, конечно.

Насколько серьёзно охраняют дата-центры?

Обычно это 2-3 человека вооружённой охраны. Ну это, опять же, мы говорим про коммерческий дата-центр, который не хранит никакие государственные военные секреты, это некая базовая такая штука. Если мы говорим про, например, западные дата-центры, которые работают по госконтракту, мне доводилось просто видеть, например, Switch / SuperNAP, небольшой дата-центр, он 96 мегаватт, размером с футбольное поле. Ну вокруг него на Хаммере с пулемётом периодически люди объезжают, и в оружейке такими штабелями винтовки стоят. Всё очень серьёзно.

Мне, конечно, хочется спросить, что там можно украсть и вообще что там можно сделать,

но... Ну, диверсию можно устроить, тут же вопрос не в том, что чтобы украсть, понятно, но это будет тупо, окей, вынесите оттуда серверы, предположим, вы их даже успеете куда-то погрузить, хотя они тяжёлые, неудобные, и... куда вы с ними поедете, что вы с ними будете делать. То есть это не имеет никакого смысла. Но, например, вывести из строя дата-центр— ну вот есть такая угроза, да, от неё и защищаются.

Конечно, хочется спросить, как лучше всего вывести из строя дата-центр. Если бы мне нужно

было вывести из строя дата-центра конкурентов, я бы, наверное, нашёл ближайшие к нему телефонные колодцы, через которые проходит, соответственно, кабельная канализация и лежит вся оптика. И просто бы там бы что-нибудь отрезал, и пока они будут искать, где это и что это, ну, пройдёт определённое время. Хотя, конечно, современные спектрометры показывают место обрыва оптики с точностью до метра.

А что будет, если вывезти центр из строя государственный, например?

Очень сильно всё зависит от того, как построена IT-система, которая размещена в этом дата-центре. Совсем серьёзные системы, не только государственные, но и коммерческие, они обычно разделены на несколько площадок, и это либо две постоянно работающие площадки, если одна выходит из строя, то вторая просто принимает на себя больше нагрузки, либо это active-passive, то есть вторая площадка, она всё время выключена, чтобы не тратить лишнего электричества, но есть там heartbeat, если одна выходит из строя, вторая запускается.

Офигеть. Расскажи про дизельные генераторы, потому что это, мне кажется, еще одна очень интересная часть дат-центров. Мало кто представляет себе, что вы можете вообще без внешнего электричества жить какое-то довольно продолжительное время.

Да, то есть любой дата-центр, он подключен либо одним, либо двумя вводами к городской сети, или ещё лучше, к магистральной сети электроснабжения. Но в любом случае необходим резервный источник. В 99% случаев это самые обычные дизель-генераторы. Они, конечно, большой мощности, большого объёма, там 1 мегаватт, 2 мегаватта. И на участке, где находится дата-центр, Как правило, есть топливо-хранилище, обеспечивающее работу этого дизельного генератора на минимум 24 часа в автономном режиме. Как правило, также все операторы дата-центров имеют договоры с несколькими компаниями, которые в случае необходимости подвозят это топливо к этим дизель-генераторам. Это во всех странах достаточно отлаженная система, потому что кроме дата-центров такие дизель-генераторы есть в больницах, в пожарных частях, в узлах связи. Соответственно, такие компании, они подвозят дизель и туда, и туда, потому что они частные, и им интересно зарабатывать из государства, из частных компаний.

Подожди, то есть вы производство непрерывного цикла?

Да, да. Дата-центры, когда у нас были все эти локдауны из-за коронавируса, поначалу там была неопределённая ситуация, не было точных разъяснений, кто относится к предприятиям непрерывного цикла работы, кто не относится. Потом уже где-то второй-третьей недели Минкомсвязи выпустил письмо с разъяснением о том, что дата-центры, облачные операторы, они относятся к подобному типу компаний.

То есть у вас не было локдауна и вы все ходили на работу?

Нет, конечно. Все-таки у нас большая часть сотрудников, они заняты в разработке, в продукте, поддержке, маркетинге и так далее. Непосредственно за обслуживание дата-центра отвечает относительно небольшое количество сотрудников. Они, конечно, продолжали работать. Все остальные работались дома.

А сколько у вас вообще сотрудников? Какая доля из них в дата-центрах?

Ну, сейчас у нас примерно 450 сотрудников. Из них непосредственно обслуживают дата-центры порядка 60-80 человек.

Я очень рад, что мы записываем этот разговор с Олегом. У меня в гостях давно не было человека, с которым бы мы обсуждали столько железа, столько технических вопросов. Но прежде чем я продолжу разбираться в том, как устроены хостинги, я хочу порекомендовать вам другой интересный подкаст. Это сделал сам. Подкаст о предпринимательстве и предпринимателях. Он, как и запуск завтра, выходит в формате интервью. Вот его трейлер.

Привет, меня зовут Даша Черкудинова.

Меня зовут Олег Охлов.

Мы делаем подкаст «Сделал сам» про предпринимательство и предпринимателей, потому что мы считаем, что предприниматели – это настоящие герои и рок-звезды.

Один выпуск нашего подкаста – это один разговор с одним предпринимателем про одну проблему. Во втором сезоне мы говорим о том, как бизнес переживает коронакризис. С нами поговорили Саша Герасимова из «Фитмост», Кирилл Родин из «Кухни на районе», Вячеслав Бочаров из «Самокат» и другие замечательные люди.

Слушайте нас на любой подкастерской платформе, подписывайтесь и ставьте лайки.

Ссылку на подкаст сделал сам, я оставлю в описании к этому эпизоду. Но вернемся к хостингу. Какие есть основные хостинговые компании в России?

Есть рынок дата-центров. На этом рынке есть Ростелеком, крупнейший, и есть несколько операторов, у которых тысячи стоек. IXcellerate, DataPro, Linxdatacenter, Selectel, вот такого рода компании. Есть облачные провайдеры. Кроме Ростелекома, который работает на государство, в последнее время очень укрупнился МТС Клауд, достаточно крупным игроком постепенно становится Яндекс.Облако и Mail.Ru Клауд, хотя они относительно недавно стали этим заниматься. Есть достаточно большое количество мелких нишевых сервис-провайдеров, которые работают на какую-то конкретную целевую аудиторию. Это если мы говорим про облако и виртуальные серверы. Есть еще промежуточный между ними уровень, когда вы арендуете физический сервер. Из известных очень западных компаний, например, OVH, Hetzner, на этом специализируются. И, в принципе, у облачных провайдеров также постепенно эта услуга в облачном формате начинает появляться. Это когда вы арендуете не виртуализованный instance, hardware instance, то есть непосредственно физическую машину. В силу того, что в России очень большая часть экономики государственная и окологосударственная, у нас, понятно, есть непререкаемый лидер в рынке под названием Ростелеком, у которого больше всех дата-центров, больше всего выручка и так далее.

А кому они их арендуют?

Ну, во-первых, Ростелеком— это один из двух принудительно выбранных правительством операторов по так называемой государственной единой облачной платформе. сокращенно ГИОП. Вообще откуда это ГИОП пошёл? Изначально каждое ведомство, каждое министерство, у них была какая-то своя инфраструктура, либо каких-то своих серверных, либо где-то на арендованных площадках, и не было никакого единого стандарта, единого подхода, единой системы безопасности. И в прошлом году просто распоряжение правительства было назначено, что вот есть два поставщика, это Ростелеком и НИИ-Восход, которые будут делать для всех государственных служб в далёкой перспективе, единую облачную платформу с единым набором сервисов, и соответственно все информационные системы всех этих государственных служб при этом должны на сервисы ложиться, на них работать. Это первый момент. Второй момент, это достаточно у него много клиентов из числа около государственных компаний, которые государство имеет контроль.

Прости, пожалуйста, вот этот ГИОП, я знаю, что в Америке есть вот этот государственный клауд амазоновский, который делал специально для правительства США Амазон, там какая-то специальная система безопасности, но при этом я точно знаю, что там под капотом те же самые услуги и возможности, которые есть у обычных клиентов Амазона. А вот в случае Ростелекома ты представляешь себе, о чем идет вообще речь?

В случае с ГЕОП понятно, что там тоже внутри под капотом самые обычные, самые привычные всем услуги, потому что никакого rocket science там нету. У всех одни и те же примерно вычислительные задачи, задачи, связанные с хранением данных, и все решают их примерно одинаковым способом. Понятно, что 80% выручки всех облачных провайдеров и, соответственно, 80% услуг, которые употребляют клиенты, приходится на три достаточно базовых услуги— compute, storage, базы данных.

То есть просто аренда серверов, аренда жестких дисков и аренда услуги управляемой базы данных, то есть той, о которой ты не думаешь.

Там не аренда жестких дисков, там все-таки объектное хранилище. То есть вот эти три услуги, они, как правило, составляют 80% выручки.

Там много незнакомых имен на рынке в России, и мне это странно на самом деле. МТС, Сбербанк, Mail.ru, Яндекс и, в принципе, всё, наверное.

Рынок IT-инфраструктуры российский, он очень сильно локализован внутри страны. Где-то 60-70% всего, что есть у российских компаний, оно находится внутри страны. И со временем это растёт.

Это связано с федеральными законами?

Он особенно вырос после 2014 года, как-то всё совпало, и западные компании стали очень дорогими для российского бизнеса с рублевой выручкой. появились законы о локализации персональных данных российских граждан внутри России, там пока по этому закону, насколько я помню, за LinkedIn, но этого многим хватило просто как угрозы. Более локализованный только китайский рынок, потому что он полностью огорожен. и американский рынок, потому что на нем присутствуют лидирующие облачные провайдеры— это тройка Amazon, Microsoft и Google.

Насколько Amazon, Microsoft и Google для вас конкуренты? Просто каждая из этих компаний предоставляет услуги виртуальных серверов. Почему нужно выбирать сервера у вас, а не у них?

Они наш конкурент, это правда. Причем конкурент достаточно значительный. К счастью для нас ни у одной из этих компаний нет планов по строительству и организации какого-то присутствия в России. Могу только догадываться, почему.

Вот ты выгодоприобретатель путинского режима.

Я не буду комментировать. С одной стороны, для всех этих компаний Россия— это не очень большой рынок. У этих компаний есть дата-центры в Европе, в Амстердаме в первую очередь, и те российские компании, которые хотят, ими пользуются, они, в принципе, легко могут воспользоваться локациями в Европе. Но при этом в России не очень прозрачная для западных компаний ситуация с законами, и особенно с правоприменительной практикой по этим законам. Поэтому они предпочитают пока с Россией не связываться.

Я не могу не спросить, а что за законы и правоприменительная практика?

В России есть целый ряд законов. Наверное, наиболее известной и на слуху— это так называемая система оперативно-розыскных мероприятий, которая занимается ФСБ России. И он предписывает давать возможность подключаться к каналам связи у операторов связи. А облачный провайдер— это зачастую операторы связи. Ну и в самых последних редакциях предполагается хранение трафика пользователей. в том числе так называемый пакет Яровой, хранение достаточно долгое. В реальности закон Государственной Думы принят, но весь тот объем подзаконных актов, которые должно было выпустить правительство с тем, чтобы разъяснить, как именно этот закон должен применяться, этого массива пока не существует, и фактически эта часть не имплементирована ни у кого на сегодняшний день. Второй пласт, может быть, сегмент этих законов связан с блокировками Роскомнадзора. То есть в России есть так называемый реестр запрещенных материалов, реестр запрещенных сайтов, которому все операторы связи должны следовать. И что у нас там еще есть из веселого?

Я вижу, веселье из тебя прям льется.

Да, ну и плюс понятно, что присутствие здесь означает, что они должны здесь, на этих серверах в России размещать какие-то свои технологии, в том числе и проприетарные, и, возможно, не опасаются неправомерного доступа к ним, в том числе со стороны каких-то государственных структур. В реальности, конечно, ни сервис-провайдеры, ни, тем более, их клиенты с СОРМом и всем, что с этим связано, практически не сталкиваются, просто в силу того, что ФСБ у нас занимается какими-то очень серьезными терактами и преступлениями против основ государства и так далее. И при этом понятно, что 99% реальных правонарушений, они находятся в зоне ответственности полиции. Полиция к СОРМу у нас не имеет отношения. Она действует совершенно другими способами, то есть это больше административная работа. Если они видят, что какой-то сайт нарушает закон, они пишут запрос на бланк с печатью сервис-провайдеру, за которым этот IP-адрес закреплен, с вопросами о том, кто это заказал, каков IP-адрес, какие контактные данные оставил и так далее. Ну и дальше совершенно стандартные полицейские действия происходят. При этом надо понимать, что вменяемый, он до последнего, пока закон это позволяет, будет на стороне клиента. Потому что клиент платит каждый месяц абонентскую плату, а отдел полиции не платит.

Отличная формулировка. А к вам когда-нибудь приходило ФСБ?

Следующий вопрос, пожалуйста. Да нет, точно не надо про это рассказывать, ну просто для понимания. Нет, есть SORM, есть оборудование, которое установлено, и куда-то там уйдёт канал, и как бы есть протокол взаимодействия, один раз подписанный, и они могут написать запрос на бланке с печатью тоже, мы можем ответить. Ну потому что снимать трафик, когда 100% трафика уже зашифровано, это смысла не иметь никакого. Поэтому большая часть их работы, она делается так же, как в полиции. Вот есть IP-адрес, откуда что-то не то идет, им интересно узнать, кто за этим IP-адресом стоит. На этом в 99.9% случаев взаимодействие сервис-провайдеров с правоохранительными органами заканчивается. При этом, естественно, сервис-провайдер, он максимально старается сделать эту процедуру законной.—

Формальной.—

И формальной, да. Потому что если сервис-провайдер делает что-то не так, а у него нету в бумаге с печатями от правоохранительных органов, он же потом окажется крайним, никому это абсолютно не надо.—

Ты сказал снимать зашифрованный трафик, и тут я должен пояснить, наверное, что SORM— это система, при которой ФСБшники ну через закон, конечно, заставляют всех провайдеров и хостеров покупать у своей там какой-то конторки железки, которые провайдеры ставят у себя, и дальше ФСБ может в любой момент посмотреть, какой трафик, какая информация приходит и выходит от этого провайдера. Я правильно это описал?

Близко, близко. То есть это не какая-то одна компания, это существует несколько компаний в России сертифицированных под это оборудование с пока разными владельцами, хотя там есть некоторая консолидация и укрупнение этого бизнеса. Кто из них там с кем афилирован, наверное, это можно посмотреть в публикациях в прессе и в публичных источниках. Да, ну то есть оператор, когда получает лицензию, там есть определенные требования, которые он должен выполнить. И одно здесь требует, он должен получить справку ФСБ о том, что он выполнил оперативно-розыскных мероприятий.

То есть они, по сути, получают такую подзорную трубу, которая идёт прямо к вам, и они могут смотреть всё. Но вот тут самый интересный момент, что вот этот маленький замочек, который есть и в Хроме, и в Safari, то есть в веб-браузере, который показывает, что соединение с сайтом защищено и зашифровано, эта штука полностью делает вот эту систему SORM бессмысленной, потому что всё, что видит SORM, это зашифрованная информация, которую они прочитают. читать не могут.—

Да, то есть остаются только метаданные. Можно посмотреть, с какого IP-адреса на какой IP-адрес было обращение. Но что там внутри, если мы говорим про HTTPS-подключение, либо протоколы большинства современных мессенджеров и прочих систем, это практически всегда трафик зашифрованный. Соответственно, перехватывать его и хранить нет особого смысла до тех пор, пока сертификаты не скомпрометированы.—

Речь о том, что ФСБшники смогут посмотреть, какой я сайт открыл, но вот что я на нем делал, они сказать не смогут, скорее всего.

Ну, учитывая, что на одном IP-адресе может быть больше одного сайта, например.

Окей.

А может быть, один сайт на многих IP-адресах. Вот по-всякому бывает. Да нет, на самом деле, опять же, из-за тотального распространения алгоритмов шифрования именно система перехвата трафика, она свою актуальность все же несколько потеряла. И поэтому чаще правительственные органы работают административными бумажными методами.

Есть, конечно, исключение, я должен его просто проговорить, оно, наверное, имеет мало отношения к тебе, хотя вот ты меня поправь, но если речь идет о Яндексе или Mail.ru, то там другая совершенно история, потому что у них ФСБшники могут тупо попросить доступ к почтовому ящику и посмотреть письмо.

Да, я, конечно, имею в виду те кейсы, когда у вас собственный сервер, который вы самостоятельно полностью контролируете, вы его настраиваете, вы знаете, что к нему нет физического доступа у посторонних. Если у кого-то есть физический доступ к вашему серверу, и тем более если это какой-то публичный сервис, без всякого перехвата трафика где-то на уровне оператора связи наверняка к нему есть доступ. Хотя мне доподлинно это неизвестно. Могу просто отдельно сказать, что в России, с учетом российской специфики, очень полезно иметь вертикально интегрированный бизнес, когда вы владеете и контролируете всей цепочкой вашей инфраструктуры. зданием, электричеством в нём, оборудованием, серверами, софтом. Когда вы не контролируете какую-то часть, то это дополнительные риски, которые могут сыграть, могут не сыграть.—

А, ты имеешь в виду, если ты хостинг-провайдер?—

Да-да-да, конечно.—

Я просто подумал про себя, типа мне нужно купить своё здание, сервер и вот это всё.—

Нет-нет-нет, конечно. Но это справедливо, я думаю, не только для IT-инфраструктуры, это справедливо для, не знаю, если вы какой-то бизнес строите, не связанный никак с IT, но делаете это, например, на арендованных площадях, даже если у вас там долгосрочный договор аренды, вы в России менее защищены, чем в странах с другой правовой культурой.

Насколько хостинг — маржинальный бизнес? Сколько зарабатывает хостер? Вы в золоте купаете или как авиакомпания еле-еле выживаете, хотя у вас миллионный оборот?

Ни то, ни другое. Ответ очень сложный. Маржинальность бизнеса дата-центров и облачных провайдеров достаточно высокая, но эта отрасль быстро растет. Для более-менее успешной компании на этом рынке рост 30-40% в год— это нормально.

Офигеть. Это же безумие, так сколько у нас везде будут серверы, как грибы, и больше ничего не останется на земле.

Самые передовые, Амазон, Майкрософт, в своих сегментах показывают рост даже больше. Соответственно, когда вы растете на 40% в год, вам каждые следующие два с небольшим года надо покупать больше нового оборудования, чем за все предыдущее время существования компании вместе взятые. 80% выручки облачных провайдеров.—

Всё, рассказываем мы, сложные новые услуги, которые мы предоставляем. А в реальности людям просто нужно железо.—

Да, так и есть. Но для того, чтобы это железо было удобно использовать, нужно, чтобы рядом были другие услуги, связанные с мониторингом, с управлением всем этим делом, с бэкапами, с защитой от DDoS, с возможностью быстрого подключения CD доставки контента, если вы ориентируетесь не только на один рынок, но и на другие.

Понятно. Серверлес бомбит, не бомбит? Вы недавно, я знаю, запустили как раз услугу.

Пока очень деликатно бомбит.

Серверлес— это когда ты не управляешь сервером, а просто пишешь код, который тебе нужен, то есть только свою программу, а дальше говоришь, например, Селектелу или Амазону, вот моя программа, сделай так, чтобы она запустилась. А еще лучше сделай так, чтобы если ее тысячи человек сразу запросили, чтобы она тысячу раз запустилась параллельно. и компания это делает за тебя. Это супер круто, потому что если раньше тебе нужно было просыпаться ночью под крики о том, что у тебя сервер сломался, то теперь ты об этом не думаешь. Если сервер сломался, это проблема провайдера, он сам разберется. Он перенесет просто твою программу на другой сервер.

Да, серверлес, кажется, скоро будет трендом. По крайней мере, мы видели статистику, что на Западе 40-50% вновь создаваемых IT-стартапов используют серверлес как базовый способ развертывания своей IT-нагрузки. Но по мере того, как ваша нагрузка будет расти, конечно, добавленная стоимость, которую сервис-провайдер берет за этот серверлес, будет давать о себе знать. Пока этот трендом особенно в России не стал.

Есть такая инициатива, она называется Open Compute Project, когда самые крупные корпорации, которые делают дата-центры для себя, Facebook, Microsoft, Apple, они подумали и сказали, вот эти старые компании, которые делают серверы типа Dell, IBM, они что-то плохо делают, мы сами лучше сделаем. Они придумали, как должен выглядеть классный сервер для дата-центра. Насколько вы этим пользуетесь или вы все еще покупаете у китайцев эти серверы готовые?

Ну, во-первых, там идея не только в том, чтобы сделать новый сервер, она в том, чтобы уйти от сервера как единицы оборудования к целой стойке, как единицы оборудования. Собственно, поэтому и OpenRAC.

OpenRAC— это название проекта по оптимизации серверов и дата-центров. Результаты этого проекта лежат в открытом доступе, поэтому ими могут воспользоваться любые компании.

Как вообще идея OpenRAC возникла? Люди посмотрели, что вот у вас в стойке стоит 40 серверов. Это 40 блоков питания, 40 умножить на 10 вентиляторов, куча радиаторов, куча сетевых подключений и так далее. Зачем дублировать одинаковые компоненты у всех этих серверов? Давайте мы поставим стойку, в которой будет 2 блока питания, один инстантный, второй резервный. из которого будет сразу выходить будет питать все серверы, размещенные внутри. Раз и сделали. Окей. Что еще можно соптимизировать? Вентиляторы. Зачем держать вентиляторы внутри каждого сервера, когда можно на переднюю часть стойки, которые будут обдувать ее сразу целиком. Окей. выкинули вентиляторы из сервера, повесили ее на стойку. Тут можно пойти глубже, но там кто-то это делает, кто-то не делает, и сеть выносить также на некое единое сетевое устройство, один высокопроизводительный оптический порт на всю стойку вместо там отдельных медных портов на каждый сервер. Плюсы понятные, вы экономите на электричестве раз, вы управляете не отдельным сервером, управляете целой стойкой два. А какие минусы? У вас теряется гибкость, вы не можете в одной из нод внутри этой стойки просто взять как-то поменять конфигурацию, не затронув работу всех остальных.

Надо тушить все остальные.

Конечно, там есть hot-swap, то есть горячая замена отдельных вышедших из строя компонентов, в первую очередь жестких дисков и SSD. Но по всем остальным компонентам вам придется все тушить. Это не очень удобно. Поэтому если вы очень большая IT-компания с очень большой нагрузкой и у вас относительно небольшое количество типов оборудования, то есть у вас условно есть там Один сервер для баз данных, для хранения статических файлов, и там один... Для вычислений. Да, один тип для вычислений. И у вас при этом их там десятки тысяч. Конечно, вам гораздо проще будет ими управлять, и вы сэкономите на электричестве, если это будет OpenREC. Если же у вас десятки тысяч уже клиентов, каждый со своими задачами, которые все время меняются, вам, наверное, будет удобнее использовать обычные серверы, где можно один отдельно взятый сервер выдернуть, поставить туда дополнительную планку памяти, воткнуть его обратно, и он продолжит работать. Кроме Open Rack, есть тенденция к тому, что в целом сервис-провайдеры, которые считают деньги, очень редко когда используют оборудование брендов такого первого уровня, типа HP Dell, потому что они стоят дороже. Ключевые вычислительные компоненты, память, процессор, диски, они там точно такие же, как в китайских, тайваньских серверах. Мы, например, покупаем отдельно все компоненты, отдельно материнский плат, отдельно корпуса, блоки питания, процессоры, память, и самостоятельно их собираем …под какую-то свою задачу. Из западных известных компаний Hetzner абсолютно точно сам собирает серверы.

Hetzner известен еще тем, что они предлагают тебе выбрать, хочешь ты жесткий диск домашний или серверный, есть ли какая-то разница.

Бывает такое, что хорошая партия домашних дисков работает лучше, чем плохая и неудачная партия серверных дисков, это правда. Но в среднем, на долгосрочной перспективе, то есть там 3-5-7 лет, конечно, где-то в 2-3 раза будет меньше процент отказа у серверных дисков. Но в любом случае, процент жестких дисков, он все время падает, все больше и больше SSD, и очень похоже, что со временем жесткие диски останутся только в системах такого архивного хранения данных, где не требуется большая скорость.

Архивное хранение— это ленточное хранилище. У вас есть ленты?

Архивное хранение сейчас – это почти никогда не ленточное хранилище.

Вау.

Ленточное хранилище, оно осталось только в каком-то энтерпрайзе, может быть, и в каких-то государственных организациях, где это требование.

Ленточное хранилище – это, короче, можно записывать данные на жесткий диск, на флешку, на телефоне, а можно на магнитную ленту, на ту, которая как…

Видеомагнитофон.

Да-да, как на видеомагнитофоне или как еще раньше были аудиокассеты. И это суперкрутая технология, потому что там объем хранилища на объем физический, он очень высокий. При этом ленты можно сложить в сейф, и они будут бесконечно работать. 100 лет там гарантия хранения. А у жестких дисков эта гарантия хранения гораздо меньше. Не факт, что через 50 лет ты сможешь вообще этот жесткий диск куда-то воткнуть, но дырки будут уже другие. А ленту ты всегда сможешь прочитать. Сейчас ты, скорее всего, расскажешь мне, почему это все неправда. Давай.

Это отчасти правда, но нельзя сравнивать лежащую на полке ленту с лежащим на полке диском. Диск нельзя класть на полку, конечно. Он должен постоянно работать, чтобы вы постоянно понимали, есть ли там доступ к данным или их нет, или они уже потерялись. Когда вы храните данные на диске, во всех современных системах используется минимум тройная репликация. Все это идет на три разных сервера, на три разных жестких диска. И поскольку эта система постоянно работает, вы постоянно проверяете консистентность, эти данные не потеряются. И когда, например, настанет время апгрейда, то вы там, например, выкинете свои 4-терабайтные диски по очереди в этой системе, замените их на какие-то там сейчас самые максимальные 16-терабайтные, и данные просто среплицируются на эти новые диски постепенно. Вы ничего не потеряете, у вас эта система продолжит работать. Если говорить про ленту, да, есть специальные роботы, которые вам наружу отдают какой-то совершенно нормальный интерфейс, вы к нему какой-то запрос посылаете, роботизированная рука очень-очень быстро идёт к нужной полке, вытаскивает нужную ленту, втыкает её в считыватель, моментально проматывает его до нужного куска, выдаёт вам нужный вам файл, но это, мне кажется, всё-таки очень узкоспециализированная история.

Ну блин, это нужно только, наверное, для вояк, которые хотят хранить данные, или для налоговой службы, которая хочет их просто сложить на полку и никогда не доставать, но в случае чего иметь запас.

Есть риск, что вы его достанете, а там какие-то проблемы возникли.

Мне кажется, это так красиво просто инженерно и технически, это же космос.

Современные жёсткие диски— это самое сложное, как ни странно, что есть в серверах, потому что так-то кремнии, кремнии, чипы-чипы, транзисторы-транзисторы, а жёсткий диск— это такое устройство, которое сейчас на грани современных возможностей в области механики.

Кажется, они уже на грани физики.

Плотность запредельная.

Круто. Слушай, Олег, спасибо тебе огромное. Это был, во-первых, дико интересный разговор, во-вторых, очень напичканный информацией, причем часть ее для меня была совершенно неожиданной. Я часто прихожу на подкаст, и я вроде понимаю что-то, но спрашиваю похожие вещи, а ты рассказывал прямо мясо, которого, мне кажется, человек, который не работает в индустрии, никогда бы не узнал.

Да, спасибо.

Спасибо тебе большое.

Спасибо.

Это подкаст студии Либо-Либо, и вместе с сервисом онлайн-образования Яндекс.Практикум. Над подкастом работали редакторы Юлия Яковлева и Андрей Борзенко, продюсер Павел Боровков, звукорежиссер Андрей Гранте. За джингл спасибо Алексею Зеленскому.