BitTorrent и торрент-трекеры. Как оказались связаны пиратские форумы и распределенные протоколы

Всем привет! Меня зовут Самат Галимов, и это подкаст «Запуск завтра». Как технический директор я пытаюсь разобраться, как устроены сложные и интересные штуки. Я зову профессионалов, с которыми можно поговорить простым человеческим языком. Сегодня, когда я хочу посмотреть фильм, я могу открыть один из стримингов, которые есть в интернете. Netflix, Okko, Амедиатека, Apple TV+, их огромное количество. Когда я начинал знакомиться вообще с культурой сериалов там 10-15 лет назад в университете, я хорошо помню, как мне нужно было найти специальный форум, RuTracker. на нём скачать файлик, потом запустить программу BitTorrent, которая скормит этот файлик, и наконец-то я скачаю один эпизод фильма, который смогу посмотреть. Наш редактор Юля думала, что торрент-трекер и BitTorrent— это одно и то же. На самом деле, это две совершенно разные штуки. Торрент-трекер— это сайт в интернете, на котором люди выкладывают фильмы. А BitTorrent— это технология совершенно магическая, которая позволяет скачать фильмы не с одного центрального сервера, а с тысяч компьютеров таких же обычных пользователей, как и вы. Сегодня я хочу немножко вернуться в прошлое и разобраться, как появлялись торрент-трекеры и на каких технологиях они построены. Это подкаст в студии «Либо-либо», и мы его делаем вместе с сервисом онлайн-образования «Яндекс Практикум». У «Практикума» есть курсы по разработке, по анализу данных и по английскому языку. Если вы хотите освоить цифровую профессию, переходите на сайт «Яндекс Практикум» и учитесь. Вы можете рекламный призыв, потому что думаете, ну какой из меня программист, я вообще другим занимаюсь и не знаю ничего про программирование. Возможно, вы поменяете свое мнение, когда услышите историю одного из выпускников практику Максима Никитина. Максим не знал, чем хочет заниматься в жизни, и устроился работать таксистом. При этом он был очень классным таксистом, у него был очень высокий рейтинг в Яндекс.Такси, и за это ему дали бесплатно пройти курсы в Яндекс.Практикуме, где он научился программировать. научился немножко программировать на JavaScript, джуниорскую (junior), то есть для самого начинающего, подучил TypeScript и уже устроился мидлом. А мидл— это такой типа средний обычный разработчик. Довольно высокая зарплата, довольно интересная задача, короче, такая настоящая профессия. И Максим теперь счастлив заниматься тем, что ему нравится гораздо больше, чем работать в такси. Он программирует и делает классные сервисы. В общем, это безумная история о том, как быстро может измениться жизнь человека. И таких историй у «Практикума» довольно много. Ссылку на страницу, где есть такие истории, мы положим в описании к этому эпизоду. А вы идите на сайт Яндекс.Практикума и учитесь. Наш первый сегодняшний гость— это один из создателей протокола BitTorrent.

Станислав Шалунов. Я сделал протокол LEDBAT, которым пользуется BitTorrent для переноски всего своего трафика. Также этот протокол теперь стандартный, и им пользуются Apple и Microsoft для Software Updates. Протокол, кстати, переносит 15-20% трафика в интернете.

Мы часто, знаешь, пытаемся объяснить слушателю, почему этот эпизод интересный и почему вам стоит послушать. И заход такой же, типа, ну, я написал протокол, который используется для передачи 20% всего трафика в интернете. Неплохой такой флекс. Собственно, мы тебя именно поэтому позвали, что очень интересно поговорить про BitTorrent, про распределенные протоколы. И хочется начать вообще с контекста, в котором появился BitTorrent. Какой это был год?

90-е какие-то годы. Конец 90-х, естественно. Меня это интересовало в первую очередь не в качестве конечного продукта, а в качестве системы распределенного протокола. И меня очень интересовало, как можно сделать, чтобы контент жил в интернете без сервера.

Вау.

Эта тема для меня была всегда интересной. Я ее много обсуждал с людьми, которые позднее работали в компании, которая стала битторрентом. Никакой компании тогда не было, слово битторрент.

Тут надо, наверное, пояснить, что файлы в интернете обычно распространяются так. У тебя есть сервер, то есть это какой-то большой компьютер в специальном помещении в дата-центре, к нему подведен большой толстый кабель интернета быстрого, и файл хранится на этом сервере. А все пользователи, то есть обычные люди, которые подключились к интернету и хотят, например, сайт открыть или кино скачать или музыку скачать, они скачивают этот файл с большого компьютера с сервера. А ты говоришь, что у тебя была изначальная идея о том, что можно построить систему, в которой вот этот сервер, он будет не нужен. Я правильно тебя понимаю?

Ну или во всяком случае, не на нем будут жить файлы.

Окей. Идеологически, мне кажется, более-менее понятно. Давай вернемся к истории. Как появился битторрент?

BitTorrent появился в качестве и ответа, в свою очередь, на появившийся тогда, пользовавшийся спросом, но технически несовершенный, Napster и Kazaa, ещё был eDonkey. Они были популярны среди пользователей, поскольку отвечали на какие-то важные для пользователей запросы, но технически были сделаны очень просто.

Тут прозвучало слово Napster и Donkey. Я тогда должен просто сделать объяснение, чтобы людям был понятен контекст. Значит, конец 90-х, музыка на CD-дисках, появляется протокол MP3, который позволяет сжимать радикально в десятки раз объем хранимой музыки. И люди начинают обмениваться этими файлами в интернете. Появляется программа, которая называется Napster, система обмена файлами, которая совершенно взрывает тогда интернет. Тиктоку такое даже не снилось. Люди просто буквально за несколько месяцев все начинают обмениваться в нем музыкой. Компания, которая продает музыку, конечно, в полном шоке от того, что вдруг на CD-дисках, ее можно скачать бесплатно. И вообще это такой культурный исторический феномен происходил с помощью программы Napster. eDonkey, которая тоже в основном использовалась для обмена музыкой. И насколько я понимаю, она до сих пор в каком-то виде жива. Ей, по-моему, пользуются обычно педофилы для обмена детским порно.

Печальная история. Я не знал, куда докатился Yidonki.

Такие дела. Ты сказал, что тебя с самого начала интересовали способ обмена файлами такой, чтобы не было центрального сервера, на котором файл хранится. А как еще можно?

Ну, нужно, чтобы адресом файла было не имя сервера, на котором этот файл лежит с каким-то идентификатором, а нужно, чтобы адресом файла была криптографическая хэш-сумма его содержимого.

Хэш-сумма— это отпечаток. У каждого файла, которого только можно представить, у него есть отпечаток уникальный, который однозначно говорит тебе, что это именно этот файл. Обратно по отпечатку файл не восстановишь, так же как по отпечатку пальца нельзя восстановить человека, но у каждого человека есть отпечаток. Так, сорян, я тебя прервал. Значит, у каждого файла есть отпечаток, и вот именно он используется как адрес файла. Я тебя правильно понял?

Концептуально, да. Это такая главная идея, которая применяется во всех распределенных сетях для того, чтобы можно было получать файл не от какого-то доверенного сервера, а от кого угодно, и знать, что то, что ты получил, это то, что ты хотел. Если в самом названии файла присутствует его идентификация, как всего его содержимого, то тогда делается неважно, откуда ты взял содержимое файла, важно только, что имя у тебя было правильно. Представьте себе, что если бы человека можно было, зная его имя, однозначно быть уверенным, что ты имеешь дело именно с тем человеком. С файлами, к счастью, такая ситуация возможна. Есть криптографические примитивы, позволяющие так делать.

Слушай, тут надо пояснить. Я просто помню, когда я был подростком, я иногда скачивал в интернете киношки с серверов разных. Там еще и ФТП-сервера были. Ну, неважно. вижу название фильма, думаю, о, офигенный фильм, посмотрю, скачиваю фильм, а там, оказывается, скачиваю гигантский файл, там, жду часами, а там, оказывается, вообще не то, что я ожидал. Ну, потому что название одно, а внутри совершенно другое содержимое. И вот с распределенными протоколами, о которых ты рассказываешь, такого быть не может, да? Когда ты скачиваешь что-то, ты точно уверен в том, что то, что ты скачаешь, это то, что ты запрашивал. Имя тебя не обманет.

Имя, которое ты можешь читать, может тебя, конечно, обмануть. Всегда на клетке со слоном можно написать буйвол, но криптографическая хэш-сумма, которая является адресом, она тебя не обманет. Ты, если получил содержимое файла с соответствующей хэш-суммой, то это именно те байты, Тот

же самый файл, который был у всех других людей, которые скачали этот же самый файл.

Да, тот же самый файл, на который ссылался тот человек, который дал тебе эту ссылку любым образом. Это гарантия более сильная, чем то, что по URL ты получишь тот же самый файл по адресу в централизованной сети.

Обычный протокол передачи файлов, он обычно как работает? Тебе говорят на сайте yandex.ru slash новыйфайл.jpg. И вот ты вводишь этот адрес, и все рассчитывают, что когда два разных пользователя вводят один и тот же адрес, у них одна и та же картинка откроется. И это неписанное правило. Ну, типа, Яндекс тебе обещает, что так и будет. А тут ты говоришь, мне вот адрес вот с таким отпечатком дайте, и тогда ты точно скачаешь именно тот же самый файл, что и твой товарищ. Кайф. Про адресацию вроде понятно. То, что адресом файла является такое математическое описание его содержимого. А как, собственно, передача-то происходит? Все равно с сервера или как?

Нет. От других пользователей peer-to-peer. Во всех распределенных системах Есть какой-то способ находить других пользователей, какой-то способ с ними связываться, устанавливать соединения, какой-то способ узнать, какие части нужного тебе контента у них есть, какой-то способ их запросить, какой-то способ их получить и какой-то способ предоставить части контента, которые есть у тебя, в обмен на них. Это на очень высоком уровне описывает любую распределенную систему, NewNode.

Ты так много рассказал, какой это способ. Ты имеешь в виду, что конкретная там реализация может быть разная, но суть всегда одна и та же, что у тебя должен быть какой-то способ найти, должен быть какой-то способ скачать.

И обычно, когда люди, которые привыкли к централизованным системам, они ждут, что этот способ будет очень четко определен.

Конечно, я этого жду.

И люди ждут, что есть какой-то такой же внятный ответ на то, как BitTorrent находит других пользователей. Но в распределенных системах несколько нужна другая философия их дизайна. Там что-нибудь может всегда не сработать, а система все равно должна работать. Поэтому для того, чтобы сделать любую операцию, есть обычно больше одного способа. И поэтому, если один способ не работает, то всегда есть какие-нибудь шесть других, какой-нибудь из них, глядишь, сработает. И это другая философия, другой вообще подход к тому, чтобы строить инженерные системы.

Офигеть! Стас, вот теперь мне стало наконец-то понятно, почему я не мог понять, как работает BitTorrent. Ну, это самый известный протокол, про который все наверняка слышали. Тоже распределенный протокол передачи файлов. Я просто ожидаю, что есть пошаговые инструкции. Вот если открыть там протокол HTTP, описание, или FTP, или, тем более, там, SMTP, например, для передачи почты протокол используется. ну, его можно сесть и за вечер самому запрограммировать. И большинство старых протоколов интернета именно такие очень простые, прямо straightforward, то, что называется. Прямо по шагам написано. Пользователь говорит вот это, сервер отвечает вот это, и вот все довольны. А когда ты откроешь BitTorrent, там, господи, столько всего разного. Это очень похоже, на самом деле, на криптовалюты, в которых, типа, непонятно, за что ухватиться, потому что везде новые слова и везде какие-то новые концепции, с которыми я вообще не знаком. Спасибо большое за такое мета-наблюдение. Стало понятнее. Типа нельзя просто взять и за 5 минут объяснить, как устроен протокол BitTorrent. Вот ты рассказал, что есть такая концептуальная идея, и вот в какой-то момент появился протокол программы BitTorrent, из-за которой мы, собственно, и собрались сегодня для подкаста, потому что это вот технология, которой все хотя бы раз пользовались, но как она устроена, мало кто понимает. А давай начнем с того, как она появилась вообще. Ты можешь немножечко рассказать историю, кто это делал и как это сделал, откуда идея?

Да, центрально Брэм Коэн (Bram Cohen), который сидел в 2000-2001 году и этот протокол придумывал. Эти идеи многие к этому времени в разных формах существовали в как бы среде людей, интересующихся распределенными системами, к которой он принадлежал. Но, тем не менее, кто-то должен был сделать правильный работающий протокол, и он его сделал, он это придумал. И он же написал первую имплементацию BitTorrent'а на Питоне.

То есть тут две части. Первая, технологически, а вторая, нужно запрограммировать то, что ты придумал. И вот он сделал обе части.

Да, он сделал обе части. Это был такой как бы proof of concept. На тот момент он был достаточно хороший, чтобы быть лучше других существовавших на тот момент peer-to-peer систем и сделаться более популярным.

где ты был в это время, ты следил за этим, ты с ним общался в этот момент?

Я в это время работал в сети интернет-2.

Звучит очень серьезно.

Я сделал мониторинговую систему для этой сети, и я был частью этого комьюнити людей, которые любили распределенные системы, обсуждали их и над ними работали. В тот момент ни для кого из нас это не было работой. У всех была какая-нибудь настоящая работа.

То есть это был энтузиаст, Да.

И у Брэма это не было его настоящей работой на тот момент, когда оно вдруг сделалось популярным, и он повесил там кнопку donations. Это стало приносить ему даже достаточно денег, чтобы он как-то там мог существовать на это. То это было бы большим сюрпризом и для него, и для всех. С Брэмом я стал обсуждать битторрент в это же примерно время. Я этот битторрент Traffic увидел в сети Интернет 2. Он быстро рос, у меня были про это данные, а у Брэма их не было. Потому что там никакой аналитики толком не было. Был просто клиент.

То есть, погоди. Прям написал программу, но не мог посмотреть даже, насколько она популярна. А ты, так как ты управлял сетью, ты мог это видеть. Обалдеть. А что за сеть интернет-2? Ты много раз это произносил, а я не знаю, что это такое.

Интернет-2 – это консорциум американских исследовательских университетов, порядка 200 университетов, и мы делали сеть для связи всех этих университетов и управляли. Идея состояла в том, чтобы иметь какой-то такой тестбэд для того, чтобы разрабатывать новые всякие идеи в интернете.

Офигеть, мне прямо мурашки по коже. Интернет родился вообще как сеть, которая связывает военные, но все-таки еще и университеты. Такая университетская сеть, которая стала большим интернетом. А вы делали такую, получается, копию. Ну, в смысле, версия 2 реально.

Ну, хотели, да, повторить опыт инновации, собрать всяких интересных людей, у которых были какие-то идеи, сделать сеть, опять же, для связи университетов.

Теперь расскажи, пожалуйста, какие у тебя отношения происходили с битторрентом? Ну, типа, ты видишь, что растет трафик, что дальше? Ты думаешь, классный проект, тоже буду в нем участвовать или что?

Ну, во-первых, в моей сети почему-то какой-то интересный тут битторрент, это любопытно. Выясняется, что это человек, там, у нас куча общих знакомых, одна комьюнити. Я занимался в тот момент, кроме прочего, еще идеей quality of service.

Quality of Service— это чтобы у тебя, условно, Zoom продолжал нормально работать, даже если в соседней комнате кто-то качает гигантскую киношку.

Точно. Из этих моих занятий позднее LEDBAT, которым стал пользоваться BitTorrent. Этот протокол— это мой главный вклад в BitTorrent. И деплоймент этого протокола привел к взрывному росту количества пользователей, потому что до того, как этот протокол был интегрирован, там, когда кто-нибудь качает киношку, то не только Zoom не работает.

Вообще ничего.

Да, вообще ничего не работает, браузить невозможно. И не только у тебя, но еще и у соседей.

Вообще у всех на твоей сети сидит. Битторрент, он крут именно тем, что он настолько мощная штуковина, что она может выжрать любой интернет. Проверить то, насколько у тебя быстрый интернет, круче всего именно с помощью битторрента. А что протокол-то делает? В чем его суть? То есть результат понятен, то, что стало возможно пользоваться битторрентом параллельно с нормальным использованием интернета. Но как он это делает?

На таком очень высоком уровне протокол постоянно измеряет задержку в сети, и как только она только-только начинает возрастать, он освобождает место в сети для того трафика, который ее создает. Таким образом, с применением моего этого протокола можно заполнить сеть, но с точки зрения пользователей, которым нужно там зум запустить или веб-браузить, мы протокол вообще не видим, незаметно его наличие в сети.

Обалдеть. То есть с точки зрения пользователя, у меня протокол суперполезный. Раньше я мог либо качать торнеты, либо пользоваться интернетом, а теперь я могу делать это параллельно. Но почему ты сказал, что после внедрения твоего протокола количество пользователей бит-торнета выросло очень сильно? Как это связано?

Ну, до того бетторнтам могли пользоваться только такие хардкор-гики. У них было куперсписание, они там любили качать по ночам, типа, когда никому интернет не нужен, и потом они были гиками, у которых есть все файлы. А после внедрения этого протокола бетторнт стал массовым продуктом. Любой человек мог им пользоваться, не нужно было быть каким-то специалистом по компьютерам, не нужно было ничего настраивать, просто берешь и качаешь.

Кайф. Стало понятно, где ты во всей этой экосистеме, пазл сложился. Вот есть BitTorrent протокол, про который мы сейчас с тобой, Стас, вместе долго говорим. А есть трекеры. То есть это то, как с торрентом сталкиваются обычные пользователи интернета. Это форум, на котором есть темы, треды, в которые люди скидывают киношки. И вот надо пояснить, что этот форум, он вообще-то никак не связан с тобой, например, Стас. Типа ты написал программу, а кто ей пользуется, это уже совсем отдельные люди. Потому что может сложиться впечатление, что ага, это значит, они там сейчас как бы деньги загребают на этих суперпопулярных сайтах. Хотя это просто программа.

Все верно, все верно. Ну, технически в битторрентовой терминологии трекер – это тот сервер, который сводит друг с другом разных клиентов, а тот веб-сайт, на котором люди обмениваются ссылками, технически не называется трекером. Но, тем не менее, в таком народном словоупотреблении эти веб-сайты и называются трекерами, и это веб-сайты, как популярные доступные всем. The Pirate Bay, RuTracker. И эти трекеры, они мало интересуются соблюдением законов о копирайте и вообще законов. Компания BitTorrent – это технологическая компания в Силиконовой долине, соблюдающая, естественно, все законы. И поэтому она никак не могла бы заниматься тем, чтобы оперировать такие трекеры, где люди обмениваются чем-то незаконным. Это способ распространить инфохэши, в сущности, технически.

Вот этот отпечаток, о котором мы говорили в самом начале.

Да. Как узнать, какие инфохэши полезны и какие инфохэши соответствуют какому-то контенту, который ты хочешь. Вот эти веб-сайты решают эту проблему.

А, то есть, по сути, эти форумы, это технически это просто таблица, в которой написано, кино там такое-то, это отпечаток вот такой-то, и дальше этот отпечаток, это большая строка всяких там цифр, букв, чего-то непонятного.

Короткая строка, 160 битов.

Битов прямо совсем мало.

20 байтов.

Ого. Окей. Эти форумы под капотом используют протокол BitTorrent, но с создателем BitTorrent они никак не связаны. Это важно было проговорить. Меня восхищает вот эта связь, когда сначала технари, такие технические нерды прямо, придумывают технологию, которая позволяет делать магическую штуку, например, скачивать файлы не с одного центрального сервера, а с тысяч компьютеров по всему миру. Дальше находятся люди, которые никак с этой технологией и с её создателями вообще не связаны, но которые создали форуми, на которых люди обмениваются дальше фильмами благодаря этой технологии. Вы могли не знать, как устроен битторрент, и вообще ничего не слышите о создателях этого протокола, но вы наверняка слышали слово root tracker, например. Или the Pirate Bay. The Pirate Bay— это самый крупный торрент-трекер на планете. И мне захотелось поговорить с человеком, который создал такой торрент-трекер. Сейчас я поговорю с одним из создателей Lost Film. Lost Film— это один из самых популярных трекеров в русском интернете.

Андрей Кравец, директор студии Кравец Рекордс. Моя студия озвучивает, локализует на русский язык сериалы в основном.

Андрей, ты создатель Lost Filma. И это, с одной стороны, студия переводов, а с другой стороны, это один из самых популярных торрент-трекеров в России. Это такой культурный феномен. Можешь сказать, как он вообще появился?

Это было где-то начало 2000-х. Я тогда очень много телевидением занимался, документальным кино. Много было понадел на всяких документальных фильмов. И, честно говоря, от этого очень здорово устал. И как-то, когда я отдыхал от этого всего дела, захотелось, а не посмотреть ли мне «Вавилон 5»? Был такой сериал в 90-е годы. Вот его ТВ-6, покойный канал, показывал, и что-то захотелось, начал искать. А тогда там ФТП были всякие.

Так, слушай, у нас многие слушатели молодые, они не знают, что такое ФТП. ФТП— это протокол, где можно скачать файлы. И раньше, до торрентов, фильмы распространялись именно так. И фильмы, и музыка, и просто скачиваешь файл с сервера.

Да, либо были какие-то файловые сервисы, они через HTML, через браузер можно было скачать. Очень медленно, кстати. А FTP, он побыстрее был. Ну, где-то какие-то серии, чего-то там такое нашел. И вдруг выяснилось, что некоторые серии без перевода. Захотелось там самому перевести, наговорить. И это я сделал одну-две серии чисто для себя, цельно сесть и посмотреть.

Ты сам перевел прямо на слуху, да?

Не, не на слух. Титры были.

На английском.

Да, я по этим титрам всё перевёл сначала, а потом просто наговорил. в Word открыл.

Ничего себе.

Вот это и послужило началом и толчком.

Самый первый сериал, который ты перевёл, это Вавилон 5 был, да, я так понимаю? Началось всё с него.

Да, Вавилон 5. Немного серий, там 3-4, вот.

Вот у меня такой важный вопрос. Дай контекст, может быть, для более молодых наших слушателей. Как тогда можно было посмотреть сериал в русском интернете?

Слушай, ну как, были трекеры русские, куда всё выкладывалось, и народ оттуда качал. Но вообще от Торрента очень странное ощущение было первый раз, когда я... Во-первых, непонятно, по сравнению с ФТП там, да, или какой-то... Даже не помню, что я хотел скачать, это не суть, важно. Но я поставил эту программу, значит, я нифига не могу понять, как там работают... Ну, ФТП, вот оно пошло-пошло, да, этот самый спидометр качает, и ты понимаешь, что это заканчивается. А тут стоит что-то, ничего не двигается. Потом что-то начало потихоньку появляться, а потом ты открываешь расшифровку торрента, и там появляются какие-то, подключаются что-то, и ты начинаешь понимать, что это ты потихоньку скачиваешь. Это, конечно, было шокирующе, то есть и как-то, конечно, тормознуто по сравнению с ФТП, хотя сейчас, я так понимаю, это всё можно быстро, а тогда это было дичное. Ещё этот самый был Ослик, тоже самое, но он вообще какой-то был вообще странный совсем там для программистов.

Ослик— это протокол ему, протокол и программа.

Да-да, программа. Программа была не то что недружелюбна, она была враждебна. Потому что нифига там толком не получалось, там как-то всё непросто. А какой-то, не помню даже, какой-то торрент. µTorrent (Ю-торрент), тогда появился, не помню уже. Вот. Ну и вот было ощущение очень странное. Как так? А вот оно наполняется, наполняется, и потом не может быть. И ты такой... Ну, естественно, там оно на 50%, значит, пытаешься воспроизвести, оно не воспроизводится, что-то... А потом раз, и скачалось. Думаешь, ок, вот, оказывается, как оно. надо терпение, это вам не ФТП, где нажал и оно качается медленно, но тут оно по-другому, как то быстрее, то медленнее.

Да, я помню это чувство, когда ты раньше использовался с торрентами, это прям такое, как будто панель управления, как космическим кораблем, там много подключений, какие-то квадратики заполняются, непонятно, что происходит.

Это вот свои ощущения, которые я помню тогда были. И, собственно говоря, там как раз, не помню, 5-6 год, вышел сериал «Лост». Его показал Первый канал тогда. Как всегда, там первый сезон закончился на самом интересном, и вдруг выясняется, что, оказывается, там уже в Америке второй смотрят. Да как же так-то? А мы тут мучаемся. Какие-то пираты там ужасно переводили с французского какой-то... В общем, там ужас. И я решил как бы сам это всё дело переводить. начал озвучивать это все дело, потом подтянулись переводчики, которые сказали, не мучайся, вот мы будем переводить, начитывай. Я начал начитывать серии, и я начал выкладывать звуковые дорожки серии, и началось. И я думал, а куда мне Эти переводы как народу-то отдавать? Я на один трекер, на второй, на сайты Lost. Один послал меня, один согласился. А давай у нас на форуме, давай, давай. Давай тебе сделаем админом в этой самой форуме веткой, и ты будешь выкладывать, собственно говоря. заливал на какие-то там, я не помню, RapidShare, типа такие вот.

Файлообменники.

Да, файлообменники, но эти файлообменники, всё это прекращалось, потому что всё падало, там скачивание сразу миллионами, и выяснилось, что никакой сервер не выдержит такой нагрузки.

А, то есть много людей одновременно пытались скачать, и этот сервер ломался.

Сначала сайт ломался, ссылку не поймать, а потом сервер ломался нафиг. И тогда, соответственно, хозяин сайта, они построили уже трекер, чтобы сделать распределённую нагрузку. Но, опять-таки, это тоже не очень помогло, потому что нужно было искать сервера разные. То есть это не показатель. Это оно всё тоже падает. Я этим-то не занимался техническими делами, но, как я понимаю, там третий, четвёртый, пятый раз где-то был найден сервер, где, не знаю, где вот, который обеспечил устойчивость уже к вот этому всему ужасу. Ну и вот и понеслось.

Скачивание пиратских фильмов в интернете— это, наверное, самое популярное использование протокола BitTorrent. Вы наверняка слышали о нем именно в этом контексте, типа «скачать киношку с торрентов». При этом BitTorrent— это такая базовая, очень мощная, очень крутая технология. Стас, вот тут может сложиться впечатление, что вот есть такой суперкрутой протокол, который позволяет обмениваться файлами очень круто, и используют его практически одни только пираты. Короче, люди, которые обмениваются друг с другом какими-то медиафайлами. Это так или BitTorrent используется еще для чего-то?

BitTorrent еще для чего-то используется. Есть компании, которые используют BitTorrent для распространения своих собственных продуктов.

Например?

No Starch Press. Это издательство в Сан-Франциско.

Очень люблю и книжки, но все-таки, Стас, это какие-то инди-чуваки, которые делают инди-штуки. Крупные игроки используют еще торрент-протоколы?

Amazon, например. Все S3-бакеты доступны в качестве торрентов.

Ничего себе. Это для меня новость. Я не знал об этом. Ну, это такая техническая штука, сложно будет ей объяснить, я даже не буду пытаться.

Ну, видимо, это самый большой пример, если нужно хотеть какую-то большую компанию, которая вот легитимным образом используют битторрент-протокол для чего-то скучного. На частном уровне мне известно, что большие технологические компании пользуются летбетом и зачастую внутри битторрента для того, чтобы решать какие-то задачи внутри дейта-центра. Но это просто люди мне сказали, которые это делали.

Я тоже про это читал в Википедии, что Facebook, Twitter, там еще несколько крупных компаний, то есть все крупнейшие игроки, что они все используют торрент-протоколы для обмена информацией между серверами внутри дата-центра. Что это самый технически удобный способ для распределения, например, обновлений. То есть у тебя есть программа, которую надо раскидать на десятки тысяч серверов, и что вот торренты— это самый удобный способ для этого.

Мы уже много работали над этим в компании BitTorrent. Неудивительно, что люди берут эту работу и пользуются ею, когда у них возникает та же самая задача. Они сами на коленке собственные вещи пишут.

Стас, я еще слышал про то, что Apple использует его для Software Updates. Неужели это когда у меня операционная система обновляется на Маке или в iPhone? Нет, в iPhone вряд ли, конечно. Но вот когда на Маке обновляется операционная система, она тоже использует протокол BitTorrent?

LEDBAT, но без BitTorrent. Она использует стандартную версию протокола LetBet, которую я стандартизировал, и Mac, и iPhone, конечно. Когда скачивают Software Update, скачивают их по моему протоколу.

Правильно ли я понял, что речь идет о том, что они скачивают информацию с сервера, а твой протокол помогает не сломать при этом опыт пользования интернетом? То есть у меня сейчас могут в фоне загружаться обновления на компьютер, но при этом я с тобой спокойно разговариваю. В этом суть летбета? Или летбета, он все-таки распределенный?

Летбет сам по себе, он не распределен, это просто транспортный протокол. И Apple им пользуется до скачивания с традиционной инфраструктуры. Стив Джобс этого хотел по крайней мере, насколько я понимаю, с 2003-го, может быть, года. Он заметил, что когда скачиваются апдейты, ничего не работает. Его это возмущало. И он наорал на всех, как у него было принято, чтобы они это починили. А люди ему сказали, что это в данный момент невозможно. Тогда он сказал, что когда станет возможно, чтобы они это сделали. LEDBAT, то ко мне сразу подошел один мой знакомый из Apple, и мне рассказал эту историю, и сказал, что они хотят этим пользоваться как можно скорее.

Офигеть, вот это история. То, что вашим протоколом пользуются Apple и Amazon, это безусловно подтверждение того, что вы сделали очень крутую штуку, очень полезную. Но BitTorrent— это протокол открытый, он open-source, им может пользоваться любой человек совершенно бесплатно, вам никаких денег за это не платя. На чем зарабатывает компания, которая занимается развитием этого протокола? Я не понимаю.

У Бетторнта было три линии бизнеса. Из них успешной была только одна. Успешная линия бизнеса – это был показ рекламы в клиенте. У нас был самый популярный клиент, и этот клиент показывал рекламу. Безуспешными линиями бизнеса была продажа контента. Был Бетторнстор. Это было фундаментальное начинание. где был доступен весь контент, который можно было там купить и скачать по битторренту. С огромными фанфарами этот битторрент-стор был запущен, и все мы собрались вокруг аналитической системы, все лучшие издания New York Times, Wall Street Journal, все по списку, все про нас написали на первой странице.

Типа, будущее медиа изменилось.

Да-да-да, полностью. И BitTorrent goes legit. В первый день мы на этом заработали 13 долларов, но позднее выяснилось, что президент компании, потратив эти 13 долларов, наш бизнес-человек тихой сапой что-то там купил. Это никуда не пошло, потому что целевая аудитория была совершенно не та. Люди, привыкшие скачивать бесплатно, почему-то не хотели за раздутую цену, по которой был доступен там контент из-за того, что нам все эти правообладатели лицензировали на плохих условиях, ничего у нас скачивать, когда могли скачать то же самое на Pirate Bay бесплатно.

Тем более, что у них уже клиент даже запущен, как бы, камон. Т.е. они уже пользуются торрент-трекерами.

Да-да.

Обалдеть.

Нашли, кому пытаться продать песню за 15 долларов. Вот. Другое же направление бизнеса было CDN. Он назывался BitTorrent DNA.

CDN – это Content Delivery Network. Это обычно много серверов по всему миру, которые быстро позволяют скачать тебе контент. У любой крупной компании, например, у Netflix, или у Google, или у YouTube, у них у всех есть CDN, то есть фермы серверов рядом с пользователем, чтобы быстро скачивать с этих серверов файлики, например, киношки. Распределенный CDN— это когда у тебя нет фермы и серверов, а есть, например, твой компьютер пользователя, который участвует в передаче файлов.

Тогда еще не было мобильных устройств, и ничего нельзя было сделать в JavaScript. Для всего нужно было скачивать клиента. Поэтому для ускорения веб-сайта с помощью DNA нужно было, чтобы пользователи этого веб-сайта скачали нашего BitTorrent DNA клиента. И это было камнем преткновения, никто не хотел его, конечно, скачивать, и никто не хотел, главное, своих пользователей заставлять его скачивать.

Значит, основной способ заработка у ребят, которые сделали протокол BitTorrent и программу BitTorrent, была тупо показ рекламы внутри этой самой программы. Знаешь, Стас, каждый раз, когда мы делаем эпизод про что угодно, оказывается, что все это крутится на интернет-рекламе. И вот еще раз. Окей, на этом вы зарабатывали. Вторая вещь, которую вы пытались зарабатывать, это магазин медиаконтента кино. Очевидно, что это не заработало, хотя я сейчас так говорю, легко как бы задним числом говорить, но люди, которые скачали программу BitTorrent, они не стали покупать за деньги фильмы. И третий способ заработать— это было ускорение сайтов. У вас есть большой файл на сайте, вы его скачиваете не с сайта, а с помощью протокола BitTorrent, но для этого надо было установить программу специальную маленькую, и вот установка этой программы— это такой дополнительный шаг, из-за которого эта технология не взлетела. Удивительная ситуация. Создаешь протокол, которым пользуется половина интернета, а денег на этом совсем не зарабатываешь. Казалось бы, вот есть люди, которые на основе этого протокола создали торрент-трекеры, то есть сайты, на которых люди обмениваются фильмами. Уж они-то, наверное, заработают, но нет. И там никаких денег нет. Интересно, что ни Стас, который придумал протокол и разрабатывал его, ни Андрей, который был основоположником Lost фильма, не делали это ради денег. Они это делали просто потому, что им это очень нравилось. И Андрей, например, так увлёкся озвучкой, что это стало его основной профессией.

Стояла задача всё выкладывать бесплатно для всех. Были спонсоры, которые оплачивали актёров там и так далее, потому что я всё не мог оплатить. Потому что какие-то актёры работали за просто, за спасибо, были рады помочь, когда у них время было, а кто-то нет, собственно говоря.

Господи, у меня голова взрывается. В смысле, я знаю это как один из самых популярных проектов в русском интернете в какой-то момент, а ты об этом рассказываешь, что, ну, типа, ребята собрались, мы начали что-то делать и попросили... Так оно

всегда в жизни и бывает.

Андрей, это же всё стоит довольно серьёзных денег.

Откуда... У меня был бизнес просто. Мы занимались компьютерами в своё время. Вот, обслуживали сети и так далее.

То есть это было твоё хобби, но при этом у тебя были деньги на то, что... ну, вообще на это хобби.

Да, у меня были деньги, которые мне позволяли этим заниматься, тут надо сказать. То есть я не был таким с улицы, вот пришёл и вот на помойках обедал там, и потом бежал записывать голос. Нет, конечно. У меня было на что опереться, и оттуда я брал деньги, тратил на оборудование, больше вкладывал вот за эти все там сколько лет, 4-5, я больше вложил, чем что-то получил. Получал, мне самое главное нужно было получить знания и возможности уметь что-то делать и понять всё. Теперь я, например, озвучание знаю от нуля до ста, грубо говоря. У меня задача была совершенствование и оттачивание всей системы, чтобы она... производственного процесса? Да, чтобы процесс был профессиональным, вот, уходить от любительщины. Что сделал Lost, собственно говоря, фильм? Самое главное, и я тут очень этим горжусь, мы поменяли отношение дистрибуции к озвучанию сериалов. Мы открыли сериалы, собственно говоря. Дело в том, что как дистрибуция происходит. Телеканал какой-то покупает фильм «Титаник», допустим. Ну, решили купить. А им в нагрузку дают, допустим, «Звёздный крейсер Галактика» сериал. И они обязаны его показать. По контракту они крутят «Титаник» в нужные моменты, а обязательно должны показать этот сериал. И хотят, они не хотят, они его обязаны озвучить и показать.

Бред какой, господи!

Ну да-да-да, это, кстати, до сих пор бывает. Тогда так было часто. Но поскольку к сериалам отношение как к какому-то говну, то отдают там школьникам переводить, там, несколько переводчиков, плюс актеры. Какие у нас там на пенсии? Чтобы подешевле, и они все равно не работают. И вот понеслось. Старик со старухой озвучивает там молодежный сериал какой-то. Плюс ошибки полнейшие. То есть вот тогда был ужас, что творилось. Тогда такие перлы. Я одно время даже собирал эти все перлы. Был сериал такой, то ли космические рейнджеры, то ли космические какие-то, ну, космические. Вот там первая серия, вот прямо начинается все. Планета, поселенцы стоят, что-то там обсуждают, в это время какие-то корабли налетают, начинают их бомбить, там они бегут, и один из главных героев хватает рацию и кричит «Мэйдэй, Мэйдэй», перевод «майский день, майский день». Я не шучу, честное слово. То есть это вот была ситуация на тот момент. И мне это стало очень обидно, когда я увидел, что интересные сериалы достаточно есть, которые есть загублены переводом, озвучанием бог знает каким. И стояла задача это всё исправить. И это удалось сделать.

Офигеть! То есть ты хочешь сказать, что вот ты своим энтузиазмом начал поднимать планку качества для сериалов через правильную качественную LostFilm?

Да. Проект был уникален тем, что, например, серию Lost, она выходила в Америке в 7 утра, по нашему московскому времени в 7 утра, а к 8 вечера она была зазвучена на 10-12 голосов уже.

Вот.

Это было безумие. Ну да, это было интересно попробовать силы в этом. Это был шок. И для телевидения шок, и для других студий шок. И так вот оно покатилось, это колесо. И когда уже оно покатилось, ты понимаешь, что уже всё, останавливаться тут нельзя.

Андрей, мы когда готовились к этому эпизоду, мой продюсер Паша Боровков рассказал историю, что он в какой-то момент вообще перестал как бы... То есть изначально как было? Он знал, какой сериал хочет, LostFilm и скачивает его там и смотрит.

Да.

А потом в какой-то момент он уже перестал искать в других местах сериалы и заходил на Лосфильм, типа, а что бы мне ещё посмотреть? Лосфильм, по сути, стал такой кураторской функцией, и это стал такой сервис, как ты сейчас на Netflix заходишь и говоришь, типа, что бы мне посмотреть?

Они поставили задачу максимально всё озвучить, всё охватить максимально. Ну, как говорится, флаг им в руки.

А когда вы это делали, это всегда было?

Я это делал, во-первых, не так много, во-вторых, у нас прежде всего стояло качество. чтобы это было как минимум так же, как на телевидении. Когда этого удалось добиться, стала задача делать лучше, чем на телевидении. И это всё получилось, собственно говоря. И всё это было где-то до девятого-десятого года. И оно уже, кстати, к девятому году созрело. Уже мы были готовы. как бы всё, прекращать. Это уже стало тяготить, вот эта вот вся интернетовщина, собственно говоря. Но не было повода как бы сдвинуться с места наконец-то. И как только повод появился, мы сразу собрали вещи и ушли.

А какой был повод?

Ну какой повод? Ну MTV на нас вышел. Мне позвонили, я поехал в Москву, мы поговорили с директором MTV. Он оказался фанатом лост-фильма, кстати. Вот, и он говорит, вы классная команда, хорошо делаете, давайте мы для телевидения будем делать. Давайте, говорю. Ну и понеслось. Вот и всё, с LostFilm. Тем более, что у нас сейчас по законодательству, если ты занимаешься переводом, вот, вот просто ты взял киношку и дома решил для себя перевести, это уже наказуемо.

Ничего себе, за что.

Ты не имеешь права ни переводить, ни озвучивать чужой материал. Это у нас в законе такое есть.

А в шестом году такого ещё не было?

Не-не-не, это приняли буквально сколько, года четыре назад или там, не знаю, что такое. Да, то есть вообще всё очень жёстко на самом деле. До уголовной ответственности. Ну, пока вроде прецедентов не было.

Андрей рассказывает, что в какой-то момент государство начало серьезно бороться с пиратскими переводами. Но проблемы у торрент-трекеров начались еще гораздо раньше. Государство последовательно блокирует популярные торрент-трекеры. Интересно, что блокируют они при этом просто сайт, на котором люди переписываются. Самую технологию BitTorrent, которая используется уже для передачи файлов, заблокировать практически невозможно. Это один из самых живучих протоколов интернета. Почему он такой отказоустойчивый, хочется разобраться. Расскажи, как так получилось, что торренты так сложно заблокировать. Просто это такая притчевая языца, что ничего не работает, а торренты скачиваются.

Это результат эволюции. Когда торренты появились, то сразу же после их появления появились сетевые администраторы, которые хотели их куда-нибудь убрать. Начали там блокировать какие-нибудь порты, которыми пользовался BitTorrent, начинали искать всякие там protocol signatures и так далее. И BitTorrent, он вырос в этой борьбе с попытками его заблокировать. Мы в 2007-2008 году прошли через историю блокировок BitTorrent Sandvine.

Что такое Sandvine?

Это компания, которая делает такие ящики для трафик-менеджмента. Это компания, которая гораздо больше маленького бит-торрента. И они, в частности, Comcast.

Камкаст – это крупнейший американский провайдер типа МГТС русского или Ростелеком.

И Камкаст этими ящиками пользовался для того, чтобы какие-то не очень понятные нам на тот момент делать вещи с бит-торрентом. Вроде бы, они его не блокировали, но, с другой стороны, и работать тоже не давали.

А что они делали, зачем это делали, ты понял в результате?

Да, я даже подружился со всеми этими людьми в итоге. Они перестали блокировать битторрент, особенно после того, как мы их победили. Сперва в интернете, а потом еще и в суде. И это хорошие люди. В общем, они не злонамеренные фундаментально. Они хотят пользы своим пользователям. И их такой charitable explanation состоит в том, что они хотели сделать... Они хотели

quality of service настроить.

Не просто quality of service. Они хотели, чтобы пользователи могли скачивать, но не аплоудили. Потому что какая польза их пользователям от того, что они аплоудят что-нибудь?

Господи, но битторрент без этого работать не будет.

Ну, ежику, понятно, искачивать будет невозможно.

Не от кого. Если никто не будет загружать, то искачивать будет неоткуда. Ведь, по сути, эти люди делали фильтрацию трафика. Вот то, что сейчас Роскомнадзор делает в России, когда они ставят специальные железки у провайдеров, которые пропускают через себя трафик и блокируют доступ к определенным сайтам. Камкас в 2000-е годы делал ровно то же самое, просто он блокировал не сайты Навального, а блокировал торренты целиком в том или ином виде. и вам приходилось придумывать способы обхода этих блокировок. Я правильно понял суть происходящего?

Да.

Офигеть. И то, что сейчас торренты сложно так заблокировать, это как раз последствия того, что тогда у вас был реально оппонент, который как раз именно это и делал, и вы ровно с ним и боролись.

Была прорва таких оппонентов, кто только не попробовал приложить руку к блокировкам битторрента. Битторрент прошел через многие поколения эволюции, через которые централизованные протоколы никогда не проходили. Если кто-нибудь захочет заблокировать HTTP, то никаких проблем у него не будет. порт 80, и на этом все кончается.

Ох, у меня просто чувство, что я прикоснулся к какой-то истории интернета какой-то. Прям очень круто. Сегодняшний эпизод получился не только технический, мы разобрались, как устроен протокол BitTorrent, который прокачивает, простите, 20% графика во всем интернете, но и такой исторический. Мы поговорили об истории интернет-протоколов и рунетов. При этом очень приятно, что гости наши не закончили свою карьеру вот этим таким одним славным днём. Андрей продолжает развиваться в озвучках. Его студия, с Амедиатекой, он занимался озвучкой, официальной русской озвучкой сериала «Игра престолов». Стас продолжает заниматься распределенными сетями, распределенными протоколами. Он, например, был одним из создателей мессенджера FireChat. Это мессенджер, который работает без интернета, и его использовали во время протестов в Гонконге во время революции зонтиков, например. Сейчас работают над протоколом и проектом «Нью Нот», который позволяет обходить блокировки сайтов. Мы, например, в «Медузе» использовали этот протокол для обхода блокировок в Казахстане в мобильном нашем приложении. Я уже говорил это, но и Стас, и Андрей делали эти вещи, которые мы обсуждаем в основном почти весь эпизод, вот эту историю славную, на голом энтузиазме, без особых денег. Классно, что сейчас они продолжают развиваться в своих областях и, кажется, уже начали нормально зарабатывать. Финальный сразу вопрос, который я задаю всем гостям. Посоветуй, пожалуйста, какую-нибудь книжку или статью, или, может быть, есть даже какое-то выступление чьё-то, в котором можно послушать или почитать про распределённые протоколы.

Мне неизвестно никаких хороших источников информации про практически работающие распределённые протоколы. Для нас это является некоторой такой проблемой. Этому нигде не учат. И когда мы нанимаем людей в BitTorrent, например, мы нанимали людей, которые написали свой клиент BitTorrent. Такая была стандартная квалификация для человека.

Довольно высокие требования, я скажу, к работе. Это же довольно сложно. В смысле, надо разобраться на очень глубоком уровне.

Но это был не единственный пункт. Но если кто написал, то это как бы сильно привлекало к такому человеку внимание. Это известная проблема. Никто толком не умеет работать с распределенными системами, то небольшое количество людей, которые умеют, занимаются созданием своих распределенных систем вместо того, чтобы о них в книжке писать.

Слушай, это прямо офигенная информация. Я про это ничего не знал. И, друзья, если вам понравилась тема распределенных систем, Изучайте, разбирайтесь и пишите Стасу. Ссылку на Стаса мы положим в описании к этому эпизоду.

Да, мы всегда ищем программистов.

Стас, спасибо тебе огромное. Очень интересно было поговорить с тобой.

Всегда рад.

Я гостей спрашиваю, порекомендовать книжку или телеграм-канал, или подкаст, ну, в общем, что-то, что они сейчас читают. А тебя я спрошу порекомендовать три сериала, которые ты рекомендуешь посмотреть нашим слушателям.

Во-первых, посмотрите «Звездный крейсер Галактика». Это хороший сериал, действительно.

Так, номер один.

Сериал «Эврика». Достаточно хороший, по-моему, уже официально сделали. И достаточно неплохо. Ну и актуальный сейчас для как бы нынешней ситуации сериал «Визитеры», который мы дублировали по ТНТ или СТС, я не помню уже.

Круто. Спасибо тебе огромное, Андрей, что нашел время поговорить. Было очень интересно.

Пожалуйста. Всего доброго.

Это подкаст «Студия Либо-Либо», и мы его сделали вместе с сервисом онлайн-образования «Яндекс Практикум». Подкастом работали редактор Юлия Яковлева, младший редактор Кира Хант, Павел Боровков, Нина Мамотина. За джингл спасибо Алексею Зеленскому.