Miro. Онлайн-сервис для мозгового штурма

Всем привет! Меня зовут Самат Галимов, и это подкаст «Запуск завтра». Как технический директор я пытаюсь разобраться, как устроены сложные и интересные штуки. Я зову профессионалов, с которым можно поговорить простым человеческим языком. Вы школьникам наверняка писали мелками на доске, и это суперудобный инструмент для работы. Сейчас программисты и почти все технари-инженеры собираются около белых досок и пишут на них цветными маркерами для того, чтобы обмениваться идеями, ну и вообще как-то обсуждать вместе задачи. Я помню, как я в офисе Медузы купил себе две доски сразу, чтобы было побольше места. С появлением коронавируса многие работают удаленно и около доски уже не соберешься. Как будто специально для этого существуют виртуальные доски, когда можно подключиться с компьютера или с телефона и тоже обмениваться идеями, чертить схемы, в общем обсуждать, работать над проектом вместе. Главный сервис электронных досок— это компания Miro. Если вы работаете в IT, то вы наверняка пользовались их продуктами или хотя бы слышали о них. Пользуются и стартаперы, и просто люди, которые работают по интернету, и крупнейшие компании со всего мира. Сегодня мы поговорим с руководителем разработки мира Иваном Дёмшиным. Разбираемся, что сложного в электронной доске, как появился мира и как у них получилось стать главной компанией-поставщиком виртуальных досок. Это подкаст студии Либо-Либо, и мы его сделали вместе с сервисом онлайн-образования Яндекс Практикум. У Практикума есть курс по алгоритмическому собеседованию. Это штука, которую применяют многие компании для того, чтобы понять, классно ли вы программист. И задачи там не те, которые мы обычно решаем каждый день на работе, а какие-то хитрые, в которых нужно подумать, какие-то еще математические иногда хитрости есть. Чтобы хорошо пройти такое собеседование, хорошо бы к нему подготовиться. Специально для таких случаев у Яндекс.Практикума есть бесплатный курс по алгоритмическим задачам и алгоритмическим собеседованиям. Там вы порешаете такие задачи и с вами поработают люди, которые решают их очень хорошо. Ссылка на курс в описании к этому эпизоду.

Меня зовут Ваня Дёмшин, я инжиниринг-менеджер мира.

Что такое мира? Вот мне объяснять не нужно, но моя мама точно слушает подкасты и она не пользуется компьютерами так особо.

Ты прямо зашел самого сложного вопроса. У меня такие же проблемы были, когда я пытался объяснить своим родителям, что же я делаю. Ну, если общими словами и быстро, то это платформа для коллаборации. Коллаборация— это когда люди работают вместе и вместе добиваются каких-то результатов. Большинство людей в мире думают визуально. Большинство людей нужно на что-то смотреть, чтобы представить и понять информацию. И если ты работаешь в офисе, то там есть физическая белая доска. Вы сидите с командой и начинаете что-то обсуждать. Так вот, чтобы лучше передать смысл, рука тянется за маркером для того, чтобы нарисовать какую-то схему, просто слова, workflow какой-то описать и так далее. И твоему собеседнику или твоей команде, которая с тобой вместе находится, намного проще воспринимать ту информацию, о которой ты говоришь. И они начинают подключаться, брать второй маркер и тоже что-то рисовать. Так вот это тоже самое, только в офисе у тебя ограниченный инструмент. Это, соответственно, ограниченная доска маркера и стикеры физические, которые ты можешь использовать. А в нашей визуальной доске Undigital она, соответственно, не ограниченная по размерам и не ограниченная по инструментам, которые ты там можешь использовать.

Прямо типа сколько хочешь можешь идти вправо, влево, вверх, вниз?

Да. Есть ограничения по зуму, то есть это от 0 до 400. Соответственно, если ты убежал куда-то далеко в сторону, тебе потом придется листать на максимальном зуме вправо, влево и так далее. Это приложение в браузере или на десктопе. У нас есть также мобильное приложение, когда нужно в дороге что-то посмотреть. Но по большей части, конечно, в браузере или на десктопе намного удобнее навигироваться, делать zoom out, zoom in, перемещаться по этому пространству.

То есть это такая единая доска для всех, кто подключился, и туда можно накидывать разные штуки. Теперь я хочу почувствовать просто масштаб сервиса, с которым ты работаешь. Условно, сколько у вас пользователей, какие известные проекты вы используете.

У нас больше 40 миллионов пользователей на текущий момент. Допустим, есть такой Fortune 100 компании, да? Так вот, практически все из этого списка не используют наш продукт.

Нифига себе, то есть крупнейшие компании на планете используют Мира. Я еще на лендинге у вас видел NASA.

Да, но я не знаю, какие компании крупнейшие не используют Мира.

Ничего себе.

Да, но и при этом индустрии, которые используют, они абсолютно разные. Они могут быть действительно что-то связанное с космосом, что-то связанное с ритейлом, производством машин, просто разработка софта и так далее, и так далее. Неважно, на самом деле, какая индустрия, везде есть какие-то R&D-отделы, которым нужно работать, придумывать идеи, делиться этими идеями, и наша доска идеально для этого подходит.

Кайф! Вот ты обозначил примерно, что это за продукт, мы потом еще поговорим подробно про то, какие инструменты там есть, но вот продукт, масштаб, теперь расскажи, как он появился, какие самые корни, какой это год, какую проблему пытались решить.

Вообще компании уже больше 11 лет, мы стартанули в 2011 году, но я присоединился позже. Соответственно, я расскажу историю, так как я ее знаю от первоисточников. Скажу еще, где можно дополнительно про это посмотреть и почитать. Вообще нужно поискать, наверное, выступление самого Андрея. Андрея Хусида— это основатель компании и текущий CEO компании. И у нас есть замечательный подкаст «Люди мира», который мы сами записывали с нашими же сотрудниками. Там много сотрудников, которые присоединились в самом начале. Первые идеи были вообще про физическое устройство и оффлайн. Это была кафедра, ну вот в аудитории ставится кафедра, есть тач-панель, сзади тебя есть проектор, ты на тач-панели что-то у себя на кафедре делаешь, сзади это все отображается. В то время даже тач-панелей нормальных не было, и ребята привезли откуда-то, то ли из Китая, то ли откуда, какие-то девайсы спостерили эту тач-панель, что-то экспериментировали, кому-то показывали и собирали обратную связь от потенциальных пользователей. И вот во время одной из презентаций вот этого девайса умные люди посоветовали и сказали, что с таким девайсом будет слишком ограниченная аудитория, где вы можете ее использовать. Идите в онлайн. И в конечном счете мы пришли как раз к онлайн-продукту. И первый продукт был ориентирован не на командную работу, как это сейчас, а были популярные соцсети. То есть была идея, что а не плохо было бы сделать такую соцсеть, где опять же люди смогут делиться своими идеями на одной доске. И когда это сделали, запустили, пошли пользователи, мы начали смотреть какие юзкейсы, начали разговаривать плотно с нашими пользователями и увидели, что в основном собираются не индивидуальные пользователи именно для своих каких-то целей, а приходят команды для того, чтобы работать вместе. Мы сделали снова пивот и уже сориентировались на то, что в наш продукт приходят команды, чтобы работать вместе и получать от этого ценность. И дальше уже пошло развитие проекта в эту сторону. Это все было до 2013-2014 года, наверное.

То есть в течение примерно трёх лет определились с идеей, которая используется и сегодня?

Да, которая дальше развивается.

Когда это всё запускалось, было ли что-то подобное, ну типа конкуренты какие-то, или это было такое исследование вообще полностью в пустоте, когда типа такие, давайте что-нибудь новое придумаем, вот такое нащупывали?

Вообще ничего такого не было, и долго ничего такого не было. Но после того, как мы появились, мы начали раскручиваться, выступать на TechCrunch, запускаться на Product Hunt и так далее, и так далее, и так далее. А остальные тоже начали щупать идеи, но долго на самом деле в неё никто не верил. Первым быть, с одной стороны, проще, потому что ты быстрее забираешь пользователей клиентскую базу и, соответственно, они помогают тебе дальше расти. Но и сложнее, потому что тебе нужно экспериментировать быстрее и искать ценность в продукте, фичи, которые будут полезны пользователям. Остальным проще. Они могут копировать то, что у тебя хорошо уже получилось. Я сделал ремарку, что я присоединился только в 2016 году, когда команда начала масштабироваться. Но какие сложности были? Во-первых, не было сильного веб-клиента, который позволял бы коллаборировать. То есть до этого действительно были ограничения для запуска таких продуктов.

Ты имеешь в виду, что браузера не было хорошего?

И самого браузера, и внутри браузера возможностей. То есть наш первый клиент был на флеше написан.

оооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооо А потом господин Стив Джобс сказал, я в айфон флэш встраивать не буду, и таким образом убил флэш, мне кажется, на 10 лет раньше, чем он бы умер сам по себе. Спасибо Стиву Джобсу за это.

Да, спасибо Джобсу. Тогда многих возможностей не было, было на флэше, соответственно, было все сложно, тяжело, медленно. Это, во-первых. Во-вторых, Ну, наверное, с точки зрения бэкэнда, челленджи более-менее известные в то время уже решались, но все равно не так просто написать коллаборативный движок, когда много пользователей подключаются на одну доску, вместе коллаборируют, поскольку она безграничная, там много контента, который должен быть онлайн синхронизирован со всеми, то есть все равно хорошими должны быть перформанс и интернет, но больше всего клиента. И вот в 2015 году команда потратила около года на то, чтобы переписать весь клиент с флеша на HTML.

Круто. Технологии догнали наконец-то штуку, которую вы пытались сделать.

Да, и на самом деле после того, как мы переписали, продукт прямо полетел. То есть до этого, видимо, пользователи страдали, и технологии пришлось менять, инвестировать туда, и потом поняли, что продукт начинает расти, надо больше и быстрее выводить новые фичи, и тогда началось масштабирование.

А был какой-то момент, когда он бомбанул прям, я не знаю, там попал на главную реддит и еще что-нибудь такое, после чего вот прям начался взрывной рост?

Я помню один взрывной рост, но это было уже, когда мы были и так знамениты. Случился ковид, когда всех закрыли по домам. И многие осознали, что о, физические доски в офисе. больше нету, что же делать, как же нам теперь работать-то все вместе. И начали искать различные продукты. Нам было непросто с точки зрения всего масштабирования. То есть мы в тот момент остановили всю разработку, потому что мы, как любая компания, всегда прогнозируем свой рост. В том числе мне, как человеку, ответственному за инжиниринг, за инфраструктуру, было важно, что у нас есть запас роста на год вперед, чтобы никаких проблем с архитектурой, с инфраструктурой не было. Так вот этот запас закончился за две недели. И мы, соответственно, день и ночь пытались менять и инфраструктуру, и архитектуру, потому что в какой-то момент поняли, что на самом деле просто инфраструктуру не отскейлить. Оказывается, есть еще в продукте определенные шероховатости, которые мешают масштабировать.

То есть даже просто добавление серверов не поможет.

Не помогало, да. И, соответственно, мы остановили всю разработку. Командам сказали, стоп фичам, ищите, смотрите. где что не оптимизировано, где что плохо масштабируется, и все исправляем. Релизились просто бесконечно. Было, конечно, пару downtime'ов, когда мы упирались в какие-то лимиты ненадолго, но в целом мы выдержали. Там было два стресса. Первый стресс – непонятно, что происходит с миром. В целом все сидят дома, всех заперли, нельзя выходить на улицу. А второй стресс – это вот день и ночь масштабировать все.

Сейчас пока хочу вернуться к технологиям и понять, вот когда ты открываешь мира, ты видишь пустую доску, на которую можно накидать текст, картинки, соединить их стрелочками, там подписать, все. Вот можешь, пожалуйста, описать мне, вот я захожу на доску, что происходит под капотом? Что делает мой компьютер? Что делают сервера мира?

Ну, когда ты пытаешься открыть доску, твой компьютер запрашивает соединение с нашими серверами. В первую очередь он загружает непосредственно клиент, который будет отображать эту доску. Там тоже были у нас определенные челленджи, как этот клиент сделать более оптимальным, более легковесным загрузку. быструю. Дальше, поскольку это новая доска, эта доска должна создаться на каком-то сервере. Этих серверов много бежит. Для балансировки нагрузки, соответственно, выбирается более свободный сервер определенным рандомом. И этот сервер создает доску и устанавливает соединение с твоим клиентом. При этом соединение— это вебсокетное, то есть у тебя постоянное соединение именно с этим сервером. Это нужно для того, чтобы ты быстро отправлял свои изменения и быстро получал изменения, которые происходят на этой доске.

Тут надо пояснить, что обычно запросы в интернете такие, что типа клиент, то есть твой браузер запрашивает что-то, сервер отвечает, и это каждый раз условно новые соединения. А вебсокет— это постоянная труба между тобой и сервером, и это гораздо более сложная технология с точки зрения масштабирования, с точки зрения поддержки.

Да, именно так. На сервере запускается экземпляр твоей доски, и там все сложно. То есть у нас сервер на Java, многопоточный, один поток может обрабатывать порядка 20 досок, по-моему. И это все должно быть так, чтобы доски друг друга не лочили, не было никаких операций в этом же потоке, которые тоже могут залочить доску, чтобы подвесилась коллаборация. многое делали оптимизацией, и если ты не один подключен к этой доске, сервер начинает распространять эту информацию по всем другим клиентам, также подключенным к этой доске, о том, что смотрите, здесь появился такой-то объект, его создал такой-то пользователь, который тоже есть на

доске, и все остальные клиенты отображают тот же самый объект, потому что получили его с сервера.

Да-да-да, они, соответственно, это получают, отображают, и более того, они видят, кто это сейчас делает, кто это создает. И у нас есть такая фича в виде, называется курсоры, активные курсоры. Когда пользователь активен на доске, он что-то делает, перемещается и так далее. Видно, где он находится на этой доске.

Это очень мило выглядит, когда такие мышки двигаются по всему экрану, и там подписано, кто это, и можно за ними бегать своей мышкой.

Да, очень мило, когда их 5-10, а когда ты делаешь какой-нибудь all hands на 300-1000 человек, то твой клиент может просто, имеется в виду браузер, загнуться, отображать такое большое количество перемещений объектов. Это у нас был один из челленджей тоже во время ковида, когда мы поняли, что прямо до этого у нас разные кейсы были, там там сотни одновременных пользователей на одной доске, а потом их стало все больше и больше, потому что большие компании тоже закрылись, им надо как-то проводить какие-то общие сессии. Многие начали наш продукт использовать для каких-нибудь вебинаров, и, соответственно, одновременных пользователей на доске стало все больше. И пришлось вот эту фичу гибко адаптировать. Ты можешь его отключить, но вот мы начали учиться, как отключать это автоматически на определенном перформансе, чтобы просто не портить опыт пользователя, потому что им начинает просто лагать все, когда ты перемещаешься по доске. Сейчас, по-моему, те, которые коллаборируют одновременно 300 или 500, Те, которые могут не коллаборировать, то есть только смотреть и наблюдать, до 1000, по-моему.

Эти люди должны подключиться к одному серверу, то есть всегда таким ядром является один сервер.

Да, к одному серверу. Все клиенты устанавливают веб-сокетное соединение к этому серверу. И мы умеем запускать на таких серверах до 2000 досок сейчас. Там все пропорционально масштабируется от самой железяки, от технических мощностях. Соответственно, ты можешь увеличить память и CPU. процессор и можешь запускать больше досок, все конфигурируется.

А ты хранишь всю информацию о всей доске на каждом клиенте целиком, да? И догоняешь только изменения, то есть ты когда zoom in, zoom out делаешь, у тебя уже все на клиенте есть, тебе не нужно с сервера дополнительно что-то получать.

Когда ты только открываешь, у тебя контент начинает загружаться там, где у тебя viewport, где ты смотришь. Самые тяжелые виджеты— это непосредственно картинки могут быть. Основные виджеты, они довольно легковесные, их мы начинаем загружать сразу. А вот для картинок у нас есть механизм, когда мы генерируем определенные превью для этих картинок для разного масштаба. И, соответственно, картинки, которые не находятся у тебя сейчас в основном экране, нам грузить не обязательно. Когда ты сделаешь зум-аут, мы, соответственно, их подгрузим.

Вот когда я подвинул мышку и когда другой человек увидел, что мышка подвинулась, сколько миллисекунд обычно проходит? Какая там задержка? Технический термин для этого— latency.

Конкретно о миллисекундах я тебе про это не скажу. Проще поставить второй экран рядом и смотреть. На самом деле все очень быстро. Там минимальная задержка и с точки зрения latency и миллисекунд. Именно поэтому у нас сервер такой производительный, многопоточка реализована, быстрое вычисление. То есть тебе дальше никуда не нужно бегать, ты сразу клиентам всю информацию отдаешь. Но из-за вот этих вот требований быстрой коллаборации, минимальной латенсии, дальше это всегда все сказывается на архитектуре, инфраструктуре, которую ты строишь. То есть мы минимизируем количество точек соприкосновения в процессе установления соединения с доской или дальше потом работы с доской, чтобы как можно быстрее было. Но при этом мы долго были в одном дата-центре Амазона, то есть пользователи со всех уголков мира ходили в него, и им было полностью окей. То есть текущей скорости интернета хватало. К счастью, это не какой-нибудь шутер, когда тебе важно, прямо скорость в тебя прилетела или ты кого-нибудь подстрелил. То есть тут чуть-чуть погибче, конечно, требования. Но поскольку мы в Ирландии, то есть Европа близко, а вся Америка соединена прямым кабелем через Атлантику.

То есть это такая точка, которая ближе ко всем, Ирландия.

Да-да-да. Самая далекая, конечно, Азия и какой-нибудь Сидней, им немножко посложнее.

Ты сказал, что изначально вы были в одном дата-центре, теперь уже серверов много, наверное, да, и поближе к людям.

Не совсем так. То есть у нас основной дата-центр все еще в Европе, но у нас запустился второй дата-центр в Америке, и был большой и сложный проект, как вообще адаптировать продукт для того, чтобы он работал в двух дата-центрах. То есть могут быть пользователи, которые подключаются в один, могут быть пользователь, который подключается в другой. Но это не первая причина, была скорость. Основное требование тут, конечно, поскольку крупный бизнес пользуется нашим продуктом, они часто попадают под различные требования регуляторов или государств о том, где данные этих компаний должны находиться или их пользователи должны находиться. И в Америке их тоже очень много. Соответственно, мы вот для наших пользователей в Америке запустили второй дата-центр. Понятно.

Еще я тебя хочу спросить про то, что происходит, когда ломается интернет. Можешь ли ты продолжать что-то делать в оффлайне и потом догнать людей, которые были или нет?

Нет. Ты можешь смотреть, но ты не можешь создавать контент. У нас есть ограничения, то есть мы копим количество изменений, которые мы можем не дослать. Как раз чтобы ты не потерял много контента, которого создавал. То есть ты можешь продолжать работать, смотреть контент, перемещаться по контенту и так далее, но количество изменений, которые ты можешь сделать, ограничено. Их там не больше семи. Когда интернет восстанавливается, соответственно, у тебя все изменения твои улетают и ты получаешь пакет изменений, которые были сделаны другими пользователями.

Как хранятся доски? Вообще, я бы, наверное, просто хранил список всех объектов доски с координатами. Это так работает или это какая-то более хитрая схема?

Ну, примерно так и есть, да. Вопрос дальше, как ты эту информацию куда складываешь? Было несколько подходов, как мы это все храним. У нас есть разные виджеты. Виджеты— это объекты на доске. И вот есть базовые виджеты, которые мы создаем, по которым достаточно просто описательной какой-то информации, что это за виджет, для того, чтобы потом его визуализировать. А есть виджеты, которые пользователь загружает на доску. Это могут быть картинки, документы. И вот их мы, естественно, храним отдельно, потому что они могут занимать много пространства. И для них не нужна очень быстрая база данных. Соответственно, мы их храним в Simple Storage, а все остальное храним, как ты сказал, с описательной информацией и координатами, плюс зависимости друг от друга, уже на в базе данных.

А что самое ресурсоемкое в такой системе?

Ну, наверное, всё. И память, и процессор очень много используется, и сети много используются.

Окей. Скажи, пожалуйста, на доске может быть много разных сущностей. Какая из них самая сложная для реализации была?

Много всяких челленджей было. Есть, допустим, простая рисовалка, когда ты берешь и стилусом, пальцем или еще чем-то рисуешь. Так вот, сделать так, чтобы был нормальный перформанс на клиенте, потому что мы очень много экспериментировали различными физическими диджитал-вайтбордами. Мир сильно поменялся. Сейчас во многих офисах уже стоят большие экраны, тач-панели, на которые можно выводить с одной стороны Zoom, а с другой стороны любые другие приложения. И наша доска там хорошо очень запускается. Но когда ты там начинаешь рисовать, тебе важно, как ты это испытываешь. То есть тебе хочется, чтобы это было так же, как на бумаге. так же плавно, что там, где у тебя идет карандаш, там и проводится линия, нет никаких задержек, и, соответственно, рисовать это на клиенте быстро, учитывая различные тач-панели, при этом генерируя все необходимые координаты, чтобы их было недостаточно много, отправлять это на сервер, и чтобы на сервере это не стоило дорого для хранения, потому что в какой-то момент мы поняли, что что же у нас там занимает больше всего место из виджетов о рисовалке, которых вроде как бы немного, они не часто ими пользуются, но из-за того, что там есть много координат, которые нужно хранить, там, соответственно, ребята начали экспериментировать уже с алгоритмами, как это хранить более оптимально, но при этом, чтобы линии были такие же плавные, как их пользователь нарисовал.

Сделать рисовалку так, чтобы она была похожа на бумагу, это, мне кажется, Священный Грааль, который решили совсем недавно на современных айпадах.

Да, да. Но вот нативный экспириенс самого айпада повторить практически нереально. А в нашем случае нужно поддерживать и браузеры.

И дешевые андроиды.

Да, и множество тач-панелей, которые сейчас существуют. Слава богу, производители начали их делать все больше и больше, потому что мир требует.

Мне кажется, одна из тех инженерных задач, которые кажутся человеку со стороны очень простой, на самом деле безумно сложны.

Да-да, дальше под капотом уже творятся различные алгоритмы, которые ребята реализовывали. Но это интересная инженерная задача, ребята любят такие.

Скажи, а добавление новой сущности, нового типа виджета, в смысле, когда ты его программируешь, создаешь, это дорогая операция для вас?

Ну да, это непросто, потому что сейчас после множества итераций мы, конечно, пришли к тому, что есть определенный подход, как мы это все создаем, и намного проще добавить что-то, и на самом деле у нас же сейчас не просто продукт, на самом деле ты можешь пойти взять наш API и SDK и добавить свой виджет. То есть мы в какой-то момент поняли, что да, нужно делать платформу, чтобы другие разработчики и другие продукты, которые хотят с нами интегрироваться, могли это сделать. И теперь, да, без проблем можно пойти и сделать какой-то виджет, не контрибьютив наш код напрямую.

Сейчас, погоди, то есть я могу, как сторонний разработчик, сделать, например, какую-нибудь маленькую игрушку и дать возможность пользователям мира затащить эту игру на доску и играть в нее прямо внутри доски?

Установить плагин, да. Ну, например, один из популярных плагинов, когда ты, ну, команды разработки, в основном в скраме, проводят планирование, оценивают задачу, и один из способов оценки— это покер. Когда тебе нужно там сделать ставку, как ты думаешь, сколько будет стоить задача?

Ее никто не видит, пока все остальные не ответят.

Да-да-да. И вот наши сторонние разработчики взяли и сделали такой способ оценки прямо на доске, потому что agile-команды одни из основных наших пользователей, и вот так вот с помощью нашей платформы, SDK и API можно это сделать.

Окей.

Самый распространенный виджет у нас— это стикер. Просто стикер, как ты бы его использовал на физической доске, когда ты что-то на нем написал, наклеил на физическую доску в переговорке. Так вот, точно так же это самый распространенный объект в нашем продукте. И также с использованием платформы реализовал на базе этих стикеров картины. То есть берется картина, она обрабатывается и рисуется с помощью стикеров. То есть разные оттенки стикеров. Это миллион объектов на доске, может быть, она становится невероятно тяжелой для отображения, но прикольно и весело.

Интересно, что вообще-то доска цифровая, поэтому ты можешь в любом месте просто так написать, не обязательно для этого стикер клеить, но видимо... привычка сильнее, чем здравый смысл.

Но это нативный экспириенс, то есть он не ломает твой подход и просто, да, само представление, что вот это вот какой-то объект, у которого есть границы, он выглядит так, как тебе нравится, и там что-то написано, да, действительно, то есть просто текст накидать на доску будет не то же самое, как этот текст вот хаотично будет лежать на стикерах. Ну и стикер потом удобней цеплять на доске и таскать куда-нибудь, потому что в основном стикеры это какой-нибудь брейншторминг, когда ты собираешь идеи, но дальше тебе их нужно как-то кластеризировать, понять, где какие общие мысли, и, соответственно, ты их собираешь в кучку, и вот они вот такой кучкой на доске лежат. Из последнего, что мы реализовали, потому что давно хотели, это умная кластеризация объектов на доске. То есть провел ты брейншторминг на доске, и у тебя участвовало в этом 20 человек. За 10 минут они нагенерировали там несколько сотен стикеров. Просто чтобы их обработать, можно потратить несколько часов читая их. Соответственно, мы прикрутили небольшие модельки, которые понимают по тому, что там написано, контекст и как это можно сгруппировать друг с другом. Это делается автоматически на доске. Дальше твоя задача уже пробежаться по кластерам, что-то скорректировать, понять так это или не так, но это помогает именно с точки зрения времени, которое ты тратишь на коллаборацию очень сильно.

И теперь это делают нейросети?

Да, потребовалось потратить довольно много времени, чтобы научить эти нейросети правильно это делать.

Очень прикольно. Так, а сколько объектов можно максимум положить на доску?

Мы на самом деле это не ограничиваем. Мы просто говорим пользователю, что если он генерирует очень-очень много объектов, перформанс на клиенте может быть не такой хороший.

Тогда переформулирует вопрос. Сколько объектов нужно положить на доску, чтобы сломать мир?

А ты не сломаешь мира. То есть ничего такого не случится для мира, случится для твоего клиента мира. То есть твоя навигация на доске станет более медленной. Потому что, а, доска будет дольше загружаться, тебе просто больше информации нужно загрузить, ну как это обычно происходит. И, б, когда ты начнешь быстро зум-ин, зум-аут делать, и тебе нужно показать большое количество объектов, будет FPS страдать.

А на сервере, типа, все равно, сколько у тебя объектов на доске, это дешевая операция для сервера?

Да.

Кайф. А был пример, когда люди реально это делали и прям доходили до преде... ну, короче, создавали дичь?

Вот дичь ты можешь создать, когда именно с помощью внешнего API начинаешь туда что-то генерировать. Нагенерировать руками? большую дичь довольно сложно. У некоторых бывают доски, которые, ну, проект в течение несколько лет, и вот они все делают на одной доске, и там вот уже описывают проект, допустим, несколько итераций этого проекта, загружают туда кучу скриншотов, всякие брейншторминги делают, и вот эта доска разрастается, разрастается, разрастается и начинает подтормаживать. Я не так хорошо знаю кейсы сейчас, потому что мы очень много работали над перформансом клиента и доски. Но вот несколько лет назад еще прилетали кейсы. Ребята, что-то у нас доска стала медленно работать. Мы смотрим на нее, там очень-очень много объектов. Потом смотрим еще, какие объекты. Смотрим, что за edge-кейс. И в некоторых случаях это помогало нам еще дооптимизировать наш движок. Вообще, просто действительно очень много информации можно положить на доску, и, как правило, это пользователи сами ограничивают количество информации с точки зрения восприятия. То есть, если они положили столько информации, что непонятно, откуда эта информация начинает читать, и где сейчас актуальная информация, доска становится не юзерфрендли. Но тут уже как бы подключаются способности самих пользователей, как организовать контент, который лежит на доске.

Расскажи, когда был максимум людей, которые заходили на одну доску? Ты говорил про all-hands в больших компаниях. Это основной эскейс?

Ну это не совсем all-hands, потому что для all-hands там больше посмотреть доску. Но в больших компаниях, ну не только в больших, есть такой термин PI-планинг, когда проходит планирование, допустим, следующего квартала или следующего полугодия, и многие используют нашу доску, чтобы как раз общее планирование там сделать. Это может быть не одновременная работа, потому что этот PI-планет может происходить, допустим, в течение трех дней, но компания может быть десятки тысяч человек, и они, соответственно, может быть не все из них участвуют в планировании и коллаборируют, но в течение этих трех дней они используют одну или несколько досок, куда складывается вся информация. Мы сами наши доски активно используем для планирования, и у нас есть общая доска для всей компании, есть доска для R&D, есть доски для конкретных команд, Мне кажется, наверное, это самый основной кейс. Ну и, наверное, когда вебинары какие-нибудь проводят, то есть были кейсы, когда там на 500 человек и больше запускали вебинар, даже Zoom больше 300 просто так не держит, надо ему писать, что мы хотим сессию больше 300, и они отдельные сервера выделяют и так далее. Вот, наверное, вебинары тоже большой кейс.

Скажи, вот ты как раз упомянул, что почти все эти штуки, они требуют и аудио-видеокоммуникации тоже, то есть ты сидишь на доске и одновременно ты говоришь по Zoom или там по какой-то другой платформе. Да. Логичный вопрос, почему нельзя говорить прямо в мир?

Можно, то есть у нас есть внутренняя звонилка, ты тоже точно так же можешь начать видеочат и говорить прямо в мир. Многие стартапы так и делают, а у больших компаний там сложный процесс, что для чего они могут использовать по своим внутренним политикам. И, как правило, у них уже есть вендоры для видеочата, но мы можем их интегрировать в нашу доску. Они могут подключиться к доске, там настроить интеграцию со своим аккаунтом Zoom'а и начать звонить прямо из Zoom'а. Точно так же, как нашу доску можно открыть сейчас в самом Zoom'е. Конечно, там опыт мог бы быть лучше, но у Zoom'а есть определенные ограничения, и не настолько интерактивно происходит, как хотелось бы. Но запуск Zoom'а и нашей доски на старых лаптопах— это тот еще челлендж.

Вот как раз про это я хотел спросить, потому что у меня там мощный ноутбук, но вот моя редакторка сейчас как раз пишет то, что когда я Zoom запускаю, мне тяжело типа еще что-нибудь запустить.

Zoom очень ресурсоемкий с точки зрения видеопроцессинга, и у них есть еще активное шумоподавление, и, соответственно, видеокарту и CPU использовать очень много. Мы тоже используем видеокарту, и начинается конкуренция за ресурсы. Особенно, когда у тебя доска большая, и тебе надо много зума делать. Доска открывается в каком-нибудь хроме. Хром тоже довольно прожорливый. А если ты еще открыл 10 закладок с мира, то все, можно это, яичницу жарить на лаптопе.

Тогда давай совет от создателя. Как сделать так, чтобы не тормозило и можно было нормально и говорить, и в миру сидеть?

Не, на самом деле будет нормально, не надо просто открывать много закладок в браузере, потому что Zoom и браузер, они очень ресурсоемкие. Zoom во время звонка, в браузер он в принципе очень много памяти съедает, если много закладок открыты, они все в памяти держатся, не так часто он сбрасывает. Поэтому простой совет, не открывайте 20 закладок, 2 достаточно.

Следующий вопрос, он такой эджи, но мне кажется он важный. А технически вы можете подсмотреть доски пользователей?

У нас никто не может посмотреть доску именно в том виде, в котором видит ее пользователь. Мы можем посмотреть аналитику, сколько, допустим, виджетов находится на этой доске. Но нам надо это для перформанса, для оценок различных, для дебагов. Но контент строго закрыт от всех в компании. С одной стороны, это compliance, но это большая боль для наших разработчиков. То есть дебажить что-то, что случилось у клиента, практически невозможно. Надо брать и либо логи смотреть, либо создавать что-то для себя, такую же доску, такие же виджеты. Воспроизводить кейс, да, это сложно.

Ты рассказывал, что были случаи, когда люди там по много лет один и тот же проект вели на доске, они к вам сами приходят, типа шарят к вам доску? Как вы об этом узнаете?

У нас у саппорта есть такой процесс, что если пришли люди, и у них какая-то проблема на доске, и эту проблему именно нужно посмотреть, то есть не помогает ни выгрузка консоли клиента, ни то, что мы видим у себя на бэкэнде, тогда мы спрашиваем разрешение, чтобы они добавили наш саппорт на их доску, и мы подключаемся и смотрим, что там происходит.

Расскажи, пожалуйста, какую-нибудь историю, когда всё упало. Ту, в которой тебя разбудили ночью, не знаю, что-нибудь такое.

Последних кейсов, что совсем всё упало, их практически нету. То есть инфраструктура довольно стабильно масштабируемая и процессы доставки хорошо выстроены так, чтобы зарелизить и уронить совсем всё, но это надо сильно постараться. Ну и плюс процесс production change management, он тоже позволяет, потому что Есть единые точки отказа, когда ты там в сети что-нибудь не так сконфигурировал и может все полететь. Но допустим, недавно мы, ну как недавно, летом мы мигрировали там в одну базу, в другую базу, и на тестах-то все было хорошо. А когда раскатали на продакшен, мы не сразу заметили проблему. Нам начали писать пользователи, что только у некоторых пользователей, допустим, отвалилось подключение в продукт. ССО, допустим, отвалился или там домен контроля отвалился. Но, как правило, мы всегда такие сложные изменения делаем в выходные. В выходные мы там что-то поразбирались, конкретно это починили, но в понедельник проблемы начали расти. Мы углубились поглубже и поняли, что не совсем хорошо мы эти данные перенесли. Точнее, мы их перенесли, но из-за особенностей архитектуры оказалось так, что часть этих данных мы просто не увидели и создали с нуля чистые. Ну, то есть, как бы никаких ошибок, продукт продолжил работать, все замечательно, но каких-то данных нет.

Это самая сложная штука, потому что ты даже не можешь понять, какие данные есть, какие нет.

Да-да-да. Ну, слава богу, мы больные вопросы довольно быстро решали, но мы фиксили это дня три, по-моему, суммарно, потому что нужно было поднять старую базу, нужно было подцепить ее, нужно было понять, как данные перелить или поменять, какие данные уже можно менять, а какие уже нельзя, потому что пользователи там что-то... И слава богу, база была не настолько критична с точки зрения пользовательского контента. То есть там были в основе всякие конфигурации, но урок хороший. То есть вот эти всякие новые SQL и обвязки работы с новым SQL внутри приложения, они бывают опасными.

Расскажи про конкурентов. Насколько сложно повторить мира сегодня?

Мы не каждый месяц, но постоянно видим, как появляется кто-то новый, и вот у них интерфейс очень похож на наш. Но дьявол в деталях. То есть они могут повторить наш интерфейс, как у нас расположены объекты, инструменты и так далее. Но это будут не все объекты, и очень сложно сделать такую же коллаборацию на такое же количество пользователей одновременных и дальше богатый инструментарий, который есть в проекте. Ну то есть сделать простую доску, наверное, на которой будут базовые объекты— это шейпы, рисовалки, стикеры. Ну, год потратят и, наверное, что-то запустят. Но дальше сделать так, чтобы этот проект поддерживал большую коллаборацию. Или был богатый с точки зрения объектов, а объекты... Откроешь нашу панельку инструментов, слева там будет просто огромный... У тебя сейчас продукт немножко сложный стал. Да, все базовые объекты, они вот в первую очередь доступны, но кроме того ты можешь много чего еще добавлять на доску, что мы сделали сами и не сами это появилось в нашем маркетплейсе, допустим. Там много интеграций с внешними продуктами, например, с теми же зумами или с таск-трекерами, такие как Jira, Asana и так далее, Google календарь, хранилки определенные для объектов. Повторять весь этот функционал— это уже будет очень дорого и долго. Но самое главное, мне кажется, дать такой же плавный пользовательский опыт, когда ты работаешь на большой доске, перемещаешь объекты, видишь все, что происходит у других пользователей, и вот твой опыт взаимной коллаборации— это не так просто повторить. И на это нужно достаточно времени.

Этих корнер-кейсов, я так понимаю, вы за 10 лет собрали, там, тысячи?

Да, и многие из них, они технические, как это реализовать, а многие из них не продуктовые. Понять, как работает пользователь, и определенные нюансы поведения, именно коллаборацию на доске.

Интересно, что ты, когда говоришь о конкурентах, говоришь о продуктах, которые выглядят так же. А я, в первую очередь, когда говорят конкуренты мира, я думаю, а, это notion, потому что это тоже инструмент коллаборации, пускай он в основном и текстовый.

В том-то дело это разное. Визуальная коллаборация. Текстовая коллаборация есть в каких-нибудь Google доках или Microsoft Office облачный, но текстовая коллаборация не дает тебе такой же опыт, как и коллаборация на доске. Именно поэтому такая визуальная коллаборация, она появилась в первый раз именно в нашем продукте. Потом другие продукты начали как-то пытаться воспроизводить.

То есть ты не считаешь Notion конкурентом мира?

Нет, не считаю.

Интересно.

Разные есть кейсы, разные пользователи.

Насколько ты считаешь конкурентом вот этот новый продукт, который Apple запустил на iPad'ах, когда у них прям вот реально... Выглядит, короче, один в один. Я так еще подумал. Apple мира запустил.

Выглядит похоже. Даже в каких-то кейсах это будет конкурент. Но нужно понимать, что количество пользователей, которые работают с нашей доской на iPad, сильно меньше, ну там прямо в разы, сотни раз, чем те, которые работают в браузерах и на тач-панелях. То же самое было же с Google Jamboard, но там весь опыт был на физическом устройстве. То есть тебе нужно купить физическое устройство огромное за 5 тысяч долларов, по-моему, которое привезут тебе сначала только в Америке, а потом еще в каких-нибудь странах. И у тебя там будет все равно ограниченная доска, потому что это физическая доска. Мне кажется, да, это конкуренты. Возможно, какие-то кейсы они закроют, но пока они ограничены платформой и физическими устройствами, это не сильно на нас влияет. То есть не так много людей, которые работают именно на планшете, создают какой-то контент. Тебе же надо писать постоянно, не только рисовать. На планшете удобно рисовать. Это вот хороший кейс. Больше нет кейсов, что делать на планшете.

Окидоки, какую функцию вы давно хотите добавить, но пока не придумали, как реализовать? Есть что-нибудь такое?

Таких кейсов много. Я не скажу, наверное, что там есть какие-то технические сложности. Больше, наверное, вопрос приоритизации, что сейчас важнее для наших пользователей, для бизнеса. По поводу того, что мы хотели реализовать и не реализовали, и не знаю вообще, насколько это реализуется. Наверное, еще в 2016 году мы проводили внутренний хакатон, нашли где-то Oculus, дополненная реальность, и попытались туда засунуть нашу доску. Более того, мы ее туда засунули, поигрались во время хакатона. Было очень весело, но production, реализации никакой нету все еще. Здесь и ограничение текущих технологий, то есть не так много технологий. Но, возможно, это одно из будущих в принципе мира.

Очень интересно, конечно, увидеть трёхмерную доску.

Ну не факт, что она будет трёхмерная, она может быть прямо такая же, но как ты в той же метавселенной погружаешься и видишь других участников коллабораций, потому что мы сейчас друг друга видим на зуме. Опыт, наверное, когда ты по-другому представляешь пространство, в котором ты находишься, и с какими объектами ты в этом пространстве можешь коллаборировать другой. Но пока, с точки зрения бизнес-применения, никто к этому не пришел. Наоборот, все в офисе возвращаются как можно быстрее. Очень сложно в виртуальном пространстве коллаборировать.

Интересно про команды. Вот ты подключился 6 лет назад, да, ведь, в компанию?

Тогда было 15 инженеров, по-моему. Ну да, в тот момент компания начала масштабироваться. Ну, планировала масштабироваться, потому что была понятна траектория роста пользователей, нужно масштабироваться, нужно строить команду, настраивать процессы. И я, наверное, был один из первых инженерных менеджеров, которые присоединились. То есть тогда был Слава Дунаев, который фактически отвечал за ту команду инжиниринга, и он все еще в компании. Он мне помог очень хорошо заанбордиться. И на тот момент, на самом деле, я был удивлен, насколько все хорошо было выстроено с точки зрения технической истории.

Какой мир и сейчас?

Тысяча восемьсот, наверное.

Сколько?

Да, но у нас одиннадцать офисов, по-моему, по всему миру. Соответственно, вот эти тысяча восемьсот человек раскиданы по миру. Большая функция product engineering, но и много, конечно, тех ребят, которые продают и помогают нашим клиентам работать с нашим продуктом. Это и customer success, и support, и sales. Конечно, есть маркетинг и большая функция, которая поддерживает все эти тысяча восемьсот человек.

Ты сказал, продукт инжиниринг— это, видимо, вот инженерная команда. А сколько она большая?

Наверное, примерно 800 человек суммарно.

Ооо, это прям много. Скажи, как она делится? Это какие-то продуктовые команды или они по функциональности разделены?

Слушай, у нас есть внутреннее название вот этой вот совместной функции, которая работает над продуктом. Появилось несколько лет назад и называется Amped. По первым буквам пяти функций. Аналитика, продукт маркетинг, непосредственно продукт, инжиниринг и дизайн продуктовый. Стандартно, как многие компании, у нас кросс-функциональные команды. И вот эти вот пять функций, они базово представлены во всех продуктовых командах. И, соответственно, все продуктовые команды кросс-функциональные, но они объединяются в несколько направлений. Мы их называем стримы, у которых конкретный фокус на пользовательский экспириенс или на какие-то Business Value для компании. То есть есть core-продукт, который отвечает за общий пользовательский опыт, за саму доску, за коллаборацию на ней, за виджеты. То есть это все, что нужно всем пользователям. И с отдельным направлением, которое занимается внешней платформой. API, SDK, кабинет разработчика, вся документация и так далее. Есть направление, которое занимается ростом продукта, Growth так называется, которое отвечает за весь флоу попадания пользователя в продукты и затем монетизацию этого пользователя. И мы стараемся применять различные механики, как сделать так, чтобы пользователь поделился доской, чтобы другой человек, с которым поделился, без проблем зашел на доску, чтобы он увидел это приглашение, чтобы все сложности в этом процессе не уходили, чтобы никаких преград в этой коллаборации не было. Есть направление, которое добавляет определенные фичи, которые позволяют интерпрайзу с точки зрения комплайнса и вообще работать с продуктом на масштабе. Потому что одно дело, у нас есть маленькие клиенты и у них, допустим, 5, 10, 100 человек. И менеджерить всех этих пользователей в продукте им удобно с помощью всех интерфейсов, которые у нас есть. А большие компании, которые готовы 50 тысяч человек позвать, И у них тысячи таких продуктов, которыми они пользуются. Им, соответственно, как бы отдельный процесс в компании, как вообще внедрить такой продукт, новый продукт, раз. И дальше, как менеджерить контент и пользователь в продукте, как приглашать пользователей. Соответственно, им нужно интегрироваться с их системами управления лицензией, управления пользователями.

Да, сотни человек уволили каждый день, сотни человек добавили новых, как им дать доступ, как отобрать доступ. Это, конечно, полный ад.

Да, да, да. Вот, вот. И, соответственно, да, есть направление, которое, с одной стороны, дает такие инструменты крупным компаниям, но при этом мы не делаем для конкретной компании, мы делаем то, что используется всеми массово. Ну и есть технический инфраструктурный стрим, где решаются все вопросы, связанные с инфраструктурой, автоматизацией, автоматизацией работы над качеством, безопасностью и так далее.

Звучит как очень большая организация, очень большая структура. Над чем вы сейчас работаете? Что-нибудь то, что тебя реально самого интересует? Какой-то проект, который тебя сейчас самого жжет? Потому что я уверен, что вы работаете сразу над многим. Над чем?

Я работаю в основном над инфраструктурными проектами сейчас. Большой, сложный, последний был, это как раз запуск второго дата-центра. Просто запустить дата-центр оказалось сложно, но doable. При этом я, наверное, напомню, что в 2019 году мы делали ребрендинг, мы назывались RealtimeBoard и стали называться Miro. Многие знают нас только как Мира. Это был сложный технический проект. Как вообще сменить название? И нужно зайлайнить всю компанию. Еще до последнего момента мы не знали, какой же будет финальный новый домен. Для инженерной команды это был прям большой стресс. Но из-за того, что это вот кросс-функциональный проект, много технических историй, которые на поверхности вообще не лежали, то есть практически все команды были задействованы, и это нужно было переключить прямо в один день, вот так вот, чтобы все заработало. Ничего не отвалилось, никакие интеграции, никакие там маркетинговые истории, ни веб-сайт, ни мобилки, ничего, чтобы все продолжало работать.

Звучит как невозможная задача.

И тогда нас как бы меньше было. Мы как инженерная команда еще сидели в одном здании. А сейчас нам нужно было как бы запускать второй дата-центр, и там по сложности еще сложнее, чем домен поменять. Плюс продукт вырос, плюс команда выросла, которая теперь отвечает за продукт, и инженерная команда у нас в трёх локациях сейчас находится, и вот чтобы они над этим поработали и в конечном счёте сделали, это был большой труд. Ну, мало просто запустить дата-центр. У нас есть, ну, поскольку дефолтный был всегда в Европе и остаётся в Европе, как правило, новый дата-центр в Америке, он для интерпрайс-клиентов. Ну, то есть, те, действительно, которые попадают под различные регуляции. А интерпрайс-клиенты практически не появляются с нуля. То есть у нас нет такого, что мы пришли в какую-то большую компанию и сказали им, ребята, купите продукт. Обычно это происходит так. У нас уже есть много команд из этой компании, и мы приходим к их пользователям или выходим на каких-то листах, которые могут принять решение о оформлении интерпрайс-подписки, и говорим им, ребята, смотрите, у вас там 10, 20, 30 команд уже пользуются продуктом, платят с карточки. Наверное, вам не очень это хорошо, но мы можем вам помочь это все объединить под одну шапочку. Соответственно, эти клиенты у нас уже есть в Европе, и у них уже нагенировано много контента.

И тебе надо какой-то процесс переноса этих досок с европейских серверов на американские.

Ладно, только досок. Там же под капотом еще куча различной информации про пользователей аккаунтов, всякие инвайды, интеграции, которые у них настроены. Да, как разделить пользователя, который в организации будет, как изолировать пользователей, чтобы он принадлежал только одной организации. Да, все интеграции, а еще у тебя есть кусок в монолите, кусок в микросервисах, надо ко всем сходить, выгрузить эти данные в монолите, в новую сквелли, найти данные, которые принадлежат одному пользователю, одному, одной организации. Там вообще как бы без бутылки не разберешься. Это прямо было очень сложно. Мы долго, много времени на это потратили и вот уже сделали успешные кейсы переносов, но это было больно.

Скажи, пожалуйста, рынок основной у вас европейский или американский? Где деньги?

Рынок везде. То есть да, в Америке много, но также из Европы много и в Азии много. Ну то есть при этом на втором месте, наверное, сейчас Америка, но мы рассчитываем, что некоторые азиатские страны могут вырасти очень сильно и занять тоже первые места.

Какие функции ждать в будущем?

Я, наверное, не буду отвечать на этот вопрос. Нас могут слушать те, которые копируют, чтобы они не побежали вперед батьки. Мы сначала шишки сами собираем, потом пусть копируются. Если ты новости почитаешь, то недавно писали, что к нам присоединилась классная команда Around, которая делает как раз видеочат, но не просто видеочат. Их продукт как раз решает проблему видеочата в одной комнате, гибридной. То есть ты сидишь в комнате, в одной подключаешься к чату, кто-то у тебя может в другой комнате сидеть, кто-то в другой стороне, но там 3-4 человека могут сидеть в одной комнате. И они как раз помогают подавить эхо и внешние шумы так, чтобы экспириенс был максимально гладкий.

Мне даже не верится, хорошо сделан продукт такого вида будет решать проблему того, когда часть людей из дома, а часть людей в одной комнате. И это сейчас вообще нерешенная задача.

Это на самом деле основное направление, над которым мы работаем, и основная боль всего мира, к которому он пришел. То есть много людей, действительно, и мы сами работаем по гибридной модели, когда часть дней в офисе, часть дней можешь работать удаленно. И это действительно боль. Вот кто-то там сидит, кто-то в комнате сидит. В комнате обычно, если у тебя есть хорошее устройство, которое тебе дает общую картинку, общий звук собирает и так далее, более-менее решается вопрос. Но если этого нету, то это боль.

Мне кажется, будет прям прорыв.

Ну на самом деле, да. Качество звука, видео, количество пользователей, которые могут быть одновременно— это основной технический челлендж.

Очень похоже на саму доску, мне кажется. Спасибо большое, что пришел, очень интересный разговор.

Спасибо тебе, что позвал.

Это подкаст Студии Либо-Либо, и мы его сделали вместе с сервисом онлайн-образования Яндекс Практикум. Над подкастом работали редакторка Маша Агличева, продюсерка Настя Медведева, звукорежиссер Юрий Шустицкий. Сержин, за спасибо. Алексея Зеленского.

Редактор субтитров Т.Горелова Корректор А.Егорова