От эпичного провала до вебинара Ксении Собчак

Делюсь радостью. Вчера на нашей платформе smartwebinar.org прошел вебинар Ксении Собчак. Вебинар посетило несколько десятков тысяч человек. Платформа выдержала. И не просто выдержала… из 30 серверов, которые мы развернули «на всякий случай», чтобы точно выдержать, всю огромную нагрузку перелопатил всего 1 из 30 серверов(!).

С таким запасом прочности, думаю мы можем уверенно справляться с вебинарами на 100-300 тысяч человек. Есть желающие?))

История падения и взлета:

1. Осенью, после удачного вебинара для Мари Афониной на 35 000 человек мы решили идти дальше, к вебинарам на 100 000 человек. Для этого переехали «в облако». Построили систему, когда каждую критичную задачу могут одновременно выполнять много серверов. Больше серверов включил – большую нагрузку выдержал! Кра-со-та!!!.

2. Но случился мартовский вебинар Мари Афониной и мы «обосрались». Нагрузка во время массового входа зрителей так быстро выросла, что система не успела автоматически развернуть дополнительные сервера. Система упала на несколько минут, а с ней и доверие Мари к нашей платформе. Стыд и досада сжигали мои внутренности и душу в тот вечер…

3. Впереди нас ждал вебинар Ксении Собчак. Из страха вновь ударить в грязь лицом мы сделали много оптимизаций.
– научились выполнять ту же работу в 10 раз эффективнее. Т.е. там где требовалось 10 серверов, теперь справлялся 1.
– пригласили главного админа из ТОПовой IT-компании, чтобы он проверил нас и подкрутили настройки
– научились «валить» свою же систему нагрузочными тестами. И продолжили оптимизировать, чтобы не падать.
– развернули сервера заранее, чтобы справиться с резким скачком нагрузки в момент входа пользователей

В итоге мы справились, используя всего 3% развернутых мощностей!

Это победа! Благодарю нашу команду, которая сделала все это! Благодарю руководителей из команды Ксении, которые поверили в нас.