Database Internals Meetup #8 (офлайн + онлайн): Автофейловер и данные в двух датацентрах и Алгоритмы для непрерывной обработки запросов

Восьмой митап российского сообщества разработчиков СУБД и распределенных систем. Обсудим вариант реализации автофейловера между ДЦ и фундаментальные проблемы современных систем анализа потоковых данных, таких как Apache Flink.

ИТ и интернет 12+

Приглашаем вас на восьмой митап сообщества Database Internals. В программе два доклада от разработчиков из компании VK Tech и руководителя направления больших данных Исследовательского института Ломоносова.

Мероприятие пройдет офлайн в офисе VK Tech по адресу г. Москва, Ленинградский пр-т, д. 70, БЦ "Алкон", вход "Север", этаж 3, конференц-зал.

Участвующим онлайн будет доступна трансляция на VK Video, YouTube и чат.

Мероприятие бесплатное. Регистрация обязательна. При очном участии обязательно наличие паспорта. Количество мест ограничено.

Трансляция мероприятия организована нашими друзьями из компании VK Tech.

Программа

19:00 – 20:00 Автофейловер и данные в двух датацентрах. Александр Туренко и Георгий Белянин, разработчики VK Tech
20:00 – 20:10 Перерыв
20:10 – 21:10 Алгоритмы для непрерывной обработки запросов. Рене ван Беверн, руководитель направления больших данных, Исследовательский институт Ломоносова

Доклады

Автофейловер и данные в двух датацентрах

Александр Туренко и Георгий Белянин, разработчики VK Tech

Широко известен алгоритм RAFT, в котором главный узел выбирается голосованием внутри кластера. Для RAFT’а надо минимум три ЦОДа, это довольно затратно. В докладе рассматривается подход с внешним арбитром и СУБД в двух ЦОДах. Расскажем про разные аварии, нюансы распределенных блокировок а-ля redlock, про fencing tokens, двухфазные вызовы, плюсы и минусы внешнего состояния, особенности разбора проблем и подходы к усилению мощности тестирования.

Алгоритмы для непрерывной обработки запросов

Рене ван Беверн, руководитель направления больших данных, эксперт по обработке больших данных в реальном времени, Исследовательский институт Ломоносова

Непрерывная обработка запросов позволяет проводить анализ потоков данных в реальном времени, но создает алгоритмические проблемы из-за неограниченного объема данных, строгих ограничений по задержке и непредсказуемой динамики потоков. В этом докладе рассматриваются основные алгоритмические методы, лежащие в основе современных систем анализа потоковых данных, таких как Apache Flink, включая эффективные агрегации над окнами, инкрементальные вычисления, управление состоянием, отказоустойчивость, приближённую и адаптивную обработку запросов.