Трансляция:

• YouTube: 

• VK:

Приглашаем вас на девятый митап сообщества Database Internals. В программе два доклада от разработчиков из компании Яндекс, разрабатывающие разные продукты: YDB и YTsaurus

Мероприятие пройдет офлайн в офисе Яндекс по адресу г. Москва, ул. Льва Толстого д. 16, подъезд 3, 5-ый этаж, конференц-зал "Синий Кит".

Участвующим онлайн будет доступна трансляция на VK Video, YouTube и чат.

Мероприятие бесплатное. Регистрация обязательна. При очном участии обязательно наличие паспорта. Количество мест ограничено.

Трансляция мероприятия организована нашими друзьями из компании Яндекс.

Программа

19:00 – 20:00 Exactly once в YDB. Алексей Николаевский, Руководитель YDB Topics, Яндекс
20:00 – 20:10 Перерыв
20:10 – 21:10 Балансировка нагрузки в системе потоковой обработки данных YT Flow. Александр Ляпунов, разработчик YT Flow, Яндекс

Доклады

Exactly once в YDB

Алексей Николаевский,  руководитель YDB Topics, Яндекс

Exactly once — это сложно. Просто звучащее требование реализовать дорого. Когда у вас одна БД и транзакция над несколькими таблицами, exactly once получается из коробки. Но в реальном мире есть необходимость при обработке перекладывать данные из потокового брокера сообщений(например, из Apache Kafka) в БД, из БД в брокер сообщений, из одной БД в другую БД. Есть необходимость строить CDC (Change Data Capture) по таблице. 

В докладе рассмотрим, как YDB позволяет решать эти задачи с гарантиями и как это устроено под капотом.

Балансировка нагрузки в системе потоковой обработки данных YT Flow.

Александр Ляпунов, разработчик YT Flow, Яндекс

Системы потоковой обработки данных, как и любые распределенные системы, сталкиваются с проблемой балансировки нагрузки (ресурсов) в кластере. YT Flow, будучи платформой для создания таких систем, должна решать проблему балансировки для произвольных сценариев.
В этом докладе я расскажу про системы потоковой обработки данных в целом, особенности балансировки нагрузки в них в частности, про сходства и различия в этом контексте с распределенными базами данных. Затем я расскажу, как проблемы балансировки решаются в YT Flow и каких результатов мы достигли.

Полезные ссылки

• Telegram-чат сообщества: https://t.me/databaseinternalschat
• Анонсы предстоящий событий: https://databaseinternals.timepad.r...