MongoDB Atlas Stream Processing расширяет аналитику в реальном времени новыми интеграциями Iceberg и Kinesis

MongoDB Atlas Stream Processing обновил возможности обработки потоков данных, добавив поддержку Apache Iceberg и расширение источников и приёмников на платформе Atlas. Обновления стали доступны в 2026 году после серии релизов, начиная с июня.

Функция позволяет обрабатывать данные из Kafka, Kinesis и Pub/Sub с помощью агрегационных конвейеров MongoDB. Пользователи могут выполнять непрерывные вычисления с окнами tumbling, hopping и session, а также обогащать данные через $lookup и $vectorSearch.

Новые источники, приёмники и уровни производительности

С июня 2026 года в Atlas Stream Processing доступна стадия $iceberg для прямой записи в таблицы Apache Iceberg на AWS S3. Эта возможность реализована для тарифов SP10 и выше. Дополнительно появились приёмники Azure Blob Storage и Google Cloud Pub/Sub, а также источники и приёмники AWS Kinesis.

В октябре 2025 и феврале 2026 компания ввела тарифы SP2, SP5, SP10, SP30 и SP50 с оплатой по количеству процессоров. SP2 предназначен для разработки и предлагает 0,25 vCPU и 0,5 ГБ памяти, а SP50 поддерживает до 8 vCPU и 32 ГБ с высокой параллельностью. Добавлены вертикальное автомасштабирование и расписания cron в источниках.

Все функции работают в регионах AWS, Azure и Google Cloud. Поддерживаются очереди недоставленных сообщений, проверка схем и интеграция с Private Link. Мониторинг усилен метриками использования ресурсов.

Контекст развития и дальнейшие планы

Atlas Stream Processing стал общедоступен 2 мая 2024 года на конференции MongoDB.local в Нью-Йорке. С тех пор продукт интегрирован с change streams MongoDB и внешними системами для event-driven приложений и синхронизации с lakehouse.

Обновления 2025–2026 годов включают workspaces, $vectorSearch и расширенные регионы. По заявлениям MongoDB, следующие шаги направлены на поддержку дополнительных каталогов Iceberg, включая Snowflake и Databricks, а также улучшение observability в мультиоблачных средах.

Для российских пользователей доступ к новым облачным сервисам Atlas ограничен с 2022 года из-за санкционных требований. Глобальная инфраструктура продукта продолжает развиваться без привязки к конкретным регионам РФ.