Arenadata Streaming 4.0 добавила Apache Iceberg V3 и совместимость с ADB 7

2 июля 2026 года Группа Arenadata представила Arenadata Streaming 4.0.0.b1. В релизе обновлены конвейеры потоковой обработки: Iceberg Sink Connector получил поддержку спецификации Apache Iceberg V3, NiFi ADB Connector — совместимость с Arenadata DB 7, а мониторинг можно строить на VictoriaMetrics через Arenadata Monitoring.

Что подтверждает первоисточник

Поддержка Iceberg V3 включает типы VARIANT и UNKNOWN, временные метки с точностью до наносекунд, deletion vectors и ключи шифрования метаданных. Это расширяет модель lakehouse-таблиц, но переход требует проверки совместимости всех движков, которые читают эти таблицы.

В NiFi ADB Connector добавлен процессор GetGreengageRecord. Он загружает данные из Greengage DB через gpfdist и поддерживает пошаговый режим, при котором читаются только новые диапазоны. По заявлению разработчика, такой подход уменьшает нагрузку на базу и NiFi в сценариях, близких к реальному времени.

Релиз также включает:

• совместимость NiFi ADB Connector с ADB 7 «из коробки»;
• установку ADS через ADCM Wizard с предварительной конфигурацией SSL, Kerberos и Ranger;
• поддержку мониторинга на базе VictoriaMetrics в Arenadata Monitoring;
• обновления сервисов Kafka и NiFi, коннекторов Debezium и Iceberg;
• поддержку Astra Linux 1.8.

Зачем Iceberg V3 потоковой платформе

Потоковая доставка в lakehouse должна управлять не только скоростью записи, но и изменениями строк, эволюцией схемы, качеством метаданных и совместимостью читателей. Deletion vectors позволяют представить удаления без немедленной перезаписи всех файлов данных. Наносекундные timestamps важны там, где порядок событий теряется при более грубой точности.

При этом сама поддержка спецификации в коннекторе не означает, что весь аналитический контур уже готов к V3. Таблицу могут читать разные версии Spark, Trino, библиотек Iceberg и служебных инструментов. Перед включением новых функций нужен инвентарный список всех читателей и писателей.

Что проверить в пилоте

1. Совместимы ли используемые аналитические движки с таблицами Iceberg V3.
2. Как обрабатываются обновления и удаления при повторной доставке событий.
3. Сохраняется ли ожидаемая точность timestamps по всей цепочке.
4. Как выполняется откат, если старый потребитель не читает новую таблицу.
5. Как растут метаданные и как настроено их обслуживание.
6. Какие права нужны NiFi, Kafka Connect, каталогу и объектному хранилищу.
7. Как ведёт себя GetGreengageRecord при разрыве, повторном диапазоне и изменении схемы.
8. Какие метрики и алерты доступны в VictoriaMetrics после установки.

Нагрузочный тест следует проводить на реальном распределении размеров записей и партиций. Средняя скорость не покажет задержку контрольных точек, накопление small files и поведение после остановки потребителя.

Ограничения новости

Официальный анонс описывает возможности релиза, но не приводит независимых сравнительных тестов, предельной производительности и стоимости миграции существующих таблиц. Версия имеет обозначение b1; правила поддержки и допустимость для конкретного промышленного контура необходимо сверять с документацией и договором.

Отдельно стоит проверить совместимость не только ADB 7, но и конкретных версий драйверов, схем аутентификации и сетевых политик. Предварительно настроенный Wizard ускоряет развёртывание, однако не заменяет модель угроз, ротацию сертификатов и эксплуатационные испытания.

Практический вывод

Релиз полезен командам, которые связывают Kafka/NiFi с lakehouse и Arenadata DB: новые возможности Iceberg и пошаговая загрузка уменьшают число самописных обходных механизмов. Начинать стоит с одной некритичной темы, отдельной V3-таблицы и обратимого плана миграции.

Для промышленного решения понадобятся схема интеграций, каталог владельцев данных, SLO конвейера и наблюдаемость от источника до витрины. Базовый подход к таким связям разобран в статье об архитектуре интеграций и API, а контроль метрик — в материале про наблюдаемость инфраструктуры.

Источник: официальное сообщение Arenadata от 2 июля 2026 года.