При выборе аналитической базы данных, конечно, нужно тестировать на своих данных и запросах, которые будут задавать ваши пользователи. Но для создания шорт-листа СУБД для тестирования всем хочется посмотреть реальные данные чужих тестов. Ребята из Управления хранилищ данных банка «Тинькофф» поделились на Хабре своими результатами тестирования in-memory (и не только) баз данных и наблюдениями. Сегодня приведем краткую выжимку их тестов производительности Exasol, Greenplum, ClickHouse, SAP HANA, MemSQL и Cloudera Impala.

Требования к СУБД и кейс использования

Текущее хранилище на основе БД Greenplum не очень устраивало по скорости выполнения запросов. Тестирование СУБД проводили для выбора front-end базы данных хранилища для выборочного набора данных (до 4 Тб, с возможным увеличением). Целевая БД должна была обладать следующей функциональностью:

• поколоночное хранение данных,
• горизонтальная масштабируемость,
• возможность выполнять локальные join-ы и использовать «правильный» ключ распределения в таблицах (ad-hoc запросы пользователей в 90% случаев – это Select c join-ами (от 1 до 10) по условиям равенства и, иногда, условиям вхождения дат в интервал),
• эффективная работа с кэшем и большим объёмом доступной памяти,
• Хорошая интеграция с BI-системой SAP Business Objects (она будет обращаться к БД, помимо ad-hoc запросов пользователей)
• Надежный, желательно, инкрементальный, импорт данных из Greenplum (это текущее основное хранилище данных Тинькофф и загрузка данных в БД будет из него)
• Оконные функции,
• Резервирование (способность хранить несколько копий данных на разных нодах),
• Простота дальнейшего расширения кластера,
• Параллельная загрузка данных.

Инфраструктура для тестирования

На каждую тестируемую базу данных было выделено два физических сервера:

• 16 физических ядер (32 с HT)
• 128 Гб оперативной памяти
• 3.9 Тб дискового пространтства (RAID 5 из 8 дисков)
• Сервера связаны 10 Гбит-ой сетью.
• Операционная система для каждой базы данных выбиралась исходя из рекомендаций по установке БД. То же касается настроек ОС, ядра и т.д.

Результаты тестирования производительности

Объем тестовых данных – 200 Гб в несжатом виде и чуть больше 522 млн. строк. Самые ресурсоемкие запросы – D1 и D2, декартово произведение одной и нескльких колонок соответственно. Подробное описание самих данных и тестовых запросов можно скачать по ссылке.

Результаты сравнительного тестирования баз данных Exasol, Greenplum, ClickHouse, MemSQL, SAP Hana, Cloudera Impala – в таблице ниже. Время указано в секундах выполнения запроса.

Комментарий Дмитрия Павлова, руководитель администрирования хранилищ данных банка Тинькофф: «Про число запусков тестовых запросов: везде бралось первое выполнение запроса. При этом экспериментально выяснили, что первое и второе выполнения по времени значительно отличаются только у Exasol — второй раз он отрабатывает значительно быстрее за счёт построенных при первом запуске индексов (впрочем даже время первого выполнения в Exasol всегда значительно меньше, чем второго всех остальных баз). Пример:

Правильнее, конечно, было выполнить каждый запрос 5-10 раз, отбросить лучшее и худшее и взять среднее от оставшегося, однако тогда тестирование бы затянулось. Кроме того, так как мы рассчитываем на этой базе выполнять в том числе и ad-hoc запросы пользователей, время первого выполнения нам интересней».

Сравнение СУБД по ключевым для Тинькофф критериям

Также опубликую таблицу сравнения баз данных по критериям, которые выбрала команда банка. Это данные 2016 года, версия продукта указана, большинство критериев применимы и сейчас.

Если Вам нужна тестовая лицензия Exasol с параметрами, превышающими 200 Гб сырых данных (как в Exasol Community Edtion), обратитесь к нам, в Консультационную Группу АТК, официальному партнеру Exasol в России – мы оформим тестовую лицензию и поможем с пилотным проектом.

Обращайтесь: consult@atkcg.ru или +7 (495) 937 16 50

Источник: Сравнение аналитических in-memory баз данных