Один лист Excel в актуальных версиях поддерживает до 1 048 576 строк и 16 384 столбцов. Рабочая книга может стать медленной гораздо раньше: результат зависит от формул, связей, Power Query, разрядности, памяти и способа хранения данных. Количество строк само по себе не определяет момент перехода на другой инструмент.
DuckDB, ClickHouse и MotherDuck часто попадают в один обзор, хотя решают разные архитектурные задачи. Выбор начинается с режима нагрузки, числа пользователей, места хранения и требований к эксплуатации.
DuckDB: аналитика внутри процесса
DuckDB — аналитическая SQL-СУБД, которая может работать внутри приложения или локального процесса. Она читает CSV, JSON и Parquet, поддерживает работу с локальными файлами и объектными хранилищами. Для разового анализа и подготовки данных отдельный сервер часто не требуется.
Такая архитектура удобна аналитику или приложению, которое само управляет вычислением. Она не превращает DuckDB в универсальную замену транзакционной базе с большим числом одновременных записей. Сценарии конкурентного доступа и удаленной работы нужно проектировать отдельно.
ClickHouse: серверная аналитическая нагрузка
ClickHouse — колоночная СУБД для аналитических запросов. Ее выбирают, когда данные загружаются регулярно, запросы выполняют многие пользователи или система обслуживает встроенную продуктовую аналитику. Развертывание требует решений по схеме таблиц, партиционированию, репликации, резервному копированию и наблюдаемости.
Размер таблицы не служит достаточным критерием. Несколько гигабайт с высокой частотой запросов могут требовать серверного контура, а большой архив Parquet может обрабатываться локально эпизодическими запросами.
MotherDuck: облачная среда вокруг DuckDB
MotherDuck развивает облачную платформу на базе DuckDB. Ее гибридное выполнение позволяет сочетать локальные и удаленные данные и вычисления. Это отдельная модель размещения: до выбора нужно проверить доступ из корпоративной сети, требования к локализации и конфиденциальности данных, стоимость вычислений и процедуру выгрузки.
Запись, конкурентный доступ и свежесть данных
Аналитическая скорость чтения — только одна характеристика. Если десятки сервисов одновременно записывают события, нужно проверить модель вставки, дедупликацию, задержку появления данных и поведение при повторной доставке. Для интерактивного отчета важны число параллельных запросов и ограничение ресурсов одного пользователя.
DuckDB хорошо работает внутри одного аналитического процесса, но схема совместного доступа требует отдельного решения. ClickHouse рассчитан на серверную эксплуатацию и потоковую загрузку, однако качество зависит от выбранной структуры таблиц и порядка обновлений. MotherDuck добавляет облачный контур; вместе с ним появляются сетевые задержки, управление учетными записями и тарификация удаленных ресурсов.
Что происходит с транзакционными данными
Эти инструменты не отменяют систему, где создается первичная операция. CRM, ERP или приложение продолжают отвечать за транзакции. Аналитический слой получает копию данных через пакетную загрузку, журнал изменений или поток событий. В проекте нужно определить допустимую задержку и способ исправления расхождений.
Если отчет показывает данные на 15 минут позже, это может быть приемлемо для управления продажами и неприемлемо для контроля платежа. Термин real time без заданной задержки не содержит технического требования.
Практическая матрица выбора
- локальный анализ файлов одним специалистом или внутри приложения — проверить DuckDB;
- постоянная аналитическая нагрузка и одновременные запросы пользователей — проверить ClickHouse;
- нужен DuckDB-совместимый облачный контур и совместная работа — проверить MotherDuck;
- есть закрытый контур или специальные требования к данным — сначала определить допустимую модель развертывания.
Слово «проверить» здесь принципиально. Окончательный выбор делается на типовых запросах и реальной схеме данных.
Как проводить тест
Набор сравнения должен включать объем и формат данных, схему таблиц, версии продуктов, конфигурацию оборудования, число параллельных пользователей и перечень запросов. Для каждого запроса фиксируют холодный и прогретый запуск, потребление памяти, время загрузки и стоимость эксплуатации.
Отдельно проверяют обновление данных, резервное копирование, контроль доступа и восстановление после ошибки. Быстрый SELECT не компенсирует неподходящую модель записи или отсутствие процедуры восстановления.
Как считать стоимость владения
Для локального DuckDB основными затратами могут оказаться время аналитика, хранение файлов и воспроизводимость расчетов. Для ClickHouse добавляются серверы или облачный тариф, резервное копирование, обновления, наблюдаемость и компетенции эксплуатации. Для MotherDuck проверяются стоимость хранения, вычислений, передачи данных и зависимость от внешнего сервиса.
Сравнение за один месяц искажает картину, если перенос и настройка занимают квартал. Рабочий горизонт охватывает весь ожидаемый срок использования с учетом роста объема, пользователей и требований к доступности.
Безопасность и управление данными
Перед пилотом фиксируют классы данных, допустимые места хранения, модель ролей, журналирование запросов и срок удаления. Открытая лицензия продукта не означает, что конкретное развертывание автоматически соответствует внутренним требованиям. Облачный сервис оценивается вместе с договором, регионом хранения и механизмом выгрузки.
Путь миграции
Первый шаг можно сделать без переноса всей платформы. Выбирается один регулярный расчет, сохраняется исходная версия и создается воспроизводимый SQL-конвейер. После проверки результата подключается расписание, контроль качества и публикация отчета. Решение о серверном или облачном контуре принимается по фактической нагрузке этого процесса.
Источники
- Microsoft: спецификации и ограничения Excel
- DuckDB: официальный сайт и документация
- ClickHouse: официальная документация
- MotherDuck: описание гибридного выполнения
Небольшой воспроизводимый тест дает больше информации, чем универсальный порог в строках. Архитектуру усложняют после появления измеримой нагрузки, которую текущий контур уже не выдерживает.
