Data warehouse или data lake: как выбрать хранилище данных

Чем отличаются data warehouse и data lake по структуре, качеству, пользователям, стоимости, управлению и типовым сценариям аналитики.

Data warehouse дает согласованную устойчивую структуру для регулярной управленческой отчетности, а data lake сохраняет разнообразные исходные данные для более гибкого исследования.

Смотрите на задачу

Финансовая отчетность требует стабильных моделей и контроля качества, тогда как исследование сырых событий ценит гибкость. Пользователи различаются.

Учитывайте управление

Озеро без каталога, владельцев, форматов и правил доступа быстро превращается в неизвестный архив. Структура все равно нужна.

Допускайте сочетание

Сырые данные можно хранить дешево, а проверенные наборы публиковать в аналитическом слое для BI. Границу делайте понятной.

Выбирайте архитектуру после оценки источников, объема, скорости, типов запросов, компетенций и требований безопасности, а не по модному названию, поскольку стоимость проявится прежде всего в поддержании качества и понятности данных годами.

До архитектуры согласуйте определения KPI. Происхождение данных фиксируйте через lineage.