На чём быстро, просто и, желательно, недорого построить дашборд? Я лично всегда начинаю выбор с open source инструментов, часть из которых давно стали зрелыми продуктами, а другие позволяют проверить интересные технологии на практике.
Более известные
1. Apache Superset - используется уже повсеместно, много общедоступных инсталляций где можно посмотреть вживую. Например, экземпляр Superset Википедии. Уже зрелый продукт используемый многими компаниями по всему миру.
2. Grafana - довольно быстро вырвавшийся вперед инструмент для визуализации данных. Развивался изначально для отображения метрик и логов, а сейчас визуализирует почти что угодно. Для внутреннего использования очень удобно, для интеграции в свой продукт есть ограничения поскольку открытый код AGPL.
3. Metabase - когда-то основной конкурент Apache Superset, но стали отставать по скорости добавления новых возможностей и живут по принципу SaaS стартапа, с платным облачным сервисом и бесплатным продуктом для сообщества и под открытым кодом.
4. Redash - ещё один pure open-source продукт, открытый код для построения дашбордов , в этот раз под BSD2 лицензией и с поддержкой большого числа SQL и NoSQL источников данных.
Менее известные
5. Briefer - гибрид подготовки тетрадок (notebooks) и дашбордов. Изначально облачный сервис, потом выложили открытый код. Сама идея кажется разумной, но лицензия AGPL-3.0.
6. Quary - позиционируется как open source BI для инженеров. Инженерность, похоже, обеспечивается за счёт панели для SQL запросов? Выглядит простым, что может быть удобно для кого-то и полностью написан на Rust.
Непривычные
7. NeoDash - движок для дашбордов от Neo4J, базы данных и набора инструментов для работы с графами. Отличается той самой заточенностью на графовые данные. Сильно менее популярен чем другие и может быть даже малоизвестен. Лицензия Apache 2.0
8. SDMX Dashboard Generator - совсем редкая штука по созданию визуализации статистики по стандарту SDMX в виде дашборда. Открытый код, лицензия Apache 2.0. Изначально разрабатывался командой Банка международных расчётов (bis.org). Внутри используется движок Dash от Plotly
Не BI, не только дашборды
9. Dash от Plotly - нельзя назвать BI или дашбордопостроителем, это скорее инстурмент для создания data приложений. Может использоваться как компонент собственного продукта потому что лицензия MIT
10. Observable Framework не дашбордер, а генератор статистических сайтов для дата приложений. Идеально для дата сторителлинга и отчуждаемой дата аналитики. Может использоваться как часть своего продукта из-за необычной, но очень пермиссивной лицензии. Важное отличие от других продуктов - это создание статических снапшотов данных и отсутствие динамических запросов к СУБД.
Другие инструменты для дашбордов на которые стоит обратить внимание:
- Lightdash, Vizro, Datalens
#opensource #bi #datatools #dashboards #dataviz
Более известные
1. Apache Superset - используется уже повсеместно, много общедоступных инсталляций где можно посмотреть вживую. Например, экземпляр Superset Википедии. Уже зрелый продукт используемый многими компаниями по всему миру.
2. Grafana - довольно быстро вырвавшийся вперед инструмент для визуализации данных. Развивался изначально для отображения метрик и логов, а сейчас визуализирует почти что угодно. Для внутреннего использования очень удобно, для интеграции в свой продукт есть ограничения поскольку открытый код AGPL.
3. Metabase - когда-то основной конкурент Apache Superset, но стали отставать по скорости добавления новых возможностей и живут по принципу SaaS стартапа, с платным облачным сервисом и бесплатным продуктом для сообщества и под открытым кодом.
4. Redash - ещё один pure open-source продукт, открытый код для построения дашбордов , в этот раз под BSD2 лицензией и с поддержкой большого числа SQL и NoSQL источников данных.
Менее известные
5. Briefer - гибрид подготовки тетрадок (notebooks) и дашбордов. Изначально облачный сервис, потом выложили открытый код. Сама идея кажется разумной, но лицензия AGPL-3.0.
6. Quary - позиционируется как open source BI для инженеров. Инженерность, похоже, обеспечивается за счёт панели для SQL запросов? Выглядит простым, что может быть удобно для кого-то и полностью написан на Rust.
Непривычные
7. NeoDash - движок для дашбордов от Neo4J, базы данных и набора инструментов для работы с графами. Отличается той самой заточенностью на графовые данные. Сильно менее популярен чем другие и может быть даже малоизвестен. Лицензия Apache 2.0
8. SDMX Dashboard Generator - совсем редкая штука по созданию визуализации статистики по стандарту SDMX в виде дашборда. Открытый код, лицензия Apache 2.0. Изначально разрабатывался командой Банка международных расчётов (bis.org). Внутри используется движок Dash от Plotly
Не BI, не только дашборды
9. Dash от Plotly - нельзя назвать BI или дашбордопостроителем, это скорее инстурмент для создания data приложений. Может использоваться как компонент собственного продукта потому что лицензия MIT
10. Observable Framework не дашбордер, а генератор статистических сайтов для дата приложений. Идеально для дата сторителлинга и отчуждаемой дата аналитики. Может использоваться как часть своего продукта из-за необычной, но очень пермиссивной лицензии. Важное отличие от других продуктов - это создание статических снапшотов данных и отсутствие динамических запросов к СУБД.
Другие инструменты для дашбордов на которые стоит обратить внимание:
- Lightdash, Vizro, Datalens
#opensource #bi #datatools #dashboards #dataviz
superset.apache.org
Welcome | Superset
Community website for Apache Superset™, a data visualization and data exploration platform
В рубрике интересной визуализации данных DataRepublican [1] проект по визуализации доноров и получателей средств НКО в США и ряд других визуализаций. Можно сказать этакое пересечение Республиканской партии США и дата журналистики, редкое явление, но можно убедиться что реальное. На них ссылаются Wikileaks [2] подсвечивая расходы денег налогоплательщиков США на Internews [3], НКО получавшую существенную долю средств от USAID и поддерживавшее значительную часть СМИ по всему миру.
Что характерно в аккаунте Wikileaks большая волна идёт против USAID [4] с публикациями множества документов подтверждающих что мол они "лицемерные нехорошие ребята" и прямой инструмент мягкой силы США. В общем немного странно видеть такое единодушие WikiLeaks и республиканских блогеров, но допускаю что что-то пропустил.
А теперь про чисто техническое
Сама визуализация на DataRepublican интересная ещё и по тому как она сделана. Я вначале думал что там какая-то графовая база данных внутри, вроде Neo4J и сложные запросы через openCypher, но всё оказалось интереснее. В графах они подгружают на клиента ZIP файлы с CSV файлами внутри, около 7 мегабайт и распаковывают и отображают их через Javascript.
Очень оригинальное решение, я давно такого не видел. Вместо API грузить на клиента большие заархивированные батчи и обрабатывать их там после распаковки.
У них всё это, данные и код, есть в открытом репозитории, можно будет как-нибудь изучить [5]
Ссылки:
[1] https://datarepublican.com
[2] https://x.com/wikileaks/status/1888098131537183170
[3] https://datarepublican.com/expose/?eins=943027961
[4] https://x.com/wikileaks
[5] https://github.com/DataRepublican/datarepublican
#opendata #opensource #wikileaks #dataviz
Что характерно в аккаунте Wikileaks большая волна идёт против USAID [4] с публикациями множества документов подтверждающих что мол они "лицемерные нехорошие ребята" и прямой инструмент мягкой силы США. В общем немного странно видеть такое единодушие WikiLeaks и республиканских блогеров, но допускаю что что-то пропустил.
А теперь про чисто техническое
Сама визуализация на DataRepublican интересная ещё и по тому как она сделана. Я вначале думал что там какая-то графовая база данных внутри, вроде Neo4J и сложные запросы через openCypher, но всё оказалось интереснее. В графах они подгружают на клиента ZIP файлы с CSV файлами внутри, около 7 мегабайт и распаковывают и отображают их через Javascript.
Очень оригинальное решение, я давно такого не видел. Вместо API грузить на клиента большие заархивированные батчи и обрабатывать их там после распаковки.
У них всё это, данные и код, есть в открытом репозитории, можно будет как-нибудь изучить [5]
Ссылки:
[1] https://datarepublican.com
[2] https://x.com/wikileaks/status/1888098131537183170
[3] https://datarepublican.com/expose/?eins=943027961
[4] https://x.com/wikileaks
[5] https://github.com/DataRepublican/datarepublican
#opendata #opensource #wikileaks #dataviz