🤖 Rtutor.ai для работы с вашими данными с помощью запросов на естественном языке

Steven Ge написал приложение RTutor, которое позволяет генерировать и тестировать код на языке R, просто "общаясь" с ним. Например, на основе набора данных mpg можно задавать такие вопросы: "С помощью ggplot2 создай боксплот (boxplot) для зависимости hwy от класса. Цвет по классам. Добавь джиттер" (Use ggplot2 to create a boxplot of hwy vs. class. Color by class. Add jitter).

RTutor сгенерирует функциональный код для ответа на ваш вопрос, что упрощает проведение предварительного анализа и визуализации данных для тех, кто не имеет опыта работы с R. Тем же, кто имеет опыт работы с R, RTutor поможет сэкономить время, предоставляя код, который можно использовать в качестве отправной точки для своих проектов.

RTutor может быть запущен локально как пакет R. Он также генерирует код R в формате Markdown и html-отчеты.

#R #ggplot2 #AI #chatGPT

⚡️Yandex DataLens в open source!
Сегодня для DataLens большой день, теперь доступна open-source версия инструмента. Каждый может предложить улучшения на GitHub или доработать инструмент под себя и использовать на своих серверах. Это первый релиз и со временем работа c открытой версией будет проще и удобнее. Комьюнити очень круто выиграет от того, что это не просто open source, а коммерческий проект, который будет развиваться профессиональной командой.

Я наблюдал за проектом со стороны и был удивлён тем, что выйти в open source — это совсем не «мы просто сейчас возьмём репозиторий, в github переложим и всё». Было проделано много работы: с кодом, сборкой проекта, дизайном, юридическими нюансами (оказывается их очень много!) и работой с зависимостями.

🎉 Поздравляю всю команду проекта! 💪

🔗 Ссылки
— Сайт проекта
— GitHub
— Статья на Хабр
— Чат DataLens
P.S. А ещё классный новый логотип во всех версиях =)
#ссылка

Просто симпатичный график о смертях от ДТП в Осло.

Нравится как решен показ неполноты данных с 1975 по 2000 год. Линия времени непрерывная, и данные показаны только там, где они были.

(И да, в Осло, где живет 600 с лишним тысяч человек за год от ДТП погиб один водитель, 0 пешеходов, 0 велосипедистов)

#датавизприемы

Общество визуализации данных (Data visualization society) опубликовало результаты глобального опроса о состоянии дел в индустрии. Результаты возможно кого-то удивят.

☀️ Наиболее популярный инструмент среди опрошенных - Эксель (63%), далее Табло (44%) и Пауэрпойнт (41%). Просто зафиксировать. Один из наиболее популярных инструментов, где постоянно работают датавизеры - Пауэрпойнт. Как говорится - теперь живите с этим.

☀️ Средняя почасовая оплата для датавизера - 60-70 долларов в час. Сравнили со своей? ;)

☀️ 81% заявили, что предпочитают нарабатывать навыки датавиз прямо во время работы над очередным проектом

☀️ Главная проблема в общении с заказчиками - отсутствие навыков дата-грамотности у них. И - непонимание ценности датавиз вообще. Еще раз - непонимание ценности датавиза. Живите с этим номер два.

Полный отчет только для участников коммьюнити, которые делают взносы.

Надо сделать важную ремарку, что в опросе участвовали совершенно разнородные группы датавизеров - дизайнеры, дата-журналисты, разработчики, аналитики, ученые, менеджеры.

Очень красивая интерактивная карта Римской империи, сделанная в Tableau. Залипательно.

(Смотреть только с большого экрана)

Удивительно, но сама концепция гистограммы — визуализации распределения, плохо доходит до студентов, которые только начинают осваивать визуализацию данных.

Равномерные бины (интервалы), в которые попадает количество значений. Звучит достаточно замороченно.

Между тем — это один из типов визуализации, с которым мы сталкиваемся регулярно во всевозможных сервисах выбора билетов, бронирований и т. п. Причем зачастую эта визуализация совмещена с фильтром (или скорее фильтр с визуализацией), что можно только приветствовать. Это делает гистограмму еще более понятной и "вещественной".

Рома Бунин - единственный спикер, который выступает на Матемаркетинге четвёртый (!) раз подряд.

Секрет в том, что Рома каждый год рассказывает новую серию своего собственного импровизированного сериала.

Пробегитесь по предыдущим докладам, послушайте приглашение Ромы и анонс новой серии, а также регистрируйтесь на сайте, чтобы завтра тоже послушать очередную серию - лекция Ромы будет в публичном доступе, нужно лишь оформить себе free-доступ на странице matemarketing.ru/tickets (купить билет тоже здорово 🙂)

— Процессы для построения BI-системы
— Сериал про систему дашбордов: мафия, ресторан
— Как совмещать разные инструменты и строить команду

Ещё один удачный пример физикализации данных *. Ранее постил распределение учителей по возрасту.

* Физикализация данных – демонстрация их с помощью объектов реального мира

#физикализация_данных #примеры_визуализаций #разное

Визуализация на обложке книги Греты

Источник

Инструмент для визуализации данных RawGraphs анонсировал на внешнюю аудиторию новую функцию — возможность создавать и использовать «кастомные виды графиков».

Это значит, что теперь любой член комьюнити может написать шаблон для отображения нового вида визуализации, а любой другой пользователь — просто построить по этому шаблону свой график.

Ну и пару слов о RawGraphs — если вы о нём не слышали. Это сервис, который позволяет делать «основу» для вашей инфографики, которую, как правило, потом надо дорабатывать в графическом редакторе. Там нет настройки подписей, заголовков и прочих мелочей, зато есть много видов графиков, которые сложно где-то ещё построить без кода. А теперь, видимо, будет ещё больше ☺️

Вот такой график опубликовало издание «Медвестник», чтобы рассказать, какая страшная в России ситуация с корью.

Вообще в нём прекрасно всё. Прямо кандидат на конкурс отвратительных графиков — только сравните числа в 2015 и 2016 году. Но дополнительно отмечу, что обрезать столбики здесь — это прямо как стрелять себе в ногу.

Произошло нечто экстраординарное, но дизайнер по какой-то причине постеснялся об этом рассказывать и решил масштабы проблемы «преуменьшить»

Тут в комментариях к кейсу с корью спрашивали, что делать, если значения настолько маленькие, что их вообще не видно.

Вот один из вариантов, который мы когда-то делали в Т—Ж: можно отдельно зазумить область, которую нужно рассмотреть более детально. Но и оригинальный масштаб тоже сохранить — чтобы отчётливо была видна драматичная разница

Гугл навигатор поменял цвет свободной от пробок дороги с зелёного на синий. Это решение можно только приветствовать. Так как "светофорная" гамма при всей понятности и интуитивности имеет серьезный недостаток. Она может плохо читаться людьми с дальтонизмом, а их довольно существенный процент, особенно среди мужчин. В зависимости от нарушения цветовосприятия и его степени это может приводить к полной неразличимости оттенков красного и зелёного.

Сине-оранжево-красная гамма лишена этого недостатка, поэтому для подобных задач должна использоваться максимально широко.

📈Программа конференции «Дата-сторителлинг»

Я задумывал эту конференцию как «домашнюю», для самого близкого круга друзей и коллег. Но прямо сейчас я вижу сотни регистраций и невероятный интерес к ней, это очень приятно.

Мы сверстали программу, это большая работа!
Уже 9 декабря мы будем говорить о том, как понимать окружающий мир, свой бизнес и самого себя с помощью таблиц, графиков и диаграмм.

Поделитесь с коллегами и близкими, если еще не.

Встречаемся 9 декабря. Бесплатно, онлайн. Регистрируйтесь: https://dorozhnij.com/conference

А вот и сама программа (время мск):

11:10 - 11:30
Что статистика знает о россиянах
Невероятный Сергей Антонов, шеф-редактор редакции статистики в Тинькофф-Журнале расскажет о том, как с помощью данных понять, насколько вы нормальный

11:40 - 12:00
Как не дать картам себя обмануть
Легендарный Александр Зуев, автор тг-канала «Картографическая гостиная», расскажет о том, как нарисовать карту так, чтобы не ввести зрителя в заблуждение

12:10 - 12:30
Как поймать инсайт в сети
Несравненная Настя Кузнецова, автор тг-канала «настенька и графики» расскажет понятным языком про сетевой анализ и графы. Кажется, до этого никто не делал ничего подобного

12:40 - 13:00
Кровь, цветы и женщины — почему визуальные образы не обязательно делают инфографику «мусорной»
Талантливейший Леша Смагин, автор тг-канала data.csv расскажет о том, как отрицать Тафти и создавать запоминающиеся визуализации

13:10 - 13:30
Как алгоритмы решают, какую музыку мы будем слушать
Самый крутой специалист по бигдате в России Артур Хачуян раскроет главный секрет популярности Тэйлор Свифт!

13:40 - 14:20
Дискуссия (участники уточняются)

14:20 -14:30
Закрытие конференции

📈Регистрируйтесь: https://dorozhnij.com/conference

Хорошая статья с описанием ошибок в научных визуализациях. Помимо широко описанных, есть и довольно специфичные именно для научных, рекомендую к прочтению.

https://habr.com/ru/companies/ruvds/articles/776672/

Оригинал на английском

📈Лучший дашборд
или чек-лист, как как отказаться от разработки дашборда 😈

Я люблю дашборды, но, к сожалению, часто их делают зря. Собрал 5 вариантов, когда стоит попробовать другое решение. Итак, задаем себе и заказчику вопрос — для чего нам нужен дашборд? Если ответ из списка, то дашборд не делаем.

1. Следить за коротким проектом (2-4 недели)
Если проект короткий, то лучше используйте гугл-таблицы с ручным или автоматическим обновлением данных.

2. Повесить на стену смотреть всё ли в порядке
Или слышите вопрос «а ваш BI умеет real-time?». Вместо этого сделайте алерты и регулярную рассылку в мессенджеры.

3. Смотреть данные и менять настройки в другой системе
Если каждый раз при работе с дашбордом пользователь будет что-то менять в другой системе (например, CRM) или вы слышите вопрос «а ваша BI умеет writeback в базу?», то настройте нормально CRM или другой софт и встройте туда графики через embedings.

4. Показать на презентации совету директоров
Если это не регулярка, а разовое выступление, то просто сделайте презентацию.

5. Следить за целями подразделения
Если это OKR или цели компании/подраздления, где не только численные KPI, a много разных типов результатов (выручка, закрыт или нет проект, процент выполнения проекта, результаты опроса сотрудников и т.п.) из большого количества часто ручных источников, то используйте гугл-таблицы и усвловное форматирование.

Ну и конечно же ещё есть ответ «чтобы скачать данные в эксль», но про это даже не буду говорить =)

Бонусный вопрос
Спросите заказчика, что он будет делать, если завтра основная метрика на дашборде упадёт на 30%. Если он не знает ответ, то лучше вместо дашборда заняться процессами.

И помните: лучший дашборд — дашборд, который не пришлось делать!