трок, зато выполняет медленно аналитические запросы, поэтому нам нужна DW, чтобы мы могли задавать вопросы (писать аналитические запросы)
OLAP – В народе называют КУБ, бывает ROLAP (реляционный) и MOLAP (многомерный). По-простому, для меня это просто результат запроса сохраненный в КЭШ. Реляционный куб создается, когда мы делаем в BI drag and drop и создаем отчет (BI создал SQL, выполнил его, сохранил результат и мы работаем с ним), Многомерный куб создается отдельно, там прописываются иерархии и тп, и потом мы строим Кросс Таблицу (Pivot) и анализируем. И часто, там не обойтись без языка MDX, типа SQL но для многомерных кубов. Самый популярный продукт Microsoft Analyses Service. Я всегда обходил все это дело стороной, и вроде обошлось. В целом, если есть возможность, лучше с ним не заморачиваться, да и вообще для меня вся это OLAP терминология устарела.
Dimension – измерение, как правильно в BI инструменты поля/объекты типа Дата, Имя, Название Продукта и тп, являются измерениями.
Measure – мера, показатель, то есть все что можно агрегировать, кстати в SQL мы для этого используем GROUP BY, а в DW мы может создать таблицу фактов, где уже будут пересчитаны метрики, но это уже головная боль архитектора хранилища данных, если такой у вас имеется.
Staging – так называется область в DW, куда складывается черновые данные или копируются сырые данные из систем источников, например OLTP или Google Analytics, чтобы потом уже создать таблицу фактов и тп.
Data Model – модель данных (не путать с моделью для machine learning). Архитектор DW рисует модель данных, бывают разные подходу, тоже популярный вопрос на собеседование, все спрашивают про него, но мало кто использует, вот и я тоже, не очень использую. А ответ такое, бывает По Инмону, когда модель данных в 3й нормально форме, а бывает по Кимпбалу, когда у нас есть витрины данных. У Инмана, модель покрывает весь бизнес и ее легко дополнять, а вот у К. сложней, там витрина данных как правило покрывает один бизнес-процесс или департамент, зато быстрей внедрить. У К. как раз есть понятие Dimensional Modeling, то есть, когда у нас есть таблица фактов, а по краям Таблицы измерений, и у нас получается схема звезда. (На собеседовании, я бы спросила, а в чем отличие от схемы снежинка?), есть еще и другие подходы, например Data Vault, это уже advance level, я пока не пробовал.
ETL – extract transform load, то есть мы просто извлекаем данных, трансформируем и загружаем, обычно это делается с помощью ETL инструментов, где есть GUI и мы мышкой все можем сделать (можно и на языке программирования). На самом деле это процесс правильно называть Data Integration (интеграция данных) и может быть ELT, то есть мы данные извлекаем, загружаем в DW, и потом трансформируем, используя мощность аналитического DW. Есть бесплатные инструменты Talend, Pentaho DI, или платные Informatica или облачные Azure Data Factory, AWS Glue. Многие любят Python. Я люблю Matillion ETL (Cloud ELT для AWS Redshift).
Big Data – есть понятие большие данные, но сложно сказать, насколько данные должны быть большими, чтобы их так называли. Чаще используют так для названия инструментов для работы с большими данными, как правило это Hadoop и его аналоги. Мое мнение, что сейчас Hadoop уже не так популярен, и его любят люди, которые предлагают услуги с Hadoop, потому что это очень сложные и дорогие проекты. Например, говорят, что. AWS S3 убило слона, но спорить не буду. Например, до сих пор использую его, как вычислительную мощность, чтобы обрабатывать логи кликстрима, но можно и без него обойтись.
Data Lake – озеро данных, как правило дополняет современной аналитическое решение. Обычно это файловое хранилище, например AWS S3 или Azure Blob Storage (просто файловое хранилище, типа Google Drive, но работает в экосистеме аналитических решений)
Data Mining/Data Science/Machine Learning/AI – по этим ребятам лучше комментировать не буду, так как это уже смежная область, но добавлю, что они часто входят в аналитическое решение организации, и существует куча успешных бизнес кейсов по использованию этих технологий. Та
OLAP – В народе называют КУБ, бывает ROLAP (реляционный) и MOLAP (многомерный). По-простому, для меня это просто результат запроса сохраненный в КЭШ. Реляционный куб создается, когда мы делаем в BI drag and drop и создаем отчет (BI создал SQL, выполнил его, сохранил результат и мы работаем с ним), Многомерный куб создается отдельно, там прописываются иерархии и тп, и потом мы строим Кросс Таблицу (Pivot) и анализируем. И часто, там не обойтись без языка MDX, типа SQL но для многомерных кубов. Самый популярный продукт Microsoft Analyses Service. Я всегда обходил все это дело стороной, и вроде обошлось. В целом, если есть возможность, лучше с ним не заморачиваться, да и вообще для меня вся это OLAP терминология устарела.
Dimension – измерение, как правильно в BI инструменты поля/объекты типа Дата, Имя, Название Продукта и тп, являются измерениями.
Measure – мера, показатель, то есть все что можно агрегировать, кстати в SQL мы для этого используем GROUP BY, а в DW мы может создать таблицу фактов, где уже будут пересчитаны метрики, но это уже головная боль архитектора хранилища данных, если такой у вас имеется.
Staging – так называется область в DW, куда складывается черновые данные или копируются сырые данные из систем источников, например OLTP или Google Analytics, чтобы потом уже создать таблицу фактов и тп.
Data Model – модель данных (не путать с моделью для machine learning). Архитектор DW рисует модель данных, бывают разные подходу, тоже популярный вопрос на собеседование, все спрашивают про него, но мало кто использует, вот и я тоже, не очень использую. А ответ такое, бывает По Инмону, когда модель данных в 3й нормально форме, а бывает по Кимпбалу, когда у нас есть витрины данных. У Инмана, модель покрывает весь бизнес и ее легко дополнять, а вот у К. сложней, там витрина данных как правило покрывает один бизнес-процесс или департамент, зато быстрей внедрить. У К. как раз есть понятие Dimensional Modeling, то есть, когда у нас есть таблица фактов, а по краям Таблицы измерений, и у нас получается схема звезда. (На собеседовании, я бы спросила, а в чем отличие от схемы снежинка?), есть еще и другие подходы, например Data Vault, это уже advance level, я пока не пробовал.
ETL – extract transform load, то есть мы просто извлекаем данных, трансформируем и загружаем, обычно это делается с помощью ETL инструментов, где есть GUI и мы мышкой все можем сделать (можно и на языке программирования). На самом деле это процесс правильно называть Data Integration (интеграция данных) и может быть ELT, то есть мы данные извлекаем, загружаем в DW, и потом трансформируем, используя мощность аналитического DW. Есть бесплатные инструменты Talend, Pentaho DI, или платные Informatica или облачные Azure Data Factory, AWS Glue. Многие любят Python. Я люблю Matillion ETL (Cloud ELT для AWS Redshift).
Big Data – есть понятие большие данные, но сложно сказать, насколько данные должны быть большими, чтобы их так называли. Чаще используют так для названия инструментов для работы с большими данными, как правило это Hadoop и его аналоги. Мое мнение, что сейчас Hadoop уже не так популярен, и его любят люди, которые предлагают услуги с Hadoop, потому что это очень сложные и дорогие проекты. Например, говорят, что. AWS S3 убило слона, но спорить не буду. Например, до сих пор использую его, как вычислительную мощность, чтобы обрабатывать логи кликстрима, но можно и без него обойтись.
Data Lake – озеро данных, как правило дополняет современной аналитическое решение. Обычно это файловое хранилище, например AWS S3 или Azure Blob Storage (просто файловое хранилище, типа Google Drive, но работает в экосистеме аналитических решений)
Data Mining/Data Science/Machine Learning/AI – по этим ребятам лучше комментировать не буду, так как это уже смежная область, но добавлю, что они часто входят в аналитическое решение организации, и существует куча успешных бизнес кейсов по использованию этих технологий. Та
к же они встраиваются в BI решений, чтобы опять же упростить жизнь конечных пользователей. Например, NLP (управление голосом или текстом), умные JOIN между таблицами, прогнозирование – все это возможности Tableau. Так же по опыту замечу, что часто обычная статистика может принести ощутимую пользу, поэтому прежде чем создавать нейронную сеть, попробуйте найти скрытые зависимости в ваших данных с помощью статстики.
Один из самых знаметых авторов, кто пишет о работе с данными и особенно о визуализации данных - это Стефан Фью (Stephen Few). Если у вас стоит задача создавать красивые и информативные дашборды (не важно где), то обязательно прочитайте его книгу ( у него их несколько). Иногда мне кажется, что он был консультантом Табло и помогал им создавать продукт. Хочу поделиться с вами интересной статьей, которая была написана 27 июня 2017 в его блоге - “Basta, Big Data: It’s Time to Say Arrivederci”, статья про хайп вокруг термина Big Data и о том как вендоры его используют, чтобы продавать свои решения подороже, но часто это все buzz words (маркетинг). https://www.perceptualedge.com/blog/?p=2670
👍1
26 ноября будет AWS re:Invent, это крупнейшая конференция в Северной Америке об облачных вычислениях, AWS продуктах, решениях, партнерсктх решения и многое другое. Очень интерсно смотреть Keynote сессии, по ним можно понять куда двигается рынок. Кстати, я планирую сдавать AWS Solution Associate экзамен, это такой вводный экзамен по AWS продуктам, не сложно получить, но говорит о том, что вы знакомы с облаком и AWS. https://reinvent.awsevents.com/learn/livestreams/
AWS klades znanii, vot naprimer AWS Online Tech Talks, tut mojno naiti na lubuu temu webinar i samoe glavnoe vse mojno besplatno poprobovat. Ja naprimer tak uchil Amazon Redshift (besplatno na 2 mesyaca) https://aws.amazon.com/about-aws/events/monthlywebinarseries/
Amazon
AWS Online Tech Talks
Discover cutting-edge cloud strategies: Explore AWS Online Tech Talks for in-depth insights, live demos & expert guidance on a variety of topics.
#проанглийский
Все знают, что английский язык очень нуже в ИТ, так как практически все решения западные или часто мы работает в иностранных компаниях, где есть иностранцы, и наш рост завивисит от анлглийского. Недавно, читал статью в Harward Business Review, и оказалось, плохой английский один из барьевро для карьерного роста в западных компаниях. Этого нет в требования, просто так показывает практика.
Какие есть варианты учить английский?
-Курсы английского 2-3 раза в неделю по 1,5-2 часа
-Курсы английского онлайн
-Курсы английского с носителем языка онлайн, обычно 1 час, 2-3 раза в неделю
-Поехать в школу на 3-4 неделю в Англию или на Кипр
-Доп курсы английского на работе (2-3 раза в неделю по 1 часу)
-Курсы английского выходного дня
-Интенсивы
-Возможно некоторые, пользуются гипнозом.
Эти варианты, первое, что приходит на ум. Все зависит от уровня английского, и если у вас был английский в школе или в университете как обычный предмет, то значит ваш уровень английского не на высоте. Возможно вы уже приноровились читать документацию, но писать и говорить это не просто.
Как было у меня? У меня английский был в школе, потом в Университете. Я знал топики, например о России или достопримечательностях, но я не умел писать и говорил очень плохо. Вообще всем знакомо понятие языковой барьер и он действительно существует.
Я пользовался многими вариантами, которые сверху, но они давали очень низкий КПД, и главаня причина это отсутвия эффекта погружения. Когда мы занимаемся английским, мы все равно находимся мыслями в русско язычном прострастве, продолжаем думать на русском и отвлекаться. Отсюда и отсутствие результата.
Что я делал:
1)Самое крутое, что я когда либо делол, это волонтерство через http://world4u.ru/, я выбирал проект в Европе, и ехал на 1-2 месяца, жил в интернациональном лагере, где говорил на английском. Так я победил свой языковой барьер. Цена вопроса виза+билет на самолет. Друзья ездили в Штаты работать, тоже было эффективно.
2)Начиная с 2010 года я искал работу за границей, иногда случались собеседования и оттачивал терминологию и рассказ о своей профессиональной деятельности. Лучший сайт для поиска https://www.indeed.com/worldwide тут можно любую страну выбрать и вперед, так же можно посмотреть на предложения. Кстати возможно смотреть аналитику по ключевым словам, например Oracle vs Redshift и тп.
3)Банальные вещи как: Смотрел сериалы с субтитрами, слушал подкасты, читал проф литературу на англ, было 2 репититора по Skype носители языка (больше как подготовка к IELTS). То есть максимум языка.
Был показательный случай. Я сдал IELTS тест на 6-6.5. Мне нужно было 7 по всем предметам для Австралии. 4ре месяца я занимался 7 дней в неделю английским, у меня былы курсы на работа, просто курсы, 2 преподавателя носители языка. В таком режиме нон стоп, я был 4 месяца, и что вы думаете? Я сдал IELTS на теже балы, только письмо на пол бала выше. Это был финиш, тогда я окончально осознал важность погружения, а все остальное очень не эффективно. В итоге, подался в Канаду, там были ниже требования:)
Кстати, если кому нужно IELTS прокачать, лучший вариант на rutracker org скачать PDF учебники по IELTS, там экзамены прошлых лет, обычно 4 экзамена в одной книге, можете попробовать свои силы.
Поэтому мой вам совет, если вам нужен английский, старайтесь найти вариант с полным погружением, ни одна вечерняя школа или носитель языка по скайпу вам не поможет, нужно минимум месяц куда-нибудь уехать, где нет русскоговорящих, тогда вы заполните пробелы и выйдите на новый уровень. Кстати на Кипр, ехать тоже не вариант, так там больше тусовка, чем школа.
Все знают, что английский язык очень нуже в ИТ, так как практически все решения западные или часто мы работает в иностранных компаниях, где есть иностранцы, и наш рост завивисит от анлглийского. Недавно, читал статью в Harward Business Review, и оказалось, плохой английский один из барьевро для карьерного роста в западных компаниях. Этого нет в требования, просто так показывает практика.
Какие есть варианты учить английский?
-Курсы английского 2-3 раза в неделю по 1,5-2 часа
-Курсы английского онлайн
-Курсы английского с носителем языка онлайн, обычно 1 час, 2-3 раза в неделю
-Поехать в школу на 3-4 неделю в Англию или на Кипр
-Доп курсы английского на работе (2-3 раза в неделю по 1 часу)
-Курсы английского выходного дня
-Интенсивы
-Возможно некоторые, пользуются гипнозом.
Эти варианты, первое, что приходит на ум. Все зависит от уровня английского, и если у вас был английский в школе или в университете как обычный предмет, то значит ваш уровень английского не на высоте. Возможно вы уже приноровились читать документацию, но писать и говорить это не просто.
Как было у меня? У меня английский был в школе, потом в Университете. Я знал топики, например о России или достопримечательностях, но я не умел писать и говорил очень плохо. Вообще всем знакомо понятие языковой барьер и он действительно существует.
Я пользовался многими вариантами, которые сверху, но они давали очень низкий КПД, и главаня причина это отсутвия эффекта погружения. Когда мы занимаемся английским, мы все равно находимся мыслями в русско язычном прострастве, продолжаем думать на русском и отвлекаться. Отсюда и отсутствие результата.
Что я делал:
1)Самое крутое, что я когда либо делол, это волонтерство через http://world4u.ru/, я выбирал проект в Европе, и ехал на 1-2 месяца, жил в интернациональном лагере, где говорил на английском. Так я победил свой языковой барьер. Цена вопроса виза+билет на самолет. Друзья ездили в Штаты работать, тоже было эффективно.
2)Начиная с 2010 года я искал работу за границей, иногда случались собеседования и оттачивал терминологию и рассказ о своей профессиональной деятельности. Лучший сайт для поиска https://www.indeed.com/worldwide тут можно любую страну выбрать и вперед, так же можно посмотреть на предложения. Кстати возможно смотреть аналитику по ключевым словам, например Oracle vs Redshift и тп.
3)Банальные вещи как: Смотрел сериалы с субтитрами, слушал подкасты, читал проф литературу на англ, было 2 репититора по Skype носители языка (больше как подготовка к IELTS). То есть максимум языка.
Был показательный случай. Я сдал IELTS тест на 6-6.5. Мне нужно было 7 по всем предметам для Австралии. 4ре месяца я занимался 7 дней в неделю английским, у меня былы курсы на работа, просто курсы, 2 преподавателя носители языка. В таком режиме нон стоп, я был 4 месяца, и что вы думаете? Я сдал IELTS на теже балы, только письмо на пол бала выше. Это был финиш, тогда я окончально осознал важность погружения, а все остальное очень не эффективно. В итоге, подался в Канаду, там были ниже требования:)
Кстати, если кому нужно IELTS прокачать, лучший вариант на rutracker org скачать PDF учебники по IELTS, там экзамены прошлых лет, обычно 4 экзамена в одной книге, можете попробовать свои силы.
Поэтому мой вам совет, если вам нужен английский, старайтесь найти вариант с полным погружением, ни одна вечерняя школа или носитель языка по скайпу вам не поможет, нужно минимум месяц куда-нибудь уехать, где нет русскоговорящих, тогда вы заполните пробелы и выйдите на новый уровень. Кстати на Кипр, ехать тоже не вариант, так там больше тусовка, чем школа.
👍1
В приложении презентация - Best Practices for Migrating Big Data
Workloads to AWS (Про миграцию решения для больших данных в облако). Здесь имеют ввиду On-Premise Hadoop (то есть Hadoop кластер, который наодиться у вас в компании и вы тратите много ресурсов на его обслуживание). Не смотря на то, что презентация про AWS, такое же можно сделать в Azure и Google Cloud. В России есть Yandex/Mail Cloud, которые должны обеспечивать подобные решения. В целом презентация про подход.
Workloads to AWS (Про миграцию решения для больших данных в облако). Здесь имеют ввиду On-Premise Hadoop (то есть Hadoop кластер, который наодиться у вас в компании и вы тратите много ресурсов на его обслуживание). Не смотря на то, что презентация про AWS, такое же можно сделать в Azure и Google Cloud. В России есть Yandex/Mail Cloud, которые должны обеспечивать подобные решения. В целом презентация про подход.
Если бы меня спросили, какой бы я дал 1 самый крутой совет, который подойдет всем, то это было бы Fake it, 'till you make it. Проверено, работает 100%)
Сегодня я увидел статью с заголовком "BI тренды 2019", давайте посмотрит, в каком направление движется индустрия BI (имеется ввиду BI инструменты):
1 Рассвет понятного AI - организации все больше используют AI и ML, но для многих это лишь черный ящик, и возникает вопрос, а можно ли доверять? AI, ML должны помогать, но не заменять. Если посмотреть топовые BI инструменты, они предлагают статистические методы, например прогноз есть у всех (даже у в мое подразделении, бизнес используюьт Tableau прогнозирование для автоматизации бюджетирования, потому что это быстро, но вот насколько точно, это вопрос). Надеюсь, у вендоров есть идеи, как сделать результат более понятным и прозрачным для конечных пользователей.
2 Использование речи для взаимодействия с данными - Power BI представил такую возможность еще давно, а вот Tableau лишь только недавно, вы можете попробовать это новой бете. Идея проста - зачем кликать мышкой, давайте просто спросим: "Сколько продали вчера?" и инструмент предложит варианты отчетов. Как вы понимаете, тут много нюансов, но, если заменить SQL запросы обычными фразами, может чего и получиться. Я пока не планирую это использовать, мне бы просто документацию сделать по тому, что есть.
3 Решения должны приниматься с использование данных (я думал это из 80х), все новое это хорошо забытое старое.
4 Данные и аналитика должны иметь положительный эффект на общество - вот, например известный кейс Tableau - борьба с Малярией в Африке при помощи визуализации данных, и это действительно работает.
5 Этика данных - всем видели новости про проблемы с персональными данными, GDPR. Без этого никуда, особенно сложно международному бизнесу, в каждой стране свои заморочки. Раньше были только с налогами, а теперь еще нужно шерстить все хранилище данных, чтобы соответствовать GDPR.
6 Процедуры по управления данными (data management and data goverance) - опять же это довольно старое понятие, но сейчас появляется много современных инструментов, которые позволяют управлять данными. Например Alation - это облачное решение, которое позводяет хранить информацию о ваших моделях жанных в DW и в Tableau. Помимо этого есть множество других процедур связанных с данными. Например, у меня до сих пор нет каталога данных, так как Excel или Confluence не эффективно, а автоматическое решение также требует кучу времени на внесение информации, так и живем.
7 Истории - все уже знаю насколько круто рассказать историю подкрепленную графиками (данными). Получается, что даже в закоренелых компанию осознали, что визуализация, интерактивных дашборды это не только красиво, но и эффективно. Ну конечно у Tableau всегда было опция Story Telling.
8 Корпорация стали умнее и легче адаптирубтся к аналитическим решениям - возможно это мы могли слышать каждый год с начала использования BI решений. Но факт, остается фактом, все крупные организации понимают ценность BI решений и готовы инвестировать в решения и специалистов (а вы попрсоили оплатить тренинг?)
9 Демократия данных позваляет аналитикам данных (data scientist) использовать данные, чтобы вносить изменения в бизнес процессы. Имеется ввиду, что данных мы собираем много, и може найти insights, и так же можем правильно донести информацию до руководителей, что они все поймут и действительно примут правильные решения. В моем случае, мне понадобилось 2 года, чтобы донести ценность BI до высших руководителей
10 Мое любимое - Облачные решения ускоряю процесс создания аналитического решения и его адоптацию и внедрение. #rockyourdata
1 Рассвет понятного AI - организации все больше используют AI и ML, но для многих это лишь черный ящик, и возникает вопрос, а можно ли доверять? AI, ML должны помогать, но не заменять. Если посмотреть топовые BI инструменты, они предлагают статистические методы, например прогноз есть у всех (даже у в мое подразделении, бизнес используюьт Tableau прогнозирование для автоматизации бюджетирования, потому что это быстро, но вот насколько точно, это вопрос). Надеюсь, у вендоров есть идеи, как сделать результат более понятным и прозрачным для конечных пользователей.
2 Использование речи для взаимодействия с данными - Power BI представил такую возможность еще давно, а вот Tableau лишь только недавно, вы можете попробовать это новой бете. Идея проста - зачем кликать мышкой, давайте просто спросим: "Сколько продали вчера?" и инструмент предложит варианты отчетов. Как вы понимаете, тут много нюансов, но, если заменить SQL запросы обычными фразами, может чего и получиться. Я пока не планирую это использовать, мне бы просто документацию сделать по тому, что есть.
3 Решения должны приниматься с использование данных (я думал это из 80х), все новое это хорошо забытое старое.
4 Данные и аналитика должны иметь положительный эффект на общество - вот, например известный кейс Tableau - борьба с Малярией в Африке при помощи визуализации данных, и это действительно работает.
5 Этика данных - всем видели новости про проблемы с персональными данными, GDPR. Без этого никуда, особенно сложно международному бизнесу, в каждой стране свои заморочки. Раньше были только с налогами, а теперь еще нужно шерстить все хранилище данных, чтобы соответствовать GDPR.
6 Процедуры по управления данными (data management and data goverance) - опять же это довольно старое понятие, но сейчас появляется много современных инструментов, которые позволяют управлять данными. Например Alation - это облачное решение, которое позводяет хранить информацию о ваших моделях жанных в DW и в Tableau. Помимо этого есть множество других процедур связанных с данными. Например, у меня до сих пор нет каталога данных, так как Excel или Confluence не эффективно, а автоматическое решение также требует кучу времени на внесение информации, так и живем.
7 Истории - все уже знаю насколько круто рассказать историю подкрепленную графиками (данными). Получается, что даже в закоренелых компанию осознали, что визуализация, интерактивных дашборды это не только красиво, но и эффективно. Ну конечно у Tableau всегда было опция Story Telling.
8 Корпорация стали умнее и легче адаптирубтся к аналитическим решениям - возможно это мы могли слышать каждый год с начала использования BI решений. Но факт, остается фактом, все крупные организации понимают ценность BI решений и готовы инвестировать в решения и специалистов (а вы попрсоили оплатить тренинг?)
9 Демократия данных позваляет аналитикам данных (data scientist) использовать данные, чтобы вносить изменения в бизнес процессы. Имеется ввиду, что данных мы собираем много, и може найти insights, и так же можем правильно донести информацию до руководителей, что они все поймут и действительно примут правильные решения. В моем случае, мне понадобилось 2 года, чтобы донести ценность BI до высших руководителей
10 Мое любимое - Облачные решения ускоряю процесс создания аналитического решения и его адоптацию и внедрение. #rockyourdata
2019_BI_Trends_report.pdf
147.2 KB
Вот и сам отчет, красивый. Другие вендоры тоже делают такое, но в целом AI и NLP будут в топе.
Вчера была проезентация - Best Practices on Scaling Amazon Redshift (лучшие практики по масштабированию Редшифт). Вообще слово "масштабирование" очень хорошее, не стесняйтесь его использовать, оно подойдет для любой технической и бизнес темы👻
Редшифт был создан в феврале 2013, как конкурент ведущей MPP базы данны Терадата, но он был создан в облачной инфраструктуре (AWS), то есть вам не надо покупать железо (сервера) за млн долларов, вы платите за то, что используете. Я всегда вспоминаю свои проекты по внедрению аналитической системы в Сбербанке, проекты были убыточные, вместо 6 месяцев длились 2 года, зато все получали свой lean (бережливы).
Если вы еще не пробовали Amazmo Redshift, так попробуйте, это бесплатно, у них на сайте есть step by step tutorial (1й создание кластера, создание таблиц, загрузка данных в них, 2й создание таблиц и загрузка 250млн строк и дальнеяшая оптимизация). Опять же зная Redshift на простом уровне, вы будете знать про MPP архитектуру и понимать как работает Big Query, Azure DW и другие облачные или аналитические продукты.
Редшифт был создан в феврале 2013, как конкурент ведущей MPP базы данны Терадата, но он был создан в облачной инфраструктуре (AWS), то есть вам не надо покупать железо (сервера) за млн долларов, вы платите за то, что используете. Я всегда вспоминаю свои проекты по внедрению аналитической системы в Сбербанке, проекты были убыточные, вместо 6 месяцев длились 2 года, зато все получали свой lean (бережливы).
Если вы еще не пробовали Amazmo Redshift, так попробуйте, это бесплатно, у них на сайте есть step by step tutorial (1й создание кластера, создание таблиц, загрузка данных в них, 2й создание таблиц и загрузка 250млн строк и дальнеяшая оптимизация). Опять же зная Redshift на простом уровне, вы будете знать про MPP архитектуру и понимать как работает Big Query, Azure DW и другие облачные или аналитические продукты.
Тут можно скачать бесплатно книги по Data Science от Pack Pub (я почти все технологии по их книгам изучал): https://www.datasciencecentral.com/profiles/blogs/free-ebooks-from-packt
Data Science Central
Free eBooks from Packt
TensorFlow 1.x Deep Learning Cookbook By Antonio Gulli, Amita Kapoor Take the next step in implementing various common and not-so-common neural networks with Tensorflow 1.x In this book, you will learn how to efficiently use TensorFlow, Google’s open source…
👍2
Очень интересная мысль президента “Сколково”:
”Мы живём в мире VUCA (VUCA — это аббревиатура из английских слов volatility (нестабильность), uncertainty (неопределённость), complexity (сложность) и ambiguity (неоднозначность). Чтобы описать это состояние VUCA, лектор привёл несколько цифр:
— 90% информации в мире появились за последние 2 года;
— ожидается, что средняя продолжительность жизни детей, родившихся в 2007 году в США, Италии, Франции и Канаде, будет 104 года;
— стоимость хранения 1 Гб информации с 1980 года снизилась в 1 миллиард раз;
— стоимость секвенирования генома 1 человека снизилась в 100 тысяч раз;
— 75% населения планеты имеет доступ к мобильной связи, но не все из них имеют доступ к чистой воде;
— ещё 10 лет назад не существовало как минимум 10 профессий, которые сегодня входят в число самых востребованных и высокооплачиваемых (специалист по BIG DATA, APP-разработчик, оператор дрона и т.д.).
Нетрудно заметить, что мир VUCA связан с 4 промышленной революцией, но он затрагивает не только экономику или национальные интересы, но и людей, каждого из нас. Чтобы стать успешным в этой ситуации, нужно меняться. “
Статья тут: https://www.kantiana.ru/news/142/209523/
”Мы живём в мире VUCA (VUCA — это аббревиатура из английских слов volatility (нестабильность), uncertainty (неопределённость), complexity (сложность) и ambiguity (неоднозначность). Чтобы описать это состояние VUCA, лектор привёл несколько цифр:
— 90% информации в мире появились за последние 2 года;
— ожидается, что средняя продолжительность жизни детей, родившихся в 2007 году в США, Италии, Франции и Канаде, будет 104 года;
— стоимость хранения 1 Гб информации с 1980 года снизилась в 1 миллиард раз;
— стоимость секвенирования генома 1 человека снизилась в 100 тысяч раз;
— 75% населения планеты имеет доступ к мобильной связи, но не все из них имеют доступ к чистой воде;
— ещё 10 лет назад не существовало как минимум 10 профессий, которые сегодня входят в число самых востребованных и высокооплачиваемых (специалист по BIG DATA, APP-разработчик, оператор дрона и т.д.).
Нетрудно заметить, что мир VUCA связан с 4 промышленной революцией, но он затрагивает не только экономику или национальные интересы, но и людей, каждого из нас. Чтобы стать успешным в этой ситуации, нужно меняться. “
Статья тут: https://www.kantiana.ru/news/142/209523/
⚡1
#началокарьерысданными
Я закончил МГТУ Станкин по специальности инженер конструктор. Я мечтал о работе в Германии на автозаводе. К сожалению, университету было неважно, о чем мечтают студенты. На 4 курсы я пошел на практику на ГКНПЦ им Хруничева и осел там на 3 года, работал инженером и мастером смены (по факту возил телеку с металлом). Уже тогда я решил создать выдуманное резюме, где у меня уже несколько лет опыта и аспирантура, разместить на HH и посмотреть отклик. Результата не было.
У меня был товарищ, он работал ассистентом проект менеджера в ИТ, у него зп была 50 тысяч (2010 год), а у меня была 15т (и по трудовой я значился как «начальник участка»), то есть очевидно, куда надо было двигаться. На заводе с горем пополам мы с товарищем перевились в отдел с компьютерами, где время остановилось в 86году, и мы слышали истории автоматизации того времени. В это время были освоены Counter Strike и Half-Life в совершенстве
Как пробиться из машиностроения в ИТ (или из X в Y индустрию)? Я открыл рейтинг РБК, выписал ТОП 40 компаний, и разослал письма, откликнулся на вакансии. Результат = 2 звонка и одно собеседование все мимо. Главная проблема, у меня не было «наставника», того, кто мог бы мне показать короткий путь.
Мне повезло, одно из моих резюме нашли на HH «Стажер ИТ» и предложили поработать 3 месяца бесплатно, в качестве BI разработчика в Франциском банке. Слова SQL и BI я слышал первый раз в жизни. На вопрос «Вам знаком SQL? Это единственное требование», я не растерялся и ответил «Конечно! У меня дипломный проект использует SQL и базы данных». Уточнять не стали. Вскоре было понятно, что SQL не мой конек, как и английский. И то и другое я подтягивал через учебные материалы SAP Business Objects.
Так я начал работать с Business Intelligence, мне всегда нравилось, что я на стыке бизнеса и ИТ, нужно понимать бизнес процессы и уметь руками создавать решения, для сбора данных, которые генерятся бизнесом.
Если вы чего-то не знаете, это не страшно. Всегда можно компенсировать не знание временем. Например, вам нужно выполнить задачу. Например, для опытного специалиста, нужно на задачу 4 часа, а вам нужно намного больше. У вас есть в запасе вечера и выходные. Даже если у вас будет все получатся медленно, но вы будете вкалывать, это заметят и вас оценят. Всем своим junior я всегда говорю, будьте готовы 24/7, вы будете работать много, но это принесет плоды.
В Канаде, это работало против меня. Я взял себе на стажировку студентка на 12 месяцев. Товарищ был и Индии. Я ему сразу сказал, что к чему и как нужно работать. В общем я его по привычке много напрягал и просил часто все переделать. Мне казалась, что я делаю лучше для него, он получит классный опыт и будет хорошим специалистом через 12 месяцев и сможет найти полноценную работу. Но он так не думал, он жаловался менеджерам. В итоге, мне сказали, что я не прав, и это повлияло на мое review. Поэтому, что работает у нас, не работает у них. Проблема в моем случает была, что я сильно на него давил, это могло плохо повлиять на долгосрочные отношения с сотрудником и компанией. Необходимо создавать благоприятною атмосферу для всех, давать свободу действий (он сделает лучше то, что ему нравиться, чем то, что я его прошу).
Самый популярный ответ, который я слышал от бизнес: “This isn’t in my job description”. Каждый раз, когда я пытался сделать Self-Service BI и перекладывал часть обязанностей на бизнес пользователей. В Москве я никогда не читал свои обязанности, а в Канаде это святое
Выводы:
1) Совершенно не важно какое у вас образование, вы можете создать карьеру в любой области. Чтобы сэкономить время, спросите у эксперта, как достигнуть результата наикратчайшим путем.
2) Если вы чего-то не знаете или не справляетесь, у вас всегда есть в запасе куча времени, включая выходные, чтобы все успеть и сделать. А во 2-х, усердный труд всегда заметят.
3) Одного «сухого резюме» не достаточно, вы просто один из множества, нужно постараться, чтобы привлечь внимания, желательно, делать то, что не делают другие кандидаты.
Я закончил МГТУ Станкин по специальности инженер конструктор. Я мечтал о работе в Германии на автозаводе. К сожалению, университету было неважно, о чем мечтают студенты. На 4 курсы я пошел на практику на ГКНПЦ им Хруничева и осел там на 3 года, работал инженером и мастером смены (по факту возил телеку с металлом). Уже тогда я решил создать выдуманное резюме, где у меня уже несколько лет опыта и аспирантура, разместить на HH и посмотреть отклик. Результата не было.
У меня был товарищ, он работал ассистентом проект менеджера в ИТ, у него зп была 50 тысяч (2010 год), а у меня была 15т (и по трудовой я значился как «начальник участка»), то есть очевидно, куда надо было двигаться. На заводе с горем пополам мы с товарищем перевились в отдел с компьютерами, где время остановилось в 86году, и мы слышали истории автоматизации того времени. В это время были освоены Counter Strike и Half-Life в совершенстве
Как пробиться из машиностроения в ИТ (или из X в Y индустрию)? Я открыл рейтинг РБК, выписал ТОП 40 компаний, и разослал письма, откликнулся на вакансии. Результат = 2 звонка и одно собеседование все мимо. Главная проблема, у меня не было «наставника», того, кто мог бы мне показать короткий путь.
Мне повезло, одно из моих резюме нашли на HH «Стажер ИТ» и предложили поработать 3 месяца бесплатно, в качестве BI разработчика в Франциском банке. Слова SQL и BI я слышал первый раз в жизни. На вопрос «Вам знаком SQL? Это единственное требование», я не растерялся и ответил «Конечно! У меня дипломный проект использует SQL и базы данных». Уточнять не стали. Вскоре было понятно, что SQL не мой конек, как и английский. И то и другое я подтягивал через учебные материалы SAP Business Objects.
Так я начал работать с Business Intelligence, мне всегда нравилось, что я на стыке бизнеса и ИТ, нужно понимать бизнес процессы и уметь руками создавать решения, для сбора данных, которые генерятся бизнесом.
Если вы чего-то не знаете, это не страшно. Всегда можно компенсировать не знание временем. Например, вам нужно выполнить задачу. Например, для опытного специалиста, нужно на задачу 4 часа, а вам нужно намного больше. У вас есть в запасе вечера и выходные. Даже если у вас будет все получатся медленно, но вы будете вкалывать, это заметят и вас оценят. Всем своим junior я всегда говорю, будьте готовы 24/7, вы будете работать много, но это принесет плоды.
В Канаде, это работало против меня. Я взял себе на стажировку студентка на 12 месяцев. Товарищ был и Индии. Я ему сразу сказал, что к чему и как нужно работать. В общем я его по привычке много напрягал и просил часто все переделать. Мне казалась, что я делаю лучше для него, он получит классный опыт и будет хорошим специалистом через 12 месяцев и сможет найти полноценную работу. Но он так не думал, он жаловался менеджерам. В итоге, мне сказали, что я не прав, и это повлияло на мое review. Поэтому, что работает у нас, не работает у них. Проблема в моем случает была, что я сильно на него давил, это могло плохо повлиять на долгосрочные отношения с сотрудником и компанией. Необходимо создавать благоприятною атмосферу для всех, давать свободу действий (он сделает лучше то, что ему нравиться, чем то, что я его прошу).
Самый популярный ответ, который я слышал от бизнес: “This isn’t in my job description”. Каждый раз, когда я пытался сделать Self-Service BI и перекладывал часть обязанностей на бизнес пользователей. В Москве я никогда не читал свои обязанности, а в Канаде это святое
Выводы:
1) Совершенно не важно какое у вас образование, вы можете создать карьеру в любой области. Чтобы сэкономить время, спросите у эксперта, как достигнуть результата наикратчайшим путем.
2) Если вы чего-то не знаете или не справляетесь, у вас всегда есть в запасе куча времени, включая выходные, чтобы все успеть и сделать. А во 2-х, усердный труд всегда заметят.
3) Одного «сухого резюме» не достаточно, вы просто один из множества, нужно постараться, чтобы привлечь внимания, желательно, делать то, что не делают другие кандидаты.