Вы знаете, что такое CRON? Это обычно на linux cистемах, используется для выполнения скриптов по расписанию. В Windows аналог - Windows Task Scheduler.
Пример использования:
- Tableau Tabcmd скрипт - обновления Tableau Extract и экспорт данных или PDF
- ETL Job (например для Pentaho) - запуск ETL
- Выполнение Python и Shell скрипта и многое другое
Когда работаете с данными, важно стараться минимизировать ручную работу и по возможности все автоматизировать. Самый простой вариант это поставить на расписание простые задачи с помощью Cron или Windows Task Scheduler. А дальше, уже думать, как все это интегрировать вместе.
Хороший помщник по CRON https://crontab.guru/#*_*_*_*
Пример использования:
- Tableau Tabcmd скрипт - обновления Tableau Extract и экспорт данных или PDF
- ETL Job (например для Pentaho) - запуск ETL
- Выполнение Python и Shell скрипта и многое другое
Когда работаете с данными, важно стараться минимизировать ручную работу и по возможности все автоматизировать. Самый простой вариант это поставить на расписание простые задачи с помощью Cron или Windows Task Scheduler. А дальше, уже думать, как все это интегрировать вместе.
Хороший помщник по CRON https://crontab.guru/#*_*_*_*
crontab.guru
Crontab.guru - The cron schedule expression generator
An easy to use editor for crontab schedules.
Интересные новости из индустрии. Компания Datameer, я про нее ещё читал в 2013/14 году, компанию которая решила принести Hadoop в массы, и использовала его в качестве backend для своего решения. Это была платформа, у который был интерфейс экселя для работы с большими данными. Они получили раунд инвестиций, и решили отказаться от идеи использовать Hadoop, и переключились на Spark. Компании cloudera, Hortonworks, mapR, переживают тяжёлые времена, а тем временем Data bricks (создатели spark), получили 400млн инвестиций. В общем если есть возможность выбирать, что изучать и внедрять, то вы точно знаете, что нужно учить в последнюю очередь. И все курсы по big data и data engineering явно можно считать устаревшими для современного рынка.
TechCrunch
Datameer announces $40M investment as it pivots away from Hadoop roots
Datameer, the company that was born as a data prep startup on top of the open-source Hadoop project, announced a $40 million investment and a big pivot away from Hadoop, while staying true to its big data roots.
А вот в этой книге, датированной 1919 годом, автор уже рассуждал про работу с данными:"Миллионы долларов ежегодно тратятся на сбор данных". А на фотографии вычислительная машина тех времен, которая могла могла работать с Big Data! (3000 записей в час).
Teradata CEO Oliver Ratzesberger speaks about the 5 Forces that are disrupting industries today. Хорошо выступил.
А это CTO Teradata Stephen Brobst, супер крутой дядька, всегда в гавайских рубашках, легенда, один раз я был на его выступлении в Москве, есть еще порох в пороховницах, если есть возможность посмотрите его свежие выступления, всегда говорит про тренды в индустрии. В общем Терадата активно двинулась в облака, и теперь все желающие могут использовать Teradata Vantage - платформа аналитики, полюбому очень дорого.
Писал я тут в Канаде в Терадату, типа привет, мы тут такие классные, спецы по терадате, но она сказали, что не интересны мы им, да и вообще походу Терадата в Канаде не очень популярна. Но безусловно есть компании, знаю одну лично - компания лотереи в провинции Манитоба “Western Canada Lottery Corporation”, используют Teradata и BI Cognos. А вот компания, WholeFoods, которую приобрел Амазон, тоже на Teradata, но мигрируют на Redshift. В общем так и живем, все куда-то мигрируют, как птицы перелетные.🐔
Писал я тут в Канаде в Терадату, типа привет, мы тут такие классные, спецы по терадате, но она сказали, что не интересны мы им, да и вообще походу Терадата в Канаде не очень популярна. Но безусловно есть компании, знаю одну лично - компания лотереи в провинции Манитоба “Western Canada Lottery Corporation”, используют Teradata и BI Cognos. А вот компания, WholeFoods, которую приобрел Амазон, тоже на Teradata, но мигрируют на Redshift. В общем так и живем, все куда-то мигрируют, как птицы перелетные.🐔
- Голосовые помошники и умные колонки сейчас являются самый быстро растущей категорий устройств
- К 2022 году, 70% белых воротничков будут взаимодействовать к чат платформами
- +50% американцев общались с ботоми и голосовыми помошниками
Сердецем голосового помошника является Natural Language Processing. Natural Language Understanding (NLU) - это постобработка текста после спользования алгоритмов (NLP), которое использует Automatic Speech Recognition (ASR), чтобы выполнить правильное действие (intent). В Википедии, говориться, что первым использовал этот метод Даниэль Бобров в 1964 году в MIT, где писал свою Phd. Кстати Alexa NLU находится в Бостоне, поближе к наукоемким специалистам (MIT, Harward).
А вот Ted Talk, где затронуты интересные вопросы про взаимодействия человека и помощника. В целом 30% всех взаимодоействий, это наезд и издевательство на искуственным интелектом. Не говоря уже про склонение к насилию и другим фантазиям людей))
- К 2022 году, 70% белых воротничков будут взаимодействовать к чат платформами
- +50% американцев общались с ботоми и голосовыми помошниками
Сердецем голосового помошника является Natural Language Processing. Natural Language Understanding (NLU) - это постобработка текста после спользования алгоритмов (NLP), которое использует Automatic Speech Recognition (ASR), чтобы выполнить правильное действие (intent). В Википедии, говориться, что первым использовал этот метод Даниэль Бобров в 1964 году в MIT, где писал свою Phd. Кстати Alexa NLU находится в Бостоне, поближе к наукоемким специалистам (MIT, Harward).
А вот Ted Talk, где затронуты интересные вопросы про взаимодействия человека и помощника. В целом 30% всех взаимодоействий, это наезд и издевательство на искуственным интелектом. Не говоря уже про склонение к насилию и другим фантазиям людей))
Не нужно боятся роботизации, а вот алгоритмы, которые автоматизируют человеческий труд, это все они!
WIRED
AI May Not Kill Your Job—Just Change It
Don't fear the robots, according to a report from MIT and IBM. Worry about algorithms replacing any task that can be automated.
Survey Data Analysis.pdf
595.5 KB
Если вы работает с результатами опросов, эта методичка может быть вам полезна.