Forwarded from VK Cloud
Запустили универсальную платформу для работы с данными
VK Data Platform — универсальная платформа для end-to-end работы с большими объемами данных и машинным обучением. Платформа позволит российским компаниям повысить зрелость работы с данными и выйти на новый уровень принятия решений и управления бизнесом.
Платформа поможет:
🔹 сократить расходы на хранение и обработку информации,
🔹 повысить качество и достоверность данных,
🔹 упростить интеграцию моделей ML и AI в бизнес-процессы,
🔹 сократить время вывода на рынок новых продуктов на основе данных.
VK Data Platform разработана на основе лучших практик VK Tech по извлечению бизнес-ценности из больших объемов информации, которые применяются на масштабных проектах с многомиллионной аудиторией.
Из чего состоит VK Data Platform
В основе VK Data Platform — собственные разработки, такие как Tarantool и S3-совместимое хранилище Cloud Storage, и доработанные VK технологии, среди которых Trino, PostgreSQL, Airflow и многие другие.
Компоненты платформы позволяют закрыть полный цикл работы с данными — от хранения и обработки до решения аналитических задач и процесса разработки моделей машинного обучения.
Основные компоненты, которые легли в основу платформы, также доступны в облаке VK Cloud как готовые сервисы и опробованы на реальных проектах российских компаний. Среди них Cloud Storage (S3-хранилище), Cloud Kafka, Cloud Spark, Cloud Flink и Cloud ML Platform.
Смотреть полный набор компонентов
Компоненты VK Data Platform разворачиваются на основе Kubernetes. Это позволяет динамически распределять вычислительные мощности, эффективно утилизировать аппаратное обеспечение и предоставлять высокий уровень отказоустойчивости.
В платформе предусмотрены типовые архитектуры на основе современных подходов, такие как Data WareHouse, Data Lake, LakeHouse и Data Mesh, а также архитектуры MLOps-конвейеров и конфигурации для систем с высокой транзакционной нагрузкой.
Пользователям доступны централизованные инструменты мониторинга, бэкапирования и графический интерфейс для управления платформой.
Платформа быстро интегрируется в корпоративный ИТ-ландшафт и адаптируется под задачи компании.
Запускайте VK Data Platform на инфраструктуре любого типа
VK Data Platform можно развернуть на различных типах инфраструктуры:
🔹 частное облако,
🔹 публичное облако,
🔹 собственные серверы.
Оставить заявку на консультацию
VK Data Platform — универсальная платформа для end-to-end работы с большими объемами данных и машинным обучением. Платформа позволит российским компаниям повысить зрелость работы с данными и выйти на новый уровень принятия решений и управления бизнесом.
Платформа поможет:
🔹 сократить расходы на хранение и обработку информации,
🔹 повысить качество и достоверность данных,
🔹 упростить интеграцию моделей ML и AI в бизнес-процессы,
🔹 сократить время вывода на рынок новых продуктов на основе данных.
VK Data Platform разработана на основе лучших практик VK Tech по извлечению бизнес-ценности из больших объемов информации, которые применяются на масштабных проектах с многомиллионной аудиторией.
Из чего состоит VK Data Platform
В основе VK Data Platform — собственные разработки, такие как Tarantool и S3-совместимое хранилище Cloud Storage, и доработанные VK технологии, среди которых Trino, PostgreSQL, Airflow и многие другие.
Компоненты платформы позволяют закрыть полный цикл работы с данными — от хранения и обработки до решения аналитических задач и процесса разработки моделей машинного обучения.
Основные компоненты, которые легли в основу платформы, также доступны в облаке VK Cloud как готовые сервисы и опробованы на реальных проектах российских компаний. Среди них Cloud Storage (S3-хранилище), Cloud Kafka, Cloud Spark, Cloud Flink и Cloud ML Platform.
Смотреть полный набор компонентов
Компоненты VK Data Platform разворачиваются на основе Kubernetes. Это позволяет динамически распределять вычислительные мощности, эффективно утилизировать аппаратное обеспечение и предоставлять высокий уровень отказоустойчивости.
В платформе предусмотрены типовые архитектуры на основе современных подходов, такие как Data WareHouse, Data Lake, LakeHouse и Data Mesh, а также архитектуры MLOps-конвейеров и конфигурации для систем с высокой транзакционной нагрузкой.
Пользователям доступны централизованные инструменты мониторинга, бэкапирования и графический интерфейс для управления платформой.
Платформа быстро интегрируется в корпоративный ИТ-ландшафт и адаптируется под задачи компании.
Запускайте VK Data Platform на инфраструктуре любого типа
VK Data Platform можно развернуть на различных типах инфраструктуры:
🔹 частное облако,
🔹 публичное облако,
🔹 собственные серверы.
Оставить заявку на консультацию
🎉2🔥1💩1
Есть ли жизнь после Google Docs?
Вроде как Google опровергли блокировку российских аккаунтов, но спокойнее от этого не стало. Проблема в том, что прямой альтернативы гуглодокам просто нет. Уж простят меня мои коллеги. Причина банальна — Google сделал простой, надёжный и одновременно очень функциональный сервис. Сделать такой же возможно, нужно время и, я уверен, скоро у всех появятся подобные редакторы.
А пока... для меня хорошо работает схема «оффлайн+онлайн». То есть практически любые тексты я пишу, редактирую или комментирую в оффлайн-редакторе. Это надёжно и достаточно удобно. При этом все файлы хранятся как у меня локально, так и в облаке с доступом с любого нужного мне устройства. И документ всегда можно расшарить на коллег, чтобы совместно с ними поработать надо текстом в редакторе облака.
Что делаем:
1. Скачиваем и устанавливаем Диск-О. Да, практически у любого облака есть своё приложение, но Диск-О просто удобнее. Для хранилки mail.ru нет ограничений по количеству загрузок, а для нормальной работы с другими сервисами придётся купить платный тариф. Но зато можно легко подключить все необходимые облака как диски, настроить офлайн доступ к нужным папкам и даже легко делать бекапы с облака на облако (что сейчас очень актуально).
2. Подключаем нужное облако в настройках Диск-О. Что значит нужное? Нам необходимо облако с рабочими сервисами. Тут на выбор: Документы Облака Mail.ru или Документы Yandex. Другие варианты я не рассматриваю, потому что нам нужно отталкиваться от уже знакомых инструментов. А почта и облако от Mail.ru или Yandex есть у всех. Наверное. Или вы на Рамблере? 🙈
3. Важно. Для удобства создаём в облаке папку «Тексты». Для неё в настройках облака в Диск-О надо включить доступ к файлам без сети.
Синхронизируем, работаем, синхронизируем. Не забываем про бекапы.
P.S.: Предвижу негатив. Да, это менее удобнее, чем гуглодоки. Но надеяться на один сервис по нынешним временам — это глупость. По описанному мною процессу я работал несколько лет и всё прекрасно. Более того, он пережил несколько ноутов и мест моих работ. Даже если вы хотите продолжить работу с гуглодоками, то настройте бекапы с него к себе на комп или в другое облако. И лучше не через приложение от гугла.
Вроде как Google опровергли блокировку российских аккаунтов, но спокойнее от этого не стало. Проблема в том, что прямой альтернативы гуглодокам просто нет. Уж простят меня мои коллеги. Причина банальна — Google сделал простой, надёжный и одновременно очень функциональный сервис. Сделать такой же возможно, нужно время и, я уверен, скоро у всех появятся подобные редакторы.
А пока... для меня хорошо работает схема «оффлайн+онлайн». То есть практически любые тексты я пишу, редактирую или комментирую в оффлайн-редакторе. Это надёжно и достаточно удобно. При этом все файлы хранятся как у меня локально, так и в облаке с доступом с любого нужного мне устройства. И документ всегда можно расшарить на коллег, чтобы совместно с ними поработать надо текстом в редакторе облака.
Что делаем:
1. Скачиваем и устанавливаем Диск-О. Да, практически у любого облака есть своё приложение, но Диск-О просто удобнее. Для хранилки mail.ru нет ограничений по количеству загрузок, а для нормальной работы с другими сервисами придётся купить платный тариф. Но зато можно легко подключить все необходимые облака как диски, настроить офлайн доступ к нужным папкам и даже легко делать бекапы с облака на облако (что сейчас очень актуально).
2. Подключаем нужное облако в настройках Диск-О. Что значит нужное? Нам необходимо облако с рабочими сервисами. Тут на выбор: Документы Облака Mail.ru или Документы Yandex. Другие варианты я не рассматриваю, потому что нам нужно отталкиваться от уже знакомых инструментов. А почта и облако от Mail.ru или Yandex есть у всех. Наверное. Или вы на Рамблере? 🙈
3. Важно. Для удобства создаём в облаке папку «Тексты». Для неё в настройках облака в Диск-О надо включить доступ к файлам без сети.
Синхронизируем, работаем, синхронизируем. Не забываем про бекапы.
P.S.: Предвижу негатив. Да, это менее удобнее, чем гуглодоки. Но надеяться на один сервис по нынешним временам — это глупость. По описанному мною процессу я работал несколько лет и всё прекрасно. Более того, он пережил несколько ноутов и мест моих работ. Даже если вы хотите продолжить работу с гуглодоками, то настройте бекапы с него к себе на комп или в другое облако. И лучше не через приложение от гугла.
💩4👍3🔥2
⚡️Discord официально заблокирован в России. Что там по альтернативам?
Роскомнадзор: Discord заблокирован в России за нарушение требований законодательства.
Discord — это, конечно, идеальная площадка не только для геймеров. Там можно было сидеть в каналах по с друзьями и знакомыми со всего мира, спокойно общаться голосом и в чатах, и при этом сервера дискорда всё это прекрасно держали. Опять же боты различные, плагины, удобная модерация и многое другое. Так что печально.
Что по альтернативам:
Revolt — аналог Discord с открытым исходным кодом c похожими функциями и даже больше кастомизацией. Я бы рекомендовал переезжать на него в первую очередь.
Telegram — немного костыльно, но супергруппы в Telegram, как мне кажется, могут заменить дискорд.
Остальные мессенджеры и платформы для геймеров, к сожалению, пока подобной функциональностью не обладают. Или я просто не все протестировал. Пишите, куда переезжаете с Discord?
#discord #telegram #revolt
Роскомнадзор: Discord заблокирован в России за нарушение требований законодательства.
Discord — это, конечно, идеальная площадка не только для геймеров. Там можно было сидеть в каналах по с друзьями и знакомыми со всего мира, спокойно общаться голосом и в чатах, и при этом сервера дискорда всё это прекрасно держали. Опять же боты различные, плагины, удобная модерация и многое другое. Так что печально.
Что по альтернативам:
Revolt — аналог Discord с открытым исходным кодом c похожими функциями и даже больше кастомизацией. Я бы рекомендовал переезжать на него в первую очередь.
Telegram — немного костыльно, но супергруппы в Telegram, как мне кажется, могут заменить дискорд.
Остальные мессенджеры и платформы для геймеров, к сожалению, пока подобной функциональностью не обладают. Или я просто не все протестировал. Пишите, куда переезжаете с Discord?
#discord #telegram #revolt
👍2😡2🤯1🤣1
Домены .io могут исчёзнуть и Роскомнадзор тут не причём
На самом деле, конечно, сразу не исчёзнут. Как не пропал домен .su. Однако, задуматься о переезде стоит.
Ситуация очень интересная. 3 октября Британия объявила, что отказывается от суверенитета над небольшим тропическим атоллом в Индийском океане, известным как острова Чагос. Острова будут переданы соседнему островному государству Маврикий. Для нас эта новость интересна тем, что Чагосу принадлежал один из самых популярных доменов верхнего уровня в технологической и игровой индустрии: .io.
Официально и по правилам после окончательной передачи атолла Маврикий, ISO удалит код страны «IO» из своей спецификации. «Администрация адресного пространства Интернет» (IANA), которое создает и делегирует домены верхнего уровня, использует эту спецификацию для определения того, какие домены стран верхнего уровня должны существовать. После удаления IO IANA откажется разрешать любые новые регистрации в домене .io. Оно также автоматически начнет процесс прекращения действия существующих.
Что в реальности: есть два примера — СССР с .su и Югославия с .yu. Первый домен продолжает существовать, второй, если я не ошибаюсь, — был полностью ликвидирован. И кажется, что, несмотря на популярность .io, IANA через 3-5 лет полностью его закроет. Переезжаем.
На самом деле, конечно, сразу не исчёзнут. Как не пропал домен .su. Однако, задуматься о переезде стоит.
Ситуация очень интересная. 3 октября Британия объявила, что отказывается от суверенитета над небольшим тропическим атоллом в Индийском океане, известным как острова Чагос. Острова будут переданы соседнему островному государству Маврикий. Для нас эта новость интересна тем, что Чагосу принадлежал один из самых популярных доменов верхнего уровня в технологической и игровой индустрии: .io.
Официально и по правилам после окончательной передачи атолла Маврикий, ISO удалит код страны «IO» из своей спецификации. «Администрация адресного пространства Интернет» (IANA), которое создает и делегирует домены верхнего уровня, использует эту спецификацию для определения того, какие домены стран верхнего уровня должны существовать. После удаления IO IANA откажется разрешать любые новые регистрации в домене .io. Оно также автоматически начнет процесс прекращения действия существующих.
Что в реальности: есть два примера — СССР с .su и Югославия с .yu. Первый домен продолжает существовать, второй, если я не ошибаюсь, — был полностью ликвидирован. И кажется, что, несмотря на популярность .io, IANA через 3-5 лет полностью его закроет. Переезжаем.
🤯4❤2🤔1
This media is not supported in your browser
VIEW IN TELEGRAM
Сильно умиляют люди, которые с одной стороны «никогда не доверю свои данные товарищу майору», а с другой — «запущу ка я неизвестный скрипт, который бесплатно разблокирует мне ютуб с дискордом».
😁11😱2👎1🤔1🤯1
По данным сервисов Яндекса, Фёдор Михайлович Достоевский стал самым популярным писателем России.
Кажется мы начинаем задаваться вопросом «тварь ли я дрожащая или право имею?».
Кажется мы начинаем задаваться вопросом «тварь ли я дрожащая или право имею?».
🤔5😁3
Рабочее субботнее про VK Cloud
➡️ Во-первых, мы тут запустили ИИ-ассистента, который может отвечать на вопросы по доке, писать скрипты, манифесты и всё такое. Попробовать можно тут. Следующим этапом расскажем на Хабре, как такое сделать с LLM, RAG, HyDE, Router, Reranker и другими загадочными словами. 😄
➡️ Во-вторых, мы активно усиливаемся. Например, нужен продуктовый маркетолог, который будет развивать направление платформы данных, включая managed-БД, стек инструментов для Big Data, ML. Вакансия тут. Также нужны люди в ивенты и даже в SMM, пишите мне — направлю куда нужно.
Как раньше говорили, лайк-репост.😱
Как раньше говорили, лайк-репост.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3🔥2🤣1🆒1
hertz-dev — первая открытая AI-модель для синтеза речи в полнодуплексном режиме
Наработки этого проекта распространяются под лицензией Apache 2.0, что позволяет его использовать в качестве основы для создания систем голосового общения в реальном времени или генерации разговорной речи. На системе с GPU NVIDIA GeForce RTX 4090 средняя задержка перед генерацией составляет 120 мс (теоретически до 65 мс), что примерно в два раза быстрее, чем у имеющихся в открытом доступе существующих моделей.
Опубликованный вариант построен с использованием архитектуры «трансформер», охватывает 8.5 миллиардов параметров и обучен c использованием 500 миллиардов токенов. Размер учитываемого моделью контекста (число токенов, которые модель может обработать и запомнить при генерации речи) составляет 2048 токенов или примерно 4 минуты речи.
github
примеры генерации
#ai
Наработки этого проекта распространяются под лицензией Apache 2.0, что позволяет его использовать в качестве основы для создания систем голосового общения в реальном времени или генерации разговорной речи. На системе с GPU NVIDIA GeForce RTX 4090 средняя задержка перед генерацией составляет 120 мс (теоретически до 65 мс), что примерно в два раза быстрее, чем у имеющихся в открытом доступе существующих моделей.
Опубликованный вариант построен с использованием архитектуры «трансформер», охватывает 8.5 миллиардов параметров и обучен c использованием 500 миллиардов токенов. Размер учитываемого моделью контекста (число токенов, которые модель может обработать и запомнить при генерации речи) составляет 2048 токенов или примерно 4 минуты речи.
github
примеры генерации
#ai
👍4
Не всё в этой жизни дорожает. Гипервизоры VMware Fusion и VMware Workstation с 11 ноября 2024 года стали бесплатными для всех — можно использовать как в коммерческих целях, так и в личных.
Скачать
Однако, я думаю, что это очень явный шаг к тому, что VMware совсем прекратит дальнейшую разработку гипервизоров для десктопов. Об этом говорят и последние обновления вышеуказанных продуктов. Например, режим Unity и Bluetooth Hub Passthrough были удалены, а VMware Tools также больше не поставляются в виде ISO.
Скачать
Однако, я думаю, что это очень явный шаг к тому, что VMware совсем прекратит дальнейшую разработку гипервизоров для десктопов. Об этом говорят и последние обновления вышеуказанных продуктов. Например, режим Unity и Bluetooth Hub Passthrough были удалены, а VMware Tools также больше не поставляются в виде ISO.
🤔2😱1
От облачного гейминга к VDI для бизнеса
Некоторое время назад я изучал возможности облачного гейминга, так как покупка игрового железа в мои планы совсем не входит. Не рационально как-то. Тогда-то я познакомился с VK Play, протокол которого оказался лучше сильно разрекламированного GFN. Последний имел привычку просто терять связь в самые интересные моменты.
В общем и целом, теперь этот протокол перекочевал в наш облачный VDI — Cloud Desktop от VK Cloud. Заявлено — 120 кадров в секунду (FPS) и возможность работать даже при очень плохом канале связи. 120 FPS проверить не могу, у меня сейчас такого монитора даже нет. Но с мобильного инета виртуальный рабочий стол завёлся легко. И есть возможность проброса с VDI на локальное оборудование.
Зачем это всё на практике и пользователям? Например, если надо периодически работать с видео, а покупать для этого железо — дорого и не рационально. Или какой-то бухгалтерский софт надо разместить в облаке и работать с ним на любом железе.
Подробнее тут
Некоторое время назад я изучал возможности облачного гейминга, так как покупка игрового железа в мои планы совсем не входит. Не рационально как-то. Тогда-то я познакомился с VK Play, протокол которого оказался лучше сильно разрекламированного GFN. Последний имел привычку просто терять связь в самые интересные моменты.
В общем и целом, теперь этот протокол перекочевал в наш облачный VDI — Cloud Desktop от VK Cloud. Заявлено — 120 кадров в секунду (FPS) и возможность работать даже при очень плохом канале связи. 120 FPS проверить не могу, у меня сейчас такого монитора даже нет. Но с мобильного инета виртуальный рабочий стол завёлся легко. И есть возможность проброса с VDI на локальное оборудование.
Зачем это всё на практике и пользователям? Например, если надо периодически работать с видео, а покупать для этого железо — дорого и не рационально. Или какой-то бухгалтерский софт надо разместить в облаке и работать с ним на любом железе.
Подробнее тут
👍2👎1🔥1
Скучный факт про меня: рассказывая про свою работу, в прошлом году я для простоты мог назвать себя главным редактором, в этом году — только менеджером. Трансформация завершилась. Если раньше читал книжки по редактуре, сейчас — про скрам, процессы, управление командами, маркетинг.
Но раз канал у меня про что-то полезное, то поделюсь привычками, которые уже использую или пытаюсь сформировать:
1. Сон на 5-10-15 минут по таймеру. В офисе такое, наверное, не получится сделать, но дома после выполнения какой-либо задачи вместо отдыха в ютубчике или у холодильника стал практиковать упасть на диван или на коврик, желательно в не очень удобную позу, поставить таймер на телефоне и уснуть. Проснуться и снова за работу. Не знаю, как там по науке, но на практике это и отдых, и перезагрузка. Upd: применять не более 1-2 раз в день без ущерба для рабочих процессов.🔥
2. Визуальные заметки в большом блокноте. Долой стикеры — они теряются. Как задачи надо вести не в эксельке, а в нормальном трекере с канбаном, так и заметки лучше всего делать в большом блокноте, разными ручками, маркерами. Всё это помогает не только сохранить важную информацию, но и запомнить её. Особенно, когда рисуешь.
3. Группы в Google Chrome. Самая тяжёлая задача для меня, но очень стараюсь внедрить привычку сразу раскидывать нужные вкладки по группам. Там трекер, там доки по продуктам, там релизы и почты. Кажется, что не очень нужные действия, но по факту они очень сильно экономят время в дальнейшем.
В заключение, делитесь своими рабочими привычками и способами не сойти с ума от нагрузки и рутины.
Но раз канал у меня про что-то полезное, то поделюсь привычками, которые уже использую или пытаюсь сформировать:
1. Сон на 5-10-15 минут по таймеру. В офисе такое, наверное, не получится сделать, но дома после выполнения какой-либо задачи вместо отдыха в ютубчике или у холодильника стал практиковать упасть на диван или на коврик, желательно в не очень удобную позу, поставить таймер на телефоне и уснуть. Проснуться и снова за работу. Не знаю, как там по науке, но на практике это и отдых, и перезагрузка. Upd: применять не более 1-2 раз в день без ущерба для рабочих процессов.
2. Визуальные заметки в большом блокноте. Долой стикеры — они теряются. Как задачи надо вести не в эксельке, а в нормальном трекере с канбаном, так и заметки лучше всего делать в большом блокноте, разными ручками, маркерами. Всё это помогает не только сохранить важную информацию, но и запомнить её. Особенно, когда рисуешь.
3. Группы в Google Chrome. Самая тяжёлая задача для меня, но очень стараюсь внедрить привычку сразу раскидывать нужные вкладки по группам. Там трекер, там доки по продуктам, там релизы и почты. Кажется, что не очень нужные действия, но по факту они очень сильно экономят время в дальнейшем.
В заключение, делитесь своими рабочими привычками и способами не сойти с ума от нагрузки и рутины.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🤔3🤯2🤣2🔥1
Нашёл интересную штуку — Feeds Fun — читалку новостей с тегами и ChatGPT. По идее при грамотной настройке должно сильно упростить чтение новостей по направлением, сборку различных дайджестов и т.д.
👍3🤔3🤯1
А ещё коллега по VK Tech Роман Щекин написал на Хабре статью, как собрать удобный поиск по коду из нескольких CLI-утилит.
Хабр
Репа тут
Хабр
Хабр
Быстрее некуда: собираем удобный поиск по коду из нескольких CLI-утилит
Мы никогда не читаем код как книгу — мы выбираем только конкретные интересующие места. Такие места обычно запоминаются ассоциативно, например по имени функции, строковому литералу, импорту библиотеки,...
❤1🔥1😁1🙏1