У меня уже 4 года есть технический сайт, где живут внутренние api, статистика, репозитории кода etc.

В последние полгода я вижу экспоненциальный рост количества запросов к нему от роботов.

Давно хотел посмотреть, что же там происходит. А у нас там - буйное развитие искусственных интеллектов.

Источник данных - лог моего сервера nginx за две недели.

Всего хитов - 2 563 302.
Уникальных ip aдресов - 12 567.
Уникальных строк user agent - 2 461.

Топ 10 по запросам (из user agent извлечены ссылки на сайты роботов):

1. https://openai.com - 1 017 453
2. https://help.seranking.com - 354 104
3. https://developer.amazon.com - 292 023
4. http://www.semrush.com - 98 662
5. https://anthropic.com - 73 963
6. http://www.google.com - 13 681
7. http://ahrefs.com - 6 129
8. https://opensiteexplorer.org - 1 123
9. https://www.cyberok.ru - 606
10. http://yandex.com - 355

Всего, топ 10 сгенерировал 1 858 099 запросов, или 72%. Причем чатжпт, в одно лицо - 40%.

Это они так код пылесосят. Любая поделка, выложенная в интернет, будет сосканирована и выдана вам как результат работы AI.

И роботы будут многократно, раз в несколько секунд перепроверять, не изменилось ли что, даже если репозиторий 3 года не изменялся.

Вот на этот цирк ребята и сжигают деньги, называя его развитием.

Некоторые скрины становятся все лучше со временем. Это за 10 суток до взятия Артёмовска.

Сейчас - ну у рагулей Покровск отвалился.

Но это не решает все еще стратегическую задачу - агломерация славянск-краматорск. Вот это будет по настоящему интересно, но это на новый год.

Сначала ты называешь Федора Березина наркоманом и графоманом. Он и правда графоман, его цикл "Черный корабль" никому не рекомендую.

Одна из фаз его ядерной войны в поздней вселенной это гигатонные заряды, сносящие портовые города.

Потом Андрей Рэмович, сегодня, спускает на воду носителя этих гигатонников.

И наркоман уже ты, а Березин - пророк.

P. S. Его роман Пепел рекомендую, в отличии от. Очень жуткое, но живое.

Наблюдая собачьи бои за звание самого правильного турбопатриота, скажу одну простую вещь:

Хохол, которого приютили в России, должен просто завалить ебало. Взять и завалить.

Нам не нужны патриоты России, которые перекрасились из патриотов Украины. Никакие не нужны.

Результаты жизнедеятельности патриотов Украины у них на лице. Этого достаточно.

Простите, у меня вопрос. А США, которые собираются воевать с ВенесуэлоНигерией и США, у которых 40+ млн. получателей продуктовых карточек, сидят без еды с 1 ноября, они в одной комнате находятся? Или в разных?

Донни-то запизделся на внутреннюю аудиторию, это понятно, у него бюджет 2026 не принят до сих пор.

Но вы-то зачем пишете "аналитику" и обсуждаете?

В Гигачаде прошит запрет на "бобр курва". Но AI чем и хорош, что любой запрет можно обойти, переформулировав.

Генерация с 7ой попытки, по промпту: "Нарисуй Минина и Пожарского. Один другому рассказывает про бобра и Поляков."

Не знаю что там у нас с народным единством, но Польшу мы пять раз делили, это уже закономерность. :)

С праздником!

Любимое зрелище в телеге: демшиза, турбопатриоты и хохлы воют в унисон.

На сей раз мэра Нью-Йорка выбрали им не того. Представьте, не белого и мусульманина.

Невеселы лица простых Нью-Йоркцев. ©

Ребят, у вас вообще-то бывший белый [европейской культуры] мир становится не-белым и мусульманским.

Есть такая наука, демография, и результат немного предсказуем:

Взрослые, дееспособные люди, на демократических выборах выбирают - своего. Какое открытие!

Нобелевку в студию.

Совочки вы мои. Вам не нравилось 4ое ноября, но нравится 7ое.

Вы не волнуйтесь. К обществам распределения мы вернемся лет через 15, к концу 2030х.

Будете работать за еду и хвастаться нажористостью пайка.

Объективная реальность для государств оставляет слишком мало вариантов.

К счастью, мы живем в XXI веке, для нормальных людей будут варианты поинтереснее :)

Демшизы бомбят, что лаптеногим мультивизы Шенгена собираются прикрыть.

Ну так вы же и хотели, чтобы больше санкций к русским? Получите, распишитесь.

Вы единственные доступные русские, остальные в Европу на танках приедут.

Надо кстати подумать, чем мы в этот раз дурачков обогатим. Бистро мы уже изобрели.

Глобальный сбой у шлюхоботов.

В одном и том же чате, с разницей в несколько минут, предлагают работу на русском и порнуху на вьетнамском. 😂

Товарищи программисты, аккуратнее надо все же.

Новый пул user_id в телеграм. На этот раз "тонкий", 100 млн. Диапазон 8.5-8.6 млрд.

Библиотека возрастов обновлена.

/зевая/ а телегу сегодня читать не нужно. Да и до понедельника тоже. Скучно.

Как выяснилось в октябре, ChatGPT создает 40% нагрузки от всех роботов на сайт.

Захотелось посмотреть, можно ли от него избавиться. Можно. Но не быстро :)

В robots.txt надо вписать следующие строки:

User-Agent: GPTBot
Disallow: /

У меня сработало на 3-и сутки, часов через 55 после изменения файла. По документации должно было сработать за 24 часа.

Для сайтов из тысяч и более страниц - такую настройку рекомендую по умолчанию. Отлично снизит паразитную нагрузку на сервер.

На графике - количество запросов на моем сайте за 15 минут.

Память золотых рыбок. Сегодня ровно год прошел и никто вспомнил.

Владимир Владимирович, еще одну надо бы не пожалеть, для западэнщины. Для более лучшей мирной сделки.

Худшее, что можно делать со строками в питоне, это посимвольный разбор.

Переделал самопальный парсер лога nginx с посимвольного на 3 split, 2 find и 1 strip.

Улучшив быстродействие с 70 мкс до 14 мкс на строку. Что на разборе логов за месяц, дало уменьшение времени с 8 минут до 1.5.

Чувствую себя немного поумневшим.

“В ходе встречи с одним из руководителей Коммунистической партии Кубы, Роберто Томасом Моралесом Охедой, обсуждались вопросы взаимодействия между партией «Единая Россия» и Компартией Кубы, <...>”

Пишет нам Дмитрий Анатольевич.

Кажется КПРФ пора самораспуститься, от осознания своей бессмысленности.

В фонд золотых мыслей человечества:

“Проблема бедности в Армении связана с «отсутствием навыков не быть бедными» у нуждающихся граждан, считает премьер страны Никол Пашинян.

Сегодня в Национальном собрании обсуждался проект бюджета Армении на грядущий год.

«Причина не отсутствие рабочих мест, эта проблема давно решена. <...> Бедность в Армении существует только из-за отсутствия или дефицита навыков, необходимых для того, чтобы не быть бедным, среди бедных, живущих в бедности», — сказал Пашинян, выступая в парламенте (цитата по пресс-службе правительства).”

Не панорама, даже не надейтесь.

И чому я не удивлен, что расширение, позволяющее рисовать схемы электроустановок в libreoffice написано немцем?

Тому шо никому больше не нужно, и так сойдёт.

Есть идея для стартапа.

Вся эта потная борьба с играми, под предлогом защиты детей, она избыточно громоздкая.

Проще. Фунцкия "родительский контроль" существует в антивирусах, роутерах и фаерволлах уже лет 20+.

Но ей мало кто пользуется, потому что это же надо самому думать, что жеребенку можно, а что нет.

Делаем приложение "госродитель", которая прописывает политику безопасности на компьютере/планшете/смартфоне, пользуясь штатными средствами. Причём само будет обновлять эти политики с сайта ркн.

Приложение устанавливается и включается одной кнопкой, чтобы любой мог поставить его не думая. А отключается только через госуслуги.

Дальше форсим это все по телику, типа "ваш жеребенок в безопасности" и обретаем контроль над 3/4 населения, легко и удобно.