Полезный сайт для ленивого парсера

https://curlconverter.com/#python - делает из curl строки, подсмотренной в отладчике хрома, код для питона и десятка основных языков. Получается нечто с картинки.

Я вчера пару часов убил, пытаясь спарсить сайт президента Украины. Осложнялось это тем, что наши придурки из РКН его сайт забанили.

Рецепт, как привинтить любой vpn, поддерживающий socks5, к своему коду aiohttp:

from aiohttp_socks import ProxyConnector

connector = ProxyConnector.from_url('socks5://127.0.0.1:37327')
http_client = ClientSession(connector=connector, timeout=timeout)

Все, весь интернет виден нормально. Оставалось отломать сайт Зели, но там вообще тривиальная ошибка была, куки, оказывается, правильно передавать отдельно, а не в заголовок запроса и заработало.

Вчера, канал Военный осведомитель подсказал еще один подход к оценке потерь у хохлов - официальные приказы Зели о награждении орденами/медалями, в том числе и посмертно. В посте указано было около 3х тысяч, но такие вещи надо проверять.

В итоге, на сайте президента украины обнаружено 129 указов о награждении, с 28 февраля (первый военный) по 30 июня 2022.
Из них 18 это "парадные" указы, о награждении журналистов, работников ЧАЭС к дате и прочая маклуатура, а 111 указов касаются непосредственно военных.

Данные подтвердились, непосредственно посмертных награждений обнаружено 3 063 (и 16 936 человек награждены при жизни).

Разбивка погибших по званиям (алфавитная, на украинском):

водія - 1
головного корабельного старшину - 2
головного сержанта - 83
головного старшину - 3
капрала поліції - 2
капітана - 76
капітана 2 рангу - 1
капітана 3 рангу - 3
капітана медичної служби - 2
капітана поліції - 3
капітана служби цивільного захисту - 2
капітана юстиції - 1
лейтенанта - 88
лейтенанта медичної служби - 1
лейтенанта поліції - 4
майора - 58
майора медичної служби - 1
майора поліції - 6
майора служби цивільного захисту - 2
майстер-сержанта - 32
майстер-старшину - 3
матроса - 53
молодшого лейтенанта - 19
молодшого сержанта - 228
молодшого сержанта служби цивільного захисту - 2
полковника - 14
полковника поліції - 1
прапорщика - 10
прапорщика служби цивільного захисту - 5
підполковника - 52
підполковника служби цивільного захисту - 1
рядового поліції - 1
рядового служби цивільного захисту - 1
сержанта - 238
сержанта поліції - 2
сержанта служби цивільного захисту - 2
службовця - 2
солдата - 983
старшину - 13
старшину 1 статті - 3
старшину 2 статті - 2
старшого лейтенанта - 132
старшого лейтенанта медичної служби - 2
старшого лейтенанта поліції - 6
старшого лейтенанта служби цивільного захисту - 2
старшого майстер-сержанта - 6
старшого матроса - 50
старшого прапорщика служби цивільного захисту - 1
старшого сержанта - 179
старшого сержанта поліції - 5
старшого сержанта служби цивільного захисту - 1
старшого солдата - 595
штаб-сержанта - 74
штаб-старшину - 4

Подробную, по орденам/медалям и званиям награжденных, положу в комментариях.

Хорошая открытка украинской пропаганде получилась. Голуби мои, у вас минимальная планка по погибшим к настоящему времени уже 60к., с чем я вас и поздравляю :)

В дополнение, немного статистического анализа от моего математического друга:

Идея для йуных падаванов, выбирающих путь: двинуться в сторону разработки приложений для Kaspersky OS.

Она весьма вычурно устроена и, если начнётся её промышленная эксплуатация, через годик-другой, то разработчиков будет мало.

Если не выстрелит, получите "другой взгляд" на операционные системы и организацию доступа, что тоже полезно. :)

Очередное забавное и нелогичное. Постгрес библиотека для 🐍 psycopg2, если select из таблицы ничего не нашёл, ведёт себя по разному, в зависимости от метода выдачи запроса.

Если запрашивали fetchall - возвращает [] (пустой массив), если fetchone, то возвращает None.

В итоге мне надоело вспоминать, какую проверку на отсутствие результата надо делать, if row is None или if len(row)==0. В своей надстроечной postgres библиотеке я привёл выдачу обоих к None. 😁

Upd: пособирал шишек с таким вариантом, дошла и логика. Пустой список позволяет работать конструкции перечисления for row in rows, а None не позволяет. Так что вернул обратно. Хех

Я подумал сначала, что пост выше это поклеп и фотожаба. Нет.

Посмотрел в базе user_id по номеру телефона, и запустил поиск по чату.

Реально Филя. Аккаунт 2016 года, живой, только что был в сети, состоит в чате правосека.

Телефон в интернете везде указан, как Киркорова. Система СБП реально видит его как Филипп К. Шансов ошибиться практически нет.

ИЧСХ, в российских околополитотных чатах, данный юзер не состоит.

Хорошая у нас эстрада. Нажористая.

UPD: Детальное исследование, показало, что это хохляцкая подстава.

Неявное последствие телеграм-премиум для ботов-репостеров.

Для премиум юзеров, был расширен лимит подписи к медиа файлам. Обычный лимит 1024 символа, премиальный 2048 (лимит текста в одном посте без картинок - 4096 для всех).

Утром выловил ночную ошибку: премиум пользователь ведёт канал. Он накропал пост из 1 картинки и 2200 символов подписи. В его канале все ок. А бот, который репостит из основного канала в другие, поймал, естественно MediaCaptionTooLongError.

Бот же не премиальный. Теперь, надо будет допилить разделение длинных подписей и отправку двух постов: с картинкой и частью подписи и второй части текста.