Форум СТТС

Здравствуйте!

Прошу разрешения на автоматический сбор и обработку данных transphoto, находящихся в открытом доступе (не требующих регистрации) с целью сбора статистики на транспортную тематику. Ссылка на источник данных будет указана в материалах, собранных и созданных с использованием указанных данных.

P.S. понимаю, что тема парсинга практически не урегулирована законодательно, но думаю, правильнее все же попросить разрешения

Олег Рыбальченко пишет: ↑

28 окт 2020, 18:40

Здравствуйте!

Прошу разрешения на автоматический сбор и обработку данных transphoto, находящихся в открытом доступе (не требующих регистрации) с целью сбора статистики на транспортную тематику. Ссылка на источник данных будет указана в материалах, собранных и созданных с использованием указанных данных.

P.S. понимаю, что тема парсинга практически не урегулирована законодательно, но думаю, правильнее все же попросить разрешения

Здравствуйте,

Уточните, пожалуйста, для чего конкретно это будет использоваться и в каком виде будут представлены данные? Это одноразовое мероприятие, или хотите регулярно проводить?

Проводить планирую автоматически раз в сутки, идея заключается в объединении данных с gps трекеров по украинским городам с базой transphoto. Цель: сбор статисти КПП и по выпуску и работающим машинам. В духе "На маршруте n сегодня работало i Tatra KT4SU, j Tatra KT4Dm. n% ПС в городе - КТМ-5М3, m% - КТМ-8.".

Пока собрал один раз вручную, получилось так: https://transstat.oryba.dev

Олег Рыбальченко пишет: ↑

01 ноя 2020, 11:15

Проводить планирую автоматически раз в сутки, идея заключается в объединении данных с gps трекеров по украинским городам с базой transphoto. Цель: сбор статисти КПП и по выпуску и работающим машинам. В духе "На маршруте n сегодня работало i Tatra KT4SU, j Tatra KT4Dm. n% ПС в городе - КТМ-5М3, m% - КТМ-8.".

Пока собрал один раз вручную, получилось так: https://transstat.oryba.dev

А зачем данные по ПС собирать от нас каждый день? Оно же не меняется постоянно. И как выглядят запросы? Надо понимать, какую нагрузку на сервер оно даёт.

Можно и реже, день указал скорее из-за низкой планируемой нагрузки. Верхняя оценка нагрузки - кол-во городов со статистикой * кол-во видов транспорта (сейчас интересуют только трам и тролл) = 56 запросов на открытие странички с БД (фильтр - сначала те, что на балансе, т.е. несписанные). Реальное количество запросов около 40, т.к. далеко не везде два вида ГЭТ. То есть, просто сорок открытий страничек с базой и все. Можно установить промежуток между запросами, чтобы не сильно озадачивать сайт одномоментно.

На самом деле, я не знаю, как часто и где обновляется база, потому делал привязку к циклу выгрузки статистики по трекерам - раз в день и там, и там, чтобы иметь подобие консистентности. Но если нагрузка выше все же считается большой, конечно можно и реже

Если установить по интервалам, тогда ладно, чтобы не одновременно все запросы на сайт шли.