Доступ и обработка данных transphoto для последующей визуализации

Вопросы по работе сайта, не подходящие по теме в предыдущие разделы.
Ответить
Олег Рыбальченко
Сообщения: 20
Зарегистрирован: 21 апр 2016, 13:47
Откуда: Киев

Сообщение Олег Рыбальченко » 28 окт 2020, 18:40

Здравствуйте!

Прошу разрешения на автоматический сбор и обработку данных transphoto, находящихся в открытом доступе (не требующих регистрации) с целью сбора статистики на транспортную тематику. Ссылка на источник данных будет указана в материалах, собранных и созданных с использованием указанных данных.

P.S. понимаю, что тема парсинга практически не урегулирована законодательно, но думаю, правильнее все же попросить разрешения :)

Михаил Исаков
Сообщения: 1952
Зарегистрирован: 28 мар 2009, 12:13
Откуда: Ростов-на-Дону
Контактная информация:

Сообщение Михаил Исаков » 30 окт 2020, 00:00

Олег Рыбальченко пишет:
28 окт 2020, 18:40
Здравствуйте!

Прошу разрешения на автоматический сбор и обработку данных transphoto, находящихся в открытом доступе (не требующих регистрации) с целью сбора статистики на транспортную тематику. Ссылка на источник данных будет указана в материалах, собранных и созданных с использованием указанных данных.

P.S. понимаю, что тема парсинга практически не урегулирована законодательно, но думаю, правильнее все же попросить разрешения :)
Здравствуйте,

Уточните, пожалуйста, для чего конкретно это будет использоваться и в каком виде будут представлены данные? Это одноразовое мероприятие, или хотите регулярно проводить?

Олег Рыбальченко
Сообщения: 20
Зарегистрирован: 21 апр 2016, 13:47
Откуда: Киев

Сообщение Олег Рыбальченко » 01 ноя 2020, 11:15

Проводить планирую автоматически раз в сутки, идея заключается в объединении данных с gps трекеров по украинским городам с базой transphoto. Цель: сбор статисти КПП и по выпуску и работающим машинам. В духе "На маршруте n сегодня работало i Tatra KT4SU, j Tatra KT4Dm. n% ПС в городе - КТМ-5М3, m% - КТМ-8.".

Пока собрал один раз вручную, получилось так: https://transstat.oryba.dev

Михаил Исаков
Сообщения: 1952
Зарегистрирован: 28 мар 2009, 12:13
Откуда: Ростов-на-Дону
Контактная информация:

Сообщение Михаил Исаков » 10 ноя 2020, 20:25

Олег Рыбальченко пишет:
01 ноя 2020, 11:15
Проводить планирую автоматически раз в сутки, идея заключается в объединении данных с gps трекеров по украинским городам с базой transphoto. Цель: сбор статисти КПП и по выпуску и работающим машинам. В духе "На маршруте n сегодня работало i Tatra KT4SU, j Tatra KT4Dm. n% ПС в городе - КТМ-5М3, m% - КТМ-8.".

Пока собрал один раз вручную, получилось так: https://transstat.oryba.dev
А зачем данные по ПС собирать от нас каждый день? Оно же не меняется постоянно. И как выглядят запросы? Надо понимать, какую нагрузку на сервер оно даёт.

Олег Рыбальченко
Сообщения: 20
Зарегистрирован: 21 апр 2016, 13:47
Откуда: Киев

Сообщение Олег Рыбальченко » 14 ноя 2020, 00:40

Можно и реже, день указал скорее из-за низкой планируемой нагрузки. Верхняя оценка нагрузки - кол-во городов со статистикой * кол-во видов транспорта (сейчас интересуют только трам и тролл) = 56 запросов на открытие странички с БД (фильтр - сначала те, что на балансе, т.е. несписанные). Реальное количество запросов около 40, т.к. далеко не везде два вида ГЭТ. То есть, просто сорок открытий страничек с базой и все. Можно установить промежуток между запросами, чтобы не сильно озадачивать сайт одномоментно.

На самом деле, я не знаю, как часто и где обновляется база, потому делал привязку к циклу выгрузки статистики по трекерам - раз в день и там, и там, чтобы иметь подобие консистентности. Но если нагрузка выше все же считается большой, конечно можно и реже

Михаил Исаков
Сообщения: 1952
Зарегистрирован: 28 мар 2009, 12:13
Откуда: Ростов-на-Дону
Контактная информация:

Сообщение Михаил Исаков » 15 ноя 2020, 20:57

Если установить по интервалам, тогда ладно, чтобы не одновременно все запросы на сайт шли.

Ответить