Здравствуйте!
Прошу разрешения на автоматический сбор и обработку данных transphoto, находящихся в открытом доступе (не требующих регистрации) с целью сбора статистики на транспортную тематику. Ссылка на источник данных будет указана в материалах, собранных и созданных с использованием указанных данных.
P.S. понимаю, что тема парсинга практически не урегулирована законодательно, но думаю, правильнее все же попросить разрешения
Доступ и обработка данных transphoto для последующей визуализации
-
- Сообщения: 20
- Зарегистрирован: 21 апр 2016, 13:47
- Откуда: Киев
- Контактная информация:
-
- Сообщения: 2573
- Зарегистрирован: 28 мар 2009, 12:13
- Откуда: Praha
- Контактная информация:
Здравствуйте,Олег Рыбальченко пишет: ↑28 окт 2020, 18:40Здравствуйте!
Прошу разрешения на автоматический сбор и обработку данных transphoto, находящихся в открытом доступе (не требующих регистрации) с целью сбора статистики на транспортную тематику. Ссылка на источник данных будет указана в материалах, собранных и созданных с использованием указанных данных.
P.S. понимаю, что тема парсинга практически не урегулирована законодательно, но думаю, правильнее все же попросить разрешения
Уточните, пожалуйста, для чего конкретно это будет использоваться и в каком виде будут представлены данные? Это одноразовое мероприятие, или хотите регулярно проводить?
-
- Сообщения: 20
- Зарегистрирован: 21 апр 2016, 13:47
- Откуда: Киев
- Контактная информация:
Проводить планирую автоматически раз в сутки, идея заключается в объединении данных с gps трекеров по украинским городам с базой transphoto. Цель: сбор статисти КПП и по выпуску и работающим машинам. В духе "На маршруте n сегодня работало i Tatra KT4SU, j Tatra KT4Dm. n% ПС в городе - КТМ-5М3, m% - КТМ-8.".
Пока собрал один раз вручную, получилось так: https://transstat.oryba.dev
Пока собрал один раз вручную, получилось так: https://transstat.oryba.dev
-
- Сообщения: 2573
- Зарегистрирован: 28 мар 2009, 12:13
- Откуда: Praha
- Контактная информация:
А зачем данные по ПС собирать от нас каждый день? Оно же не меняется постоянно. И как выглядят запросы? Надо понимать, какую нагрузку на сервер оно даёт.Олег Рыбальченко пишет: ↑01 ноя 2020, 11:15Проводить планирую автоматически раз в сутки, идея заключается в объединении данных с gps трекеров по украинским городам с базой transphoto. Цель: сбор статисти КПП и по выпуску и работающим машинам. В духе "На маршруте n сегодня работало i Tatra KT4SU, j Tatra KT4Dm. n% ПС в городе - КТМ-5М3, m% - КТМ-8.".
Пока собрал один раз вручную, получилось так: https://transstat.oryba.dev
-
- Сообщения: 20
- Зарегистрирован: 21 апр 2016, 13:47
- Откуда: Киев
- Контактная информация:
Можно и реже, день указал скорее из-за низкой планируемой нагрузки. Верхняя оценка нагрузки - кол-во городов со статистикой * кол-во видов транспорта (сейчас интересуют только трам и тролл) = 56 запросов на открытие странички с БД (фильтр - сначала те, что на балансе, т.е. несписанные). Реальное количество запросов около 40, т.к. далеко не везде два вида ГЭТ. То есть, просто сорок открытий страничек с базой и все. Можно установить промежуток между запросами, чтобы не сильно озадачивать сайт одномоментно.
На самом деле, я не знаю, как часто и где обновляется база, потому делал привязку к циклу выгрузки статистики по трекерам - раз в день и там, и там, чтобы иметь подобие консистентности. Но если нагрузка выше все же считается большой, конечно можно и реже
На самом деле, я не знаю, как часто и где обновляется база, потому делал привязку к циклу выгрузки статистики по трекерам - раз в день и там, и там, чтобы иметь подобие консистентности. Но если нагрузка выше все же считается большой, конечно можно и реже
-
- Сообщения: 2573
- Зарегистрирован: 28 мар 2009, 12:13
- Откуда: Praha
- Контактная информация:
Если установить по интервалам, тогда ладно, чтобы не одновременно все запросы на сайт шли.