Бан и борьба с ним

Обсуждаем сервисы Google Maps и Google Earth™

Модераторы: Tolik, zed

Бан и борьба с ним

Сообщение Rasp » 17 дек 2009, 12:25

Рискую нарваться на плюсомет модератора, но тему подниму, поскольку нигде на форуме информации об этом не нашел.

Очевидно, что Гуугль банит за попытки скачивания несуществующих тайлов. Почему тогда борьба с баном ведется не путем изменения алгоритма загрузки, а путем увеличения паузы между запросами на сервер?
Rasp
Новичок
 
Сообщения: 11
Зарегистрирован: 05 окт 2009, 19:38
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Бан и борьба с ним

Сообщение vdemidov » 17 дек 2009, 12:29

Rasp писал(а):Очевидно, что Гуугль банит за попытки скачивания несуществующих тайлов. Почему тогда борьба с баном ведется не путем изменения алгоритма загрузки, а путем увеличения паузы между запросами на сервер?

Вопрос в том как угадывать существует тайл или нет.
Сейчас есть такая идея:
При закачке региона можно добавить опцию типа "Когда не делать попыток закачки" и варианты:
1. Всегда пытаться скачать.
2. Не качать только если есть tne для этого тайла
3. Не качать, если есть tne для тайла на уровень выше
4. Не качать, если нет скачанного тайла на уровень выше.

Предлагаю высказываться. Какое мнение сообщества, стоит реализовывать или ну его нафиг, слишком запутанно?
Чтобы понять программу, вы должны стать одновременно и машиной, и программой.
Аватара пользователя
vdemidov
Гуру
 
Сообщения: 1166
Зарегистрирован: 12 дек 2008, 13:10
Откуда: Киев
Благодарил (а): 92 раз.
Поблагодарили: 52 раз.

Re: Бан и борьба с ним

Сообщение Rasp » 17 дек 2009, 13:15

Меня интересуют спутниковые снимки слоя х16 европейской части России. Алгоритм скачивания следующий:
0. В настройках скачивания карт убираю все задержки
1. Скачиваются тайлы всей европейской части России х14. Они все есть и бана не происходит. Скачивание проходит на максимальной скорости канала.
2. В ручном режиме просматриваю снимки х14. Нахожу участки местности, которые имеют слои с большим разрешением. Их не сложно заметить по большему кол-ву деталей.
3. На масштабе х14 выделяю такие области и скачиваю масштаб х16. Поскольку такие тайлы точно есть, то бана нет и скачивание идет на максимальной скорости канала.
4. И так последовательно просматривая поверхность интересующей меня местности нахожу все участки с высоким разрешением.

+ Таким способом можно за день выкачать несколько гигабайт тайлов высокого разрешения без всяких банов.
+ Понятно, что нет никаких ограничений на многопоточность скачивания.

- Тратится много времени. Причем даже не на поиск участка с высоким разрешением. А на выделение этого участка точно по границам. Причем, поскольку участок в разрешении х14 не помещается на один экран то его скачивание приходится делать в несколько приемов.
- При смене версии программы приходится каждый раз лазить в настройку карт и убирать задержки
- Если прошли изменения в слоях, то надо заново скачать слой х14 и посмотреть в ручном режиме, не появились ли новые участки с высоким разрешением.

Алгоритм далек до идеального. Но другого варианта пока не нашел. Возможные улучшения алгоритма требуют доработки программы. Например:
1. Самостоятельный поиск программой тайлов высокого разрешения на заданном участке. Для этого надо скачивать тайлы сильно прореженной сеткой, а не сплошняком.
2. После нахождения тайла с высоким разрешением или указания его в ручную, программа скачала бы всю область высокого разрешения, по возможности не выходя за ее границы. Алгоритмически задача сложна, но решаема.
3. При скачивании участка и обнаружения измененных тайлов, программа может проверять наличие в этих местах тайлов с высоким разрешением.
Rasp
Новичок
 
Сообщения: 11
Зарегистрирован: 05 окт 2009, 19:38
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Бан и борьба с ним

Сообщение zed » 17 дек 2009, 13:43

А что, бан связан ТОЛЬКО с запросами несуществующих тайлов, и никакие другие действия юзера к бану не приводят?

Вопрос в том как угадывать существует тайл или нет.

Нечего угадывать не надо. Существует тайл или нет, записано здесь: viewtopic.php?f=27&t=765 НаУчитесь пользоваться предоставленной информацией, и забудите про бан :)
Хитрости GoogleEarth - то, чего вы не знаете о гугле
Аватара пользователя
zed
Гуру
 
Сообщения: 1519
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 37 раз.
Поблагодарили: 177 раз.

Re: Бан и борьба с ним

Сообщение Rasp » 17 дек 2009, 14:01

zed писал(а):А что, бан связан ТОЛЬКО с запросами несуществующих тайлов, и никакие другие действия юзера к бану не приводят?


По моим экспериментальным наблюдениям именно так. Как только перестал запрашивать несуществующие тайлы баны прекратились напрочь. Задержки равны нулю. Канал 10 магабит. Скачиваю в несколько ручьев. Объем скачанного в кеше, на текущий момент, превышает 30 гб и 3 млн. файлов. Бана нет.
Rasp
Новичок
 
Сообщения: 11
Зарегистрирован: 05 окт 2009, 19:38
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Бан и борьба с ним

Сообщение Rasp » 17 дек 2009, 14:18

Нечего угадывать не надо. Существует тайл или нет, записано здесь: viewtopic.php?f=27&t=765 НаУчитесь пользоваться предоставленной информацией, и забудите про бан :)


Сходил по ссылке и не понял, что Вы имели в виду. Там обнаружил только ссылки на неполную коллекцию тайлов низкого разрешения до х12. х12 и х14 у меня есть. Даже если бы их небыло, время на их получение порядка суток. А нужны х16.
Rasp
Новичок
 
Сообщения: 11
Зарегистрирован: 05 окт 2009, 19:38
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Бан и борьба с ним

Сообщение zed » 17 дек 2009, 14:36

По ссылке лежит q-дерево, один зум которого, описывает наличие тайлов сразу на 4-х низлежащих зумах, т.е. 12-й зум дерева описывает 13..16 зумы тайлов, а 16-й, соответственно, 17..20 зумы. Ну, пока SAS не умеет работать с q-деревом, вам оно, как бы и нафиг надо. Мой пост относился к разработчикам, мол, вот где можно брать инфу. Если такой вариант их заинтересует, то алго скачки с GM придётся сильно модифицировать, но если это избавит от бана, то, наверное, оно того стоит?
Хитрости GoogleEarth - то, чего вы не знаете о гугле
Аватара пользователя
zed
Гуру
 
Сообщения: 1519
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 37 раз.
Поблагодарили: 177 раз.

Re: Бан и борьба с ним

Сообщение Rasp » 17 дек 2009, 14:46

Понял. Спасибо. если разработчкики вклеют это в алгоритм, то все проблемы моментально решатся. Останется только вопрос где брать актуальное дерево. Или это не проблема?
Rasp
Новичок
 
Сообщения: 11
Зарегистрирован: 05 окт 2009, 19:38
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Бан и борьба с ним

Сообщение zed » 17 дек 2009, 14:57

Есть, конечно, нюансы, но в общем - не проблема.
Хитрости GoogleEarth - то, чего вы не знаете о гугле
Аватара пользователя
zed
Гуру
 
Сообщения: 1519
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 37 раз.
Поблагодарили: 177 раз.

Re: Бан и борьба с ним

Сообщение vdemidov » 17 дек 2009, 15:03

Если я правильно понимаю, это Q дерево для GE. И в скачивании Google Maps ничем помочь не может. Или я не прав?
Чтобы понять программу, вы должны стать одновременно и машиной, и программой.
Аватара пользователя
vdemidov
Гуру
 
Сообщения: 1166
Зарегистрирован: 12 дек 2008, 13:10
Откуда: Киев
Благодарил (а): 92 раз.
Поблагодарили: 52 раз.

След.

Вернуться в Google Maps + Google Earth™

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

cron