Веб-сервис для сохранения данных с Панорамио

[Vladimir Kleschev]

Делаю небольшой веб-сервис для скачивания фотографий и данных с Панорамио.

Адрес сервиса: http://getpanoramio.lblss.ru/

Что умеет на сегодня.

1.1. Сохраняет в локальную базу список фотографий пользователя (не сами фотографии!), к каждой фото сохраняются название, описание, координаты, теги, комментарии, дата загрузки - практически всё, что можно спарсить со страницы фотографии.

1.2. Отдаёт список ссылок для скачивания фотографий пользователя с Панорамио какой-нибудь программой-файлокачалкой. Это jpeg-файлы, которые хранятся на Панорамию, в них уже сохранены координаты, теги и название в EXIF. Эти файлы имеют размер (в пикселах) оригинала, но пожаты средствами Панорамио, потому размер файла (в килобайтах) существенно меньше, чем оригинал.

1.3. Отображает на веб-страничках собранное. Два режима - по сотне превьюшек на страницу и подробно по одной фото. Вполне пригодно для ручного сохранения на компьютере по Ctrl+S -> Страница целиком.

1.4. Записывает название, описание, координаты, теги в оригинальный файл, получаемый с Панорамио и отдавать его пользователю. Список для скачивания этих файлов предоставляется.


Что пока не умеет, но, возможно, будет уметь.

2.1. Отдавать собранное отдельным текстовым (или html) файлом по каждой фотографии (или архивом по сотне фото). Сделать не сложно, но я не вполне представляю, в каком виде/формате с этими данными удобно было бы работать. В общем, обсуждаемо.


Веб-сервис находится в состоянии перманентной разработки и уточнения алгоритмов сбора данных. Если выскакивают какие-то ошибки, то попробуйте перезагрузить страницу через пару минут. Скорость сбора данных небольшая, не все данные имеются на страницах сайта Панорамио. В ряде случаев предпочтение отдаётся пользователям с малым количеством фотографий.

Критика и предложения приветствуются.
Заранее благодарю, Владимир

UPD: Обновлено описание функционала - 20.11.2016г.

[IPAAT]

Сделайте двуязычную страницу с английской версией - размещу ее в англоязычном форуме.

Нет индикации процесса - непонятно, висит программа или скачивает инфу.

[Vladimir Kleschev]

Прогрессбара в явном виде нет, это не первоочередная задача. Дизайн тоже аскетичный :)
Но сам процесс сбора отображается. Веб-страница перезагружается каждые 15 секунд и цифры в правой части этих трёх строк обновляются:

Страниц с фотографиями: 1250 (из них получено 72)
Всего фотографий: 29996 (получено ID фото 1725, собрано данных о 51)
Собрано комментариев к фотографиям: 219

Если страница не перезагружается по какой-то причине, то можно нажать F5.

Английскую версию сделать не проблема, надеюсь, кто-то поможет корректно написать перевод. Сам то я... со словарём :)
В первую очередь хочу сделать запись в EXIF - ради чего и начинал этот проект.

[IPAAT]

Нельзя ли адаптировать размер окна под размер экрана, а то еще не у всех 16:9 :-)

[IPAAT]

А вообще мне нравится - наглядно данные о фото должны быть в результате представлены.

Опять же вопрос в удобной настройке под конкретные нужды пользователя - что и как скачивать, в каком виде запоминать и пр.

Ну, год есть на доработки :-)

[Vladimir Kleschev]

суббота, 29 октября 2016 г., 23:14:53 UTC+4 пользователь IPAAT написал:

Нельзя ли адаптировать размер окна под размер экрана, а то еще не у всех 16:9 :-

Без проблем, лёгким движением руки :)

Пока ещё на тестах не попадалось столь длинных списков. Баги, конечно, будут давать о себе знать. Отловим, поправим. Главное - обозначить проблему. Сегодня лишь третий день, как сервис светится в инете, так что, всё впереди.
 

[alexey65536]

А выгрузка данных о фотографиях в дальнейшем будет реализована? (интересует все, кроме комментов, например, в CSV)

[Vladimir Kleschev]

суббота, 29 октября 2016 г., 23:17:20 UTC+4 пользователь IPAAT написал:

А вообще мне нравится - наглядно данные о фото должны быть в результате представлены.

Опять же вопрос в удобной настройке под конкретные нужды пользователя - что и как скачивать, в каком виде запоминать и пр.

Собственно, как раз вот эти вопросы и хочется обсудить. Что будет востребовано, в каком виде делать выдачу готовых результатов. 

Ну, год есть на доработки :-)

Боюсь, год есть на использование. На доработки - меньше :-)

Да, пара слов о зависаниях. Оные имеют место быть.
Например, когда с Панорамио отдаётся не запрашиваемая страница, а страница с какой-нибудь ошибкой, вроде сервис недоступен, перегружен и т.п. Искренне надеюсь, что все они отдаются как положено, с кодами ошибки 500 группы. При попадании на такую ошибку сбор приостанавливается и возобновляется через две-три минуты.
Вторая причина зависаний - данные со страницы. Все они заносятся в базу данных. Структуру таблиц делал исходя из здравого смысла. Сегодня вот наткнулся на случай, когда данные по нескольким фото не собрались - банально, тегов оказалось гораздо больше, чем предполагал. Подобные случаи, наверняка, ещё будут вылазить.

[Vladimir Kleschev]

суббота, 29 октября 2016 г., 23:50:26 UTC+4 пользователь alexey65536 написал:

А выгрузка данных о фотографиях в дальнейшем будет реализована? (интересует все, кроме комментов, например, в CSV)

Разумеется, будет. Предполагал позже сделать выгрузку в виде HTML-страниц для локального просмотра. О выгрузке в CSV не думал, не предполагал, что понадобится такой формат. Если надо - сделаем, не проблема.

[IPAAT]

В описании фото и комментариях часто применяется форматирование в стиле Panoramio - нельзя ли при загрузке конвертировать его в обычный html - чтобы ссылки на странице веб-сервиса были ссылками, жирный текст - жирным и пр.

[IPAAT]

В общем я добавил ссылку в англоязычную тему.

[Vladimir Kleschev]

воскресенье, 30 октября 2016 г., 0:55:15 UTC+4 пользователь IPAAT написал:

В описании фото и комментариях часто применяется форматирование в стиле Panoramio - нельзя ли при загрузке конвертировать его в обычный html - чтобы ссылки на странице веб-сервиса были ссылками, жирный текст - жирным и пр.

Да, можно.
Почему-то изначально я решил хранить в базе исходный текст, который для правки используется... 

[IPAAT]

На странице веб-сервиса с фотографией справа есть много места - было бы хорошо сделать там карту с маркером - примерно так, как я сделал у себя на сайте... И будет вообще полный виртуальный архив :-)

[Vladimir Kleschev]

Исправлен баг, проявившийся у пользователя, имеющего только одну страницу списка фотографий - всего 14 штук.
И выявлена проблема - этому пользователю придётся оооочень долго ждать результат, если в очереди уже есть пользователи с тысячами фото.
Пожалуй, следует пересмотреть формирование очереди сбора.

[IPAAT]

Появилась карта около фото. Но почему Яндекс? Месть Гуглу? Обход ограничений API на траффик?

Плюс прямо скажем глупо выглядит на некоторых фото, например тут:

http://getpanoramio.lblss.ru/viewer.php?photo_id=5009554

[Vladimir Kleschev]

Всё проще. Гуглёвые карты никогда не ставил, а код яндексяческой карты попросту был под руками. Согласен, надо заменить. Белые дыры на ней, да и грузится уж очень долго.

[alexey65536]

>>http://getpanoramio.lblss.ru/viewer.php?photo_id=5009554
Кстати, на этой странице тоже видна неточность - автором показывает меня (видимо, из куков берет). И при переходе вперед-назад уже перескакивает на мои снимки.

[alexey65536]

Да, на моем профиле процесс, похоже, подвис - 1461 из 1463 обработано, и не движется.

[Vladimir Kleschev]

Так и есть, простейшая поддержка пользовательской сессии с использованием куки. Соответственно, из сессии берутся пользовательские данные (id и имя пользователя) и при переходе по страницам происходит возврат в контекст пользователя. Сама сессия стартует после ввода ID пользователя на "главной" странице. Так вот и получилась эта неточность. Пока не знаю, насколько это критично/проблемно, не предполагал, что будут переключения на других пользователей, соответственно, и не предусматривал дополнительную проверку пользователя при просмотре данных фото.
А вывод правильного автора в такой ситуации поправлю, разумеется.

воскресенье, 30 октября 2016 г., 14:15:49 UTC+4 пользователь alexey65536 написал:

[Rosti Torth]

Как запустить процесс по новой? А то у меня не все фото получили данные. И ещё вопрос? Что потом с этим делать, как сохранить?

[Vladimir Kleschev]

воскресенье, 30 октября 2016 г., 14:37:10 UTC+4 пользователь alexey65536 написал:

Да, на моем профиле процесс, похоже, подвис - 1461 из 1463 обработано, и не движется.

Хороший вопрос. Сложно сказать, подвис ли. Скорее, не дошла до них очередь. Кстати, когда смотрел, оставалась не собранной только одна страница. Сейчас в общей очереди на сбор сейчас 41531 страниц. На получение одной страницы уходит около одной секунды, ну, плюс-минус. Получается, если даже никто не будет добавлять свои альбомы на сбор, для разгребания этой очереди требуется пол-суток.

Да, пользователи, у которых в Панорамио размещено меньше фотографий, обрабатываются с более высоким приоритетом. Иначе они вообще никогда не дождутся окончания сбора.

[Vladimir Kleschev]

воскресенье, 30 октября 2016 г., 15:46:55 UTC+4 пользователь Rosti Torth написал:

Как запустить процесс по новой? А то у меня не все фото получили данные.

Пока такой возможности не предусмотрено. Сейчас в Вашем альбоме собрано  более половины (получено ID фото 9000, собрано данных о 5691). Комментарии собираются отдельным потоком. Напишите здесь, какие фото (ID фото) не получили полные данные (часть информации сохранилась, а часть не сохранилась).

[alexey65536]

А ссылка "Получить список файлов для скачивания** фотографий с использованием данного* сервиса", как я понимаю, пока не работает?:)

[Vladimir Kleschev]

воскресенье, 30 октября 2016 г., 16:00:52 UTC+4 пользователь alexey65536 написал:

А ссылка "Получить список файлов для скачивания** фотографий с использованием данного* сервиса", как я понимаю, пока не работает?:)

Первая из двух ссылок, где описание более длинное - работает.

Вторая не работает, верно. Пока не разберусь, как раскладывать собранные данные в EXIF оригинальных файлов.
 

[Ruslan Pala]

как это все к себе стащить???

[Vladimir Kleschev]

понедельник, 31 октября 2016 г., 12:58:09 UTC+4 пользователь Ruslan Pala написал:

как это все к себе стащить???

В первом посте этого топика написано, "что умеет" делать сервис сейчас. Из "стащить" сейчас реализовано очень мало.
Вопрос о форматах отдаваемого контента актуален.
Вам в каком виде хотелось бы получить сохранённые данные?

[Vladimir Kleschev]

воскресенье, 30 октября 2016 г., 11:51:03 UTC+4 пользователь IPAAT написал:

Появилась карта около фото. Но почему Яндекс? Месть Гуглу? Обход ограничений API на траффик?

Плюс прямо скажем глупо выглядит на некоторых фото, например тут:

http://getpanoramio.lblss.ru/viewer.php?photo_id=5009554

Вывел две карты - гуглёвую (не разобрался, как там включить названия объектов по дефолту) и яндексяческую. Что-то на одной карте лучше прорисовано, что-то на другой. Можно сделать переключалку, если две карты слишком много :)

[© Kostia Smirnov]

Владимир, отличный сервис получился! На странице просмотра ничего лишнего и комментарии все на одной странице - красота! Можно в html сохранять из браузера или при помощи дополнений (например ScrapBook для Firefox) разом, практически в один клик, всю собранную информацию сохранить для офлайн просмотра.

Вопрос - как я понял, сбор комментариев идёт отдельным потоком, он идёт параллельно или после окончания сбора остальных данных по фото? У меня данные по фото спарсились ещё вчера, а комментарии сегодня утром дошли почти до конца, но остановились и весь день стоят на одной цифре...

[alexey65536]

У меня тоже остановились (443/450).

[Roman PETROV]

Спасибо Владимир. Прекрасный сервис. Прогнал свою страничку, все понравилось, все скачалось. Комменты у меня тоже остановились 12077 из 12398. Погадали с Костей и подумали что это могут быть удаленные комменты,? Тоесть счетчик их помнит, а в реале их нет?
 Как уже написал Константин,с помощью плагина для Firefox -"Scrappbook". Можно собрать в одну папку всю собранную информацию. И еще хотелось бы чтоб была кнопочка "Запустить сканирование снова".

[Vladimir Kleschev]

Костя, Алексей, с комментариями вот какое дело.
Скачиваются они отдельным потоком, действительно. Потому, комментарии могут появиться не сразу (или не сразу все, если была ошибка).

Наверно, в двух словах поясню ныне действующий принцип.
Когда парсится страничка с фотографией, оттуда берётся число комментариев и заносится в базу. Далее, через какое-то время доходит очередь до сбора комментариев по этой странице. Сначала открывается наиболее ранняя (старая) страница комментариев, она под номером 1. С неё парсятся все комментарии и заносятся в базу. В базе, где данные по фото, делается отметка, что первая страница каментов сохранена. Если общее число каментов больше, чем номер_последней_разобранной_страницы_каментов * 20 (на странице они по 20), то аналогично обрабатываются следующие страницы. Если по какой-то причине вторая и делее страница срубилась (сервер Панорамио недоступен, вернул ошибку и т.п.), то потом сбор продолжается с этого места. Вот так как-то.

Что может быть в промежутке времени между парсингом страницы с фото и сбором каментов?
Например, появились новые комментарии или были удалены старые.
В первом случае (блин, только сейчас это осознал!) самые новые комментарии могут не скачаться, если их общее число перевалило за кратную 20 цифру (появилась новая страница каментов). Это дело попытаюсь поправить в алгоритме.
Во втором случае (ранние каменты удалены) скачивать, попросту, нечего.

Эммм... Мне на ушко шепнули, что перед закрытием Панорамио кто-то загружает новые фотографии тоннами, а кто-то трёт все подряд свои комментарии (имена не буду тут оглашать). Уж не знаю, с чем связано то и другое )))

Конечно, я не исключаю, что парсер не распознал какой-то комментарий. Например, из-за какого-то хитрого форматирования. Всё может быть.

Если нашлись какие-то конкретные странички, на которых число каментов не соответствует (на страничке смотрелки с фото они пронумерованы), напишите сюда их ID иди адреса. Попробуем разобраться.

[Vladimir Kleschev]

понедельник, 31 октября 2016 г., 15:34:17 UTC+4 пользователь Roman PETROV написал:

Спасибо Владимир. Прекрасный сервис.

Не за что, Роман! Рад, что пригодился сервис )
 

И еще хотелось бы чтоб была кнопочка "Запустить сканирование снова".

Да, это есть в планах на будущее.
Если получится, ближе к ночи сделаю кнопочки для точечной пересборки (страница, каменты на странице, список фотографий пользователя). Днём то проблемно, приходится на работе трудиться )

[alexey65536]

Например: http://getpanoramio.lblss.ru/viewer.php?photo_id=122795544 - всего 4, загружено 2.
Хотя 2 из 4 появились только вчера - может, здесь помогла бы кнопка "Перечитать"...
Еще пример: http://getpanoramio.lblss.ru/viewer.php?photo_id=122796553 - всего 1, загружено 0. Здесь комменту 11 дней, ошибки из-за "свежести" быть уже не может.

[Ruslan Pala]

Можно в виде html страниц (как реальная) упакованный в вид просматриваемого документа через броузер с функцией листания, с интерфейсом панорамии.   

[Vladimir Kleschev]

понедельник, 31 октября 2016 г., 16:36:16 UTC+4 пользователь alexey65536 написал:

Например: http://getpanoramio.lblss.ru/viewer.php?photo_id=122795544 - всего 4, загружено 2.
Хотя 2 из 4 появились только вчера - может, здесь помогла бы кнопка "Перечитать"...

Да, согласен.
 

Еще пример: http://getpanoramio.lblss.ru/viewer.php?photo_id=122796553 - всего 1, загружено 0. Здесь комменту 11 дней, ошибки из-за "свежести" быть уже не может.

Да, парсер не разобрал этот комент, мой косяк. И огромную кучу других за пол-месяца, где даты публикации вида 11 days ago.  Думаю, что проще запустить сбор каментов заново на всём сервисе. Только что делать с этими days ago - пересчитать в реальную дату? Или, проще подождать, когда каменты перестанут появляться и тогда запустить сбор каментов. Есть мысли?

UPD: А впрочем, запустил сбор. Это всего около 20 тысяч страниц. Неспешно к утру соберёт.

[Roman PETROV]

Мое мнение. 
Подождать до 4 ноября, когда уже не добавлять не удалять не смогут, а там уже качать

[Vladimir Kleschev]

суббота, 29 октября 2016 г., 23:50:26 UTC+4 пользователь alexey65536 написал:

А выгрузка данных о фотографиях в дальнейшем будет реализована? (интересует все, кроме комментов, например, в CSV)

Сделал выдачу в CSV, добавил ссылку на главной странице.

На выходе следующие поля: 

• ID фотографии
• ID автора
• Широта
• Долгота
• Название
• Описание в html
  
• Теги через запятую
• Данные EXIF
• Дата загрузки
• Статистика (с количеством каментов)
  

Первая строка файла - заголовочная.
Разделитель - точка с запятой ";"
Строки с пробелами и двойные кавычки закавычены.

Добавить, убрать, поменять поля местами - не проблема.

[Ruslan Pala]

Проще подьехать к офису Гугла и устроить демонстрацию.

[Vladimir Kleschev]

Ура, кажется, получилось!

Сделал выгрузку собранных данных в EXIF.

Для тестирования в смотрелке на странице просмотра одиночной фотографии добавил ссылку "Скачать оригинал фото с сохранёнными в EXIF данными".  Посмотрите, пожалуйста, программами, которыми пользуетесь, все ли данные нормально читаются.

Может, добавить чего нужно или продублировать данные ещё в каких-то полях?
Пошарил в спецификациях, оказывается, много всяких полей предусмотрено под одни и те же данные. Сразу не разобрать, куда писать следует. Пока прописал поля, ориентируясь на Лайтрум.

Сейчас сохраняются:

• Название фото
• Описание
• Теги
• Координаты

Гхммм... В спецификациях http://www.exiv2.org/tags-xmp-exif.html пишут, что и под комментарии поля предусмотрены :)

UPD: Добавлю. Обнаружилось некоторое глкалово при просмотре метаданных виндовым проводником (конкретно винда 7). Суть вот в чём.

При большой суммарной длине тегов (точную границу не вычислял, но где-то более 200 символов) часть кириллицы (по крайней мере, в конце) показывается в проводнике крякозябрицей. Утилита exiv2 показывает нормальный текст в этом же файле. Природа этого явления пока не вполне понятна.

[Sergey Pilipko]

А каким образом комменты скачать себе?

[Vladimir Kleschev]

пятница, 4 ноября 2016 г., 2:48:13 UTC+4 пользователь Sergey Pilipko написал:

А каким образом комменты скачать себе?

Сергей, на данный момент можно лишь "Сохранить как" страничку просмотровщика фото, где выведены комментарии. Выше Роман писал, что для массового сохранения страниц использовал плагин к браузеру. Получилось, хоть и не с первого раза. Причина неудачи первой попытки ясна, но пока не локализована.

В недалёком и обозримом будущем, предполагаю сделать вариант отдачи всего альбома в виде архива HTML-страниц для локального использования. Пока не занимался этим, к сожалению.

[Roman PETROV]

UPD: Добавлю. Обнаружилось некоторое глкалово при просмотре метаданных виндовым проводником (конкретно винда 7). Суть вот в чём.

При большой суммарной длине тегов (точную границу не вычислял, но где-то более 200 символов) часть кириллицы (по крайней мере, в конце) показывается в проводнике крякозябрицей. Утилита exiv2 показывает нормальный текст в этом же файле. Природа этого явления пока не вполне понятна.

Возможно(ИМХО) не установлен какой то шрифт в винде. У меня так бывало при написании html кода. В блокноте пишешь норм, а при открытии в браузере выдает кракозябру

[Vladimir Kleschev]

пятница, 4 ноября 2016 г., 5:59:11 UTC+4 пользователь Roman PETROV написал:

UPD: Добавлю. Обнаружилось некоторое глкалово при просмотре метаданных виндовым проводником (конкретно винда 7). Суть вот в чём.

При большой суммарной длине тегов (точную границу не вычислял, но где-то более 200 символов) часть кириллицы (по крайней мере, в конце) показывается в проводнике крякозябрицей. Утилита exiv2 показывает нормальный текст в этом же файле. Природа этого явления пока не вполне понятна.

Возможно(ИМХО) не установлен какой то шрифт в винде. У меня так бывало при написании html кода. В блокноте пишешь норм, а при открытии в браузере выдает кракозябру

 Не, не то. Вот на снимке с id 70436006 выдаёт крякозябру, а на 70437634 нормально. Разница только в суммарной длине тегов. Алгоритм то записи не меняется. Есть смысл попробовать посмотреть другими программами.

[Roman PETROV]

Беда с гео данными, прописываются правильно, но вот только прога не распознает место. Загрузил ни чего не меняя в Яндекс фотки. Тоже не нашло место. В ручную пропишешь принимает

[Roman PETROV]

Моя смотрелка ZONER 15

[Vladimir Kleschev]

пятница, 4 ноября 2016 г., 6:22:39 UTC+4 пользователь Roman PETROV написал:

Беда с гео данными, прописываются правильно, но вот только прога не распознает место. Загрузил ни чего не меняя в Яндекс фотки. Тоже не нашло место. В ручную пропишешь принимает

Посыпаю голову пеплом. Как последний школьный двоешник, перепутал широту с долготой. На финальном этапе. Поправил. Закинул в ЯФ - правильно привязка получилась.

Зато другое вылезло. В описании фото остались HTML-теги разметки. Думаю, вырезать их. Но что делать со ссылками?

[Vladimir Kleschev]

Так понимаю, более никаких проблем не обнаружилось в метаданных?

Хорошо.
Сделал скачивание файлов по списку. Вот в этой строчке брать список-> "Получить список файлов для скачивания** фотографий с использованием данного сервиса."

Напомню, что данные берутся из собранного. Потому, есть смысл для глобального скачивания дождаться централизованного обновления. Думаю, во второй половине ноября запустить, когда даты примут устоявшийся вид. Займёт этот процесс несколько дней.

[© Kostia Smirnov]

Красота! Владимир, еще, очень нужно возможность отключения карт на страницах фотографий во вьюере, чтобы при сохранении в html скрипты код не портили :-))

[Vladimir Kleschev]

пятница, 4 ноября 2016 г., 20:08:43 UTC+4 пользователь © Kostia Smirnov написал:

Красота! Владимир, еще, очень нужно возможность отключения карт на страницах фотографий во вьюере, чтобы при сохранении в html скрипты код не портили :-))

Костя, думаю со временем сделать отдачу статичного альбома в html. Там уже с опциями, что включить в альбом, а что не включать. Пока только обдумываю структуру альбома, чтоб удобна была и способ реализации. Есть же пользователи с небольшим количеством фотографий, а есть с десятками тысяч. Скажем так, нагенерить html - не проблема. Но отдавать его архивом без фотографий - уже некузяво. В общем, пока в раздумии.

[Sergey Pilipko]

пятница, 4 ноября 2016 г., 1:54:04 UTC+2 пользователь Vladimir Kleschev написал:

Сергей, на данный момент можно лишь "Сохранить как" страничку просмотровщика фото, где выведены комментарии.

Владимир, очень благодарен за ответ.
Увы, уже по-видимому не удастся даже так сохранить :( . Мне сейчас на Панорамио остались доступными только голые снимки с их именами.
Одна надежда на Вас. Будем ждать... .

Общение - пожалуй самое ценное, что было на этом сайте. Комментарии, слова друзей... . Всё будто оживало.
Да и статистика была в некоторой мере познавательной и полезной, позволяя оценить своё творчество как бы со стороны.
Но нас этого лишили. А фотки что? Есть они у меня, оригиналы. Сироты неприкаянные ;)

[Vladimir Kleschev]

Похоже, ребята из гугла прикинулись стахановцами и перевыполнили обещания, изменив дизайн. В новом дизайне попросту нет координат, тегов, комментариев. Хотя, убирать их никто не обещал, насколько понимаю.
Статистика, если кому нужна, тоже недоступна (сервер отвечает "Unexpected internal error. Please try again in 30 seconds.").

Неожиданно, да, очень по... американски :(

Осталась надежда на администрацию. Возможно, какими-то уговорами удастся вернуть старый дизайн страниц или предоставить доступ к данным иным способом.

Ну а в общем... Кто успел собрать данные - тем повезло. Надеюсь, серверы static.panoramio.com, где живут картинки, не вырубят так скоро...

[Vladimir Kleschev]

суббота, 5 ноября 2016 г., 2:30:25 UTC+4 пользователь Sergey Pilipko написал:

пятница, 4 ноября 2016 г., 1:54:04 UTC+2 пользователь Vladimir Kleschev написал:

Сергей, на данный момент можно лишь "Сохранить как" страничку просмотровщика фото, где выведены комментарии.

Владимир, очень благодарен за ответ.

Увы, уже по-видимому не удастся даже так сохранить :( . На Панорамио остались только голые снимки с их именами.

Одна надежда на Вас. Будем ждать... .

Сергей, сейчас для Ваших фотографий собрано примерно 95% комментариев. Остальное недоступно. Хочется верить, что временно недоступно. На администрацию надежда, более не на кого.

PS: Интересный фонтан у Вас на фото http://www.panoramio.com/photo/75954752
У меня в Панорамио была небольшая группа фотографий фонтанов с подсветкой. Не хватало в ней Вашего снимка. Жаль, не словились...

[msdte]

API тоже отключили (точнее, похоже что обнулили базу данных), так что никакого способа собрать данные видимо не осталось. Печаль...

P.S. Надо бы подкинуть идею американским фотографам подать коллективный иск к Гуглу, потому что очевидно есть несоответствие между тем, что обещалось, и тем, что произошло фактически.

[Vladimir Kleschev]

Ну вот, думал туда заглянуть... Надеюсь, базу таки не рубанули, а только веб-сервис выключили. Во всяком случае, если судить по темам этого форума, то есть у гугля какой-то волшебный кеш, где некоторое время что-то хранится и оттуда даже можно что-то достать. Возможно, уважаемый IPAAT что-то прояснит в создавшейся ситуации.

[Sergey Pilipko]

Спасибо за добрые слова! 95% - это много, это почти всё. Тешу себя надеждой, что хоть у вас где-то останется, коль на Панорамио уже нету. Смотрел исходный код страничек на Панорамио через консоль "инспектора" в броузере - не нашёл даже зацепок для комментов. Хотя это еще ничего не значит. Надеюсь, в базе всё осталось, и если подкорректируют шаблон, то вытянется. Было бы желание пойти нам навстречу.
Фонтан действительно интересный. В динамике - особенно, там лазером анимацию рисуют по водной пыли. В сети можно найти видео, ссылочка на поиск на той страничке еще жива. Да, вот, хотя бы...

[Roman PETROV]

Вот и всё, вот и кончилось тёплое лето

[Constantin Silkin]

Цирк уехал, а клоуны остались

[© Kostia Smirnov]

Грандиозная подстава Гугла с отключением ВСЕГО... И как же мы сможем ещё год это ВСЁ просматривать? :((

[IPAAT]

суббота, 5 ноября 2016 г., 2:38:28 UTC+3 пользователь Vladimir Kleschev написал:

Во всяком случае, если судить по темам этого форума, то есть у гугля какой-то волшебный кеш, где некоторое время что-то хранится и оттуда даже можно что-то достать.

Да, в течении нескольких дней гугловцы могут делать бэкапы, пока данные в кэше где-то висят. Сделают ли в этот раз - неизвестно.

Спасибо, что запустили свой сервис раньше смерти сайта - у меня успели скачаться данные ко всем фото на момент запуска.

Так что большая просьба - не убивайте пока скачанные фото с EXIF :-)

И может быть стоит продолжить "тренироваться на кошках" - поправить все баги на уже скачанных данных - вдруг всё-таки гугл откатит хотя бы данные.

[IPAAT]

Без паники!

[Vladimir Kleschev]

суббота, 5 ноября 2016 г., 12:08:41 UTC+4 пользователь IPAAT написал:

суббота, 5 ноября 2016 г., 2:38:28 UTC+3 пользователь Vladimir Kleschev написал:

Во всяком случае, если судить по темам этого форума, то есть у гугля какой-то волшебный кеш, где некоторое время что-то хранится и оттуда даже можно что-то достать.

Да, в течении нескольких дней гугловцы могут делать бэкапы, пока данные в кэше где-то висят. Сделают ли в этот раз - неизвестно.

 

Может быть, есть возможность связаться с ними? Или с ребятами, которые последнее время поддерживали сайт. Если база данных физически ещё жива, то, может быть (неслыханная наглость, конечно, да чем чёрт не шутит!), дадут прямой доступ на какое-то время.
 

Спасибо, что запустили свой сервис раньше смерти сайта - у меня успели скачаться данные ко всем фото на момент запуска.

Так что большая просьба - не убивайте пока скачанные фото с EXIF :-)

Наверно, ещё раз поясню, что на сервисе хранится.
У меня на сервисе хранятся только текстовые данные со страниц Панорамию. Сами фотографии на моём сервисе НЕ ХРАНЯТСЯ!!! Попросту, нет места для них. Фото в просмотровщик берутся непосредственно с серверов Панорамио. Скачивание на сервис делается только лишь для оригинального файла и только с целью записи в его метаданные координат, тегов, названия и описания. После отдачи клиенту файл сразу же удаляется. Собранную базу, конечно, убивать не собираюсь, да и невелика она, всего то около 200 мегабайт на данный момент.
 

И может быть стоит продолжить "тренироваться на кошках" - поправить все баги на уже скачанных данных

Все, что было выявлено и возможно исправить - исправлено на данный момент. О замеченных ошибках сообщайте, будем разбираться и править.

- вдруг всё-таки гугл откатит хотя бы данные.

Так понимаю, сам то гугл давно уж открестился от Панорамио, и последнее время сайт поддерживался "только благодаря энтузиазму нескольких бывших сотрудников и сотрудниками картографических сервисов Google" (цитата из Википедии https://ru.wikipedia.org/wiki/Panoramio, конечно, но другой информации не имею). Может, как-то и удастся с ними договориться...

[© Kostia Smirnov]

Анатолий, спасибо! Но, для многих комментарии, это самое ценное, что там было...

[IPAAT]

суббота, 5 ноября 2016 г., 11:58:29 UTC+3 пользователь Vladimir Kleschev написал:

Или с ребятами, которые последнее время поддерживали сайт. Если база данных физически ещё жива, то, может быть (неслыханная наглость, конечно, да чем чёрт не шутит!), дадут прямой доступ на какое-то время.

Возможность есть. Сформулируйте к ним точный вопрос на английском, что вам надо.

Скачивание делается только для оригинального файла и только с целью записи в его метаданные координат, тегов, названия и описания. После отдачи клиенту файл сразу же удаляется. 

Вот я и говорю - может пока не удалять?

цитата из Википедии https://ru.wikipedia.org/wiki/Panoramio

Ну, мало ли что я там написал, в этой Википедии. Хотя старался только проверенные данные указывать :-)

 

[Vladimir Kleschev]

суббота, 5 ноября 2016 г., 13:14:36 UTC+4 пользователь IPAAT написал:

суббота, 5 ноября 2016 г., 11:58:29 UTC+3 пользователь Vladimir Kleschev написал:

Или с ребятами, которые последнее время поддерживали сайт. Если база данных физически ещё жива, то, может быть (неслыханная наглость, конечно, да чем чёрт не шутит!), дадут прямой доступ на какое-то время.

Возможность есть. Сформулируйте к ним точный вопрос на английском, что вам надо.

Напишу, хоть и не силён в аглицком. Наверно не здесь, а в личку лучше. Как с Вами связаться?
 

Скачивание делается только для оригинального файла и только с целью записи в его метаданные координат, тегов, названия и описания. После отдачи клиенту файл сразу же удаляется. 

Вот я и говорю - может пока не удалять?

К сожалению, у меня нет возможности хранить так много. У меня лишь небольшой VPS о 20 гигах дискового пространства.

цитата из Википедии https://ru.wikipedia.org/wiki/Panoramio

Ну, мало ли что я там написал, в этой Википедии. Хотя старался только проверенные данные указывать :-)

Да уже выработалась привычка извиняться, за ссылку на Википедию могут иногда и помидорами закидать  :-)

[msdte]

Хорошо бы базу данных забэкапить полностью. Хотя она наверное неподъемна по размеру...

[IPAAT]

суббота, 5 ноября 2016 г., 12:27:24 UTC+3 пользователь Vladimir Kleschev написал:

Как с Вами связаться?

https://groups.google.com/d/msg/panoramio-russian/o0VTjXy9dxk/nH12htm6VbIJ

[IPAAT]

И всё-таки, какой программой можно легко и просто скачать фото по списку?

[alexey65536]

По списку из текстового файла - думаю, можно даунлоадером типа FlashGet.

[Vladimir Kleschev]

суббота, 5 ноября 2016 г., 16:33:46 UTC+4 пользователь IPAAT написал:

И всё-таки, какой программой можно легко и просто скачать фото по списку?

Из самых простых, надёжных и всеядных - wget. Консольная, без окошек, кнопочек и рюшечек. Имеются сборки под Windows, Linux и другие UNIX-подобные системы.
Сайт программы: http://www.gnu.org/software/wget/
Сборку для винды можно скачать тут: https://eternallybored.org/misc/wget/ (обращаем внимание на 32 или 64 бита!)
Установки в винде не требуется, достаточно распаковать в какую-нибудь папку. Можно даже в ту, куда собираетесь скачивать.
Запуск простой. Так как программа констольная, то сначала открываем окно консоли: жмём Win+R, в окошке печатаем cmd и жмём Enter.
Открылось чёрное окошко. Теперь мышку в сторону. В чёрном окошке печатаем две строчки (предполагаем, что wget уже лежит в папке для файлов, иначе нужно указать полный путь к нему):
cd <папка_для_скачиваемых_файлов>
wget -c -i list_dl_6166538_orig.txt
Здесь ключик -c (маленькое латинское цэ) означает, что если файл уже скачен полностью, то повторно его скачивать не требуется (полезно для повторного запуска, если по какой-то причине наступил облом или пришлось остановить скачивание),
ключик -i (и-с-точкой-маленькое) указывает имя файла со списком для скачивания (в данном примере list_dl_6166538_orig.txt).
Если инет периодически обрубается или подвисает, то можно задать ключиком -t число попыток повтора скачивания, а ключиком -T - интервал между попытками.
Жмём Enter, проверяем, что файлы появляются в папке, идём по своим делам. Окошко не закрываем.
Мануал на русском языке: http://i-notes.org/russkij-manual-k-programme-wget/ (там слишком много всего написано).

Про программы "с окошками и кнопочками" ничего не могу сказать вообще, к сожалению, сам не пользуюсь таковыми.

Если список ооооочень большой (вижу, что у некоторых пользователей есть десятки тысяч фото), то есть смысл порезать его на более мелкие, по 1 или 2 тысячи. Это полезно, так как при просмотре папок с огромным количеством файлов любой комп начинает тормозить.

[Vladimir Kleschev]

На данный момент обнаружен баг. Не все сайты принимают прописанные в EXIF геотеги. В частности, G+ и Вконтакт не распознают привязку. Хотя, тот же самый файл, на Яндекс-Фотках или на ipernity.com не вызывает проблем.

Будем разбираться.

[Vladimir Kleschev]

суббота, 5 ноября 2016 г., 17:30:36 UTC+4 пользователь Vladimir Kleschev написал:

На данный момент обнаружен баг. Не все сайты принимают прописанные в EXIF геотеги. В частности, G+ и Вконтакт не распознают привязку. Хотя, тот же самый файл, на Яндекс-Фотках или на ipernity.com не вызывает проблем.

Исправлено!

[IPAAT]

суббота, 5 ноября 2016 г., 17:23:11 UTC+3 пользователь Vladimir Kleschev написал:

Исправлено!

Да, теперь всё работает. Во всяком случае для Гугл+ и карт 

[Vladimir Kleschev]

Чем скачивать, спрашивали.

Заглянул в логи вебсервера. Собственно, впервые за всё время. И там оказалась подсказка.

Некто весьма активно и успешно скачивает фотографии с заполненным EXIF программой, которая представилась как ReGet Deluxe 5.1
Посмотреть описание программы и пощупать её в работе у меня не получается, сайт её http://www.reget.com банально... в общем, не работает.
Наверняка, где-нибудь на файлообменниках можно её найти.

Но! Одно только "но". Ссылки для скачивания фото со страницы просмотровщика и из списка - разные. В этом легко убедиться. Хотел в просмотровщике переделать под один вид, да решил, что оно по сути то и не важно. ;-) Так вот скачивание идёт по ссылкам, взятым со страниц просмотровщика. Но сами эти страницы не запрашиваются. Как так - сие мне неведомо, а гадать не буду. Просто факты.

Предположу, что это может быть какой-то плагинк браузеру, который умеет парсить веб-страницы для скачивания. А если так, то может проще выдать веб-страничку со ссылками для скачивания файлов?

[Vladimir Kleschev]

Друзья, есть у меня новости!

Пока предположим, что сайт Панорамио какое-то время останется в нынешнем состоянии.

В связи с этим некоторый список новостей.

1. Подавать заявки на сбор можно по-прежнему.

2. Для всех, кто подал заявки после поломки сайта - сбор списков фотографий выполнен.

3. Если в последнее время фотографии добавлялись на сайт Панорамио и не были добавлены на сервис, то можете нажать кнопочку для повторного составления списка фотографий. После окончания процесса будет обозначена дата/время обновления и кнопка будет недоступна.

4. Комментарии к фотографиям собираются! Отдельное спасибо Роману Петрову, он подсказал, где взять каменты! Собираются успешно, но медленно. Будет время - попробую ускорить процесс. Для тех фотографий, по которым уже прошел новый сбор комментариев, непосредственно перед их выводом светится дата/время сбора. До которых очередь не дошла - только слово "Собрано".

5. Плохие новости в конце. Данные по фотографиям на данный момент НЕ собираются. Если название, описание, exif и статистику можно взять с сайта, то с тегами и географическими координатами пока проблема. Есть альтернативный вариант, но актуальность там почти полугодовая... Пока ищем способы.

[© Kostia Smirnov]

Володя, новости чудесные! Запустил сбор данных некоторых наших коллег по Панорамио. Остаётся в силе наша просьба об удалении скрипта подгрузки фрагмента карты на странице фотографии во вьюере. Т.к. при компиляции автономного .chm файла из html и его последующем запуске на каждой странице появляется запрос на отключение или разрешение выполнения даже закомментированного скрипта.

[Vladimir Kleschev]

Костя, я правильно понял, откуда набежало на сервис более десяти человек за один день? ;-)

Про скрипты.
Где-то я уже писал, что есть в идеях сделать отдачу архива веб-страниц. Мне кажется это разумным. Приспосабливать же под это дело примитивнейшую смотрелку, что за десять минут на коленке была накорябана (ребята! и девчата, хорошо, что вы ещё код не видели!), которая оперативно меняется под давлением текущей ситуации - не кажется мне вполне разумным.

Уфффф.... И почему в сутках только лишь 24 часа... Никто не знает? ;-)

Было бы замечательно, если кто-то предложит одинаково удобоваримую структуру альбома для 200 фотографий, для 2000  и для 80000 (я не знаю, как можно загрузить такое количество фоток, но такие аккаунты, блин, есть!). Вот у меня пока нет простой идеи.
Далее. Есть у пользователя одна страница каментов (ну, по дефолту). Есть 20, а есть и 200. Подозреваю, на "офигенных фотках" есть и больше. что будет с браузером, если вывалить ему это ВСЁЁЁЁЁ...? Ну, зависнет. А оно надо? Мне - нет. Опять же, отмечаем сей нюанс.

[IPAAT]

воскресенье, 6 ноября 2016 г., 21:25:55 UTC+3 пользователь Vladimir Kleschev написал:

 Есть 20, а есть и 200. Подозреваю, на "офигенных фотках" есть и больше.

Нет. На сайте действовало ограничение в 50 страниц комментариев. Остальные не отображались. 

[© Kostia Smirnov]

Володя, мои только 6 человек :-)

[Roman A. Sergeev]

Нет. На сайте действовало ограничение в 50 страниц комментариев. Остальные не отображались. 

Угу. Только 1 строчка могла развернутся на 350 комментариев - видел такое..

Показать полностью...

[Vladimir Kleschev]

Хм, было ли это же ограничение наложено так же и в мобильной версии? Кто-нибудь знает фотографии с 50 страниц комментариев?

воскресенье, 6 ноября 2016 г., 22:32:58 UTC+4 пользователь IPAAT написал:

[msdte]

https://web.archive.org/web/20161013102102/http://www.panoramio.com/photo/9363990 - 149 страниц комментов.

Кстати, насколько я понял, получена возможность восстановить комменты? Если не секрет, в каком виде предоставили к ним доступ?

[Vladimir Kleschev]

Хех, предоставили... Никто и не предоставлял. Просто, забыли отобрать. Не все шаблоны на сайте искурочили. :)

Пара слов по доступности каментов. На примерно 40 с чем-то тысяч фотографий, что просканированы за 6 или 7 часов, было замечено порядка 450 отказов (код ответа сервера 400). Затрудняюсь что-то по ним комментировать. В базе эти фотографии отмечены как проблемные по коментам, но в интерфейс просмотра пока не вывел этот признак.
Ещё около 20 фото имеют слишком уж "рюшечно-развесистые" коменты. Что за неведомые символы туда напихали пользователи (в том числе, в свои никнеймы) - не знаю. Но в кодовой таблице UTF-8 таких точно нет. Придумаю, как их вычистить аккуратненько - при повторном сборе этих проблемных заменю рюшечки на вопросики.

[msdte]

Когда я писал и тестировал собиралку комментов, проблемы были, как ни странно, с символами с кодами меньше 32 (кроме переносов строк), которые изредка попадались. В xml такое записываться не хотело.

[Ruslan Pala]

Из-за ограничения отображаемых страниц 50, информативные комменты по не своим фото уехали за пределы досягаемости... Как их вытащить???

[Vladimir Kleschev]

Есть пример такой страницы?

понедельник, 7 ноября 2016 г., 19:17:47 UTC+4 пользователь Ruslan Pala написал:

[Vladimir Kleschev]

Подозреваю, что когда-то или вообще не было контроля вводимых символов на допустимость. Хотя, с другой стороны, ничего криминального в них нет, вполне себе "текстовые". :-) А что не хотело - так у XML хватает своих заморочек по этой теме. :(

понедельник, 7 ноября 2016 г., 10:12:36 UTC+4 пользователь msdte написал:

[Ruslan Pala]

Проблема в том, что когда в конце октября я начал всем слать ссылку на петицию- эти страницы уехали за пределы 50 доступных к показу. могу только некоторые указать- у IPAAT снимки с чернобыля, у кого-то кто был там- то ли  Rumlin  то ли Riyah, хотя найти можно- на могильнике в Чернобыле- где радиоактивную технику резали на металл (еще БРДМ-2 порезанная лежала), и аэродром рядом с Вегасом- там фото колонны МТЛБ кто-то разместил (что странно- откуда колонне мотолыг взяться в Вегасе) и конечно фото этого пользователя http://www.panoramio.com/user/3006419

-там где строй Су-24М и Лукьяновский СИЗО... 

Много было комментов у  людей которых даже ников не помню...

[Vladimir Kleschev]

Некоторые исправления, касающиеся сбора комментариев.

1. С "рюшечками" разобрался. Видимо, моё представление о utf-8 несколько устарело. Это оказались 4-байтовые символы в utf8mb4. Не знал о таких. В общем, структуру базы поправил. Если у кого не хватает каких символов в каментах - пишите сюда ID фотографий, поищем.

2. Не все комментарии одинаково лаконичны. Попадаются перлы на 30 килобайт и более. Их очень немного. Тоже сделал исправления в структуре базы. Но в первом сборе такие очень длинные каменты урезались. Если попадутся урезанные комментарии - опять же, пишите ID фотографии, соберём их заново.

[© Kostia Smirnov]

Володя, классно! "4-байтовые символы в utf8mb4" - вот, и я узнаю много нового от тебя, тем более, как человек далёкий от программного кода. По 6-ти пользователям, которых я добавил, ещё не было сбора каментов?

[Vladimir Kleschev]

Костя, я и сам много узнал на этом проекте. Завлекательная штуковина оказалась. :)

Каменты сейчас собираются бессортно "все подряд". Похоже, в порядке добавления фотографий в базу. Так оказалось быстрее, чем "по справедливости" (меньше фоток - иди в первую очередь). Завтра, наверно, дойдёт.

Немного статистики:
На сейчас просмотрено примерно 250 тысяч страниц фотографий на тему каментов (начиная с вечера воскресенья).
На запрос "показать каменты к фото" получено примерно четыре тысячи отказов от сервера Панорамио. Притом, иногда бывает, что первая страница каментов отдаётся нормально, а на второй отлуп.

[© Kostia Smirnov]

И вроде же они про эти шаблоны и не вспоминали (иначе поотрубили бы всё), а вот как-то всё-равно подпортили чуток... и карму себе тоже... :-))

[Vladimir Kleschev]

Не хотелось этим заниматься, но, увы, пришлось.
Кто-то умудряется скачивать файлы оригиналов фото, запрашивая их раза по три подряд с интервалом в несколько секунд. С чем это связано - не знаю. Возможно, так настроен менеджер загрузок. Увы, ресурсы сервера весьма ограничены, потому пришлось ввести ограничение на повторное скачивание. При повторном запросе файл будет отдан не ранее, чем через две минуты после предыдущего скачивания. Если запрос поступит ранее - то вместо файла возвращается короткий ответ с нестандартным кодом 559 и текстом "Too many requests..." с предложением немного подождать.
Да, докачка файла и многопоточное скачивание не поддерживаются.

[© Kostia Smirnov]

Володя, понятно. Спасибо за оперативное снабжение информацией! Такое наблюдение - у фото, которые собираются впервые, отсутствуют названия. Но, на странице Пано поля заголовка и описания фотографии имеют место быть. Может, включить сбор этих данных?

[© Kostia Smirnov]

Кстати, в html коде страницы фотографии на Пано, я даже наблюдаю информацию по техническим деталям съёмки (камера, дата, выдержка и т.п.)

[Vladimir Kleschev]

Костя, так и есть. Пока сделал только сбор каментов к фото. Вчера к ночи подкрутил алгоритмы сбора, сделал три потока вместо одного, что добавило в очередь сбора справедливость, ну и ещё немного мероприятий по  снижению нагрузки на сервере - удалось в итоге раз в десять поднять скорость сбора для всех вместе и в 4 для одного. Изначально то я ожидал, что к вечеру среды закончится сбор каментов, а тут к утру уже готово.

Вот на базе этих алгоритмов сегодня вечером попробую сделать сбор названия-описания-ексифа.

С тегами и координатами пока туго - наверно, придётся искать на пиратских копиях сайта, если только чуда не случится.

[© Kostia Smirnov]

Очень хорошо! Как ты верно подметил - занимательная зарядка для ума (да ещё, с учетом гугловских палок в колёса) получилась :-))

[Ruslan Pala]

База делается только на Ваши  фото или на всех?

[andrew.zorin]

С автором Reget был когда-то лично знаком - 20 лет назад работали в одной компании. 
Reget умеет перехватывать ссылки на файлы из кода страницы в браузере ( IE, Netscape, Opera - никаких хромов и файрфоксов тогда еще не было ;-)

У меня c 2006 г. где-то сохранился Reget 4.2 (один файл 2Mb 30 days trial)
Могу закинуть по e-mail если интересно.

[Vladimir Kleschev]

Руслан, сбор делается для всех, кто осилил нажать кнопку на втором шаге. Таких чуть меньше сотни. За исключением двоих на данный момент (в соседней ветке писал об одном из них) - их фотографии пока доступны, но сайт Панорамио говорит, что такого пользователя нет. Возможно, эти пользователи удалили свой профиль.
Напомню.
Первый шаг - ввод ID или адреса страницы пользователя.
Второй шаг - это подтверждение, что данные указаны правильно, можно начинать.
В статистике изначально показывалась реальная длина очереди. Нынче даже не знаю, что там показывать... сейчас показывается, что собрано не всё.  Ранее с одной странички сайта можно было взять всё. Ну, по каментам пощёлкать немного. Сейчас с одной странички собрать все данные невозможно. Потому, собирать буду с миру по нитке. И по отдельным видам данных.
Из каментов собрано, что можно было собрать (за исключением: примерно к 3 тысячам фото каменты не отдаёт сервер Панорамио). На данный момент собрано всего 771121 комментариев к 79487 фотографий.
Сейчас пытаюсь наладить сбор геоданных и тегов со стороннего сайта. К сожалению, актуальность его некузявая - середина лета этого года.
Потом - названия и описания фото.
По  большому счёту, на этом, может быть, и будет фиксироваться полный сбор данных.
Вообще, в финале, может быть, притяну и статистику... Не сложно, да тоже требует некоторого времени.

[Vladimir Kleschev]

Андрей, буду признателен, если напишите ещё инструкцию, как заставить Reget не дёргать один и тот же файл по нескольку раз с интервалом в несколько секунд. А ещё лучше будет, если напишите, как заставить Reget скачивать файлы по заданному списку. Именно из-за него пришлось вчера сделать ограничение на количество скачиваний в короткий промежуток времени.

среда, 9 ноября 2016 г., 21:36:56 UTC+4 пользователь andrew.zorin написал: