Уважаемый гость! Если во время регистрации на сайте возникли проблемы, сообщите о них, пожалуйста, сюда: mihail@vilejski-uezd.by Вам обязательно помогут!

Пакетная закачка с familysearch.org

Опубликовал Andzej в Блог Andzej. Просмотров: 14122

Внезапное появление в свободном доступе очень интересных материалов на familysearch.org по нашему, и не только нашему уезду, застало всех врасплох. Тут тебе и частично фонд 333 из НИАБ, фонд 604 и фонд 634 из ЛГИА, причём метрики греко-униатских церквей доступны за период с 1799 по 1839. Аттракцион невиданной щедрости какой-то . А только что кажись нашёл оригиналы метрик Вязынской церкви за 1778 - 1792 годы. И, видимо, этот 634 фонд хранит в себе ещё много тайн.

Наш человек, увидев такое количество того, за чем долго бегал, аки Плюшкин, хочет затянуть к себе в дом побольше этого "добра". Вот и я поддался такому желанию. Да ещё эти шушуканья по форумам, что дескать, не надолго это, лавочку и прикрыть могут, только усиливали моё желание скачать это всё.

Официальных способов выкачивать материалы целыми плёнками как бы и нет. Хорошо хоть есть возможность скачать каждое фото по отдельности есть. Но это дурной путь. Тыкать мышкой в экран, быть привязанным к сайту и интернету - это не наш путь.

Есть сторонние плагины для браузеров, которые специально созданы для пакетной загрузки изображений с подобных сайтов. Но есть пару "но". Часть из них содержит зашитые трояны, другая часть имеет кучу настроек, в которых разбираться как бы не хочется.

Поэтому я решил, что сделаю утилиту под конкретную задачу - скачать материал с familysearch. Тем более что чутка знаю Java, в таком объёме, чтобы справиться с поставленной задачей. И таки написал.

Вот ссылка на эту утилиту: MoorMoon.jar

Что она может и чего она не может:

может по номеру плёнки скачать её содержимое, при условии что оно доступно, т.е. можно указать номер плёнки и утилита сама знает откуда её качать и сколько в плёнке кадров;

может скачивать содержимое плёнки с указанной позиции до следующей указанной позиции, т.е. не всю целиком, а какую-то часть;

может загружать только в одном потоке, возможно запилю несколько, некое подобие многопоточности можно организовать запустив утилиту в двух экземплярах, но это как бы нагружает систему и не гуд;

не может корректно работать на Linux, потому что пути для сохранения файлов захардкожены под Windows;

не может всё остальное о чём подумали вы, но не подумал я .

Чтобы воспользоваться утилитой необходимо:

Иметь компьютер под управлением Windows.

Проверить установлена ли Java в системе. Для этого запустить командную строку (для win7 "Пуск" -> ввести "cmd" в строке "Найти программы и файлы" -> нажать Enter) и набрать: java -version Должна появиться информация о версии Java, если информация о версии не появилась, то переходим по этой ссылке и устанавливаем Java себе на компьютер.

Когда вы убедились, что java установлена на вашем компьютере, не выходим из консоли и в ней переходим в папку, где лежит moormoon.jar. Для смены диска нужно набрать [Буква диска]: например D: Для смены директории набираем cd [путь] например cd D:\java\example

Затем, находясь в папке с утилитой, набираем java -jar moormoon.jar и читаем короткую инструкцию о использовании утилиты с параметрами.

ВАЖНО! Так как утилита сыровата путь до целевой папки захардкожен, т.е. задан в коде программы. В дальнейшем я это исправлю. Но пока необходимо, чтобы на вашем компьютере был диск D. Думаю такой есть у большинства. Утилита создаёт на диске D папку familySearch. Результаты работы сохраняет в ней, создавая папки с номерами плёнок, которые вы качаете. Названия файлов вида 00001.jpg

Будут вопросы - задавайте!

22 май 2016 История

trumpo, Михаил, malco и 2 другим нравится это.

Elena 24 май 2016
Работает. Получилось. Спасибо большое! Дай Бог Вам здравия! Было бы теперь, что тянуть. Пока в отношении меня лично - все мимо. Или закрыто (Украина), или еще не выложено (Плещеницы). А Могилевской и Витебской не будет совсем (не копировали мормоны по ним).
Удачи!
malco 24 май 2016
Andzej,
Огромное спасибо! Работает просто восхитительно!
Михаил 26 май 2016
Огромное спасибо, Андрей!
Всё отлично работает!
pole 8 июн 2016
Андрей, огромное спасибо.

Есть вопрос про Вязынь.

======нашёл оригиналы метрик Вязынской церкви за 1778 - 1792 годы. И, видимо, этот 634 фонд хранит в себе ещё много тайн.======

А это точно наша Вязынь? Есть еще Вязынь южнее Минска.
Andzej 8 июн 2016
Да, это вилейская Вязынь. Просто на FS часть дел или не проиндексирована по географическому признаку, или это сделано плохо. Так что качайте
pole 8 июн 2016
У меня xubunta и Вашей программой не могу воспользоваться. А просматривать онлайн действительно проблематично.
Andzej 9 июн 2016
я перепишу под Linux, а вы протестируете. заодно gui прикручу.
pole 10 июн 2016
Хорошо, приму деятельное в этом участие. Работая учителем, дети несли свои флешки, полные вирусов, пришлось перейти на xubuntu. Держал две системы, позже ubunta развилась и поставил одну систему.

Elena нравится это.
кристина 21 янв 2017
Andzej, здравствуйте!
подскажите, пожалуйста, как посмотреть номер пленки? целый вечер прокопалась, так и не нашла... я извиняюсь, я не из "ваших", я тверских ищу, но очень нужен досуп к метрикам у мормонов..
ссылку здесь вставить не могу..
по поиску в каталоге нужная метрика не показывается, нахожу ее через "записи", но там нигде нет номеров (
спасибо заранее!
Andzej 21 янв 2017
А тверские разве открыты для просмотра?
Данная утилита работает только с открытыми коллекциями, теми, которые можно посмотреть на самом сайте. Ваши метрики можно посмотреть на FS? Напишите метрики какого храма вы ищите (населённый пункт, уезд, губерния).
кристина 21 янв 2017
Andzej, здравствуйте!
Нужные мне метрики я смотрю только в ЦСИ, онлайн сама я смотреть их не могу, закрыты
kordeni 21 фев 2017
Andzej, здравствуйте!

После запуска утилиты в системной консоли появилась инструкция
Утилита предназначена для пакетной загрузки материалов с сайта FamilySearch.org
Для начала загрузки необходимо запустить утилиту со следующими параметрами:
getFilm=[номер плёнки] begin=[первое изображение] end=[последнее изображение]
Например:
getFilm=004222775 begin=1 end=99
Параметры <begin> и <end> не обязательны. Если их не указать - будет произведена
загрузка всех изображений, составляющих микрофильм.
Пример:
getFilm=004222775 - будут загружены все изображения
getFilm=004222775 begin=328 - будут загружены все изображения начиная с 328
getFilm=004222775 end=572 - неправильно! <end> задаётся только с <begin>

Дальнейшие действия менее понятны. Хотелось бы увидеть видео или скриншоты по настройке.
Олег 10 мар 2017
Андрей, подскажи, что-то изменилось в заданном пути? Может на FS поменялся адрес? Мне пишет, что не найден путь
axez 10 мар 2017
Вопрос аналогичный двум предыдущим постам
Andzej 13 мар 2017
Олег, всё дело в авторизации. Моей утилиткой можно качать только то, что доступно любому зашедшему без авторизации. Я сейчас посмотрел эту плёнку, что в твоём скриншоте фигурирует, под учётной записью и у меня выскакивает предупреждение, что снимки доступны только
- Зарегистрировавшимся членам организаций-партнёров.
Сейчас я заниматься авторизацией не буду, просто нету времени на это.
Олег 13 мар 2017

Олег, всё дело в авторизации. Моей утилиткой можно качать только то, что доступно любому зашедшему без авторизации.
Нажмите, чтобы раскрыть...

Ясно Андрей. Тут даже авторизация сразу не помогает. Там криво все как-то. Возможность просмотра возникает только открывая "правой кнопкой мыши" в новом окне. Вообщем фиг с ним, спасибо что ответил.
miliam 16 мар 2017
мне пишет "getfilm не является внутренней или внешней командой, исполняемой программой или пакетным файлом".
Ничего не происходит. Что это значит?
Олег 1 май 2017
Чтобы скрипт запустить, открываем страницу с нужной пленкой,встаем на первый снимок.
Затем запускаем консоль браузера (кнопка F12 в Chrome), копируем туда код срипта и нажимаем Enter.
Скрипт остановится, когда дойдет до конца пленки. Чтобы остановить его вручную, просто перезагрузите страницу.
Скрипт работает и в фоновом режиме, т.е. во время его работы можно заниматься другими делами.

var b=document.getElementsByClassName('next pager-icon fs-civ-circle-chevron-right enabled' )[0];
var l=document.createElement("a");var t=document.getElementById('image-citation' );var rn=true;
function d(){l.href=document.getElementById('printImage' ).src;l.download=document.getElementsByClassName('thumbnail-selection' )[0].title+(rn?(" "+t.innerHTML.substring(t.innerHTML.lastIndexOf(")")+3,t.innerHTML.lastIndexOf(" image")).replace(/[\]\[>/|\"*?<]|(> )|(< )/gi,"")):"")+".jpg";document.body.appendChild(l);l.click();document.body.removeChild(l);};
function e(e){if(e.fireEvent){e.fireEvent('onclick' );}else{var o=document.createEvent('Events' );o.initEvent('click',true,false);e.dispatchEvent(o);}};
function s(t){setTimeout(function(){d();e(b);rn=false;if(!document.getElementsByClassName('next pager-icon fs-civ-circle-chevron-right enabled disabled' )[0]){s(!t);}},9000)};
console.log = function(m){if(m.indexOf("GetImageData")>=0)rn=true;}
s(true);

Все работает, проверил на себе в Хроме
Взято с ВГД

malco и Сергей Гулецкий нравится это.

You need to be logged in to comment

Быстрый поиск

Пакетная закачка с familysearch.org