Скачивание с сайтов требующих авторизацию

Задавайте вопросы, пишите сюда все что не касается других тем.

Moderators: Korney San, Qwertiy, marcipan

Forum rules
Справочная система менеджера закачек Download Master:
http://westbyte.com/dm/help/
FireOd
Posts: 4
Joined: 03 Sep 2013, 21:15 Tue

Скачивание с сайтов требующих авторизацию

Post by FireOd »

Добры день.
Помогите пожалуйста разобраться.
Нужно скачивать большое количество прайсов с разных сайтов. Везде есть авторизация.
В настройках закачки указываю логин и пароль.
В итоге вместо необходимого мне Price.xls качается Price.php (0кб).
В чем подвох? Куда смотреть?
Заранее спасибо.
FireOd
Posts: 4
Joined: 03 Sep 2013, 21:15 Tue

Re: Скачивание с сайтов требующих авторизацию

Post by FireOd »

Неразрешимая проблема? Кто-то может помочь с этим вопросом?
FireOd
Posts: 4
Joined: 03 Sep 2013, 21:15 Tue

Re: Скачивание с сайтов требующих авторизацию

Post by FireOd »

Очень нужна помощь. Пожалуйста, кто-то объясните дураку как качать правильно?
Slavko
Администратор
Posts: 270
Joined: 08 Jun 2005, 14:48 Wed
Location: Киев
Contact:

Re: Скачивание с сайтов требующих авторизацию

Post by Slavko »

Сбросьте на почту ссылки и логин/пароль, будем проверять.
FireOd
Posts: 4
Joined: 03 Sep 2013, 21:15 Tue

Re: Скачивание с сайтов требующих авторизацию

Post by FireOd »

С удовольствием. Почту можно?
Astfreelancer
Posts: 6
Joined: 24 Dec 2014, 12:30 Wed

Re: Скачивание с сайтов требующих авторизацию

Post by Astfreelancer »

Такая же проблема. Залогинилась на некотором сайте в IE и в Firefox, но Download Master не видит cookies (соответствующий флажок в настройках - установлен). Скачивает вместо файла страницу для ввода логина-пароля. Помогите, пожалуйста, мне нужно скачать несколько тысяч файлов, приходится часами сидеть и скачивать их вручную через браузер.
Qwertiy
Гуру
Posts: 764
Joined: 07 Jan 2011, 1:45 Fri
Location: Россия

Post by Qwertiy »

Astfreelancer wrote:но Download Master не видит cookies (соответствующий флажок в настройках - установлен). Скачивает вместо файла страницу для ввода логина-пароля.
Стандартное расширение DM не умело (и, похоже, до сих пор не научилось) тащить из браузера http-only-куки.
Astfreelancer wrote:Помогите, пожалуйста, мне нужно скачать несколько тысяч файлов, приходится часами сидеть и скачивать их вручную через браузер.
Могу только помочь собственным расширением под хромиумы (к нему будет ещё exe-программа и необходимость внести запись в реестр). Exe'шник предоставлю вместе с его кодом на VB.NET.
Но файлы всё равно придётся поштучно передавать в DM на закачку, потому что другие варианты я не реализовывал.
Пожалуйста, посмотрите: Использование ссылок в тексте сообщений
Поддерживаются браузеры: Опера 12, Хром, Firefox.
Обновлено: 21.09.2012. Надо бы ещё подправить и обновить...
Ссылки на файлы обновлены: 24.05.2013.
Astfreelancer
Posts: 6
Joined: 24 Dec 2014, 12:30 Wed

Re:

Post by Astfreelancer »

Qwertiy wrote: Могу только помочь собственным расширением под хромиумы (к нему будет ещё exe-программа и необходимость внести запись в реестр). Exe'шник предоставлю вместе с его кодом на VB.NET.
Но файлы всё равно придётся поштучно передавать в DM на закачку, потому что другие варианты я не реализовывал.
Спасибо за ответ, но поштучно и через браузер можно. Чем и занимаюсь сейчас...
marcipan
Гуру
Posts: 1400
Joined: 11 Jun 2005, 3:55 Sat
Location: Санкт-Петербург

Re: Скачивание с сайтов требующих авторизацию

Post by marcipan »

Astfreelancer wrote:Такая же проблема. Залогинилась на некотором сайте в IE и в Firefox[/b]
В ФФ самая продвинутая интеграция ДМа. Покажите на каком сайте регистрация, возможно разработчики исправят.
Windows 7 х64, Google Chrome 54.0.2840.99, ИЕ11 \ DM 6.10.2.1527
Astfreelancer
Posts: 6
Joined: 24 Dec 2014, 12:30 Wed

Re: Скачивание с сайтов требующих авторизацию

Post by Astfreelancer »

marcipan wrote:
Astfreelancer wrote:Такая же проблема. Залогинилась на некотором сайте в IE и в Firefox[/b]
В ФФ самая продвинутая интеграция ДМа. Покажите на каком сайте регистрация, возможно разработчики исправят.
Там платная регистрация, вряд ли разработчики захотят платить, чтобы протестировать :-( Сайт вот: http://www.thetimes.co.uk
Qwertiy
Гуру
Posts: 764
Joined: 07 Jan 2011, 1:45 Fri
Location: Россия

Post by Qwertiy »

marcipan wrote:Покажите на каком сайте регистрация, возможно разработчики исправят.
Да они бы давно исправили, если бы захотели. Я даже писал где-то, как сделать.

Сейчас расширение пытается получить куки со страницы через document.cookies, поэтому http-only-куки ему недоступны.

Надо вместо этого прописать в манифесте

Code: Select all

"permissions": [ "cookies", "history", "contextMenus", "http://*/*", "https://*/*" ]
и обратиться к кукам через api браузера - вот обработчик клика по пункту меню, добавленному к ссылке:

Code: Select all

onclick: function (info, tab) {
  var linkUrl = info.linkUrl.replace(/^\w+:\/\/view-http-cache\/(?=https?:\/\/)/, "");
  chrome.cookies.getAll({url:linkUrl}, function (cookies) {
    // Тут надо выполнить передачу на скачивание в DM
  });
}
Да, замена для того, чтобы можно было передавать ссялки на закачку со страницы с кешем браузера (\w+ поскольку в других браузерах на основе хромиума можеот использоваться имя самого браузера, а не chrome).
Пожалуйста, посмотрите: Использование ссылок в тексте сообщений
Поддерживаются браузеры: Опера 12, Хром, Firefox.
Обновлено: 21.09.2012. Надо бы ещё подправить и обновить...
Ссылки на файлы обновлены: 24.05.2013.
Astfreelancer
Posts: 6
Joined: 24 Dec 2014, 12:30 Wed

Re:

Post by Astfreelancer »

Qwertiy wrote: Да они бы давно исправили, если бы захотели. Я даже писал где-то, как сделать.
Это поправки в исходниках DM?
Qwertiy
Гуру
Posts: 764
Joined: 07 Jan 2011, 1:45 Fri
Location: Россия

Post by Qwertiy »

Astfreelancer wrote:Это поправки в исходниках DM?
Нет. У меня нет исходников DM. К тому же, в них по этой теме ничего править не требуется.
А вот исходники расширения (кроме dll внутри) получить легко - надо лишь распаковать его как zip-архив. Я помню, что обращение к кукам там шло через document.cookies, поэтому http-only-куки недоступны. А приведённые куски кода из моего собственного расширения.
Пожалуйста, посмотрите: Использование ссылок в тексте сообщений
Поддерживаются браузеры: Опера 12, Хром, Firefox.
Обновлено: 21.09.2012. Надо бы ещё подправить и обновить...
Ссылки на файлы обновлены: 24.05.2013.
Astfreelancer
Posts: 6
Joined: 24 Dec 2014, 12:30 Wed

Re:

Post by Astfreelancer »

Qwertiy wrote:А вот исходники расширения (кроме dll внутри) получить легко - надо лишь распаковать его как zip-архив. Я помню, что обращение к кукам там шло через document.cookies, поэтому http-only-куки недоступны. А приведённые куски кода из моего собственного расширения.
Уважаемый Qwertiy, тогда уж объясните до конца, можно ли пользоваться этими кусками кода и если да, то каким образом. Я хоть и программист, но не могу определить по незнакомому коду, в каком файле он должен находиться. Вот я распаковала файл dmaster.exe, нашла там файл \.rsrc\MANIFEST\1, в нем xml, по синтаксису вроде непохоже на то, что вы написали.
Qwertiy
Гуру
Posts: 764
Joined: 07 Jan 2011, 1:45 Fri
Location: Россия

Post by Qwertiy »

Astfreelancer wrote:Вот я распаковала файл dmaster.exe, нашла там файл \.rsrc\MANIFEST\1, в нем xml, по синтаксису вроде непохоже на то, что вы написали.
Не надо трогать DM. Я же сказал, это для хромовского расширения!
Пожалуйста, посмотрите: Использование ссылок в тексте сообщений
Поддерживаются браузеры: Опера 12, Хром, Firefox.
Обновлено: 21.09.2012. Надо бы ещё подправить и обновить...
Ссылки на файлы обновлены: 24.05.2013.
Post Reply