Skip to content

Support for prlib.ru#5

Open
andrey-09 wants to merge 31 commits into
aliasn3t:masterfrom
andrey-09:master
Open

Support for prlib.ru#5
andrey-09 wants to merge 31 commits into
aliasn3t:masterfrom
andrey-09:master

Conversation

@andrey-09
Copy link
Copy Markdown

@andrey-09 andrey-09 commented May 8, 2025

Добавил поддержку 4.0 качества у картинок с prlib.ru (картинки через IIPServer. заюзал JTL параметр)

Решил, как вы и сказали 3 года назад "через собирание разных кусочков картинику в одну". Ускорил с помощью asyncio. Занимает по времени где-то 1-2 сек/картинка.
Код писал, чтоб работал, не в лучших практиках) Если у вас будет время его в вашем хорошем стиле дописать, буду благодарен и поучусь)

Также добавил поддержку https://www.prlib.ru/node/333266/source (до этого только ссылки типа https://www.prlib.ru/item/416819 работали.
Если потребуется, могу побольше закомментить.

Качество картинки (отдаленно и приближенно)
image
image

@andrey-09
Copy link
Copy Markdown
Author

andrey-09 commented May 8, 2025

В будущем были идеи добавить:

  • Оптимизировать PDF? (сейчас средний размер порядка 100 MB
  • возможность заранить параллельно

Если вы непротив буду у себя развивать)

@andrey-09
Copy link
Copy Markdown
Author

andrey-09 commented May 8, 2025

Если вдруг случайно знаете:
я правильно понимаю, что до этого они обрубали клиенту-нам загрузку хорошего качества через параметр MAX_CVT на уровне сервера, поэтому просто через CVT плохое качество было?
Или же это просто баг у них такой? Но если баг, то как они на сайт полную картинку выгружают, тоже по частям склеивают?
Или у них какой внутрениий API есть отдельный...

@Nikolaj-1
Copy link
Copy Markdown

Спасибо за внимание к проекту. Попробовал. Под виндой не пашет.
c:\booklead_2.0-master>python3 booklead.py --list books.txt --pdf y
File "c:\booklead_2.0-master\booklead.py", line 72
global results_prlDl
^
IndentationError: unindent does not match any outer indentation level

@andrey-09
Copy link
Copy Markdown
Author

andrey-09 commented May 8, 2025

@Nikolaj-1 спасибо за ответ, я тож на винде. я кавычку, когда коментил не там поставил. скачайте пожалуйста заново с master'a.
У меня качает, но возможно ещё что от разных версий чего зависит и т.д. Отпишитесь, как у вас. за сегодня надо бы точно доделать)

@Nikolaj-1
Copy link
Copy Markdown

Nikolaj-1 commented May 9, 2025

постоянно обрывается,но если каждый раз снова запускать , то докачивает. скачал раза с 10-го. Спасибо!
c:\booklead_2.0-master\util.py:169: SyntaxWarning: invalid escape sequence '\w'
s = re.sub("(\w+):", r'"\1":', s)
Ссылок для загрузки: 1
Cсылка: https://www.prlib.ru/item/1286646
Каталог для загрузки: Записки по морской тактике. Ч. 1. Боевые средства флота
Ошибка: unhandled errors in a TaskGroup (1 sub-exception)

@andrey-09
Copy link
Copy Markdown
Author

andrey-09 commented May 9, 2025

Ок, спасибо, что отписались. как время будет, посмотрю

@Nikolaj-1
Copy link
Copy Markdown

постоянно вылетает, чтобы скачать одно книгу надо раз 15-20 запускать, хорошо, что хоть продолжает качать с того места, где оборвалась закачка.

@DaNNick22
Copy link
Copy Markdown

DaNNick22 commented May 9, 2025

Здравствуйте, спасибо огромное.
А можете собрать обновлённый бинарник?
Мне надо скачать один раз книгу https://www.prlib.ru/item/1287681 в виде изображений в максимальном качестве, без сжатия в pdf, а в Python я не силён

@andrey-09
Copy link
Copy Markdown
Author

andrey-09 commented May 9, 2025

Здравстуйте, @DaNNick22 прийду домой через час, посмотрю. У меня на компе все качает без ошибок, я вашу книгу себе на закачку поставлю, где-то через 20 мин готовую скину. Так проще будет) Вам на гугл диск пойдет?
Бинарники собирать пока не умею) все равно ещё код надо доработать
Просто к слову, Картинки у вас в папке же находятся, они не удаляются, а pdf можете не делать, просто не подав "--pdf y" в терминале.

@andrey-09
Copy link
Copy Markdown
Author

andrey-09 commented May 9, 2025

@DaNNick22 Гугл диск (картинки в папке, pdf отдельно): https://drive.google.com/drive/folders/1KSzzQhOUyICZGY-wQybNjFPjWSCPLjCa?usp=sharing
Пойдет? Отпишитесь, как скачаете

solved warning
@DaNNick22
Copy link
Copy Markdown

Да, скачал. Спасибо вам огромное!

andrey-09 and others added 12 commits May 10, 2025 11:57
…ение по времени на request

- добавил парочку новых user agents
- обновил модули (все работает на Python 3.12.10)
Фиксил проблему с SSL connection. Отладил нетвокринг. Добавил огранич…
@andrey-09
Copy link
Copy Markdown
Author

andrey-09 commented May 11, 2025

Добрый вечер, @DaNNick22, @Nikolaj-1 . Все проблемы исправил, создал бинарник, при первом запуске секунды 3-4 ничего не выводит (библиотеки подгружает), потом все быстро. Скачать здесь.
Если проблемы появятся, пишите.

Все вот это пофиксино:

постоянно вылетает, чтобы скачать одно книгу надо раз 15-20 запускать

Каталог для загрузки: Записки по морской тактике. Ч. 1. Боевые средства флота
Ошибка: unhandled errors in a TaskGroup (1 sub-exception)

@DaNNick22
Copy link
Copy Markdown

@Nikolaj-1 @DaNNick22 Доброго времени суток. пол месяца трудов, зайдите сюда: https://archive.org/details/russian-online-libraries - почти все книги с библиотеки, можете зайти и скачать оптимизированный PDF (на сайте по страницам можно кликать, и книжку листать) Все можно отфильтровать, поиск даже по тексту внутри книг. Приятного чтения) прошу распространять только знакомым (не хочется, чтоб быстро страйк кинули, если вообще за этим кто смотрит)

Премного благодарен. Вы знаете, я там тоже искал, ещё в прошлом году. А нужна мне книга добавлена лишь 25 мая сего года.
Спасибо огромное!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants