Signals Processing and Interpretation: iteration 1

[zuevval]

Этот Pull Request идёт вместе с braille-systems/brl_ocr / PR #1

Прочесть про работу и про эти Pull Request'ы можно в документе report_01_20_mar.md

[NikitaS4]

Работа очень понравилось! Предложены интересные идеи с аугментацией и SSL, получены результаты, сделан их анализ. Документация максимально полная, сразу понятно, что и как делать, и что для этого нужно. Обучение модели достаточно затратное (серьёзные требования к железу + долго обучать), поэтому попробовал воспользоваться предобученной моделью (очень удобно, что есть чекпойнт с весами модели, и очень подробно показано, как пользоваться). Единственное замечание - фотографии почему-то не открываются (использую Linux Ubuntu 20.10, ошибка: "Not a JPEG file: starts with 0x76 0x65"), но я думаю, это проблема на моей стороне. Хотелось бы ещё где-то в readme видеть пример работы модели (картинка, ответ и ground truth) хотя бы на конфигурации с лучшими метриками (иначе приходится качать сразу все результаты - 1.9 ГБ)

[zuevval]

"Not a JPEG file: starts with 0x76 0x65"

@NikitaS4 Проверь, пожалуйста, у тебя установлен Git с Git LFS? (git lfs --version)
Если нет, удали репозиторий brl_ocr, установи LFS и склонируй его заново.

[NikitaS4]

@zuevval Получилось решить проблему, спасибо. Сначала забыл установить Git LFS, поставил уже потом, но не знал, что надо заново клонировать репозиторий (и не думал, что проблема возникала из-за этого). Результаты работы сети вижу, здорово :)

[mitenevav]

Появился вопрос по постановке задачи. Одним из пунктов было уменьшить "Чувствительность к повороту листа в горизонтальной плоскости". Казалось бы повернув на 180 градусов, получиться другая буква. Тут наверно стоило бы ввести ограничение по углу, или же указать какие-нибудь характерные черты поворота (если такие имеются).
Так же было тяжело бродить по двум репозиториям и разбираться с таким большим количеством файлов, не смог детально разобраться в структуре всего этого.
В целом же проект понравился, проделан большой объем работы. Очень полезное приложение.

[zuevval]

Казалось бы повернув на 180 градусов, получиться другая буква.

Действительно, подразумевался поворот на углы 30-45 градусов.
Надо сказать, у Ильи реализовано распознавание ориентации листа (с точностью до 90 градусов):

AngelinaReader/model/infer_retinanet.py

Lines 464 to 466 in 992b001

	aug_img = PIL.Image.fromarray(aug_img if best_idx < OrientationAttempts.ROT90 else aug_img_rot)
	if best_idx in (OrientationAttempts.ROT180, OrientationAttempts.ROT270):
	aug_img = aug_img.transpose(PIL.Image.ROTATE_180)