Предобработка РПД для получения базы текстов

[T1moffey]

Подготовить модуль предобработки РПД, позволяющий извлекать из документов текстовые фрагменты, пригодные для дальнейшего анализа. На выходе должна формироваться единая база очищенных текстов в согласованном формате для последующего выделения понятий и построения датасета.

[sevryukov]

@T1moffey в описании нет чёткого описания ожидаемого результата, ограничений на методы и способы реализации, "единую базу" для начала надо спроектировать (отдельная, хотя и небольшая задача)

[sevryukov]

Полагаю, что имеет место быть связь между задачами: #7 (Предобработка) → #8 (Извлечение) → #9 (Дедупликация) → #11 (Очищение)

@T1moffey

[T1moffey]

Это issue я понимал как мелкую подзадачу "для всего массива докмуентов корректно вычленить текст из самого рпд, чтобы потом на его основании вычленять понятия". В сущности это можно сказать решенная уже подзадача, потому что я приложил код, которым извлек из массива РПД нашего факультета за мелкими исключениями все необходимые тексты. Кроме несокльких где вообще интересующий меня участок не был заполнен, и я убрал РПД предметов про Китайский язык и Хинди еще из массива, потому что они мне показались слишком нетипичными, там содержатся иероглифы и т.д.

[sevryukov]

@T1moffey комментарий понятен, но это на уровне мыслей вслух.
Измени постановку задачи, согласно этим мыслям, если считаешь, что есть какие-то ограничения (например те, что ты пишешь про языки), это должно быть учтено в постановке задачи