Скрипт призначений для скрапінга даних з сайту www.amazon.com.
Написаний на Python з використанням бібліотеки Selenium. Для зберігання результатів використовується база даних SQLite.
- Клонуйте репозиторій та перейдіть до директорії проєкта:
git clone https://github.com/AlTisl/amazon_scraper.git cd amazon_scraper - Створіть віртуальне оточення:
python -m venv venv source venv/bin/activate # для Linux/Mac venv\Scripts\activate # для Windows - Встановіть необхідні залежності з файлу requirements.txt:
pip install -r requirements.txt - Запустіть виконання скрипта командою:
Вказані параметри є опціональними. За замовчуванням використовуються наступні значення:
python console.py --query <ключові слова> --pages <кількість сторінок пошуку> --db <файл бази даних>query: 'laptop' pages: 5 db: 'amazon.db'
- console.py - файл містить функції для запуску скрипта та обробки аргументів командного рядка
- scraper.py - містить класс amazon_scraper, який безпосередньо здійснює скрапінг даних з сайта
- database\interactions.py - містить функції для роботи з базою даних SQLite (створення таблиці, запис/читання даних, видалення даних) та аналітичні функції: обчислення середньої ціни товарів з рейтингом більше 4; визначення товару з найбільшим дисконтом; визначення трьох товарів з найкращим співвідношенням рейтингу та ціни.