Skip to content

AlTisl/amazon_scraper

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

15 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

amazon_scraper

Скрипт призначений для скрапінга даних з сайту www.amazon.com.
Написаний на Python з використанням бібліотеки Selenium. Для зберігання результатів використовується база даних SQLite.

Встановлення та запуск

  1. Клонуйте репозиторій та перейдіть до директорії проєкта:
    git clone https://github.com/AlTisl/amazon_scraper.git
    cd amazon_scraper
    
  2. Створіть віртуальне оточення:
    python -m venv venv
    source venv/bin/activate  # для Linux/Mac
    venv\Scripts\activate     # для Windows
    
  3. Встановіть необхідні залежності з файлу requirements.txt:
    pip install -r requirements.txt
    
  4. Запустіть виконання скрипта командою:
    python console.py --query <ключові слова> --pages <кількість сторінок пошуку> --db <файл бази даних>
    
    Вказані параметри є опціональними. За замовчуванням використовуються наступні значення:
    query: 'laptop'
    pages: 5
    db: 'amazon.db'
    
    

Структура проєкта:

  • console.py - файл містить функції для запуску скрипта та обробки аргументів командного рядка
  • scraper.py - містить класс amazon_scraper, який безпосередньо здійснює скрапінг даних з сайта
  • database\interactions.py - містить функції для роботи з базою даних SQLite (створення таблиці, запис/читання даних, видалення даних) та аналітичні функції: обчислення середньої ціни товарів з рейтингом більше 4; визначення товару з найбільшим дисконтом; визначення трьох товарів з найкращим співвідношенням рейтингу та ціни.

About

No description or website provided.

Topics

Resources

Stars

Watchers

Forks

Releases

Packages

Contributors

Languages