Volver a proyectos Web App

KDP Publishers Data Platform

Plataforma a gran escala de datos de libros de Amazon KDP: scraping, validación y API.

Sobre el proyecto

Evolución más grande de KDP Scout: una plataforma Django con decenas de scrapers independientes (por categoría, autor, reseñas, rankings, series...) que alimentan una base de datos con miles de libros, y una API REST (DataForge) con filtros avanzados por texto, rango numérico, fecha, relación y campos JSON.

Cada scraper corre como proceso independiente en el servidor; el servicio web principal corre sobre Daphne (ASGI) para soportar tiempo real.

Cómo se desarrolló

  1. 1Scrapers independientes por tipo de dato (categorías, reseñas, rankings...)
  2. 2Normalización y validación de los datos extraídos antes de guardarlos
  3. 3API REST (DataForge) con filtros avanzados para consumir los datos
  4. 4Servicio ASGI (Daphne) para soportar partes en tiempo real

Otros detalles

Sucesor de KDP-Scout-Proyect/KDP-Scout-Extension; pensado para volumen, no para una sola búsqueda puntual.