🔍 Nexus Scraper Pro

Çoklu platform ikinci el ürün arama motoru Multi-platform second-hand product search engine

---

📋 İçindekiler / Table of Contents

• Türkçe
• English

---

🇹🇷 Türkçe

Nedir?

Nexus Scraper Pro, Sahibinden, Letgo, Dolap, Hepsiburada, Trendyol gibi platformlarda ikinci el ürün aramayı tek bir dashboard'dan yapmanızı sağlayan bir araçtır. Görsel arama (Gemini AI ile fotoğraf yükle → anahtar kelime çıkar), çoklu sayfa tarama, fiyat/lokasyon filtreleme ve proxy desteği sunar.

Özellikler

Özellik	Açıklama
🔍 Çoklu Platform	Sahibinden, Letgo, Dolap, Hepsiburada, Trendyol + Yahoo dorking fallback
🖼️ Görsel Arama	Fotoğraf yükle → Gemini AI anahtar kelime çıkarır → otomatik arama
📄 Derin Tarama	Çoklu sayfa scraping (1-10 sayfa), anti-bot bypass (SeleniumBase UC)
🎯 Akıllı Filtreler	Fiyat aralığı, yıl, kategori, anahtar kelime ekleme/dışlama
🌐 Proxy Desteği	HTTP/SOCKS5 proxy rotasyonu ile IP yasaklarını aşma
📱 Android APK	Mobil uygulamayla anlık bildirim ve favori takip
🖥️ Web Dashboard	Glassmorphism dark tema, gerçek zamanlı görev durumu

Kurulum

# 1. Repoyu klonla
git clone https://github.com/Rodinar-Studio/nexus-scraper-pro.git
cd nexus-scraper-pro

# 2. Setup scriptini çalıştır (otomatik kurulum)
chmod +x setup.sh
./setup.sh

Setup scripti şunları yapar:

• Python venv + bağımlılıkları kurar
• .env dosyası oluşturur (Gemini API key + auth token)
• accounts.json başlatır
• systemd servisi kurar ve başlatır

Gemini API Key (Opsiyonel ama önerilir)

Görsel arama için Google Gemini API key gerekir:

1. https://aistudio.google.com/apikey adresine git
2. API key oluştur
3. .env dosyasına GEMINI_API_KEY=AIza... ekle
4. Servisi yeniden başlat: systemctl restart nexus-scraper

Metin arama Gemini olmadan da çalışır. Görsel arama kullanılmazsa atlanır.

API Uç Noktaları

Endpoint	Method	Açıklama
/	GET	Web dashboard
/api/scrape	POST	Arama başlat
/api/status/{task_id}	GET	Görev durumu
/api/result/{task_id}	GET	Arama sonuçları
/api/accounts	GET/POST	Hesap/proxy Config
/api/download-apk	GET	Android APK indir

Android APK

# APK'yı cihazınıza kurun
adb install apk/nexus_scraper_v24.apk
# Veya telefonunuzdan bu repodaki apk/ klasörünü indirin

Mimari

nexus-scraper-pro/
├── backend/
│   ├── app.py              # Flask web sunucusu + API
│   ├── scraper.py          # Çekirdek scraping motoru
│   ├── site_extractors.py  # Letgo/Dolap/Hepsiburada/Trendyol extractors
│   ├── index.html          # Web dashboard (tek dosya, glassmorphism)
│   └── requirements.txt    # Python bağımlılıkları
├── tests/                  # Test scriptleri (Letgo, Dolap, vb.)
├── apk/                    # Android APK
├── setup.sh                # Otomatik kurulum scripti
└── .gitignore

Servis Yönetimi

systemctl status nexus-scraper    # Durum
systemctl restart nexus-scraper   # Yeniden başlat
journalctl -u nexus-scraper -f   # Logları izle

Gereksinimler

• OS: Ubuntu 22.04+ / Debian 12+ (headless destekli)
• Python: 3.10+
• RAM: 2GB minimum (Chrome headless çalışır durumda)
• Chrome: Otomatik SeleniumBase tarafından kurulur
• Display: Xvfb Virtual Display (setup scripti :1001 kullanır)

---

🇬🇧 English

What is it?

Nexus Scraper Pro is a tool that lets you search for second-hand products across Sahibinden, Letgo, Dolap, Hepsiburada, Trendyol from a single dashboard. It supports image-based search (upload photo → Gemini AI extracts keywords), multi-page crawling, price/location filtering, and proxy support.

Features

Feature	Description
🔍 Multi-Platform	Sahibinden, Letgo, Dolap, Hepsiburada, Trendyol + Yahoo dorking fallback
🖼️ Image Search	Upload a photo → Gemini AI extracts keywords → auto-search
📄 Deep Crawling	Multi-page scraping (1-10 pages), anti-bot bypass (SeleniumBase UC)
🎯 Smart Filters	Price range, year, category, keyword include/exclude
🌐 Proxy Support	HTTP/SOCKS5 proxy rotation to bypass IP bans
📱 Android APK	Mobile app for instant notifications and favorites tracking
🖥️ Web Dashboard	Glassmorphism dark theme, real-time task status

Installation

# 1. Clone the repo
git clone https://github.com/Rodinar-Studio/nexus-scraper-pro.git
cd nexus-scraper-pro

# 2. Run the setup script (automated install)
chmod +x setup.sh
./setup.sh

The setup script will:

• Install Python venv + dependencies
• Create .env file (Gemini API key + auth token)
• Initialize accounts.json
• Install and start systemd service

Gemini API Key (Optional but recommended)

Image search requires a Google Gemini API key:

1. Go to https://aistudio.google.com/apikey
2. Create an API key
3. Add GEMINI_API_KEY=AIza... to .env
4. Restart: systemctl restart nexus-scraper

Text search works without Gemini. Image search is skipped if no key is set.

API Endpoints

Endpoint	Method	Description
/	GET	Web dashboard
/api/scrape	POST	Start a search
/api/status/{task_id}	GET	Task status
/api/result/{task_id}	GET	Search results
/api/accounts	GET/POST	Account/proxy config
/api/download-apk	GET	Download Android APK

Android APK

# Install APK on your device
adb install apk/nexus_scraper_v24.apk
# Or download directly from the apk/ folder in this repo

Architecture

nexus-scraper-pro/
├── backend/
│   ├── app.py              # Flask web server + API
│   ├── scraper.py          # Core scraping engine
│   ├── site_extractors.py  # Letgo/Dolap/Hepsiburada/Trendyol extractors
│   ├── index.html          # Web dashboard (single-file, glassmorphism)
│   └── requirements.txt    # Python dependencies
├── tests/                  # Test scripts (Letgo, Dolap, etc.)
├── apk/                    # Android APK
├── setup.sh                # Automated setup script
└── .gitignore

Service Management

systemctl status nexus-scraper    # Status
systemctl restart nexus-scraper   # Restart
journalctl -u nexus-scraper -f   # View logs

Requirements

• OS: Ubuntu 22.04+ / Debian 12+ (headless supported)
• Python: 3.10+
• RAM: 2GB minimum (Chrome headless running)
• Chrome: Auto-installed by SeleniumBase
• Display: Xvfb Virtual Display (setup script uses :1001)

---

📄 License

MIT — See LICENSE file.

🏢 Built by Rodinar Studio

Made with ❤️ by Rodinar Studio