Untuk pemilik situs

WisepageBot

WisepageBot mengambil halaman web atas permintaan pelanggan Wisepage. Ia bukan crawler umum: ia hanya membuka halaman yang diminta, dan saat diminta crawl, hanya mengikuti tautan di situs yang sama, paling banyak 50 halaman per permintaan.

Hanya atas permintaan pelanggan
Dibatasi per domain
Bisa opt-out kapan saja

Cara mengenalinya

Setiap request membawa user agent ini. Kalau halaman butuh JavaScript, halaman bisa dimuat di browser Chromium headless yang mengirim user agent yang sama.

UAHeader User-Agent

WisepageBot/0.1 (+https://wisepage.dev/bot)

Cara kami membatasi beban

Dibatasi per domain

Request ke satu domain dibatasi untuk gabungan semua pelanggan. Halaman yang baru diambil disajikan dari cache, tidak diambil ulang.

Tanpa aset berat

Gambar, video dan font tidak diunduh saat merender halaman.

Hanya halaman publik

Kami hanya mengambil halaman yang bisa diakses publik. Kami tidak pernah login atau menembus pembatasan akses.

robots.txt

Crawl mengecek robots.txt secara default, dan untuk request satu halaman pelanggan bisa mewajibkan pengecekan yang sama. Untuk memetakan situs, WisepageBot juga membaca robots.txt dan sitemap Anda. Untuk memblokir WisepageBot dalam pengecekan itu, tambahkan ini ke robots.txt Anda:

FILE/robots.txt

User-agent: WisepageBot
Disallow: /

Opt-out sepenuhnya

Untuk menghentikan semua pengambilan dari domain Anda, kirim email kepada kami dari alamat di domain tersebut, atau sertakan bukti kepemilikan lain. Kami memasukkannya ke daftar blokir, termasuk semua subdomain, biasanya dalam dua hari kerja.

[email protected]

Kirim email