Hoe blokkeer ik bots of ongewenst verkeer op mijn website?

Zie je in je statistieken veel bezoek van hetzelfde soort adressen, of wordt je website trager door bots? Met een paar regels in het bestand .htaccess houd je dat verkeer tegen, terwijl je gewone bezoekers je site gewoon blijven zien. Weet je nog niet of bots de oorzaak zijn van een trage site? Kijk dan eerst in Website traag of time-outs: zo controleer je zelf wat er speelt.

Wat je kunt blokkeren

Het meeste ongewenste verkeer komt van een van deze twee:

• Een netwerk van servers: een cloudaanbieder waar een programma op draait dat je site steeds opnieuw opvraagt. Je herkent het aan veel verschillende adressen die met dezelfde cijfers beginnen, bijvoorbeeld allemaal met 47.82.. Dat blokkeer je op het adres (stap 3).
• Een bekende crawler: een programma van een SEO-bedrijf dat je hele site afloopt, zoals AhrefsBot of SemrushBot. Die noemt zichzelf bij naam. Dat blokkeer je op die naam (stap 4).

Je gebruikt stap 3, stap 4 of allebei, afhankelijk van wat je in je statistieken ziet.

Een heel land blokkeren kan niet met .htaccess. Dat is ook bijna nooit nodig: het verkeer uit een land komt meestal van een paar netwerken, en die blokkeer je gerichter met stap 3. Echte bezoekers uit dat land kunnen je site dan gewoon blijven bekijken.

Stap 1: open Bestandsbeheer in DirectAdmin

1. Ga naar Pakketten in Mijn KeurigOnline en klik bij je pakket op Inloggen. Je komt meteen in DirectAdmin.
2. Klik in het menu op Systeem Info & Bestanden en daarna op Bestandsbeheer.

   
   

3. Open links de map domains, dan de map met de naam van je domein, en dan public_html.

Stap 2: open het bestand .htaccess

1. Zet in public_html een vinkje voor het bestand .htaccess en klik bovenaan op Bewerken.

   
   

2. Staat er geen .htaccess in de map? Klik dan bovenaan op Nieuw Bestand en noem het .htaccess, met de punt ervoor. Daarna open je het zoals hierboven.

Stap 3: een netwerk of adres blokkeren

Zet dit blok helemaal bovenaan in .htaccess, boven alles wat er al staat:

<RequireAll>
Require all granted
Require not ip 47.82.0.0/16
</RequireAll>

Vervang 47.82.0.0/16 door wat je wilt blokkeren:

• één adres: Require not ip 185.8.107.35
• alle adressen die met 47.82. beginnen: Require not ip 47.82.0.0/16
• alle adressen die met 185.8.107. beginnen: Require not ip 185.8.107.0/24

Wil je meer blokkeren, zet dan elke regel Require not ip … onder elkaar, binnen hetzelfde blok. Klik daarna op Opslaan.

Stap 4: bekende crawlers blokkeren op naam

Zet dit blok ook bovenaan in .htaccess, onder het blok van stap 3 als je dat hebt:

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (AhrefsBot|SemrushBot|MJ12bot|DotBot|PetalBot|Barkrowler|Bytespider) [NC]
RewriteRule .* - [F,L]
</IfModule>

De namen tussen haakjes zijn crawlers die veel pagina's opvragen en je bezoekers niets opleveren. Haal een naam weg als je die crawler wel wilt toelaten, of zet er een bij, gescheiden door een |. Google en Bing staan er bewust niet in: die heb je nodig om gevonden te worden.

Klik daarna rechtsboven in de editor op Opslaan.

Stap 5: controleer of je site het nog doet

Open je website in je browser. Zie je hem gewoon, dan werkt het. Wie je hebt geblokkeerd, krijgt voortaan de melding 403 Forbidden in plaats van je site.

Krijg je zelf een foutmelding, zoals 500 Internal Server Error, zet dan de kopie terug die je in stap 2 maakte. Meestal is er dan een teken weggevallen bij het plakken. Meer over die foutmelding lees je in 500 Internal Server Error oplossen.

Kom je er niet uit?

Stuur ons een bericht met:

• de domeinnaam van je website,
• de adressen of de naam van de bot die je wilt blokkeren (uit je statistieken of uit een mail van ons),
• wat je al in .htaccess hebt gezet.

Dan kijken we in de logbestanden van je site waar het verkeer vandaan komt en zetten we de juiste regels voor je klaar.