Controleer links op linkrot

Wat linkrot veroorzaakt

Links sterven om alledaagse redenen: sites verdwijnen als de hostingrekening niet meer wordt betaald, bedrijven worden overgenomen en laten hun blog vallen, CMS-migraties hernoemen elke URL zonder redirects, artikelen verdwijnen achter een betaalmuur of worden stilletjes gedepubliceerd, en hele domeinen verlopen en worden opgekocht door domeinhandelaren. De omvang is groter dan je intuïtie zegt: onderzoeken naar linkrot vinden telkens dat ongeveer een kwart of meer van de links van tien jaar geleden nergens meer naartoe leidt. Elke bladwijzercollectie die ouder is dan een paar jaar bevat dode links; de enige vraag is hoeveel.

Hoe de checker werkt

De verzoeken worden gedaan vanaf de server van Marqly, niet vanuit je browser, en dat is geen ontwerpvoorkeur maar de enige manier om eerlijke resultaten te krijgen. Browsers dwingen CORS af: een script op deze pagina mag geen antwoordstatussen van andere domeinen lezen, dus een puur client-side checker zou de meeste gezonde links als fout melden. In plaats daarvan gaan de URL’s die je plakt naar de eigen server van Marqly op de infrastructuur van Cloudflare, die elke URL ophaalt en de status teruggeeft. Per URL doet de server het volgende:

• hij stuurt eerst een HEAD-verzoek (alleen headers, geen paginatekst) onder een aangegeven user agent (MarqlyLinkChecker/1.0) die de checker identificeert en terugverwijst naar deze pagina;
• hij probeert het opnieuw met GET als de server HEAD weigert (status 405 of 501): sommige sites implementeren HEAD gewoon niet;
• hij volgt redirects stap voor stap, maximaal acht, zodat de kolom “stuurt door naar” de eindbestemming toont en niet de eerste stap;
• hij geeft het na ongeveer zes seconden op bij een link die niet antwoordt en meldt hem als onbereikbaar in plaats van de hele batch te laten hangen;
• hij draait alle URL’s in de batch parallel, en daarom zijn 25 links meestal binnen enkele seconden terug.

Alleen gewone openbare webadressen worden geaccepteerd: http of https op de standaardpoorten, zonder ingebedde inloggegevens en nooit privé- of interne hosts. Zo kan de gratis tool niet worden gericht op machines waar hij niets mee te maken heeft; het betekent ook dat intranetlinks hier niet gecontroleerd kunnen worden, met opzet.

Zo gebruik je hem

1. Verzamel URL’s uit een document of uit je bladwijzers: exporteer ze en haal de links er als doorzoekbare lijst uit met de bookmark file viewer (in het Engels).
2. Plak ze hierboven, één per regel, tot 25 per keer.
3. Klik op Links controleren en wacht op de resultatentabel.
4. Lees elke rij: het oordeel (in orde, verdwenen, omgeleid of “zelf nakijken”), een ✓/✗ die aangeeft of de server succesvol antwoordde, en de eind-URL als de link werd omgeleid.
5. Onderneem actie: verwijder of vervang de 404’s en 410’s, controleer de dubbelzinnige in je eigen browser en kijk waar een redirect nu uitkomt. Een link die op de homepage van de site eindigt, heeft meestal zijn artikel verloren, ook al is er niets “mislukt”.

Zo lees je de resultaten

• 200-reeks: in orde. Een ✓ betekent dat de server succesvol antwoordde.
• Redirects: de pagina is verhuisd; de kolom “stuurt door naar” toont waar hij terechtkwam. Meestal onschuldig (http→https, www-wijzigingen), maar een redirect naar een homepage betekent vaak dat het artikel zelf weg is.
• 404 / 410: betrouwbaar dood. De server leeft en zegt dat de pagina dat niet doet.
• 403, 429, 999: dubbelzinnig. Veel sites wijzen geautomatiseerde checkers af terwijl ze mensen prima bedienen. Controleer deze in je browser voordat je iets verwijdert.
• Onbereikbaar: helemaal geen HTTP-antwoord: dood domein, platgelegde server of een time-out. Bijna altijd echt verdwenen.

HTTP-statusoverzicht

Het oordeel in de resultatentabel komt uit deze indeling, dezelfde logica die je in de ontwikkelaarstools van elke browser kunt controleren:

Wanneer je een linkaudit draait

• Voordat je oude content opnieuw publiceert of hergebruikt: een nieuwsbrief die een vijf jaar oud bericht met dode bronvermeldingen opnieuw verstuurt, ziet er slechter uit dan het nieuws dat erin staat.
• Na elke CMS-migratie, de jouwe of die van iemand anders: de URL’s in je bladwijzers en notities wijzen nu misschien naar een site die alles hernoemd heeft.
• Als je een bladwijzermap opruimt: verwijder eerst de bevestigd dode; het bestand krimpt dan het snelst en er wordt minder rommel gesynchroniseerd.
• Bij het controleren van bronnen in onderzoek of een leeslijst: een 404 op een bron wil je weten voordat je erop bouwt.
• Voordat je je hele bibliotheek migreert: zie de migratiegids voor browserbladwijzers (in het Engels); een dubbelenronde met de duplicate bookmark finder (in het Engels) en een dode-linkronde met deze tool zijn de twee goedkope winstpunten.

Privacy: wat wordt verstuurd, wat wordt bewaard

Wat wordt verstuurd: de URL’s die je plakt, van je browser naar de server van Marqly en van daar naar elke doelsite, met de user agent van de checker. Verder reist er niets van je machine of sessie mee. Wat wordt bewaard: niets wat jou identificeert. Er is geen account, geen geschiedenis en geen opgeslagen batch; het antwoord komt terug met de markering no-store en de enige tellers die worden bijgehouden zijn limieten aan de rand van het netwerk die voorkomen dat scripts de tool bestoken. Twee praktische gevolgen: de sites die je controleert zien een verzoek vanaf de infrastructuur van Cloudflare, dus plak geen URL’s waarvan de toegang zelf gevoelig is; en privé- of interne adressen kunnen hier helemaal niet worden gecontroleerd, omdat ze worden geweigerd voordat er een verzoek wordt gedaan.

Eerlijke grenzen

Deze tool controleert tot 25 URL’s per keer: plak je er meer, dan worden de extra overgeslagen en geteld, niet stilletjes genegeerd. De limiet bestaat omdat elke URL een echt verzoek vanaf onze server is: onbeperkte batches nodigen precies het gescripte misbruik uit dat de tool voor iedereen traag zou maken. Er is geen account en geen dagquotum, dus een grotere lijst betekent gewoon meer batches. Hij meldt wat de server op dit moment zei, en dat is niet altijd de waarheid over de inhoud: een pagina kan 200 teruggeven terwijl de tekst is vervangen door een parkeeradvertentie van een domeinhandelaar (“soft 404’s” zijn aan statuscodes alleen niet te zien). Wil je een hele bladwijzerexport controleren, haal de URL’s er dan eerst uit met debookmark file viewer (in het Engels) en voer ze in batches door de tool.

• Trage sites lijken dood. Door de time-out van ~6 seconden kan een trage maar levende pagina als “onbereikbaar” terugkomen: draai opnieuw voordat je het gelooft.
• Botmuren lijken dood. Een 403 of 999 is de site die een robot afwijst, niet de pagina die weigert; controleer die met de hand.
• Pagina’s die met JavaScript worden opgebouwd, antwoorden voordat ze renderen. Een checker ziet het HTTP-antwoord, niet wat je browser uiteindelijk tekent.
• Levende links sterven morgen. Status is een momentopname; een bewaarde bibliotheek loont het om om de paar maanden opnieuw te controleren.
• Te hard duwen leidt tot een pauze. Vuur je batch na batch snel af, dan antwoordt de limiet per IP-adres met “te veel verzoeken”: wacht een minuut en ga door.

De diepere oplossing voor rottende bladwijzers

Een linkchecker vertelt je dat een pagina dood is; hij kan niet vertellen wat erop stond. Dat is het argument om meer te bewaren dan de URL: Marqly koppelt een AI-samenvatting aan je opgeslagen pagina’s, zodat een dode link in je bibliotheek de kern van zijn inhoud behoudt, ensemantisch zoeken hem nog steeds op betekenis vindt.

Traditionele bladwijzertools bewaren alleen de kale URL en titel (zie hoe we ons verhouden in onze vergelijking Marqly vs Raindrop, in het Engels). Met deMarqly-browserextensie worden pagina’s op het moment van opslaan samengevat, met AI getagd en geïndexeerd, zodat linkrot je kennis nooit wegvaagt. Je gegevens blijven hoe dan ook van jou; ziekan ik mijn gegevens exporteren (in het Engels).

Gerelateerde tools en gidsen

• Verwijder dubbel opgeslagen links (in het Engels) voordat je controleert: dubbelen maken de batch voor niets twee keer zo lang.
• Open je bladwijzerexport als doorzoekbare tabel (in het Engels) om URL’s te halen voor de controle.
• Stap je over naar een andere browser? De migratiegids (in het Engels) behandelt exporteren, opruimen en importeren van begin tot eind.
• Een read-it-later-opzet die samenvattingen bewaart (in het Engels) is het structurele antwoord op linkrot.
• Hoe je bladwijzers organiseert (in het Engels), zodat een dode link je één item kost en niet het vertrouwen in een hele map.
• Het gratis plan van Marqly: begin en bewaar de volgende tien links met een samenvatting erbij.