SEO Technik-Basics: Ist deine Website auffindbar?

5. April 2020
BmB_-Blog-Header-Facebook-Beitrasbild-4.png

Wie schon in unserem Artikel So startest du mit Suchmaschinenoptimierung (SEO) erläutert haben, ist die Funktionsweise von Suchmaschinen wie Google gar nicht so schwer zu verstehen. Und zwar folgt der Crawler einfach so ziemlich jedem Link, den er findet und macht sich so ein Bild darüber, welche Seiten existieren. Normalerweise werden all die gefunden Seiten im nächsten Schritt in den Index aufgenommen und erscheinen im besten Fall auch auf den Suchergebnisseiten, sofern sie für ein passendes Ergebnis gehalten werden.

Die Funktionsweise von Suchmaschinen - Crawling, Indexierung, Ranking

Wichtig ist also für dich zu wissen: Du musst deine Website technisch so aufstellen, dass die Suchmaschinencrawler in der Lage sind all deine Seiten anzusteuern und zu finden.

Findet Google deine Seiten?

Bevor wir uns anschauen, wie du das lückenlose Crawling deiner Website sicherstellen kannst, empfehlen wir dir einen kleinen Test. Mach eine Siteabfrage bei Google und schau dir an, ob dir dort annähernd all deine Seiten angezeigt werden. Gebe dafür einfach site:deine-domain.de in die Google-Suche ein und schau, was dir angezeigt wir. Hier geht’s zu unserer Siteabfrage. Tausche einfach unsere Domain mit deiner Domain aus.

Siteabfrage Google für Boost-my-buisness.de

Google zeigt dir auch direkt an wie viele ungefähre Ergebnisse, also Seiten, es findet. Vertraue auf diese Zahl aber bitte nicht. Es sind tatsächlich nur ungefähre Werte, die eigentlich nie genau stimmen aber dennoch liefern sie dir ein Gefühl dafür, ob die Indexierung grundsätzlich funktioniert oder nicht.
Die Siteabfrage funktioniert übrigens bei bing nach dem gleichen Prinzip.

Unsere Empfehlung: Wenn du noch mehr Informationen darüber erhalten möchtest, wie Suchmaschinen deine Website sehen und beurteilen, empfehlen wir dir die Einrichtung der Google Search Console und der Bing Webmaster Tools. Dort bekommst du noch viel mehr Einblicke und wertvolle Informationen rund um deine SEO Bemühungen und den Indexierungsstatus sowie Crawlingstatistiken deiner Website.

Google scheint all deine Seiten zu finden?

Findest du all deine wichtigen Seiten im Google-Index? Das ist großartig! Dann scheint Google kein Problem damit zu haben deine Seiten zu finden. Das ist eine gute Basis für deine weiteren SEO-Bemühungen, die sich in dem Fall etwas stärker auf die inhaltlichen Aspekte, wie Content-SEO und das Erschaffen einer positiven Nutzererfahrung konzentrieren können.

Hilfe! Wichtige Seiten fehlen im Google-Index

Ist es hingegen der Fall, dass du nicht im Index gefunden wirst, ist das auch erst einmal per se kein Grund zur Panik. Lass uns stattdessen einmal die 5 häufigsten Gründe anschauen, woran das liegen könnte:

#1: Deine Website ist noch komplett neu und wurde noch nicht gecrawlt.

In diesem Fall empfehlen wir dir deine Website in der Google Search Console und den Bing Webmaster Tools einzurichten. Idealerweise kannst du dort auch direkt deine Sitemaps für die Suchmaschinen hinterlegen. Das beschleunigt das initiale Crawling in der Regel etwas.

#2: Deine Website ist noch nirgendwo extern verlinkt.

Wie bereits erwähnt, hangeln sich Suchmaschinen von Link zu Link, um so möglichst das komplette Web erfassen zu können. Das bedeutet, dass sie grundsätzlich erst auf deine Website aufmerksam werden, wenn sie extern, also von anderen Websites verlinkt werden.

Unsere Empfehlung: Versuche stets deine Website so gut es geht bekannt zu machen. Hast du bereits ein Netzwerk aus Freunden und Partnern, die bereit sind dir zu helfen? Bitte sie doch auf deine Website zu verweisen bzw. darauf aufmerksam zu machen. Darüber hinaus solltest du immer wertvolle Inhalte bereitstellen, sodass auch deine Kunden und Interessenten gern auf dich und deine Website verweisen.

#3: Deine Unterseiten sind nicht vollständig verlinkt

Wenn du beobachtest, dass grundsätzlich Seiten von dir im Index auftauchen aber einige fehlen, könnte das eventuell mit einer unzureichenden internen Verlinkung zusammenhängen. Denn auch wenn Suchmaschinen deine Homepage bzw. Startseite dank externer Verlinkungen finden, kann es sein, dass sie nicht alle Seiten finden, da sie zum Beispiel nicht intern verlinkt sind oder Suchmaschinen deinen Navigationsmenüs nicht folgen können.
Im besten Fall sollten über kurz oder lang all deine weiteren Seiten über interne Links in deinen Menüs und Texten von der Startseite aus auffindbar sein. Falls es also bei dir der Fall ist, dass wichtige Seiten im Index nicht auftauchen, solltest du genau das überprüfen.

#4 Du verbietest Suchmaschinen das Crawling über die robots.txt

Jede Website verfügt in der Regel über eine robots.txt Datei, die unter deine-domain.de/robots.txt. Sie ist für Crawler, sofern sie vorhanden ist meist der erste Startpunkt, denn hier wird festgelegt, welche Seiten gecrawlt werden dürfen und welche nicht. Hier kannst du einen Blick auf unsere werfen:

robots.txt von boost-boost-my-business.de

Diese erlaubt allen user-agents, d.h. allen Crawlern, das komplette Crawling mit Ausnahme des /wp-admin/ Verzeichnisses. Darüber hinaus geben wir als kleine Hilfe für die Crawler unsere Sitemaps an.

Wenn du also das Gefühl hast, dass Suchmaschinen deine komplette Website oder aber bestimmte Unterseiten nicht finden, wirf auf jeden Fall einen Blick in deine Robots.txt und überprüfe insbesondere die “disallow” Einträge. Sind diese alle zu Recht vom Crawling ausgeschlossen?

Wenn du übrigens keine Robots.txt hast, crawlen Suchmaschinen deine Seiten in der Regel ohne Einschränkungen.

#5 Du verbietest die indexierung der Seiten über das Robots-Tag ‘noindex’

Das sogenannte Metatag “Robots” klingt ähnlich, sollte aber nicht mit der Robot.txt verwechselt werden. Stattdessen kann man das Robots-Tag auf jeder einzelnen Unterseite integrieren und damit unter anderem festlegen, ob diese Seiten in den Index aufgenommen werden sollen. Die Robots.txt steuert also das Crawling und das Robots-Tag die Indexierung.

Die üblichsten Anweisungen im Robots-Tag sind Indexierungsrichtlinien:

  • ‘index’ > Seiten dürfen von Suchmaschinen in den Ergebnissen angezeigt werden
  • ‘noindex’ > Seiten dürfen von Suchmaschinen in den Ergebnissen nicht angezeigt werden

Und ein Hinweis darauf, wie mit den Links auf dieser Seite umgegangen werden soll:

  • ‘follow’ > Links dürfen verfolgt werden
  • ‘nofollow” > Links dürfen nicht verfolgt werden

Der Standard für deine Seiten, die auch in den Suchmaschinen auftauchen sollten sollte also stets ‘index,follow’ sein.

Deine Website wird nicht vollständig indexiert aber dein Grund war nicht dabei?

Solltest du Probleme mit dem Crawling und/oder deiner Indexierung vermuten, hast aber all die genannten Gründe für dich ausschließen können, empfehlen wir dir einen grundsätzlichen SEO-Check deiner Website am besten in Form eines SEO-Audits. Ein solcher Audit checkt deine Website auf Herz und Nieren und deckt alle Dinge auf, die nicht optimal in Bezug auf SEO umgesetzt sind. Und auch wenn es online zahlreiche SEO-Tipps und Checklisten gibt, empfehlen wir dir den SEO-Audit von einem Experten machen zu lassen. Denn nur so hast du die Sicherheit, dass wirklich alle wichtigen Aspekte einmal geprüft wurden und kannst dich voll auf die Umsetzung der Optimierungsmaßnahmen konzentrieren.

Wir wünschen dir viel Erfolg bei der technischen Optimierung deiner Website!

 

Möchtest du noch mehr kostenlose Tipps und Tricks? Trag dich in den 🚀 Boost my Business Newsletter ein und sicher dir wertvollen Input für deinen Online Marketing Erfolg – Speziell für Gründer und 100% #bullshitfree!

Jennifer Ochainski

Seit über 10 Jahren bin ich nun im Online-Marketing tätig. Mit wechselnden Schwerpunkten in SEO, SEA, Affiliate, Display, Social Media, E-Mail, Amazon etc. was mir breites Expertenwissen eingebracht hat, welches ich liebend gern mit euch in unserem Blog und wöchentlichen Newsletter teile. ♥