Hey! Ich weiß, es ist nicht immer einfach mehr Besucher & Kunden zu generieren und ich hatte die gleichen Probleme! Wenn du bereit bist zu checken, ob du Hilfe von mir erhalten kannst, dann bewirb dich jetzt auf deinen Strategie-Call.
Eine Suchmaschine ist eine Software, welche das Internet durchsucht, um dem Suchenden das bestmögliche Ergebnis zu einer Suchanfrage zu liefern.
Die größten Suchmaschinen der Welt sind:
- Google
- Bing
- Yahoo
Wobei Google im Jahr 2021 ganze 85,56% der Suchanfragen bekommt (gemessen an PageViews).
Das Internet wäre absolut undenkbar ohne die Suchmaschinen und ein reines Chaos. Die Suchmaschinen tragen Tag für Tag dazu bei, das Wissen der Menschheit zu strukturieren und verfügbar zu machen.
Inhalt
Crawler & Crawling
Ein Crawler im SEO-Bereich ist Software, welche das Internet (WWW) systematisch scannt und durchsucht komplett automatisch. Daraus erstellt dieser Crawler eine Liste an Informationen, was man auch einen Index nennt.
Der bekannteste Crawler des Internets ist der sogenannte Googlebot. Das ist der Crawler von Google, welcher rund um die Uhr aktiv durch das Internet geht, um neue Webadressen (URLs) zu finden und aufzulisten.
Ein Crawler hat unterschiedliche Arten, um an neue Webseiten zu kommen. Klassischerweise geht es über eine Kette von Verlinkungen oder auch einfach über die Sitemap einer Webseite.
Sitemap = Auflistung einer Domain aller Unterseiten.
So sieht zum Beispiel die Sitemap dieser Webseite aus:
Recht unspektakulär, jedoch eine wichtige Quelle für den Googlebot.
Diese Sitemap sollte entweder automatisch von deinem CMS erstellt werden oder du musst dir einen Plugin wie YoastSEO (WordPress) dafür holen.
Überprüfe jetzt, ob deine Webseite eine Sitemap hat, indem du Folgendes eingibst:
https://www.deinedomain.de/sitemap
Wenn du dort nichts findest, dann solltest du dir diesen Leitfaden ansehen.
Diese Sitemap (also die URL davon) sollte man auch bei der Google Search Console hinterlegen, damit der Crawler auch ganz sicher alle deine Webseiten indexiert und kategorisiert, weil sonst riskiert man, dass einige Seiten nie von Google gefunden werden.
Wie kann man einen Crawler stoppen?
Wenn man nicht möchte, dass ein Crawler eine bestimme Seite aufnimmt in den Index, dann verleiht man dieser Seite die Bezeichnung noindex, wodurch der Crawler einfach über diese Seite springt. In den meisten CMS ist das ganz einfach mit zwei Klicks erledigt.
So sieht das zum Beispiel bei Chimpify aus:
Manuell kannst du das aber auch machen, indem du in deinen HTML-Code gehst und in den "<head>" folgendes einfügst:
"<meta name="robots" content="noindex">"
Damit werden alle herkömmlichen Suchmaschinen diese Seite ignorieren.
Verwirrung mit der Robots.txt
Eine große Verwirrung herrscht dabei im Zusammenhang mit der robots.txt.
Die Robots.txt ist die Datei, welche man selbst erstellen kann und welche Suchmaschinen Befehle und vor allem Vorbote gibt.
Damit ein noindex wirkungsvoll verwiesen wird, darf die Seite NICHT in der Robots.txt für Suchmaschinen blockiert werden, denn dann kann der Crawler das noindex nicht lesen und die Seite bleibt weiterhin in den Suchergebnissen.
Hier die Aussage von Google selbst dazu.
Das Gleiche gilt für einen Link. Wenn der Crawler einem gewissen Link nicht folgen soll, dann verleiht man diesem Link das NoFollow Attribut, welches in HTML dann so aussieht:
Wann sollte man NoIndex verwenden?
Es kann verschiedene Gründe geben, warum du nicht möchtest, dass eine Seite indexiert wird.
Es kann sich um eine Seite handeln, welche noch nicht fertig ist oder auch eine Seite, welche nur für interne Zwecke existiert und nicht für die Öffentlichkeit. In jedem Fall solltest du das im Hinterkopf behalten und Google nur die Seiten präsentieren, welche auch wirklich für die Öffentlichkeit gedacht sind.
Indexierung
Indexierung ist der Prozess von den Suchmaschinen, wenn eine Webseite mit in die Datenbank aufgenommen wird. Google und Co durchsuchen nicht jedes Mal das komplette Internet, wenn man eine Suchanfrage gestellt wird, sondern nur eine interne Datenbank an Listen zu dem jeweiligen Thema und präsentiert dann eine Reihenfolge, welche Google als sinnvoll erachtet in den sogenannten SERPs.
Ganz simpel erklärt:
Der Crawler durchsucht das Internet und speichert die Ergebnisse im Index der Suchmaschine. Der Algorithmus verweist diesen Ergebnissen dann eine Hierarchie, welche wir als Ranking bei Google kennen. Diese Hierarchie variiert je nach Suchanfrage.
Früher wurde also in Intervallen dieser Index befüllt mit dem Crawler. Das ist seit dem Caffeine-Index anders, welcher nun in Echt-Zeit Veränderungen aufnimmt.
Warum ist das wichtig für SEO?
Es ist wichtig, dass deine Webseite überhaupt in den Index von Google und Co aufgenommen wird, denn sonst kann der Algorithmus deine Webseite nicht ranken!
Das geht bei Google ganz einfach über die Google Search Console, indem du deinen neuen Artikel oder neue Webseite als URL in die obere Leiste eintippst.
Dann siehst du direkt, ob diese URL bereits im Index vorhanden ist oder nicht und kannst die Indexierung dann auch mit einem Klick beantragen.
Das kann dann unter Umständen 1-2 Tage dauern, da selbst Google begrenzte Ressourcen hat und nicht an jedem Ort gleichzeitig crawlen kann.
Algorithmus
Der letzte und vielleicht wichtigste Bestandteil einer Suchmaschine ist der Ranking Algorithmus.
Nachdem die Webseite gecrawlt und indexiert wurde, liegt diese bereit präsentiert zu werden für Suchende.
Der interne Algorithmus entscheidet dann basierend auf den Daten des Crawlers, welche Webseite den begehrten Platz 1 verdient bei einer Suchanfrage.
Beim SEO (Hier geht es zu SEO Weiterbildungen) gilt es im Prinzip diesen Algorithmus zu verstehen, damit man diesem bzw. dem Suchenden ein bestmögliches Ergebnis liefert, welches dann auch oben rankt, Besucher bekommt und damit auch Kundschaft.
Dieser Algorithmus wird ständig upgedatet. Die wichtigsten Updates sind dann sogenannte Core Updates, bei welchen der Kern des Algorithmus verändert wird und somit sich Rankingveränderungen ergeben.
Der Algorithmus ist eine Maschine bzw. eine Software und arbeitet somit komplett autonom. Das ist auch der Grund, warum einige Themen bei SEO recht techniklastig sind. Denn, wenn dieser Algorithmus die Informationen auf einer Webseite nicht richtig zuordnen kann, dann kann dieser die Webseite auch nicht korrekt ranken.
Glücklicherweise wird diese Software immer schlauer und seit dem RankBrain Update ist es sogar eine selbstlernende KI, welche von Suchanfrage zu Suchanfrage selbst dazu lernt.
Das vereinfacht SEO, denn es wird weniger techniklastig und es geht einfach immer mehr in die Richtung, dass schlicht und einfach der beste Inhalt rankt!
Hier geht es zum kompletten Guide, wie du deinen Blog starten kannst.
Quelle:
Was denkst du?