Es ranken sich viele Mythen um das Deep Web oder das Dark Web. Oder ist beides das Gleiche? Wo liegt der Unterschied und ist alles was im Deep oder Dark Web ist automatisch illegal? Und was hat das Ganze eigentlich mit SEO zu tun?
Wir wollen heute ein paar dieser Mythen aufklären und die Unterschiede und Besonderheiten erklären. Zudem zeigen wir Euch die Bezüge zur Suchmaschinenoptimierung auf und für wen sich ein Blick in den versteckten Teil des Internets lohnen kann.
Deep, deeper am deepsten?!
Um ein allgemeines Verständnis für den Aufbau des Internets zu bekommen, kann man das Internet grob in drei Bereiche aufteilen: Das Surface Web (dt.: Oberflächenweb oder sichtbare Internet), das Deep Web (oder auch Hidden Web oder Invisible Web genannt) und das Dark Web (nicht zu verwechseln mit dem Dark Net).
Das Surface Web
Das Surface Web ist der Bereich des Internets mit dem wahrscheinlich 98 % aller Menschen täglich zu tun haben. Es beinhaltet alle Webseiten, die mittels Suchmaschinen wie Google, Bing oder Yahoo indexiert werden können. Um alle Webseiten indexieren zu können „hangeln“ die Suchmaschinen sich von Link zu Link und erforschen so täglich Millionen neuer Webseiten und Inhalte. Wer sich dann noch ein bisschen mit Suchmaschinenoptimierung auskennt, schafft es in der Vielzahl von Webseiten hervorzustechen und zu ausgewählten Keywords weit oben in den Suchergebnissen zu landen.
Laut einer Untersuchung der University of California in Berkley aus dem Jahr 2003 ist das Surface Web in etwa 167 Terabyte groß.
Die folgende Darstellung verdeutlicht das Größenverhältnis etwas:
Zum Vergleich: Ein herkömmliches Lied mit einer Länge von 3 Minuten ist in etwa 8 MB groß (und jetzt viel Spaß beim hochrechnen 🙂 )
Das Deep Web
Das Deep Web bezeichnet einen Teil des Internets, der für herkömmliche Nutzer und Suchmaschinen nicht auffindbar oder zugänglich ist. Dies liegt in erster Linie daran, dass die Inhalte so schlecht verlinkt sind oder die Webseiten so viele Inhalte besitzen, dass Suchmaschinen diese nicht finden können. Weitere Gründe dafür sind dynamische Webseiten, geblockte Inhalte oder aber nicht-HTML-Inhalte.
Weiterhin besteht ein Großteil des Deep Webs aus Fachdatenbanken oder Webseiten, welche die Inhalte dynamisch durch explizite User-Anfragen aus speziellen Datenbanken generieren. Dies bedeutet, dass jeder Otto-Normalverbraucher die Inhalte des Deep Webs einsehen kann ohne dafür eine spezielle Software nutzen zu müssen. Mögliche Suchmaschinen sind z.B. Google Scholar oder Science.gov. Google Scholar wurde im Jahr 2006 in Deutschland eingeführt und dient primär der Literaturrecherche wissenschaftlicher Dokumente. Je nach Themengebieten gibt es noch weitere Suchmaschinen bzw. Datenbanken, welche sich auf bestimmte Themen spezialisiert haben.
Da es aufgrund der dynamischen Generierung der Inhalte schwer ist die Größe des Deep Webs zu bestimmen, lassen sich nur grobe Daten dazu finden. Die Bergmann Studie aus dem Jahr 2001 der Firma Bright Planet konnte jedoch folgende Eckdaten zusammenfassen:
- Das Deep Web ist ca. 400-500 mal so groß wie das Surface Web
- 60 % der größten Webseiten beinhalten in etwa 750 Terabyte an Informationen (zur Erinnerung: das Surface Web war ca. 167 Terabyte groß)
- Mehr als die Hälfte der Daten besteht aus themenspezifischen Datenbanken
Alles in allem soll die Größe des Deep Webs mit ca. 91.850 Terabyte beziffert werden. Die schlauen Mathegenies unter euch dürfen sich jetzt austoben. Für den Rest sei gesagt: es ist verdammt groß. Da die Studie schon ein paar Tage alt ist kann aber mit Sicherheit gesagt werden, dass da noch ein bisschen hinzugekommen ist.
Für nähere Informationen dazu gibt es ein ausführliches Whitepaper von Trendmicro zum Thema Deep Web.
Das Dark Web
Kommen wir nun zu dem Teil auf den sich wahrscheinlich alle bösen Jungs und Mädchen gefreut haben – das Dark Web.
Anders als viele denken sind Deep Web und Dark Web nicht das Gleiche. Das Dark Web bezeichnet lediglich einen Teil des Deep Webs. Dieser ist, im Gegensatz zum Deep Web, nicht über herkömmliche Browser zu erreichen. Dazu wird der TOR-Browser (The Onion Browser) benötigt, welcher für eine anonyme Verbindung im Internet sorgt und für das Aufrufen von .onion Domains notwendig ist. Da in diesem Teil des Deep Webs Anonymität und Geheimhaltung das A & O sind, findet man hier nahezu alles was verboten ist. Drogen, Kreditkartendaten, Videos, Filme und geheime Informationen. In der Vergangenheit erregte das Aufdecken eines der größten illegalen Marktplätze Aufsehen, der Silk Road.
Allerdings werden die geheimen Informationen in den dunklen Ecken des Internets auch gerne von Journalisten genutzt, um sich mit Informanten oder Whistleblower auszutauschen.
Du willst mehr zum Thema SEO erfahren? Dann findest du hier unsere SEO-Tipps!
Aber was hat das Ganze nun mit SEO zu tun?
Ziel der Suchmaschinen ist es, dem User die passenden Ergebnisse zu seiner Suchanfrage zu liefern. Doch was tun, wenn die Inhalte noch gar nicht vorhanden bzw. indexiert sind und erst aufgrund einer Suchanfrage generiert werden müssen?
Um die verborgenen Inhalte ans Tageslicht zu befördern, gibt es verschiedene Lösungsansätze. Google Scholar ist hierbei nur ein kleiner Lösungsansatz, da hierüber lediglich auserwählte Fachartikel oder Inhalte verfügbar sind.
Daher hat Google im April 2008 bekanntgegeben, damit zu beginnen das Deep Web mittels HTML-Formularen zu crawlen. Dabei arbeitet Google mit Bots, welche die Checkboxen, Dropdownmenüs oder ähnliches bedienen, um so den Content einer Seite auslesen zu können. Dabei werden jedoch nur Formulare gecrawlt, welche die GET-Methode unterstützen und keine Eingaben seitens der User erfordern.
Eine weitere Methode, um die Inhalte für Nutzer zugänglich zu machen bietet die Firma Bright Planet. Diese haben eine Technik entwickelt, mit der es möglich ist immer wieder neue Suchanfragen an die Datenbanken zu senden und die abgefragten Inhalte im Anschluss zu indexieren. Bislang waren insbesondere US-Geheimdienste als auch Informationsdienste und Juristen an den Inhalten interessiert.
Fazit
Das Thema Deep Web oder Dark Web ist ein Thema, das uns fortlaufend begleiten wird. Solange es Suchmaschinen wie Google gibt, wird es auch diese vermeintliche Parallelwelt geben. Die Wahrscheinlichkeit jemals alle Inhalte ans Tageslicht zu bringen ist relativ gering, nichtsdestotrotz wird weiterhin nach Lösungen gesucht, um dem Nutzer stets das beste Suchergebnis für sein Anliegen zu liefern. Insbesondere Fachartikel zu teils sehr speziellen Themen wie z.B. wissenschaftliche Informationen finden sich im Deep Web wieder. Es lohnt sich definitiv einen genaueren Blick auf das Deep Web zu werfen und bei der Recherche vielleicht auch einmal über den Tellerrand hinauszuschauen.
Ihr habt schon Erfahrungen mit dem Deep Web gemacht oder habt Fragen dazu? Stellt sie uns gerne unten in den Kommentaren!
