Das Internet - oder genauer: das WWW - gliedert sich in das sichbare oder das "surface" web und in das "invisible" oder "deep web". Letzteres ist aus diversen Gründen kaum zugänglich, beispielsweise

weil die Robots der Suchmaschinen durch die robots.txt-Datei ausgeschlossen sind, beispielsweise bei Aggregatoren oder kommerziellen Seiten,
weil die Inhalte lizensiert sind und nur per Passwort oder IP-Range zugänglich sind,
weil rechtliche Ausschlüsse (Urheberrecht, Leistungsschutzrecht, "Recht auf Vergessen") bestehen,
weil die Inhalte hinter User-Interfaces liegen und von dort aus erst aufgerufen werden müssen (Kataloge, Datenbanken etc.)
weil Admins Fehler gemacht haben und Seiten beispielsweise unverbunden für sich bestehen,
weil Inhalte in anderen Formaten als Text/HTML enthalten sind: Bilder, Videos, Flash etc.
weil Inhalte dynamisch generiert werden oder
weil Inhalte aktualisiert wurden oder Echtzeitinhalte sind.

Weniger bekannt ist, dass auch das Surface-Web teilweise schlecht oder nicht erschlossen ist. Lewandowski referiert das so genannte "Fliegenmodell" des Netzes, nach dem ein Kern an viel besuchten und gut vernetzen Seiten gut erschlossen sind, ebenso Inhalte, auf die von diesem Kern aus verwiesen wird. Allerdings existieren auch Seiten, die nur auf den Kern verweisen, aber auf die nicht verwiesen wird, weder vom Kern noch von den anderen, von Suchmaschinen erschlossenen Seiten. Dieser Teil des Netzes ist schlecht erschlossen!