우리가 볼 수 있는 인터넷은 전체 인터넷의 어느 정도나 될까. 예전 야후에서 카테고리별로 검색을 제공하던 것과 현재를 비교해서 생각해보면 당연히 웹 페이지들의 대부분을 볼 수 있을 것이라고 생각했었는데 DARPA에서 다크 웹(dark web)을 검색할 수 있는 검색엔진을 개발중이라는 기사에 다음과 같은 이야기가 나왔다.

인기도와 순위에 따른 검색결과를 제공하는 구글과 빙 같은 경우 전체 인터넷의 약 5% 정도밖에 제공하지 못한다. Memex의 목표는 좀 더 나은 인터넷 콘텐츠의 맵을 만드는 것이다.

Google and Bing, with search results influenced by popularity and ranking, are only able to capture approximately five percent of the internet. The goal of Memex is to build a better map of more internet content.

다크 웹은 일반적인 검색엔진으로는 드러나지 않는 웹 콘텐츠를 지칭한다. 이러한 온라인 데이터들의 패턴과 관계를 밝혀서 불법행위들을 추적하는데 도움이 되게 하는 것이 목표라고 한다.

구글에서 개인 검색결과를 기반으로 맞춤형 검색결과를 제공한다는 것까지 고려해보면 전체 인터넷에서 얼마나 적은 부분만을 볼 수 있는지 생각해보게 된다.