딥웹(Deep web)의 정의

-딥웹(Deep web)의 정의

한때 인터넷에 떠돌던 떡밥이었던 딥웹의 정의에 대해서 한번 알아보겠습니다.

위키피디아에 등재된 딥웹의 정의입니다.

원문

The deep web, invisible web, or hidden web are parts of the World Wide Web whose contents are not indexed by standard search engines for any reason. 

The content is hidden behind HTML forms. 

It is estimated that the deep web makes up 96 % of the whole internet. 

The opposite term to the deep web is the surface web. 

The deep web includes many very common uses such as web mail and online banking but also paid for services with a paywall such as video on demand, and many more. 

Computer scientist Michael K. Bergman is credited with coining the term deep web in 2001 as a search indexing term.

깊은 웹 , 보이지 않는 웹, 또는 숨겨진 웹은 어떤 이유로 든 표준 검색 엔진에 의해 색인이 생성되지 않는 월드 와이드 웹의 일부입니다.

HTML 양식 뒤에 내용이 숨겨져 있습니다. 

딥 웹은 전체 인터넷의 96 %를 차지하는 것으로 추산됩니다. 

깊은 웹의 반대말은 표면 웹 입니다. 

딥 웹은 웹 메일 및 온라인 뱅킹 과 같이 매우 보편적으로 많이 사용 되지만 , 주문형 비디오 와 같은 페이 웰 (paywall) 이있는 서비스에 대해서도 많은 비용을 지불 합니다. 

컴퓨터 과학자 인 Michael K. Bergman은 검색 색인 생성 용어로 2001 년에 Deep Web 이라는 용어를 사용하여 창안 되었습니다.

먼저 Google, 야후, Bing, 네이버같은 일반 검색 엔진으로 검색이 가능한 웹을 표면 웹(surface web)이라 합니다.

그리고 그 대치 용어로 검색 엔진에 걸리지 않는 곳을 딥 웹(deep web)이라고 합니다. 

인터넷 하면 흔히 웹이라고 줄여 부르는 월드 와이드 웹만 생각하기 쉽지만 인터넷은 

"월드 와이드 웹, 전자 메일, 파일 공유(토렌트, eMule 등), 웹캠, 동영상 스트리밍, 온라인 게임, VoIP, 모바일 앱 등 "

다양한 서비스들을 포함합니다. 

딥 웹(deep web)은 이름에 웹(web)이 들어가지만 월드 와이드 웹뿐만 아니라 위와 같은 다양한 서비스들 중 검색 엔진에 걸리지 않는 컨텐츠들도 포함합니다. 

웹뿐만 아니라 다양한 서비스들을 포함하고 있기 때문에 딥 웹(deep web)보다 딥넷(deepnet)이 더 정확한 표현이라고 합니다. 영어 위키피디아에서도 deepnet으로 검색하면 deep web으로 문서를 넘겨줍니다.

접속 허가가 필요한 네트워크나 특정 소프트웨어로만 접속할 수 있는 오버레이 네트워크(overlay network)는 다크넷(darknet)이라고 부릅니다.

다크넷(darknet)은 인터넷처럼 이름에 net(network의 줄임말)이 들어가지만 Tor처럼 사실상 웹 서비스만 있는 경우에도 I2P나 Freenet과 함께 다크넷으로 분류합니다.

다크넷 중 웹만을 따로 다크 웹(dark web)이라고 부릅니다. 

딥 웹에 다크넷이 포함되고, 다크넷에 다크 웹이 포함됩니다. ex(다크넷 > 다크웹)

딥 웹이라는 용어를 다크넷이나 다크 웹을 가리키는데 잘못 사용하는 경우가 있습니다.

사람들이 흔히 오해하는것이 모든 딥웹이 범죄자들이나 사회의 어둠과 관련된 사이트들인 것은 아닙니다. 

딥웹을 찾아보던 중에 알게된 단어들인데, 다크넷, 다크웹, 딥웹 모두 같은 뜻은 아닙니다.

딥웹은 단순히 검색에 걸리지 않는 모든 사이트들을 포괄하는 단어입니다. 

(ex.기업의 내부 정보 페이지, 웹 관리 페이지, 전자 도서관의 데이터 베이스. 혹은 단순히 검색 엔진의 기술적인 문제 때문에 잡히지 않는 웹페이지 등)

구글, 네이버, 다음 등등에서 검색되는 나무위키는 표면웹이고, 검색되지 않고 직접 url 입력해서 들어가야 했던 리그베다 위키는 딥웹입니다.

검색엔진에 노출되는 사이트라면 검색을 통해 찾아 들어갈 수 있습니다. 하지만 검색을 막아버리면 이런 사이트는 검색을 통해 찾을 수 없고, 그 사이트의 주소를 아는 사람만 찾아갈 수 있습니다. 

전자가 표면웹, 후자가 딥웹이며, 어떠한 이유로든 자신이 개설하거나 운영하는 사이트가 대중에게 노출되기를 원치 않는 사람들은 검색봇을 거절해 버릴 수 있고, 딥웹의 정의 자체는 이런 사이트들의 통칭입니다.

다음 카페나 네이버 밴드에 친구들 동창회 모임 같이 그런 사이트들처럼 말이죠.

 

다만, 세상에는 나쁜 사람들도 있어서 이런 사람들은 남의 눈이 닿지 않는 곳에서는 나쁜 짓을 합니다. 

흔히 딥웹의 특징으로 거론되는 불법자료나 마약, 무기거래, 청부살인 등이 바로 이런 특성에서 기인합니다. 

표면웹에서 저런 짓을 했다가는 경찰에게 적발될 테니, 남에게 안 보이는(검색이 안 되는) 곳에 숨어서 하는 것입니다. 나아가, 어니언 네트워크처럼 이용자의 익명성이 보장되는 네트워크 역시 이런 식으로 설명할 수 있습니다. 

오프라인 가게를 예로 들면. 광고를 해서 이름을 알리는 보통의 가게가 표면웹이라면, 광고를 하지 않아 아는 사람들만 갈 수 있는 가게가 딥웹입니다. 

그리고, 딥웹가게 중에는 일반 손님은 받지 않고 회원만 들어갈 수 있는 더욱 폐쇄적인 가게도 있을 수 있습니다. 

이런 가게에는 VPN을 통한 인트라넷을 운용하는 가게, 검색이 안 되는 회원제 네이버 카페 같은 가게, 그리고 토르 브라우저로만 들어갈 수 있는 어니언 네트워크에 속한 가게 등이 이에 속합니다. 

이들을 대략 깊은 딥웹이라고 볼 수 있습니다. 

따라서, 나쁜 짓을 하는 사람들에게는 이런 회원제의 폐쇄적 가게가 더욱 유리할 하나, 익명성을 만들고 유지하는 사람들이 모두 나쁜 짓을 하는 사람들이라는 의미는 아닙니다.

또한 딥웹에서는 보다 더 질이 높은 전문적인 자료도 구할 수가 있는데, 위에서 언급했다시피 딥웹의 정의 자체를 생각해보면 질이 높은 전문적인 자료라는 것이 중2병스러운 것들뿐인 것도 아닙니다. 

딥웹의 정의는 생각보다 포괄적이라 포털에서 포착되지 않는 전공 지식만 모은 전문 사이트도 딥웹입니다. 

박사급 연구자들의 연구자료를 주로 필요로 하는 사람들은 역시 박사급 연구자들일 것입니다. 

그렇다면, 박사급 연구자료를 모아놓은 논문 페이지를 굳이 검색엔진에 노출시킬 필요가 없습니다. 쓸데없이 트래픽만 잡아먹을 테니까 말이죠. 그렇다면 내부에서만 검색 가능한 독자적인 네트워크를 형성해서 박사급 연구자들에게 그 네트워크에 가입해서 필요한 정보를 검색하라고 하면 됩니다. 

즉, 딥웹이라고 해서 불법적이고 더러운 것들만 딥웹 인 것도 아닙니다.

대표적으로 '국회도서관'의 자료가 딥웹 입니다. 

외부에서 온라인으로 열람할 수 없으나, 계약을 맺은 기관의 전산실 컴퓨터를 이용해서 열람할 수 있습니다. 

석박사 논문은 보통 국회도서관에만 있으므로 집에서 편하게 볼 수 없고 학교 도서관 등을 가야 하는 수고를 해야 합니다. 

흔히들 사람들이 딥웹에 대해서 생각하는 건 2011년도 쯤 전후로 해서 오늘의 유머를 중심으로 다른 각종 커뮤니티에서도 퍼져나간 인터넷을 떠돌던 떡밥입니다.

내용인 즉슨, 

┌

인터넷 세계에는 각종 포털 검색에도 걸리지 않는 그들만의 리그가 있으며, 그곳에서 돌아다니는 내용이란 우리의 상상을 초월한다는 것입니다. 

간단히 말해 우리가 쉽게 구해볼 수 있는 성인 동영상이 일반 커피면 딥웹을 돌아다니는 동영상은 TOP라는 내용입니다. 때문에 이중 삼중의 프록시 우회를 시행하는 Tor라는 브라우저를 통해서만 접근이 가능하고 여러 해커들이 암약하고 있다고 이야기 합니다. 

┘

내용만 들으면 엄청 섬뜻하네요.

나무위키에서 이 내용에 대한 의견을 발췌해 보았습니다.

┌

정확히 말하면, 위의 글쓴이는 딥웹과 어니언 네트워크를 착각한 것입니다. 

기본적으로 딥웹은 외부에 노출되지 않도록 만들어진 네트워크이고, 그런 네트워크를 만드는 기술 중에는 이용자의 익명성을 보장하는 다중 우회 브라우저인 tor로만 접속할 수 있도록 주소를 암호화하는 기술이 있으며, 이 기술로 만들어진 사이트들을 어니언 네트워크라고 분류합니다. 

그런데 위 글쓴이의 경우 어니언 네트워크=딥웹이라고 착각하여 딥웹에는 tor 브라우저로만 접근할 수 있다고 기술한 것이며, 해당 글에 줄줄이 늘어서 있는 url들 역시 어니언 계열의 사이트만 늘어놨으니 토르 브라우저로만 접속할 수 있는 것이 당연합니다. 

비유적으로 설명하자면 

서울 버스나 지하철을 타려면 서울 교통카드가 필요한데, 글쓴이가 서울 외 다른 지역에도 대중교통이 있는 걸 잘 몰라서 

'대중교통을 이용하려면 서울 교통카드라는 것이 있어야 합니다.'

라고 말한 것과 같다는군요. 

저런 주소들은 애초부터 토르 브라우저 이외의 수단으로는 접근할 수 없도록 암호화 해 둔 것이다.

┘

전 개인적으로 음모론을 믿지는 않습니다. 정당한 의심은 있을수 있지만 실상은 별거 아닌 사실을 무지에 대한 공포를 너무 키워주는것같거든요.일반인들이 서핑으로 잘 찾기 어려운 자료들이라 그렇지, 딥웹에 있다는 자료들이 실상은 딥웹에만 존재하는 자료들은 아닙니다.

인터넷에 떠도는 링크걸린 딥웹 사이트들은 일부 불법 웹사이트들이 기재되어있고, 그것을 클릭하는 순간부터 경찰에게 어그로를 끌 수가 있으니 애초에 웬만하면 들어가지 말라고 권합니다. 

강력한 익명성을 보유하는 게 쉽지도 않을 뿐더러 정신건강에 썩 좋은 웹사이트도 아니거니와 컴퓨터를 혹사시키고 바이러스를 먹이는 근원지가 될 수 도 있습니다.

딥웹이 위키피디아에서 언급한대로 전체 인터넷의 96 %, 인터넷 데이터의 대부분이라고 이야기 하지만

 

"개인간에 주고받는 E메일이나 카카오톡, 텔레그램, 스카이프 등 메신저를 통해 주고받는 대화, 

각 개인이 클라우드 서비스에 업로드한 각종 자료, 

인터넷 전화의 통화내용 등 "

이런 정보들은 분명히 인터넷의 일부이지만, 당연히 당사자 외 다른 사람은 검색 등을 통해서 접근할 수 없으므로 명백한 딥웹입니다. 통상적인 인터넷 사용자들이 인터넷 상의 정보나 자료라고 잘 인식하지 못하는 것들이 이런 딥웹의 인터넷 트래픽 중 상당부분을 차지하고 있다는 것입니다. 

정확히 집계하기는 극히 어려우나 딥웹의 정보량은 분명히 방대합니다. 하지만 저 위에 예시로 든 데이터들 처럼 다른 사람에게 딱히 쓸모 없는 것이 대부분입니다.

물론, 그렇다고 딥웹은 별볼일 없는 곳이냐..라고 제가 이야기 하기도 어려운게

나무위키에서 이야기하는 딥웹에 결론을 발췌하였습니다.

"딥웹은 실존하며 가벼이 넘길수 없다."

"

마약, 총기 거래, 고어, 야동들 같은 것들을 전문적으로 만든 페이지들이 있으며 마약, 총기거래 등이 정말 이루어 지는 것 사실이고, 일반인은 보지도 듣지도 못한 고어물이나 야한 동영상들이 딥웹에 있는것도 사실이다. 

범죄를 의미하는 딥웹이라면 분명 있긴 있고 더 많이 있을 것이다. 

그 실체를 정말 잘 아는 사람이라면 이미 범죄에 한 발 몸 담근 사람이니 함부러 떠들 수 없을 것이다. 

근데 애초에 범죄가 이 세상에 많은데 인터넷이라는 도구를 범죄에 쓰지 않으리란 법이 없지 않은가. 

휴대폰으로도 범죄 목적의 통화가 엄청나게 많이 이루어지는 것처럼 말이다. 

한국처럼 범죄가 적은 국가가 아니라 미국처럼 마약, 총기, 갱단 등이 많은 국가라면 더 그렇고, 

중동처럼 전쟁의 와중에 있는 지역, 중남미처럼 치안이 매우 열악한 곳에는 인신매매, 청부살인 정도는 흔히 일어나는 것을 다들 알고 있을 것이다. 

그렇다면 이라크 레반트 이슬람국가도 SNS로 테러범 모집하는 시대에 범죄자들이 인터넷이라는 유용한 익명 유지 도구를 사용하지 않을 리 없는 것이다. 

즉 범죄의 한 도구일 수도 있는 것이 딥웹이며 없어도 고전적인 방식으로 범죄는 이루어진다. 

흔히 하듯 토렌트로 야동을 공유하는 것도 범죄를 익명성을 유지하면서 하기 위한 수단인 점에서는 비슷하다. 

Tor보다 익명성의 정도가 약할 뿐이다.

"

이상으로 딥웹(Deep Web)이 어떤것이란 것을 알아보았습니다.

딥웹 중에 불법 사이트들이 일부 존재하는것은 사실이나, 한동안 인터넷에 떠돌던 루머처럼 모든 딥웹들이 거창하고 무섭기한 한 곳은 아닙니다.

인터넷도 사람이 만든 거고, 딥웹도 사람들이 관리를 하는 것이고, 하나의 수단이기 때문에 범죄에 쓰이는 사이트들도 있다는 것이죠. 그렇다고 함부로 접속해서 가득 심겨진 랜섬 웨어나 바이러스에 걸리는 행동은 피하는 것이 좋겠죠.

출처 : 위키피디아, 나무위키