죠셉의 세상이야기

-딥웹(Deep web)의 정의

한때 인터넷에 떠돌던 떡밥이었던 딥웹의 정의에 대해서 한번 알아보겠습니다.

위키피디아에 등재된 딥웹의 정의입니다.

원문

The deep web, invisible web, or hidden web are parts of the World Wide Web whose contents are not indexed by standard search engines for any reason. 

The content is hidden behind HTML forms. 

It is estimated that the deep web makes up 96 % of the whole internet. 

The opposite term to the deep web is the surface web. 

The deep web includes many very common uses such as web mail and online banking but also paid for services with a paywall such as video on demand, and many more. 

Computer scientist Michael K. Bergman is credited with coining the term deep web in 2001 as a search indexing term.

깊은 웹 , 보이지 않는 웹, 또는 숨겨진 웹은 어떤 이유로 든 표준 검색 엔진에 의해 색인이 생성되지 않는 월드 와이드 웹의 일부입니다.

HTML 양식 뒤에 내용이 숨겨져 있습니다. 

딥 웹은 전체 인터넷의 96 %를 차지하는 것으로 추산됩니다. 

깊은 웹의 반대말은 표면 웹 입니다. 

딥 웹은 웹 메일 및 온라인 뱅킹 과 같이 매우 보편적으로 많이 사용 되지만 , 주문형 비디오 와 같은 페이 웰 (paywall) 이있는 서비스에 대해서도 많은 비용을 지불 합니다. 

컴퓨터 과학자 인 Michael K. Bergman은 검색 색인 생성 용어로 2001 년에 Deep Web 이라는 용어를 사용하여 창안 되었습니다.

먼저 Google, 야후, Bing, 네이버같은 일반 검색 엔진으로 검색이 가능한 웹을 표면 웹(surface web)이라 합니다.

그리고 그 대치 용어로 검색 엔진에 걸리지 않는 곳을 딥 웹(deep web)이라고 합니다. 

인터넷 하면 흔히 웹이라고 줄여 부르는 월드 와이드 웹만 생각하기 쉽지만 인터넷은 

"월드 와이드 웹, 전자 메일, 파일 공유(토렌트, eMule 등), 웹캠, 동영상 스트리밍, 온라인 게임, VoIP, 모바일 앱 등 "

다양한 서비스들을 포함합니다. 

딥 웹(deep web)은 이름에 웹(web)이 들어가지만 월드 와이드 웹뿐만 아니라 위와 같은 다양한 서비스들 중 검색 엔진에 걸리지 않는 컨텐츠들도 포함합니다. 

웹뿐만 아니라 다양한 서비스들을 포함하고 있기 때문에 딥 웹(deep web)보다 딥넷(deepnet)이 더 정확한 표현이라고 합니다. 영어 위키피디아에서도 deepnet으로 검색하면 deep web으로 문서를 넘겨줍니다.

접속 허가가 필요한 네트워크나 특정 소프트웨어로만 접속할 수 있는 오버레이 네트워크(overlay network)는 다크넷(darknet)이라고 부릅니다.

다크넷(darknet)은 인터넷처럼 이름에 net(network의 줄임말)이 들어가지만 Tor처럼 사실상 웹 서비스만 있는 경우에도 I2P나 Freenet과 함께 다크넷으로 분류합니다.

다크넷 중 웹만을 따로 다크 웹(dark web)이라고 부릅니다. 

딥 웹에 다크넷이 포함되고, 다크넷에 다크 웹이 포함됩니다. ex(다크넷 > 다크웹)

딥 웹이라는 용어를 다크넷이나 다크 웹을 가리키는데 잘못 사용하는 경우가 있습니다.

사람들이 흔히 오해하는것이 모든 딥웹이 범죄자들이나 사회의 어둠과 관련된 사이트들인 것은 아닙니다. 

딥웹을 찾아보던 중에 알게된 단어들인데, 다크넷, 다크웹, 딥웹 모두 같은 뜻은 아닙니다.

딥웹은 단순히 검색에 걸리지 않는 모든 사이트들을 포괄하는 단어입니다. 

(ex.기업의 내부 정보 페이지, 웹 관리 페이지, 전자 도서관의 데이터 베이스. 혹은 단순히 검색 엔진의 기술적인 문제 때문에 잡히지 않는 웹페이지 등)

구글, 네이버, 다음 등등에서 검색되는 나무위키는 표면웹이고, 검색되지 않고 직접 url 입력해서 들어가야 했던 리그베다 위키는 딥웹입니다.

검색엔진에 노출되는 사이트라면 검색을 통해 찾아 들어갈 수 있습니다. 하지만 검색을 막아버리면 이런 사이트는 검색을 통해 찾을 수 없고, 그 사이트의 주소를 아는 사람만 찾아갈 수 있습니다. 

전자가 표면웹, 후자가 딥웹이며, 어떠한 이유로든 자신이 개설하거나 운영하는 사이트가 대중에게 노출되기를 원치 않는 사람들은 검색봇을 거절해 버릴 수 있고, 딥웹의 정의 자체는 이런 사이트들의 통칭입니다.

다음 카페나 네이버 밴드에 친구들 동창회 모임 같이 그런 사이트들처럼 말이죠.

다만, 세상에는 나쁜 사람들도 있어서 이런 사람들은 남의 눈이 닿지 않는 곳에서는 나쁜 짓을 합니다. 

흔히 딥웹의 특징으로 거론되는 불법자료나 마약, 무기거래, 청부살인 등이 바로 이런 특성에서 기인합니다. 

표면웹에서 저런 짓을 했다가는 경찰에게 적발될 테니, 남에게 안 보이는(검색이 안 되는) 곳에 숨어서 하는 것입니다. 나아가, 어니언 네트워크처럼 이용자의 익명성이 보장되는 네트워크 역시 이런 식으로 설명할 수 있습니다. 

오프라인 가게를 예로 들면. 광고를 해서 이름을 알리는 보통의 가게가 표면웹이라면, 광고를 하지 않아 아는 사람들만 갈 수 있는 가게가 딥웹입니다. 

그리고, 딥웹가게 중에는 일반 손님은 받지 않고 회원만 들어갈 수 있는 더욱 폐쇄적인 가게도 있을 수 있습니다. 

이런 가게에는 VPN을 통한 인트라넷을 운용하는 가게, 검색이 안 되는 회원제 네이버 카페 같은 가게, 그리고 토르 브라우저로만 들어갈 수 있는 어니언 네트워크에 속한 가게 등이 이에 속합니다. 

이들을 대략 깊은 딥웹이라고 볼 수 있습니다. 

따라서, 나쁜 짓을 하는 사람들에게는 이런 회원제의 폐쇄적 가게가 더욱 유리할 하나, 익명성을 만들고 유지하는 사람들이 모두 나쁜 짓을 하는 사람들이라는 의미는 아닙니다.

또한 딥웹에서는 보다 더 질이 높은 전문적인 자료도 구할 수가 있는데, 위에서 언급했다시피 딥웹의 정의 자체를 생각해보면 질이 높은 전문적인 자료라는 것이 중2병스러운 것들뿐인 것도 아닙니다. 

딥웹의 정의는 생각보다 포괄적이라 포털에서 포착되지 않는 전공 지식만 모은 전문 사이트도 딥웹입니다. 

박사급 연구자들의 연구자료를 주로 필요로 하는 사람들은 역시 박사급 연구자들일 것입니다. 

그렇다면, 박사급 연구자료를 모아놓은 논문 페이지를 굳이 검색엔진에 노출시킬 필요가 없습니다. 쓸데없이 트래픽만 잡아먹을 테니까 말이죠. 그렇다면 내부에서만 검색 가능한 독자적인 네트워크를 형성해서 박사급 연구자들에게 그 네트워크에 가입해서 필요한 정보를 검색하라고 하면 됩니다. 

즉, 딥웹이라고 해서 불법적이고 더러운 것들만 딥웹 인 것도 아닙니다.

대표적으로 '국회도서관'의 자료가 딥웹 입니다. 

외부에서 온라인으로 열람할 수 없으나, 계약을 맺은 기관의 전산실 컴퓨터를 이용해서 열람할 수 있습니다. 

석박사 논문은 보통 국회도서관에만 있으므로 집에서 편하게 볼 수 없고 학교 도서관 등을 가야 하는 수고를 해야 합니다. 

흔히들 사람들이 딥웹에 대해서 생각하는 건 2011년도 쯤 전후로 해서 오늘의 유머를 중심으로 다른 각종 커뮤니티에서도 퍼져나간 인터넷을 떠돌던 떡밥입니다.

내용인 즉슨, 

┌

인터넷 세계에는 각종 포털 검색에도 걸리지 않는 그들만의 리그가 있으며, 그곳에서 돌아다니는 내용이란 우리의 상상을 초월한다는 것입니다. 

간단히 말해 우리가 쉽게 구해볼 수 있는 성인 동영상이 일반 커피면 딥웹을 돌아다니는 동영상은 TOP라는 내용입니다. 때문에 이중 삼중의 프록시 우회를 시행하는 Tor라는 브라우저를 통해서만 접근이 가능하고 여러 해커들이 암약하고 있다고 이야기 합니다. 

┘

내용만 들으면 엄청 섬뜻하네요.

나무위키에서 이 내용에 대한 의견을 발췌해 보았습니다.

┌

정확히 말하면, 위의 글쓴이는 딥웹과 어니언 네트워크를 착각한 것입니다. 

기본적으로 딥웹은 외부에 노출되지 않도록 만들어진 네트워크이고, 그런 네트워크를 만드는 기술 중에는 이용자의 익명성을 보장하는 다중 우회 브라우저인 tor로만 접속할 수 있도록 주소를 암호화하는 기술이 있으며, 이 기술로 만들어진 사이트들을 어니언 네트워크라고 분류합니다. 

그런데 위 글쓴이의 경우 어니언 네트워크=딥웹이라고 착각하여 딥웹에는 tor 브라우저로만 접근할 수 있다고 기술한 것이며, 해당 글에 줄줄이 늘어서 있는 url들 역시 어니언 계열의 사이트만 늘어놨으니 토르 브라우저로만 접속할 수 있는 것이 당연합니다. 

비유적으로 설명하자면 

서울 버스나 지하철을 타려면 서울 교통카드가 필요한데, 글쓴이가 서울 외 다른 지역에도 대중교통이 있는 걸 잘 몰라서 

'대중교통을 이용하려면 서울 교통카드라는 것이 있어야 합니다.'

라고 말한 것과 같다는군요. 

저런 주소들은 애초부터 토르 브라우저 이외의 수단으로는 접근할 수 없도록 암호화 해 둔 것이다.

┘

전 개인적으로 음모론을 믿지는 않습니다. 정당한 의심은 있을수 있지만 실상은 별거 아닌 사실을 무지에 대한 공포를 너무 키워주는것같거든요.일반인들이 서핑으로 잘 찾기 어려운 자료들이라 그렇지, 딥웹에 있다는 자료들이 실상은 딥웹에만 존재하는 자료들은 아닙니다.

인터넷에 떠도는 링크걸린 딥웹 사이트들은 일부 불법 웹사이트들이 기재되어있고, 그것을 클릭하는 순간부터 경찰에게 어그로를 끌 수가 있으니 애초에 웬만하면 들어가지 말라고 권합니다. 

강력한 익명성을 보유하는 게 쉽지도 않을 뿐더러 정신건강에 썩 좋은 웹사이트도 아니거니와 컴퓨터를 혹사시키고 바이러스를 먹이는 근원지가 될 수 도 있습니다.

딥웹이 위키피디아에서 언급한대로 전체 인터넷의 96 %, 인터넷 데이터의 대부분이라고 이야기 하지만

"개인간에 주고받는 E메일이나 카카오톡, 텔레그램, 스카이프 등 메신저를 통해 주고받는 대화, 

각 개인이 클라우드 서비스에 업로드한 각종 자료, 

인터넷 전화의 통화내용 등 "

이런 정보들은 분명히 인터넷의 일부이지만, 당연히 당사자 외 다른 사람은 검색 등을 통해서 접근할 수 없으므로 명백한 딥웹입니다. 통상적인 인터넷 사용자들이 인터넷 상의 정보나 자료라고 잘 인식하지 못하는 것들이 이런 딥웹의 인터넷 트래픽 중 상당부분을 차지하고 있다는 것입니다. 

정확히 집계하기는 극히 어려우나 딥웹의 정보량은 분명히 방대합니다. 하지만 저 위에 예시로 든 데이터들 처럼 다른 사람에게 딱히 쓸모 없는 것이 대부분입니다.

물론, 그렇다고 딥웹은 별볼일 없는 곳이냐..라고 제가 이야기 하기도 어려운게

나무위키에서 이야기하는 딥웹에 결론을 발췌하였습니다.

"딥웹은 실존하며 가벼이 넘길수 없다."

"

마약, 총기 거래, 고어, 야동들 같은 것들을 전문적으로 만든 페이지들이 있으며 마약, 총기거래 등이 정말 이루어 지는 것 사실이고, 일반인은 보지도 듣지도 못한 고어물이나 야한 동영상들이 딥웹에 있는것도 사실이다. 

범죄를 의미하는 딥웹이라면 분명 있긴 있고 더 많이 있을 것이다. 

그 실체를 정말 잘 아는 사람이라면 이미 범죄에 한 발 몸 담근 사람이니 함부러 떠들 수 없을 것이다. 

근데 애초에 범죄가 이 세상에 많은데 인터넷이라는 도구를 범죄에 쓰지 않으리란 법이 없지 않은가. 

휴대폰으로도 범죄 목적의 통화가 엄청나게 많이 이루어지는 것처럼 말이다. 

한국처럼 범죄가 적은 국가가 아니라 미국처럼 마약, 총기, 갱단 등이 많은 국가라면 더 그렇고, 

중동처럼 전쟁의 와중에 있는 지역, 중남미처럼 치안이 매우 열악한 곳에는 인신매매, 청부살인 정도는 흔히 일어나는 것을 다들 알고 있을 것이다. 

그렇다면 이라크 레반트 이슬람국가도 SNS로 테러범 모집하는 시대에 범죄자들이 인터넷이라는 유용한 익명 유지 도구를 사용하지 않을 리 없는 것이다. 

즉 범죄의 한 도구일 수도 있는 것이 딥웹이며 없어도 고전적인 방식으로 범죄는 이루어진다. 

흔히 하듯 토렌트로 야동을 공유하는 것도 범죄를 익명성을 유지하면서 하기 위한 수단인 점에서는 비슷하다. 

Tor보다 익명성의 정도가 약할 뿐이다.

"

이상으로 딥웹(Deep Web)이 어떤것이란 것을 알아보았습니다.

딥웹 중에 불법 사이트들이 일부 존재하는것은 사실이나, 한동안 인터넷에 떠돌던 루머처럼 모든 딥웹들이 거창하고 무섭기한 한 곳은 아닙니다.

인터넷도 사람이 만든 거고, 딥웹도 사람들이 관리를 하는 것이고, 하나의 수단이기 때문에 범죄에 쓰이는 사이트들도 있다는 것이죠. 그렇다고 함부로 접속해서 가득 심겨진 랜섬 웨어나 바이러스에 걸리는 행동은 피하는 것이 좋겠죠.

출처 : 위키피디아, 나무위키

액티브x(ActiveX)가 내년(2018년) 공공 웹사이트에서는 자취를 감춘다고 합니다.

인터넷상에서 많이들 이야기하는 액티브x(ActiveX)란 무엇일까요?

나무위키에서 설명하는 액티브x의 정의입니다.

마이크로소프트에서 만든 COM(컴포넌트 오브젝트 모델)과 OLE(오브젝트 링킹 앤 임베딩) 기술 두 개를 합쳐서 이름을 새로 붙여준 것입니다. 

대부분 좁은 의미로 Internet Explorer에서 애드온으로 사용되는 ActiveX Control들을 말합니다. 

액티브X는 거대한 소프트웨어 프레임워크지만 대한민국에서는 '인터넷 익스플로러에 붙어서만 실행되는 윈도우 응용프로그램' 정도로 인식되는 것이 일반적입니다.

웹 브라우저의 역할을 넘어선 여러가지 기능을 자유롭게 수행할 수 있습니다. 

예를 들면 컴퓨터 내부에 파일을 생성한다든가 삭제 및 존재여부도 알 수 있고, 심지어는 컴퓨터 주인이 신경쓰지 않아도 실행도 가능합니다.

또한, 사용자가 관리자 권한을 허락해준다면 윈도우 폴더 내부에까지 파일을 생성할 수 있고, 레지스트리도 액티브엑스 오브젝트 맘대로 마음껏 수정할 수 있습니다. 이것은 웹 브라우저의 한계를 뛰어넘는 행동을 할 수 있습니다. 

개발자 입장에서는 굉장히 편리했습니다.

액티브X 기술이 대단히 편리한 기술임에는 틀림없었습니다. 

각종 다운로드 서비스, 게임 실행, 음악 재생 등 사용자의 인지 없이도 온갖 프로그램을 웹페이지 접속만으로 실행할 수 있었으며 한국이 일약 인터넷 강국으로 떠오르게 된 발판이기도 합니다. 

당시의 기술로는 액티브X가 없었다면 저런 것은 만들 수조차 없었거나 매우 느려서 쓸모가 없었습니다. 

90년대 당시 자바 애플릿을 채용한 곳도 있었으나 너무나 느렸기 때문에 사용자로부터 외면을 받았습니다.

하지만 이 기술은 한가지 큰 위험요소를 지니고 있었는데, 위에서도 써놓았듯 사용자의 간섭 없이도 자동으로 설치된다는 것은 곧 보안의 허점을 의미했습니다. 

사실 이미 IE5 때부터 자동으로 설치되는 것은 막혀 있었고, 설정만 한다면 아예 액티브X가 실행되지 않도록 할 수도 있었습니다. 

하지만 일단 설치된 후엔 멋대로 사용자의 컴퓨터를 주무를수 잇습니다. 

때문에 웹 페이지 접속만으로 온갖 악성 프로그램이 실행되는 것은 일상다반사였고 컴퓨터를 모르는 사람은 물론이고 아는 사람의 PC에까지 허구헌 날 바이러스와 악성코드가 창궐하기 일쑤였습니다.

이것은 단순히 액티브X만의 문제는 아니었고, 그것을 허용하게 하는 윈도우 운영체제와 IE의 허술함도 크게 기여했습니다.  이 문제는 결국 ActiveX의 자동실행, 설치 방지가 포함된 IE6에서 일부 해결되었고, 사용자의 관리자 권한을 제한하는 윈도우 비스타에 와서는 UAC 덕분에 이론상 거의 완벽하게 해결하게 되었는 줄 알았지만 현실은 컴맹들은 무조건 YES만 누르고, 심지어 UAC를 꺼버리는 만행까지도 저질렀습니다. 

결국 윈도우 10에 와서는 MS는 그냥 IE를 버리고 Edge를 만드는 방식으로 ActiveX(와 기타등등 산재한 문제들)를 해결하였습니다.

미운오리새끼 된 ‘액티브X’… 내년 공공 웹사이트서 자취 감춘다

원문보기

"

행자부·미래부 단계별 제거계획"이용 많은 민간 100대 사이트도세계 100대 웹사이트 수준 감축"

...

문재인 대통령이 발표한 ICT정책 중 하나인 공공기관 액티브엑스(이하 액티브X) 완전 폐지 공약이 실현될 전망이다. 행정자치부와 미래창조과학부가 단계별 제거 계획을 세우고 추진하고 있다.

11일 정부에 따르면 행정자치부와 미래창조과학부는 공공 웹사이트 및 사용빈도가 높은 민간 기업 웹사이트의 액티브X를 걷어내고 있다. 액티브X로 인해 인터넷 익스플로러를 제외한 크롬·파이어폭스 등의 브라우저에서 웹사이트에 접속할 수 없는 불편함 때문이다.

행자부 관계자는 "공공 웹사이트에서 액티브X 제거가 진행되고 있다"며 "민원발급·열람 등 일부 대국민서비스에는 보안강화를 위해 액티브X 표준기술이 개발될 때까지 사용이 불가피한 측면도 있어 2018년까지 공공사이트에서 액티브X를 차례로 폐지해 100% 폐지할 계획"이라고 밝혔다.

...

단, 불가피하게 HTML5가 지원되지 않는 경우 대체기술인 실행파일(.exe)로 호환성을 확보하고 표준기술이 지원되면 이를 적용한다. HTML5가 국제표준이기 때문에 국내 보안(키보드보안·백신·개인방화벽 등) 및 장치제어(프린터제어 등)에는 호환되지 않고 있다.

"

출처 : 디지털타임스

보안상으론 active x 보다 exe가 덜치명적인지, 더치명적인지는 모르겠지만 저보다 훨씬 유능한 전문가들이 하시는거니깐 잘처리하시겠죠? 대통령 취임하신지 몇일 되지도 않았는데, 공약을 지키기위해서 노력하시는거 같아 보기 좋습니다.

일단 제가 유지보수 하던 사이트는 ActiveX를 거의 걷어내는데 성공했지만, 아직까진 공공기관 사이트들중에서는 ActiveX를 설치하고 공인인증서로 로그인하는 방법을 사용하는곳이 제법 많더군요.

앞으로 웹 표준, 웹호환성 맞는 사이트들이 많아졌으면 좋겠고, 저도 그렇게 만들려고 힘을 써야겠습니다.