introduction to the invisible web

Download Introduction to the invisible web

If you can't read please download the document

Upload: ncaio

Post on 16-Apr-2017

234 views

Category:

Technology


0 download

TRANSCRIPT

Slide 1

INVISIBLE WEB

Noilson Caio T. de [email protected]

CONSIDERAES INICIAIS

SEGURANAPRIVACIDADEAPOLOGIA

INTRODUO

Existem vrios repositrios de informaes que os motores de buscas no conseguem enxergar, ou seja, diferente das pginas convencionais e visveis, a invisible web, termo dado a este tipo de prtica, tem sua base de dados inacessvel aos softwares que criam os ndices dos motores de busca.

A PAISAGEM DE DADOS ESTRUTURADOS

Unstructured queriesSingle-page structured queriesMulti-page structured queries

Os usurios colocam consultas (palavra-chave) e obtem uma lista de URLs de pginas web como resultado.

Single-page structured queriesConsultas mais precisas para o motor de busca.

Multi-page structured queriesEstas tarefas so maisambiciosas que o conjunto anterior.

Consultas no estruturadas: Estas tarefas so idnticos aosmodo atual popular de busca de informaes sobre oWeb. Os usurios colocam consultas palavra-chave e obter uma lista de URLspara pginas web como o resultado. O objetivo aqui garantir quepginas web que contm dados estruturados obter classificao ade-priately alta na lista de resultados. Uma variante desta tarefa a busca de colees de dados estruturados (ie, pginas retornoque contm tabelas HTML ou mashups). Essa busca podeser invocado quando se est a recolher dados para um mashup ourealizar um estudo mais detalhado de um fenmeno.

Uma nica pgina consultas estruturadas: Nestas tarefas que colocamconsultas mais precisas para o motor de busca. Podemos representar-los usando uma interface que permite que os usurios enviem maisconsultas estruturadas (por exemplo, em busca de empregos, carros ou casas),ou esperar que o mecanismo subjacente para analisar uma consulta palavra-chavee reconhecer a sua estrutura (por exemplo, identificar na consulta "francepopulao "que a Frana um pas e da populao umpropriedade dos pases). Existem dois tipos de respostas quepode esperar. A primeira a resposta precisa (por exemplo, o realnmero para a populao da Frana). A segunda uma pginaque contm a resposta precisa (por exemplo, a pgina da Wikipediana Frana), mas o usurio precisa ler a pgina deencontrar a resposta.

Multi-page consultas estruturadas: Estas tarefas so maisambicioso do que o conjunto anterior. Aqui esperamos que a pesquisamotor para encontrar respostas que so obtidas por combinao (por exemplo,dados atravs de uma associao ou sindicato) de mltiplos estruturados (ou un-estruturados) fontes na web. Por exemplo, gostaramospara combinar dados de Internet Movie Database e websites com filme jogando vezes para encontrar locais de vezes jogarfilmes dirigidos por Woody Allen [10]. Note que o usuriono precisa estar ciente de que as respostas foram obtidas por com-nando os dados de vrias pginas.

EXEMPLOS

PARA DEEP WEB

Os dados so claramente teis para unstructured queries e single-page structured queries, que retornam URL's como resultados.

ORGANIZAO

O contedo dessa zona se caracteriza por no ser indexado, no existem ligaes/links externos, protegido por senha ou criptografado, scripts e contedo no HTML.

* Estado morto

ORGANIZAO




Quando estes sites so consultados, o retorno de forma de pginas web dinmicas que tem um endereo nico que permitem que eles sejam recuperados mais tarde, porm no so persistentes.

The Onion Routing

Onion Router

Onion Proxy

Onion Routerc

Onion router um n da rede sobreposta que aceita conexes de usurios, criptografa e redireciona o trfego para outros ns ou para o destino original. Cada onion router mantm uma conexo TLS [5] para todos os outros e duas chaves, uma usada para assinar os certificados da conexo TLS e outra para decriptar pedidos de comunicao dos onion proxies. O ltimo n do tnel chamado de n de sada, este que decripta a mensagem em seu contedo original e a envia para o destino final.Onion Proxy

O onion proxy o software executado pelo usurio que deseja utilizar a rede Tor. Este sistema capaz de construir os circuitos virtuais, gerenciar as conexes com os onion routers e multiplexar as conexes TCP que ele recebe dos aplicativos pelos circuitos.

CASOS

Canibal de Rotenburg

.onion

pseudo-top-level domain

anonymous hidden service

onion TLD is not in the Internet DNS root

tor2web

OpDarknet Official Release -- 10/30/2011 - Pedo hunt trophies, Bear Rugs for Mike Perry

Lolita City and Freedom Hosting;

30 hours;

To our shock, the community of pedos were able to quickly regroup and rebuild Lolita City and Freedom Hosting within a week;

True identity of the builder and architect of Freedom Hosting;

What we found was truly shocking, it was the deeds to a California, USA 'shell' company for 12 Tor Exit Nodes named Formless Networking LLC.

WTF?

What we found was troublesome, a "tax" lawyer with no CPA and a degree in "Social History and Japanese Language" from Carnegie Mellon? So we decided to do a little call to this "tax" lawyer.

"Mike Perry"

Freedom Networking LLC has the Apache backend.

Freedom Hosting server has ngnix front cache to proxy a backend Apache with PHP safemode on...

Tor Security expert who fixed hidden service IP enumeration bugs

Freedom Server has as business IP internal NAT of 10.0.1.X

Mike Perry run's 12 Tor exit nodes under a shell company under Formless Networking LLC

1) Freedom Networking LLC has the Apache backend. 2) Freedom Hosting server has ngnix front cache to proxy a backend Apache with PHP safemode on... 3) Tor Security expert who fixed hidden service IP enumeration bugs 4) Freedom Server has as business IP internal NAT of 10.0.1.X 5) Mike Perry quit Riverbed Technology for Tor in 2008 and Freedom Hosting has a copyright of 2008. (Src: http://fscked.org/blog/farewell-riverbed-so-long-and-thanks-all-bits) and (http://s1.postimage.org/k8gmi740d/freedom.png) 6) Mike Perry run's 12 Tor exit nodes under a shell company under Formless Networking LLC 7) Formless Networking LLC has a "tax" attorney with no CPA 8) Mike Perry designed Tor Button and is a major contributor to Tor Hidden Node design: https://www.blackhat.com/presentations/bh-usa-07/Perry/Whitepaper/bh-usa-07-perry-WP.pdf 9) Mike Perry has stated on his personal website "For the past three or four years now I've led something of a double life"

Demonstrao com o Free Net Project

http://www.onion-router.net/

http://freenetproject.org

http://ncaio.ithub.com.br/2011/07/18/introducao-a-invisible-web/

http://pastebin.com/u/opdarknet

http://www.fscked.org

http://www.taxninja.com/

Links