Александр Сидоров

Руководитель сервиса Безопасный Поиск

APIшник в Киеве, 27 апреля 2013

API Безопасного Поиска Яндекса как подключиться и защитить своих пользователей

2

Содержание

• пара слов о Безопасном Поиске

• Safe Browsing API

• Lookup API

• Check Adult API

• страница с деталями заражения

• Яндекс.DNS как API

• опасные документы Яндекс.XML

• API Яндекс.Вебмастера

• идеи продуктов с защитой пользователей

В чём опасность, как и зачем

Яндекс делает безопаснее

4

Веб-угрозы

• Распространение вредоносного кода – drive-by-download атаки

открыл страницу – заразился через уязвимости браузеров и плагинов

– социальная инженерия: заражённый софт «отключите антивирус на время установки», мобильные редиректы, «обновите Оперу»…

• Мошеннические сайты подделка, подмена, блокировка известных сайтов

смс-мошенничество

кража учётных записей

кража платёжных реквизитов

продажа несуществующего или бесплатного

смс-архивы

сайты с несуществующими услугами или контентом

• Чёрное SEO …

На практике все они тесно связаны друг с другом

5

• сайты заражают и

обманывают

пользователей

• это подрывает доверие к

интернету и электронным

платежам

• меньше круг решаемых в

интернете задач

• вредит интернет-отрасли

в целом

6

Как это работает

7

Статистика работы системы

• 23m страниц проверяется в сутки

• более 210k заражённых хостов в базе

• точность информации о том, что хост

заражён, не менее 99,5%

• среднее время перепроверки сайтов

не более суток

• Safe Browsing API подключаются в сутки

более 10m браузеров

Кому и зачем

подключаться

9

Кому и зачем

• браузеры, почтовые и IM-клиенты – защищать пользователей

• форумы, порталы, сокращатели ссылок, соц.

сети, рекламные сети – проверять UGC и ссылки рекламодателей

• средства мониторинга и фильтрации трафика – источник данных для категоризации сайтов

• мобильным операторам и интернет-

провайдерам – предоставлять защиту как услугу

• антивирусам – обмениваться данными и семплами

Как подключаться

11

Safe Browsing API Яндекса

• проверка, известен ли нам URL как

вредоносный или фишинговый

• ежедневно используется более чем в 10m

браузеров

• Web of Trust проверяет более 45m хостов

в сутки

• бесплатно для некоммерческого

использования

12

Область применения SB API

• для высоконагруженных приложений,

веб-сайтов и фильтров трафика, стоящих

«в разрыв»

• 99,5% случаев – проверка без обращения

к серверам SB API

• 99,1% оставшихся случаев серверы

обрабатывают запрос быстрее 50 мс,

uptime 100%

13

Как работает Safe Browsing API Клиент

ключи, документация, готовые библиотеки: safe.yandex.ru

14

Lookup API, Check Adult API

• очень простые

• можно использовать из curl, легко

встраивать куда угодно

• скорость ответа, надёжность, условия

использования – как у Safe Browsing API

15

Как работает Lookup API

https://sba.yandex.net/lookup?pver

=3.5&client=api&apikey=<ваш_ключ>&

url=<проверяемый_URL>

ответ:

• phishing, статус 200, если фишинг

• malware, статус 200, если malware

• пустой, статус 204 – если страница

не представляет опасности

• ключи: safe.yandex.ru

16

Как работает Check Adult API

http://sba.yandex.net/cp?pver=4.0&c

lient=api&url=<проверяемый_URL>

ответ:

• adult, если страница только для взрослых;

• ok – если и для детей тоже.

17

HTTP-заголовок

«за компьютером ребёнок»

X-Yandex-Family-Search:yes

• переводит Поиск и Картинки Яндекса в

режим «для всей семьи»

• используйте на своём сайте и в

приложениях для детей!

18

Безопасный Яндекс.DNS

• 77.88.8.88

− фильтрация сайтов с вирусами и

фишингом

− резолвит такие домены в 93.158.134.250

• 77.88.8.7

− фильтрация сайтов с вирусами, с

фишингом и для взрослых

− резолвит такие домены в 93.158.134.250

• dns.yandex.ru

19

Страница с деталями заражения

http://yandex.ru/infected?l10n=ru&

url=<проверяемый_URL>

20

В результатах поиска Яндекс.XML

• если найденный документ – опасный, у

тега <doc> появляется не пустой атрибут

malicious

• например, в ответе на запрос

http://xmlsearch.yandex.ru/xmlsearch?text=w

mconvirus.narod.ru есть <doc id="49–13-7-ZD7CD13E4BDFDB7D3"

malicious="sophos">

• ключи и документация xml.yandex.ru

21

В API Яндекс.Вебмастера

• для хостингов

• в XML-списке хостов есть тег «virused»,

например <hostlist><host href="...">

...

<virused>true</virused>

...

</host>...</hostlist>

• см. http://api.yandex.ru/webmaster/doc/dg/refe

rence/hosts.xml

• вся документация api.yandex.ru/webmaster

22

Опции для антивирусных партнёров

• 4,2k новых заражённых хостов в сутки

• примерно столько же – переставших

распространять вредоносный код

• 350 MB в сутки наиболее актуальных

вредоносных бинарных семплов

• только равноценный обмен

• пишите на safesearch@yandex-team.ru

Кто уже подключен

24

Кто уже подключен

• Я.Браузер, Mozilla Firefox с

Яндекс.Элементами, Опера, PlayFree

Браузер

• virustotal.com, 2ip.ru, sucuri.net

• Web of Trust, Surfingbird

• несколько антивирусных партнёров

Идеи

26

Например, можно было бы сделать

• проверка ссылок, присылаемых в Миранде – заразить компьютер, разослать заражённые ссылки по контактам

ICQ, снова заразить, снова разослать и т.д. – классический сценарий

эпидемии

• браузер для маленьких пользователей – CheckAdult + X-Yandex-Family-Search:yes

• предупреждения о заражённых страницах в SQUID – в дополнение к ClamAV :)

• проверка внешних ссылок в Joomla, Drupal, phpBB – защитите пользователе й вашего сайта

• антивирус – пара SDK для файловой проверки + SB API + CheckAdult = антивирус

с защитой интернет-соединения и родительским контролем

27

Мы делаем интернет

безопаснее.

Подключайтесь!

Александр Сидоров

Руководитель

Безопасного Поиска

sidorov@yandex-team.ru

http://safesearch.ya.ru/

Спасибо!

Вопросы?