В статье о поиске в Google говорили о том, как изучить прошлое партнеров и соискателей, провести мониторинг конкурентов и расследовать правонарушения с помощью поисковых систем. Сегодня поговорим об использовании сетевых технологий в ресерче, от теории к практике.
Исследование сетевой инфраструктуры позволит найти связи между сайтами, а значит расширить географию поиска и собрать больше цифровых доказательств. Базовая информация - название компании (например, Google LLC) и домен (google.com) - укажет путь к другим доменам и субдоменам, зарегистрированным компанией, а также контактам владельцев либо администраторов домена. История DNS-записей и IP-адресов поможет окунуться в прошлое компании: найти неактивные сайты компании, выявить изменения в записях DNS, предотвратить мошенническую или преступную деятельность.
Часть 1. DNS: Адресная книга интернета
DNS
Компьютеры обращаются друг к другу с помощью номеров, называемых IP-адресами (пример: 74.125.131.100 - IP-адрес Google). Однако запоминать последовательность цифр - нелегкая задача для людей, которые предпочитают называть вещи по имени. DNS (Domain Name System) - адресная книга интернета, связывает имена сайтов с IP-адресами. Преобразовывает домены, которые вводим в адресной строке браузера (например, www.google.com), в IP-адреса веб-серверов. Система DNS работает следующим образом:
1. Пользователь подключается к интернет-провайдеру для доступа к интернету;
2. В адресной строке браузера вводит URL-адрес, например www.google.com;
3. Компьютер запрашивает у DNS-серверов интернет-провайдера конкретный IP-адрес для www.google.com;
4. Как только DNS-сервер, который содержит IP-адрес для www.google.com, найден, DNS-сервер передает адрес компьютеру, а компьютер - браузеру;
5. Браузер устанавливает соединение с сервером, используя полученный IP-адрес, получает страницу www.google.com и отображает на экране компьютера.
|
Инструменты ресерчера
Следующие сервисы собирают информацию о доменах, сетях, DNS, IP. Используются для понимания, какие еще проекты размещены на IP главного сайта компании, принадлежат ли компании. myip.ms удобен тем, что отображает историю смены IP.
Хранилище истории ресурсных записей DNS помогает выявить подозрительные изменения в записях DNS и предотвратить мошенническую или преступную деятельность:
Часть 2. WHOIS
WHOIS
Обязательное правило регистрации домена - предоставление контактной информации владельца домена (регистранта), которая сохраняется у регистраторов доменных имен, а также в каталоге WHOIS.
WHOIS (англ. who is - «кто это?») - общедоступный сетевой каталог, содержащий контактную и техническую информацию о регистрантах. Желающие узнать о том, кто стоит за сайтом или доменным именем, могут провести соответствующий поиск в службе каталогов WHOIS. Это не единая централизованная база данных. Регистрационные данные хранятся в разных точках и управляются несколькими регистраторами. Правила регистрации в международных доменах (.com .net .org) устанавливаются ICANN (корпорацией по управлению доменными именами и IP-адресами). Правила регистрации в национальных доменах (.ua .de .ru) устанавливаются регистраторами или органами власти соответствующих стран.
Ряд регистраторов доменов предоставляют услугу “Защита приватности” (WHOIS privacy), которая скрывает информацию о собственнике или администраторе доменного имени в результатах поиска в каталоге WHOIS.
Инструменты ресерчера
Ресерчеры используют информацию каталога WHOIS для подтверждения связей между проектами и поиском новых проектов владельца. Найти контакты владельца домена помогут сервисы:
- https://whois.domaintools.com/
Далее используем обратный WHOIS-поиск доменов, зарегистрированных на одного и того же владельца. Достаточно знать имя, контактный телефон либо e-mail регистранта:
- https://viewdns.info/reversewhois/
Сервисы, которые сохраняют историческую информацию WHOIS-каталога, позволят узнать, кто регистрировал сайт до перепродажи или до того, как была включена WHOIS Privacy:
- https://community.riskiq.com/
- https://whois.easycounter.com/
|
Старосек Артем, CEO в ресерч компании Molfar.bi |
Часть 3. Веб-аналитика
Веб-аналитика
Сервис Google Analytics предоставляет статистику посетителей веб-сайтов. Для сбора данных в html-код сайта встраивается скрипт с уникальным ID в формате UA-12345678. По такому же принципу работают сервисы Google AdSense, Amazon и AddThis. Иногда владельцы используют один аккаунт Google Analytics и один ID на всех сайтах входящих в группу. В таком случае, зная ID, найдем сайты, принадлежащие одному владельцу.
Инструменты ресерчера
Для поиска ID веб-аналитики нужно открыть исходный код сайта и провести поиск по тегам:
- Google AdSense: pub- или ca-pub;
- Google Analytics: UA-;
- Amazon: &tag=;
- AddThis: pubid.
Далее используем сервисы для обратного поиска сайтов по ID веб-аналитики. NerdyData, в отличии от RiskIQ и DNSlytics, ищет совпадения по любому введённому фрагменту кода.
- https://community.riskiq.com/
- https://dnslytics.com/reverse-analytics
Часть 4. Швейцарский нож ресерчера
Что, если совместить большинство аспектов анализа сетевой инфраструктуры в одном сервисе? RiskIQ Community Edition и ViewDNS - универсальные инструменты для сбора данных о домене или IP-адресе, “единые центры” для старта расследования.
RiskIQ Community Edition отображает:
- историю изменения DNS-записей, IP-адресов, WHOIS-данных
- данные о плагинах и скриптах, которые использовал выбранный домен, трекерах веб-аналитики, сертификатах
- список сайтов, которые ссылаются на домен (раздел OSINT)
- домены, к которым анализируемый сайт обращался посредством API или удаленной загрузки контента (раздел Host Pairs)
ViewDNS включает 25 инструментов для сбора данных о веб-сайте или IP-адресе, из них:
- Reverse IP Lookup - обратный поиск IP-адреса, чтобы определить другие домены, размещенные на том же сервере. Полезно для поиска фишинговых сайтов или идентификации других сайтов на сервере общего хостинга.
- IP Location Finder и IP History показывают текущее местоположение IP-адреса и историю IP-адресов домена, соответственно.
- Domain / IP Whois - WHOIS-данные домена либо IP-адреса.
- Reverse Whois Lookup по имени или e-mail находит домены, в WHOIS которых указаны эти данные.
Ресерчеры используют инструменты анализа сетевой инфраструктуры для компьютерно-технической экспертизы данных, проверки фактов, исследования конкурентов, отслеживания спамеров и фишинговых сайтов. Введение в 2018 году Общего регламента по защите данных (GDPR) в Евросоюзе коснулось конфиденциальности WHOIS-данных - владельца домена стало сложнее найти. Однако, где WHOIS-данные скрыты, там проекты компании расположены на одном IP или используют общий ID Google Analytics. Использование разных векторов при сборе информации поможет найти хотя бы одну открытую дверь.
