OSINT: что это такое, инструменты, технологии бизнес разведки и аналитики данных из открытых источников (Open-source intelligence)

Непогашенные долги, публичные скандалы, судебные тяжбы — OSINT поможет разобраться, что скрывают от вас контрагенты. Все уже есть в открытом доступе, главное — хорошо поискать. Рассказываем, как собирать сведения из общедоступных источников, чтобы узнать о бизнес-партнерах как можно больше.

Полина Романовских Юрист, эксперт по законодательству

Оцените активность контрагента

Залоги имущества, историческая информация, сведения о госзакупках и товарных знаках — все это находится в карточке компании в Фокусе

Подробнее о возможности

Что такое OSINT

Аббревиатура OSINT расшифровывается как Open Source Intelligence. В переводе на русский — разведка по открытым источникам. Под OSINT понимают набор инструментов, методов источников данных, которые позволяют находить информацию в общедоступных ресурсах, а также анализировать сведения.

Каждый из нас хотя бы раз примерял на себя роль OSINT-специалиста. Например, при выборе ноутбука. Обычно это происходит так: вы находите интернет-магазин с низкими ценами на технику, но покупать сразу не спешите — вдруг это мошенники привлекают жертв скидками?

Чтобы убедиться в надежности продавца вы,скорее всего вы будете читает отзывы на онлайн-картах и сайтах-отзовиках, спрашивать мнения на форуме, изучать публикации в СМИ. И може оказаться, что интернет-магазин многих обманул: деньги взял, а товар не отправил. Десятки пострадавших подали заявления в полицию, возбудили уголовное дело, но фигурантов еще не поймали. Покупать ноутбук в таком магазине вы вряд ли захотите.

Чтобы решить свою задачу, человек применил методы OSINT: изучил информацию в интернете и не стал покупать ноутбук у недобросовестного продавца. Специалисты в сфере OSINT действуют по такому же принципу, только используют более специфичные инструменты.

Основные принципы работы OSINT

OSINT-аналитика базируется на двух основных принципах:

Собирать данные только из открытых источников. Инструменты разведки не используют для сбора конфиденциальных или засекреченных данных, доступ к которым ограничен. В качестве источников сведений подойдут:

сайты, онлайн-карты, публикации в СМИ;
соцсети, мессенджеры;
реестры госорганов и коммерческих организаций;
отчеты ведомств, госстатистика, судебные решения;
исследования, архивы, опросы;
видеохостинги и другие.

Использовать законные способы для сбора сведений. Взломы баз данных, кражи информации, подкуп уполномоченных лиц — в OSINT не прибегают к нелегальным способам. Неопытный OSINT-специалист может оказаться в «серой» зоне по незнанию. Например, такой риск есть, если собирать персональные данные физлиц без согласия или покупать сведения, которые были конфиденциальны, но попали в открытый доступ из-за утечки.

Где и зачем используется OSINT

Методы OSINT — разведки по общедоступной информации — применяют в личных, профессиональных и коммерческих целях. В повседневной жизни сбор и анализ данных помогает проверять сведения на достоверность, избегать мошенничества, находить добросовестных работодателей, исполнителей услуг.

Технологии OSINT используют в своей работе журналисты, специалисты по информационной безопасности, правоохранительные органы для расследования преступлений, аналитики, маркетологи. С помощью OSINT бизнес может решать разные задачи:

проверять контрагентов, чтобы выбирать надежных партнеров, которые исполнят обязательства по договору;
изучать конкурентов, чтобы реагировать на изменения в отрасли и стремиться к лидерству на рынке;
находить уязвимости в собственной системе безопасности, чтобы избежать утечек данных и снизить риски других киберугроз;
собирать информацию о своей целевой аудитории, чтобы разрабатывать эффективные маркетинговые стратегии;
управлять репутацией бренда при работе с негативными отзывами и публикациями в СМИ;
искать новых подрядчиков или заказчиков;
проверять физических лиц: кандидатов при трудоустройстве, самозанятых подрядчиков, партнеров-индивидуальных предпринимателей, новых директоров или учредителей.

Собирать и обрабатывать открытые данные закон не запрещает, поэтому заниматься OSINT — законно. Однако имеет значение цель, для которой привлекают методы разведки. Цель правомерна, если информация нужна для принятия бизнес-решений. Но если сведения используют для шантажа, угроз, причинения вреда людям или репутации бизнеса, взломов информационных систем, OSINT становится орудием преступления.

Отличие OSINT от разведки

OSINT — более широкое понятие, чем конкурентная разведка. Методы OSINT пригодятся специалистам разных сфер для сбора данных по разным вопросам: от сравнения туристических агентств для подбора тура в Египет до оценки аффилированности организаций. Конкурентная разведка — лишь одна из задач, которую можно решить с помощью OSINT. Конкурентная разведка ограничена поиском и анализом информации о конкурентах компании. Про конкурентную разведку, ее задачи, этапы и приемы, мы подробно писали здесь.

Не стоит путать OSINT со шпионажем. Он предполагает сбор информации заведомо незаконными методами. За основу для анализа могут использовать персональные данные, сведения, которые составляют коммерческую или государственную тайну, другую конфиденциальную информацию, слитую в сеть нелегально. Доступ к сведениям также получают через взлом баз данных, подкуп сотрудников, шантаж лиц, которые работают с информацией. При шпионаже данные чаще всего добывают для причинения ущерба — людям, компаниям, госорганам.

Пассивный и активный OSINT

Выделяют две группы методов разведки по открытым источникам:

Пассивные. Методы пассивной разведки предполагают минимум усилий со стороны исследователя. Достаточно открыть браузер, ввести поисковый запрос и открывать наиболее релевантные ссылки для поиска нужной информации. Например, чтобы скачать выписку из ЕГРЮЛ на компанию, достаточно зайти на сайт ФНС и ввести ИНН — через пару минут документ будет на компьютере.

Активные. В рамках активной разведки аналитик либо непосредственно взаимодействует с объектом исследования, либо прилагает усилия, чтобы получить доступ к данным. Например, регистрируется на сайте, покупает подписку на специализированный сервис, пишет скрипт или программу для сбора информации с сайтов, общается с информированными людьми.

Технологии и инструменты OSINT

Разберем общие инструменты для разведки, которые пригодятся начинающему OSINT-специалисту:

OSINT Framework. Сайт представляет собой базу данных со средствами для сбора и анализа информации. Инструменты OSINT сгруппированы по разделам, в каждом есть несколько штук. Например, в разделе о бизнесе есть инструменты для поиска ежегодных отчетов компаний, профилей организаций и сотрудников. На сайте представлены только зарубежные сервисы на иностранных языках, для некоторых нужна регистрация или оплата подписки.

Google Dorks или Hacking. Технология OSINT заключается в том, чтобы использовать особые поисковые запросы, которые позволяют находить информацию более точно. Вы ничего не взламываете, а просто получаете сведения, которые бы не оказались вверху поисковой выдачи при обычном запросе. Например, если использовать оператор «cache:» вместе с запросом, поисковик покажет удаленные или архивные веб-страницы. Оператор «filetype:» показывает в результатах выдачи только файлы определенного расширения на заданную тему. Единого перечня «дорков» нет, но подборки можно найти в интернете.

Shodan. Поисковая система, в которой можно найти устройства, подключенные к интернету. Например, камеры видеонаблюдения, серверы, маршрутизаторы, компьютеры, роутеры. Поиск выполняется с помощью специальных команд. Больше всего инструмент подойдет специалистам информационной безопасности для поиска уязвимостей. Также бесплатную версию сайта можно использовать, чтобы понять, в каких странах люди пользуются определенным сервисом.

Сервисы для мониторинга сайтов. Есть специальные программы, которые помогают отслеживать упоминания определенной темы, бренда или конкурентов в интернете — на сайтах или в социальных сетях. Сервисы подходят для управления репутацией, анализа предпочтений целевой аудитории, отслеживаний стратегий конкурентов. Одна из таких бесплатный программ — Яндекс.Вордстат.

OSINT-GPT. Сервис разработан на основе модели ChatGPT, но заточен под задачи разведки по открытым данным. OSINT-GPT агрегирует и интерпретирует данные из новостей, соцсетей и других открытых ресурсов. Сервис на основе искусственного интеллекта помогает исследовать рынки, проверять информацию на подлинность, проводить журналистские расследования.

Wayback Machine. Сервис предоставляет доступ к веб-архивам некоммерческой организации «Архив Интернета». Алгоритмы программы создают копии интернет-страниц, чтобы пользователи могли найти удаленный контент или увидеть, как сайт выглядел в прошлом.

Контур.Фокус. Одним из главных OSINT-инструментов в сфере конкурентной разведки и проверки контрагентов можно считать Контур.Фокус. Он собирает информацию об организациях из десятков открытых источников, анализирует ее и представляет в удобном для изучения виде. Контур.Фокус подойдет для сбора и анализа сведений об организациях-контрагентах и конкурентах, индивидуальных предпринимателях, физлицах. Как провести конкурентную разведку с помощью сервиса, рассказали в инструкции.

Некоторые данные уникальны, потому что их можно найти только в Фокусе. Например, сведения из онлайн-касс. Сервис показывает выручку и средний чек компаний, которые оказывают услуги и продают товары в розницу. Это помогает оценить актуальное финансовое состояние контрагента.

Узнайте о связях контрагента с компаниями и физлицами

Изучите исторические и актуальные связи бизнес-партнера в виде схемы

Подробнее о возможности

Источники данных

Для разных задач исследователь будет ориентироваться на разные источники информации. Расскажем об открытых ресурсах, которые помогут собрать данные о компаниях — контрагентах или конкурентах.

Сбор информации стоит начать с сервиса ФНС «Прозрачный бизнес». Кроме общих сведений о юрлице, налоговых долгах и правонарушениях, найдете здесь информацию по дисквалифицированным лицам, массовым руководителям и адресам. Тут же можно скачать выписку из ЕГРЮЛ или реестра МСП.

Еще несколько источников привели в таблице.

Сайт	Чем полезен
ГИС «БФО»	Налоговая выкладывает на сайт бухгалтерские балансы и отчеты о финансовых результатах компаний за несколько лет. Документы будут только в том случае, если юрлицо направляло их в инспекцию.
Картотека арбитражных дел	Содержит информацию по всем делам арбитражных судов. Узнаете, как часто контрагент судится в качестве истца и ответчика, не признали ли его банкротом.
Банк данных исполнительных производств	Сервис ФССП покажет долги, которые с компании взыскали в принудительном порядке. Доступны данные по суммам и видам взысканий, будь то штраф, долг по налогам, проигранное судебное дело.
«Федресурс»	Сайт со сведениями о важных фактах хозяйственной деятельности компаний: банкротство, лицензии, членство в СРО, залоги, лизинги, результаты обязательного аудита.
Единый реестр проверок	Здесь вы узнаете, как часто к контрагенту приходят с проверками и какие нарушения находят.
ЕИС «Закупки»	Если контрагент выступает исполнителем по закупкам по 44-ФЗ или 223-ФЗ, информация об этом будет на сайте. Тут же есть реестр недобросовестных поставщиков, которые отказались заключить контракт или нарушили договор.
Центр раскрытия корпоративной информации	На сайте размещают информацию, которую по закону обязаны публиковать эмитенты ценных бумаг. Есть данные о стоимости чистых активов, собраниях органов юрлиц, доходах по ценным бумагам.
Единый реестр деклараций соответствия	Проверьте, действительны ли декларация или сертификат соответствия на продукцию контрагента, на этом сайте. Для поиска информации понадобится только номер документа.
Проверить действительность паспорта через «Госуслуги»	Укажите реквизиты паспорта и убедитесь, что документ существует, а срок его действия не истек.
Мультистат	Сервис интересен тем, что показывает контактные данные организации, а также историю изменений по учредителям, названию, адресу — в выписке из ЕГРЮЛ такого нет.
Whois-сервисы	Позволяют узнать, на кого зарегистрирован домен сайта.
Платформа ФНС «Геочеки»	Сервис выглядит как карта, на которой можно увидеть места, где население тратит больше всего денег. Визуализация сделана на основе данных ККТ, зарегистрированных в районе. Если по нужному вам адресу находится только одна компания, можно узнать интенсивность выручки и средний чек покупок.

Кейсы

Проверка контрагентов с помощью скоринга в Фокусе помогла торговому дому «Аврора» снизить риски невозврата дебиторской задолженности. Компания настроила скоринг так, чтобы система по характерным маркерам определяла потенциально проблемных контрагентов. Например, иск из-за долга по поставке — тревожный звонок, а вот административные дела не всегда указывают на высокий риск. Скоринг помогал выявлять финансовые проблемы у поставщиков до того, как образовался проблемный долг, что сэкономило компании несколько млн рублей в год.

Можно ли защитить компанию от OSINT

В открытых реестрах разных ведомств хранится множество информации об организациях. Некоторые сведения компании сами обязаны раскрывать. Данные из общедоступных источников может собрать и проанализировать любой, поэтому вероятность разведки в отношении юрлица сохраняется всегда.

Стереть данные о компании из интернета невозможно. Поэтому лучше сделать упор на том, чтобы в сеть не просочились секретные данные бизнеса. А это уже задача службы информационной безопасности.

Повышение осведомленности сотрудников

Технологии — только часть защиты предприятия от утечек данных. Слабым местом может стать персонал компании, который не разбирается в угрозах информационной безопасности. Сотрудник может опубликовать чувствительные сведения в соцсетях, сообщить логин и пароль от учетной записи человеку, представившемуся коллегой, или перейти по фишинговой ссылке. Чтобы снизить риски, компании необходимо обучать персонал основам информационной безопасности, рассказывать об угрозах и методах защиты от них.