8+4 инструмента OSINT: как обойти ваших конкурентов и не стать жертвой

Привет! На связи Максим Кульгин, основатель xmldatafeed.com. Наш бизнес — информация. Мы непрерывно парсим огромное количество сайтов и собрали тысячи баз данных. Сегодня хотим рассказать об OSINT — коммерческой разведке в условиях новой реальности. Всё — только для ознакомления и законного использования.

Каким бы пугающе сложным ни казалось освоение инструментов OSINT — это очередная необходимость современного мира. Ещё одна новая нормальность, если хотите. Информация давно перестала быть чем-то неосязаемым и стала обычным товаром. (Ну, может быть, не совсем обычным всё-таки.) Цена на этот товар только растет, хотя никакая биржа конкретных котировок нам не покажет. «На чем основано такое утверждение?» — спросите вы.

Мы непрерывно парсим в режиме реального времени десятки крупнейших мировых порталов, чтобы получать для клиентов самые актуальные данные, от чего напрямую зависит доходность их бизнеса. В течение многих лет добываем и продаем этот самый товар. И на протяжении долгих лет мы наблюдаем один и тот же неменяющийся тренд — постоянный рост спроса.

Количество предложений на рынке не увеличивается (или рынок растет с такой скоростью, что появление новых игроков просто теряется) . Изощренность противодействия получению информации тоже растет, сложный процесс становится менее доступным для одиноких рыцарей Python’а и XPath.

Вот и получается, что растет спрос — растет цена. Таков непреложный закон рынка. Сегодня делимся лучшими инструментами для самостоятельного решения задач коммерческой разведки на основе открытых источников. Время такое — каждый должен уметь узнать всё, что требуется для работы или для бизнеса. Это как навык охоты на мамонта во времена Dial-Up.

Здесь пора подчеркнуть существенный момент — OSINT подразумевает, что используются открытые источники данных. Именно эта отличительная черта OSINT делает подобную деятельность формально законной почти во всех странах. Кроме того, открытость данных означает, что не придется прибегать к хакерским подходам, которые требуют специальных умений и знаний. (Хотя это тоже иногда полезно, мы и об этом поговорим.)

Другое дело — как использовать собранные данные. Здесь, конечно, нужно понимать, что информация хоть и общедоступна, тем не менее она может касаться отдельного человека, предприятия, юридического лица, правительственных структур или иных государственных органов. Тут уже надо серьезно задумываться о последствиях.

Мы ограничимся использованием OSINT для бизнеса и будем исходить из предположения, что человек, проводящий исследование, является администратором, пытающимся защитить сеть.

Таким образом, основными причинами использования OSINT могут быть следующие.

1. Проверка закрытости данных. Отличное применением OSINT — собрать всю доступную информацию и посмотреть, может ли что-то из собранного нести угрозу конфиденциальности, а заодно узнать: не имела ли место компрометация приватной сети.

2. Обнаружение взлома. Если в интернете находятся данные, которых там быть не должно, — значит имели место взлом и кража информации. Джина обратно в бутылку так просто, конечно, не запихнешь, но предупрежден — значит вооружен.

Раннее обнаружение взлома поможет своевременно начать борьбу с ущербом, а то и поймать людей, стоящих за кражей данных.

3. Этичный хакинг. В эту игру не запрещается играть и с другой стороны. Можно собрать различную информацию о, например, конкурентах и использовать её для получения представления об их способах ведения дел.

Ещё раз: пока соблюдаются правила этичного взлома — мы на правильной стороне закона. Но никто и не собирается пересекать эту черту — каким бы сильным ни было искушение, ведь правда?

4. Мониторинг общественного мнения. OSINT прекрасно подходит для того чтобы узнать, что говорят о вас, ваших близких или коллегах. Это очень важно для поддержания репутации, защиты бренда, ведения общественной или политической деятельности. Отслеживание трафика и специфических ключевых слов поможет вовремя предпринять меры ещё до того, как негативная атака наберет силу.

Маленький подитог. OSINT используют все: предприятия и агентства, правительства и организации, политики и частные лица. При наличии правильных инструментов и умении ими пользоваться можно получить множество преимуществ в современном мире электронных джунглей.

• Инструменты исследования сети. Используются для поиска имеющейся информации. Google — отличная иллюстрация. Да, кому-то может показаться, что это всего лишь простая поисковая система. На самом же деле это уникальный поисковый инструмент в умелых руках. Чуть позже мы посмотрим, как работают с Google эксперты OSINT.
• Инструменты парсинга. Недостаточно просто обнаружить информацию. Если это не одно-два слова, то без автоматизированных средств извлечения и сохранения данных не обойтись. Инструменты парсинга как раз и призваны извлекать только необходимое из безграничных массивов страниц, ничего не упуская, не добавляя ничего лишнего и делая это так, чтобы источник не насторожился и не заблокировал канал получения информации (да-да, не начал на каждую попытку обратиться к серверу просить отличить горы от каньонов) .
• Инструменты анализа. Собранные данные сами по себе бесполезны, их надо как минимум анализировать, а как максимум использовать в автоматизированных процессах. Это, конечно, отдельный разговор, но так или иначе разрозненные данные нужны для того, чтобы складываться в целостную картину, которая покажет и связи между отдельными элементами, и соотношение компонентов, и позволит сделать требуемые выводы, ради которых всё и затевалось.

Небольшая классификация выше призвана помочь сориентироваться в особенностях процессов, задействованных в OSINT, и не претендует на универсальность, поскольку зачастую можно видеть, как разные функциональные возможности объединяются в один сервис — всё ради пользователя.

Тактику сбора данных можно разделить на три группы по степени воздействия на источник.

1. Пассивная. Это самая естественная, можно сказать, «нормальная» тактика обнаружения информации, которая подразумевает работу с поисковыми системами, такими как Google, DuckDuckGo или тем, что раньше называлось Яндекс. Разумеется, кроме текстовой информации для целей разведки широко используются все типы данных: изображения, карты, медиа-ресурсы.

Использование этой тактики трудно обнаружить, поскольку пользователь взаимодействует исключительно с поисковой системой, которая является непробиваемым на первый взгляд посредником. Но есть нюансы.

Во-первых, поисковик может быть подключен к государственным системам контроля (что в некоторых странах является требованием законодательства) , тогда поисковые запросы (с помощью специальных фильтров) очень быстро лягут на стол кому надо.

Во-вторых, путешествие по ссылкам, полученным от поисковика, может привести на страницу-приманку, которая тоже отправит сообщение о факте посещения неведомому хозяину.

2. Полупассивная. Такая тактика подразумевает использование программ и сервисов в режиме реального времени для поверхностного исследования сети или сбора информации общего характера.

3. Активная. Самая действенная тактика — информация собирается путем непосредственного и плотного взаимодействия с источником.

Хотя никакие незаконные или вредоносные программы и не задействованы, источник может почувствовать что его используют наглым образом, и тогда он начнет противодействовать, например, путем ограничения скорости или подкидывания ребусов по определению гор и каньонов.

Нецелевое использование ресурса расценивается владельцами как нарушение соглашения об использовании. Тут мы идем по тонкому льду юридического болота, поэтому не будем останавливаться.

Очевидно, что использующий такую тактику сильно привлекает к себе внимание, поэтому общепринятым подходом считается спрятаться за цепочкой прокси-серверов, желательно расположенных в разных и плохо между собой взаимодействующих юрисдикциях.

Итак, мы подошли к ответственному моменту в понимании OSINT. Любая тактика поиска информации, даже самая пассивная, может потенциально приводить к раскрытию личности исследователя. Об этом всегда надо помнить и быть готовым — юридически и морально — к тому, что ваша цель узнает о разведывательной активности и предпримет ответные действия, включая незаконное преследование.

Поэтому, если ставки в игре чрезвычайно высоки, нужно уметь не просто «установить себе Вэ-Пэ-Эн», а создавать фейковые учетные записи, уверенно чувствовать себя с технологией fingerprints, которая собирает, хранит и анализирует более 200 параметров о пользователе: ширину экрана, версию ОС, город, номер сборки браузера…

Вообще, не существует такого понятия как безопасное присутствие в интернете. Для тех, кто бесконечно крутит ленту соцсетей, это, может быть, и не актуально. Но OSINT-разведчики должны всегда помнить, что как только устройство оказывается в сети, кто-то где-то как-то потенциально может найти к нему доступ.

Всё начинается со случайности. (Как обычно.) Поисковые системы порой индексируют данные, которые не публиковались намеренно.

Опять же, с помощью таких инструментов, как Google Earth, можно не только увидеть отдаленные уголки планеты, но и случайно раскрыть государственные тайны.

Незащищенные системы видеонаблюдения — ещё один великий источник случайностей, который не раз преподносил сюрпризы. Даже картографический автомобиль Google отмечался в скандалах.

В большинстве случаев разведка, разумеется, предполагает неслучайный характер получаемых данных. К примеру, чтобы начать собирать данные о человеке достаточно одного телефонного номера — дальше, как клубок, одни данные потянут за собой другие.

При подборе инструментов мы руководствовались следующими критериями:

• наличие встроенных стратегий с перечнем рекомендуемых источников данных;
• функции сортировки данных;
• возможность консолидации данных из многих источников;
• встроенные методы сопоставления и увязывания данных разных типов;
• наличие графической системы или совместимость со сторонними средствами визуализации;
• система должна быть бесплатной или иметь бесплатный пробный период для экспериментов без каких-либо обязательств;
• если инструмент платный, то он должен стоить того, а если бесплатный, то не должно быть жалко потратить время на его освоение.

Начнем мы с одного из самых популярных решений. OSINT Framework — это скорее веб-портал с целым арсеналом инструментов. Возможно, именно такая особенность — всё, что надо в одном месте — делает его идеальным вариантом для сбора информации.

Ключевые особенности:

• работа онлайн;
• отработанные направления для поиска источников информации;
• встроенные поисковые средства;
• сопоставление данных;
• бесплатен.

OSINT Framework — это каталог источников данных и ссылок на удобные инструменты как для обнаружения и сбора, так и для обработки данных. Количество ссылок действительно впечатляет. Для успешного решения задачи, конечно, надо разработать правильную стратегию поиска исходя из определенного типа данных, например таких, как записи, вносимые при регистрации транспортного средства, адреса электронной почты и тому подобного.

Есть ещё одна причина, по которой этот сервис (являющийся по сути коллекцией ссылок) столь популярен.

Дело в том, что многие из лучших инструментов OSINT созданы для Linux. Фреймворк же позволяет запускать инструменты прямо из браузера, автоматически решая непростой вопрос установки, настройки и развертывания специфических программ. Пользователям обычных операционных систем не надо ломать голову над тем, как заполучить ту или иную возможность — они просто работают и всё!

Набор инструментов OSINT Framework может помочь найти информацию, используя что угодно: простой номер телефона, IP-адрес, адрес электронной почты… Есть даже варианты выхода в даркнет и возможность анализа вредоносных файлов. Персональное ЦРУ в кармане, одним словом.

Как всем этим богатством воспользоваться и с чего начать?

В комплект включены учебные пособия и даже игры, которые помогают новичкам начать работу, превращая поиск информации в развесёлый квест.

Нужна виртуальная машина для исследовательской кампании? — да, без проблем! — вот, раздел «Виртуальные машины» и готовый список программных решений.

OSINT Framework — хорошая отправная точка для тех, кто никогда раньше не выполнял поиск общедоступных данных. Именно наличие раздела обучения делает его таким привлекательным для новичков. В руководствах объясняются методы, которые следует применять при проведении исследований. Может показаться, что игровая подача делает эти знания бесполезными, но это не так — их можно использовать в работе, чтобы получить требуемый результат.

Преимущества:

• ведущий фреймворк, признанный в OSINT-сообществе;
• прекрасное место для поиска новых инструментов по сбору данных — инструменты отсортированы по категориям;
• сам фреймворк и большинство инструментов бесплатны.

Недостатки:

• простые посетители (по статистике треть пользователей компьютера не могут перенести папку и самостоятельно настроить учетную запись электронной почты) потеряются от обилия возможностей, даже несмотря на обучающие материалы.
• несмотря на то, что почти все инструменты, представленные в OSINT Framework, бесплатны, некоторые из них всё-таки требуют небольшую абонентскую плату.

Сайт: osintframework. com

Дальше пойдет речь о сервисе, само существование которого многие стараются не замечать. К примеру, американское ФБР во всю использует его возможности, о чем в официальных заявлениях почему-то (вот сюрприз-то!) не упоминает.

Babel X — платформа, разработанная и поддерживаемая американской компанией Babel Street. Сервис позволяет находить и даже изолировать общедоступную информацию в социальных сетях, блогах, форумах, новостях и прочих подобных медиа-площадках.

Ключевые особенности:

• поиск в социальных сетях;
• просматриваются тысячи общедоступных источников;
• поддержка множества языков.

Интернет значительно упрощает распространение угроз информационного характера. Например, не сложно представить ситуацию, когда владелец малого бизнеса становится объектом атаки со стороны конкурентов. Можно ли его как-то защитить? А если исполнители находятся в другой стране и недосягаемы как юридически, так и физически?

Использование Babel X может помочь выявить злоумышленников и, таким образом, остановить нападение. Система использует искусственный интеллект для связывания событий, при этом умело переводит с разных языков и улавливает суть даже там, где слова не всегда имеют однозначное соответствие.

Сервис можно использовать для изучения внутренних угроз, отслеживания развернутых кампаний в медиа, предотвращения попыток нанести ущерб репутации и других подобных сложных схем. Не обязательно ждать подтверждения факта целенаправленной кампании — предположения об угрозе уже достаточно для того, чтобы проанализировать действия «партнеров» и определить исполнителей и организаторов.

Не секрет, что не во всех странах правоохранительные органы рвутся предотвращать коммерческие войны, особенно когда для сбора доказательств потребуется напряженная работа целого отдела подготовленных специалистов. Babel X может проделать всю сложную и неблагодарную работу, а когда предприниматель предоставит хранителям Закона всё необходимое — те намного охотнее поучаствуют в завершении почти готового расследования.

Несмотря на то, что сервис пригодился бы даже представителям мира малого бизнеса, всё-таки он будет востребован рыбами покрупнее. Причина — цена. Хитрецы из Babel Street не публикуют прайс-лист, но удалось найти отчет (OSINT рулит!) за 2017 год, где видно, что американская гвардия (у них это армейское подразделение) платила 18 500 долларов за годовую подписку. Таким образом, можно прикинуть порядок цен.

Преимущества:

• находит и выстраивает общую картину сети злоумышленников;
• связывает воедино, казалось бы, несвязанные на первый взгляд события;
• работает с 200-ми языками с использованием ИИ для перевода.

Недостатки:

• сервис не просто платен, а недоступен для большинства предпринимателей из-за высокой стоимости.

Надо отметить, что Babel X активно используется для разведывательных операций против воюющих армий и использует как раз таки цифровой след, оставляемый теми, кто недооценивает угрозу.

Остается только напомнить: социальные сети — для шаловливых игр. Если вы оказались вовлечены в серьезное дело, то десять раз подумайте: стоит ли что-то постить в виртуальном мире под внимательным и опытным взглядом тех, кто считает вас своим стратегическим противником. И да, к предпринимателям эти меры излишней предосторожности тоже относятся.

Site: babelstreet. com

Хватит о дорогущих штуках для избранных! Сейчас мы выполняем обещание и рассказываем о том, как заставить работать Google так как надо нам, а не ему.

Глупо просто вбивать слова в строку поиска и недоумевать: почему оно ищет не то, что надо. Поисковая система поддерживает простой, но очень мощный специализированный язык запросов, недооценивать который — значит ограничивать себя в поисковых возможностях.

Разведчики OSINT просто обязаны уметь управляться с обычным поисковиком, даже несмотря на его общедоступность. Элитарные инструменты — это как спецснаряжение Джеймса Бонда. Простой поисковик — это как умение завязать галстук или влюбить в себя незнакомку — иными словами, базовые навыки уважающего себя агента, которые и в повседневной жизни пригождаются постоянно.

Ключевые особенности:

• абсолютная бесплатность;
• работает и с Google, и в той или иной степени с другими поисковыми системами;
• универсальность и полезность в обычной жизни.

Технологией Google Dorks (ещё можно встретить термин Google Hacking) умеют пользоваться все профессионалы: от журналистов до работников следственных органов, от хакеров до специалистов по информационной безопасности.

Мы не будем детально описывать спецификацию поисковых запросов — это отдельная объемная статья. Наша задача — обзор и знакомство с имеющимися возможностями, а не обучение им.

Есть хорошая статья на Хабре, где и операторы хорошо описываются, и примеры имеются. Как метко подмечено в той статье, «Google безжалостно эффективен в поиске» — хотят того источники информации или нет. Наша задача — научиться «безжалостно» этим пользоваться.

Наивное предположение обывателя: информации собрано настолько много, что найти что-то чувствительное совершенно невозможно. Да, это так. Но только если просто вбивать в поисковую строку обычные слова, надеясь что из сотен миллионов доступных кусочков информации на первые строчки выдачи попадет нечто нужное.

Использование специализированного языка запросов — это совершенно другое дело. За несколько попыток можно настолько сузить и конкретизировать поисковую выдачу, что найдется то, что и представить себе никто не мог.

При правильно заданных аргументах найти в сети документы, которых там по идее быть не должно, может каждый. Вообще, использование Google Dorks — одно из первых действий при тестировании на проникновение. Когда данные похищаются, они часто попадают в сеть — а там непрестанное «безжалостное» (помните?) индексирование поисковыми роботами.

У Google Dorks есть большой список аргументов, которые могут обрабатывать запросы практически любого типа данных, включая имена пользователей и пароли.

Примечательно, что не существует ни одного сайта с исчерпывающей спецификацией или полной подборкой всех элементов синтаксиса Dorks. Однако, есть сайты, поддерживаемые энтузиастами, куда пользователи загружают работающие фрагменты Dorks — их можно изучать как примеры и, таким образом, учиться этому языку запросов. Да, этот мир ещё бесконечно далек от того, чтобы называться открытым.

Google Dorks можно применять для самых разных целей, поэтому этой технологией пользуются самые разные люди. Без преувеличения можно сказать, что Google Dorks подойдут всем без исключения пользователям интернета, даже самым обычным. Разве не здорово уметь продраться сквозь, без преувеличения, сотни миллионов ответов и выцарапать уникальный документ на неизвестном низкоранжируемом сайте?

Преимущества:

• полностью бесплатная технология;
• простой синтаксис для фильтрации данных поисковых систем;
• отличная отправная точка для начинающих OSINT-исследователей;
• трудно переоцениваемая помощь в повседневной жизни.

Недостатки:

• нет официальной документации;
• в разных поисковых системах синтаксис отличается, причем значительно — это надо учитывать.

Бывший Яндекс (теперь это ya. ru) тоже поддерживает продвинутые операторы поиска. Однако они имеют другой синтаксис, а их множество пересекается с Google Dorks не полностью.

Site: нет его, собирать информацию придется самостоятельно.

Shodan — это, можно сказать, альтернативная поисковая система, расположенная как бы «по ту сторону» Веба. Её можно использовать для поиска информации о любых устройствах, подключенных к интернету: от мобильных телефонов до электростанций. Она позволяет собирать информацию, находящуюся на серверах предприятий, учреждений и тому подобных объектах, не представленных в сети как «сайт».

Ключевые особенности:

• архитектура — онлайн-сервис;
• есть бесплатная версия;
• имеется собственный язык поисковых запросов.

Shodan — это инструмент поиска, сильно отличающийся от привычных поисковых систем, призванных работать исключительно со страничками — то есть ресурсами, созданными специально для отображения информации. Shodan имеет, например, способность составлять список устройств IoT (Internet of things, интернет вещей) , используемых компанией, определять их местоположение, собирать подробные данные о конфигурации и других атрибутах.

Можно ввести название любой компании — и вот уже на руках информация об её устройствах, включая ICS-ловушки, геоданные, службы (такие как HTTP) — даже перечень уязвимостей, которые могут иметь устройства!

Результаты группируются по IP-адресам или сетевым именам. Информация о хосте включает в себя используемые операционные системы, открытые порты, тип интернет-сервера, многое другое. Поддерживается сканирование по диапазону IP-адресов, CIDR (Classless Inter-Domain Routing, бесклассовая адресация) , что позволяет быстро получать большие объемы информации.

Не обошлось без хорошей ложки дёгтя — некоторые запросы работают только для США. Кое-каким утешением является то, что множество других инструментов, представленных сервисом, всё-таки взаимодействуют с информацией из остального мира.

Чтобы полноценно пользоваться сервисом необходимо изучить его специализированный язык запросов. Он чем-то похож на рассмотренный выше Google Dorks. Например, запрос «Org: Рога и копыта» выдаст информацию, относящуюся к устройствам, принадлежащим известной авторитетной организации.

С помощью подобных команд можно получить доступ к списку наружных камер наблюдения, компьютерных веб-камер — даже получить с них снимки!

Главная задача Shodan — разведка, способность выявлять слабые места сети. А разведка всегда работает в две стороны — значит в умелых руках Shodan становится отличным инструментом для проведения тестирования на проникновение.

Shodan — полезное орудие для широкого спектра специалистов по безопасности: от аналитиков кибербезопасности до консультантов по физической безопасности. Сервис позволяет увидеть, какая информация об инфраструктуре предприятия доступна извне. С другой стороны, хакеры тоже в полном восторге от таких возможностей.

Преимущества:

• сервис удобен и прост в использовании, справятся даже гуманитарии;
• технари же придут в полный восторг, узнав что сервис имеет документированный API (application programming interface, программный интерфейс) — привет скриптам на Python и на всём, что угодно;
• отличный пользовательский интерфейс, который отображает метрики рядом с географической картой;
• есть возможность экспорта результатов;
• доступны собственные инструменты для создания отчетов.

Недостатки:

• Бесплатная версия есть, но за полноценное использование придется платить от 70 до 1100 долларов в месяц (в зависимости от выбранного тарифного плана) .

Сайт: shodan. io

Отойдем несколько от онлайн-сервисов и посмотрим в сторону традиционной установки на компьютер, в том числе для возможности самостоятельного развертывания на своих серверах.

Maltego — ПО с открытым исходным кодом, используемое в разведке и криминалистике. Изначально разработано Paterva из ЮАР, но с 2019 года всё взаимодействие ведется командой Maltego Technologies со штаб-квартирой в Германии.

Maltego обнаруживает данные из открытых источников, устанавливает зависимости между на первый взгляд не связанными событиями, в конечном итоге визуализирует всю полученную информацию в графическом формате, удобном для работы с установленными связями.

Кроме того Maltego полезен при поиске информации как о частных лицах, так и об организациях.

Поддерживается работа под управлением Linux, MacOS, Windows.

Ключевые особенности:

• определение связей между данными;
• визуализация, создание карты данных;
• поддержка всех популярных ОС.

Maltego — действительно мощный и во многом уникальный инструмент, который используют многие организации, серьезно занимающиеся OSINT, например, Интерпол. Однако, как это всегда бывает, профессиональный инструмент предполагает необходимость владения соответствующими знаниями и навыками. Одним словом придется пройти курс по его использованию, чтобы знать хотя бы с чего начинать расследование.

Освоившие Maltego получают потрясающие возможности: отслеживание связей между личностями, выявление их присутствия в различных местах, отслеживание деятельности, деанонимизация.

Есть как бесплатная, так и платные версии, начиная с 1000 долларов в год за одного пользователя. Надо сказать, что разница между бесплатной версией (она называется Community) и платной Pro не такая уж существенная — в доступе к источникам данных и возможности интеграции со сторонними партнерскими решениями.

Весь потенциал открывается для подписчиков версий Enterprise, стоимость использования которых рассчитывается индивидуально. Вот там есть всё, включая интеграцию собственных источников данных (в версии Enterprise On-Premise).

Графическая визуализация выявленных связей довольно удобная и продуманная — пузырьковый график очень нагляден.

Чтобы начать процесс сбора информации, нужно задать первичный объект: физическое лицо, организацию, номер телефона и т. п. — после чего запускаются доступные преобразования. Необязательно использовать Maltego для наблюдения за людьми. Можно, например, рисовать карту сетей, чтобы увидеть, как соединены между собой серверы, проследить возможные пути компрометации.

Полученную информацию можно фильтровать, дополнительно обрабатывать и преобразовывать для более глубокого анализа.

Maltego — мощный инструмент для журналистов, частных детективов и представителей других подобных профессий. Само собой, хакеры и разного рода злодеи информационной эры тоже могут пользоваться возможностями платформы для составления профилей отдельных людей и отслеживания их действий. Например, Bellingcat широко использует Maltego для раскрытия личностей агентов спецслужб некоторых стран.

Преимущества:

• инструмент очень наглядный, отлично подходит для отображения сложных взаимосвязей как между людьми, так и между сетями;
• интерфейс прост в освоении, несмотря на богатство возможностей;
• есть API с богатыми возможностями.

Недостатки:

• платные версии могут оказаться непомерно дорогими для небольших организаций.

Подытожить можно несколькими словами: профессионально, уникально, дорого.

Site: maltego. com

Название может несколько смутить и навести подозрение, что мы имеем дело с хакерским инструментом. Что ж, разведка есть разведка, а подобное оружие, можно задействовать как раз таки для защиты сетей. С его помощью можно получить всю необходимую информацию о цели — будь то хост или сеть — а затем использовать любую обнаруженную уязвимость.

Ключевые особенности:

• тестирование на проникновение;
• есть бесплатная версия;
• включает в себя системы взлома.

На первый взгляд может показаться, что Metasploit — это просто сканер уязвимостей и тестер проникновения. Однако его особенность в том, что имеются не только инструменты для обнаружения информации о компонентах безопасности и возможных путях проникновения в сеть, но и возможность использования полученных данных в систематизированном виде для инструментов атаки и организации взлома системы.

С помощью Metasploit хорошие и добрые люди могут незаметно скачивать с чужих компьютеров файлы и загружать их, прослушивать или изменять найденную информацию, а в случае с мобильными устройствами — делать снимки экрана, активировать камеру и микрофон для удаленного подслушивания и подсматривания. Всё во имя добра и безопасности, разумеется!

Metasploit — серьезный инструмент, который может наносить реальный ущерб и доставлять неприятности. Поэтому им нельзя злоупотрелблять, а нужно использовать только для благих целей.

Архитектурно он имеет семь модулей, содержащих всё необходимое, что может пригодиться хорошим и добрым людям — от вспомогательных средств до настоящих эксплойтов — всё, что можно использовать для различных направлений сбора разведывательной информации.

Каждый модуль решает конкретные задачи, такие как преодоление защиты, шифрование, запуск сценариев и кода (например, путем использования переполнения буфера) , выполнение задач после взлома системы, работа с сообщениями и тому подобное.

Как только хороший и добрый человек получает доступ к системе, он овладевает практически каждым её компонентом. Страшная сила Metasploit в том, что он может брать под контроль устройства, работающие практически на любой платформе и под любой операционной системой — в настоящий момент собрано 2075 эксплойтов для самых разных случаев.

Metasploit понадобится всем, кто озабочен безопасностью. Это один из самых востребованных (если не самый востребованный) из инструментов подобной направленности.

Преимущества:

• одно из самых популярных средств тестирования защищенности инфраструктуры на сегодняшний день;
• имеет множество крупнейших профессиональных сообществ, что дает возможность получать отличную поддержку на постоянной основе;
• доступен как для бесплатного, так и коммерческого использования;
• имеет совместимость со многими приложениями;
• исходный код открыт;
• поддерживаются широкие возможности кастомизации.

Недостатки:

• чтобы воспользоваться инструментом необходим определенный технический бэкграунд.

Есть специальный дистрибутив Linux, созданный для специалистов по информационной безопасности и вобравший в себя множество программ и утилит подобной направленности.

Сайт: metasploit. com

Продолжаем рассматривать более узкоспециализированные инструменты. На очереди — Recon-ng Framework.

Recon-ng предназначен исключительно для разведки с использованием открытых источников. Имеет модульную структуру и написан на Python.

Recon-ng имеет интерфейс командной строки, что очень понравится профессионалам (поскольку означает быстроту, гибкость и легкую автоматизацию) , но может отпугнуть новичков (потому что придется читать документацию, а не «интуитивно тыркать мышкой» по экрану) .

На самом деле за несколько дней можно спокойно освоить весь функционал, чтобы иметь возможность заняться делом.

Ключевые особенности:

• интерфейс командной строки;
• бесплатное использование;
• плагины, предоставляемые сообществом.

Recon-ng хорошо сканирует Интернет в поисках конкретной информации — какое бы слово, имя или адрес ни был бы указан для поиска. Все обнаруженные записи добавляются в базу данных. Информация, собранная в базе данных, используется в дальнейшем для анализа и создания отчетов.

У Recon-ng есть модули по умолчанию (с открытым исходным кодом) , но есть и свой маркетплейс, где можно найти более специализированные инструменты и добавить к основному функционалу.

Поскольку Recon-ng является инструментом с открытым исходным кодом, то он привлекает множество специалистов, которые, однажды решив свои собственные задачи, делятся с сообществом и тем самым постоянно развивают фреймворк, обогащают его новыми функциями.

Фрейворк прекрасно подойдет всем, кто любит работать с командной строкой, кто понимает её преимущества для эффективной работы. Привыкшие к «интуитивно понятным» графическим интерфейсам, конечно, могут впасть в ступор.

Кроме того, оператор должен уметь работать с базами данных — иначе как он собирается анализировать собранную информацию? !

Не забываем, что могут потребоваться и средства визуализации — тот, кто сможет использовать Recon-ng должен обладать некоторым набором навыков аналитика данных. Одним словом, инструмент не для всех.

Преимущества:

• богатый набор возможностей;
• открытый исходный код;
• инструмент совершенно бесплатен;
• сильное сообщество;
• один из самых популярных среди профессионалов OSINT.

Недостатки:

• не имеет «интуитивно понятного» интерфейса с мышкой и менюшками.

Сайт: github. com/lanmaster53/recon-ng

Aircrack-ng предназначен для исследования возможности проникновения в беспроводную сеть. Имеет четыре основные функции:

• мониторинг пакетов — производится захват кадров и сбор WEP IV (векторов инициализации) ; при наличии GPS есть возможность регистрировать положение точек доступа;
• тестирование на проникновение — имитация атак с помощью вброса пакетов, поддельных точек доступа, атак повторного воспроизведения и т. п;
• анализ производительности — тестирование скорости Wi-Fi и возможности драйверов;
• проверка безопасности паролей — попытка взлома паролей WEP и WPA PSK.

Несмотря на то, что Aircrack-ng был разработан в первую очередь для Unix (Linux, FreeBSD, OS X) , существуют версии и для Windows.

Как и у предыдущего героя используется интерфейс командной строки — значит его можно легко настроить и встроить в свою систему автоматизации.

Ключевые особенности:

• сканирование беспроводных каналов;
• бесплатное использование;
• работа под управлением Linux, FreeBSD, OS X и Windows.

Aircrack-ng — очень известный хакерский инструмент с широкими возможностями, который может вламываться в беспроводные системы и захватывать данные. Не сложно заметить, что мы всё больше уклоняемся в сторону противодействия разведывательным действиям вместо их проведения — подобные инструменты используются, чтобы убедиться в безопасности передачи данных.

Преимущества:

• основное внимание уделяется безопасности беспроводной сети;
• отлично подходит как для планового аудита, так и выездных проверок;
• один из наиболее широко поддерживаемых инструментов подобной направленности;
• помимо проверки безопасности может взламывать слабо зашифрованные сети WiFi.

Недостатки:

• очень специализированный инструмент — никак не подойдет тем, кто ищет решение «всё-в-одном».

Сайт: aircrack-ng. org

Aircrack-ng — это последний инструмент, который можно отнести к категории OSINT. И даже он в большей степени используется скорее для противодействия разведке — ведь тема добычи данных всегда имеет две стороны: в то время как ты собираешь чужие данные, кто-то собирает твои.

Завершая разговор о безопасности, приведем несколько полезных узкоспециализированных утилит, которые используются в деле охраны и добычи данных.

Wireshark — популярная бесплатная утилита с открытым исходным кодом, предназначенная для анализа сетевых пакетов, и которая является одним из лучших решений для тестирования на проникновение. Позволяет увидеть использование незащищенных протоколов, таких как FTP и Telnet, а также определить подключения по SSH.

Сайт: wireshark. org

Nmap — настоящий «старожил», который до сих пор пользуется популярностью и, видимо, на пенсию не собирается. Также используется для контроля сетевой безопасности: показывает статусы хостов, собирает информацию об операционных системах и тому подобные знания для выявления уязвимостей. Примечательно, что Nmap со временем обзавелся графическим интерфейсом Zenmap — видимо популярность диктует свои законы.

Сайт: nmap. org

PhoneInfoga — находит всю возможную информацию для заданного номера телефона. Эта штука работает по всему миру. Для работы требуется установленный Python.

Сайт: github. com/sundowndev/PhoneInfoga

TinEye — «обратная» поисковая система для изображений. Ключевая особенность — поиск осуществляется именно по картинке, а не по метаданным или названию. Можно не только указывать URL, но и загружать изображения. Для использования потребуется лишь браузер.

Отличный инструмент для информационного мира, всё более превращающегося в месиво фейковых новостей, с иллюстрациями сварганенными в Photoshop.

TinEye постоянно сканирует интернет в поисках всевозможных изображений и индексирует их особым образом, чтобы пользователи могли осуществлять поиск по самому содержанию картинки. На данный момент база данных насчитывает почти 64 млрд. изображений.

Сайт: tineye. com

Напоследок осветим несколько самых часто возникающих вопросов на тему OSINT.

Пользуются ли подобными технологиями преступники?

OSINT — это исследовательская стратегия. Каждый может использовать её во благо или во зло. Ответ — да, преступники и хакеры всех мастей тоже используют все эти технологии, причем на самом высоком уровне.

Из этого вопроса вполне естественным образом вытекает следующий.

Законно ли использовать инструменты OSINT?

Честный ответ имеет две стороны: из идеального мира розовых пони и реальный.

Теоретически OSINT подразумевает доступ к данным, которые уже доступны неограниченному кругу лиц, — никакой кражи или иной противоправной деятельности не происходит. Задействуя для подобной работы средства автоматизации, можно лишь нарушить условия использования каких-то сайтов, но эти условия не выше закона.

Если закон разрешает собирать данные любым законным способом, в том числе с помощью «программ ЭВМ» — будь то браузер или Metasploit — то никакие «условия пользовательского соглашения» этому противоречить не должны, а в случае возникновения юридических коллизий должны считаться ничтожными.

Практически, если OSINT использовался, скажем, для журналистского расследования, то в случае обнародования для кого-то нежелательной информации, следы инструментов OSINT на компьютерах участников могут послужить доказательством вины и отягчающим обстоятельством.

Говоря о законности OSINT, надо рассматривать фактическую сторону деятельности, а не техническую. Наш рассказ именно о технической стороне — она никогда не должна оказываться вне закона.

Напоминаю, что веду Телеграм-канал «Русский ИТ бизнес», где без прикрас рассказываю о своем ежедневном опыте по ведению нескольких бизнесов в России.

Возможно, вам будет интересно почитать:

• Парсили сайты, парсим и будем парсить. И не нужно этому мешать!
• Самостоятельный парсинг ваших конкурентов. Топ 10 расширений для Chrome, которые не требуют программирования
• Самостоятельный парсинг сайтов в 2023 году: 30 актуальных инструментов на любой вкус без программирования