Как превратить нечитаемый текст в доказательства: Советы Хенка ван Эсса

170 нечитаемых слов

Посмотрите на эту фотографию. Я много путешествую, поэтому не могу таскать за собой мониторы. Вместо этого для работы я использую очки виртуальной реальности. Сколько слов вы можете разобрать на этом скриншоте, который я нарочно размыл по максимуму?

Очки виртуальной реальности. Фото предоставлено Хэнком ван Эссом.

Пока вы продолжаете щуриться на изображение, я загрузил его в Gemini 2.5 Pro. Он смог прочитать на этом фото около 170 слов и точно резюмировал то, чем я на самом деле занимался.

Расшифровка нечитаемого текста. Фото предоставлено Хэнком ван Эссом.

Геолокация с помощью текста

Недавно я провёл две недели в Берлине по работе. Мне нравится вести небольшие водные курсы OSINT для студентов. В них я показываю, насколько эффективными могут быть методы онлайн-расследований. Студенты не только учатся — они также ужасаются и немедленно бросаются проверять свои настройки приватности.

Давайте разберём эту фотографию. Вопрос: Где и когда она сделана?

Геолокация с помощью текста. Фото предоставлено Хэнком ван Эссом.

Благодаря знаку «парковка велосипедов запрещена» понятно, что можно исключить Мальту, Кипр, Испанию, Люксембург и Великобританию, а наиболее вероятные кандидаты — Нидерланды, Дания и Финляндия. Объяснение здесь очень простое: знак «парковка велосипедов запрещена» распространён в странах, где все ездят на велосипедах. Эти знаки вряд ли используются там, где на велосипедах никто не ездит. Они нужны там, где на велосипедах ездит так много людей, что им нужно активно говорить не парковаться здесь. Это как если бы вы увидели знак «купание запрещено» на пляже, а не посреди Сахары. В первом случае это забота об общественной безопасности, во втором — мираж. Вы видите текст, который появляется дважды — слово «essen» или заканчивающиеся на «essen» и зеленоватый логотип с несколькими словами на нём. В этом случае ИИ справился с расшифровкой ничуть не лучше нас:

Здесь ИИ не справился с расшифровкой нечёткого текста. Фото предоставлено Хэнком ван Эссом.

Возможно, нас снова выручит BeFunky? Он улучшил качество текста настолько, что я смог прочитать слова «samen redden»? Это означает, что текст на голландском языке, и он гласит «samen redden [что-то ]», в переводе это означает «вместе спасти [что-то ]».

Расшифровка нечитаемого текста. Фото предоставлено Хэнком ван Эссом.

Что же требует спасения? Это наклейка на окне магазина или ресторана, поэтому вряд ли там написано что-то вроде «вместе спасти… коммунизм». Может, там написано «вместе спасти… капитализм»?

Нет, забудьте — это слишком. Наверное, там что-то воодушевляющее вроде «вместе сэкономить… энергию» или «вместе спасти… китов», или «вместе сэкономить… на парковке». Или, возможно… Подождите, нет — кажется, я снова мудрю. Не надо выдумывать. Хватит гадать. Начните искать.

Мы можем быть практически уверены в том, что после «вместе спасти» стоит одно или два слова — вероятно, не более семи символов, если размер шрифта такой же, как в первой строке. Теперь самое интересное: как именно объяснить Google эту невероятно специфическую оценку количества слов, основанную на анализе шрифта, не звуча при этом как сторонник теорий заговора, который перебрал кофе? В этом месте обычные поисковые запросы пересекаются с судебной типографикой (которую мы обсудим во второй части этой статьи) — и сразу возникают сомнения в правильности выбора профессии.

Как сказать Google, что вы не знаете правильных слов?

Замените неизвестные элементы звёздочкой:

Иллюстрация предоставлена Хэнком ван Эссом.

Зачем использовать кавычки? Потому что без них Google предполагает, что вы имели в виду «samen» и «redden» где угодно, тогда как на самом деле вам нужны эти слова рядом в именно таком порядке. Кавычки заставляют Google найти эти слова как реальную фразу, а не разбросанными по разным абзацам, как языковое конфетти. И что самое важное, когда вы добавляете эту звёздочку в конце, вы говорите Google:

«После этих слов текст продолжается, не показывай мне результаты, где на этом месте предложение заканчивается».

По сути, это означает: «Нет, я правда имею в виду, что эти два слова рядом, и я знаю, что текст на этом не заканчивается». Вот результат:

Иллюстрация предоставлена Хэнком ван Эссом.

Оказывается, это «samen redden we eten» — из приложения Too Good to Go. Прежде чем мы пойдём дальше, давайте проясним, почему мы использовали Google Images. Обычный поиск в Google оказывается сложнее обработки естественного языка, тогда как Google Images как будто говорит: «О, вы хотите найти текст в изображениях? У меня их миллионы, и я вам покажу те из них, где эти слова стоят рядом, в том числе такие, о существовании которых вы даже не подозревали».

Разница здесь такая же, как если бы вы попросили библиотекаря дать вам книги о «совместном спасении еды» и показать вам все фотографии, на которых есть именно эти слова. В первом случае вы получите статьи и размышления, а во втором –– реальные витрины магазинов и плакаты компаний. Как этот прекрасный новый инструмент, который показывает все тексты в режиме StreetView в Нью-Йорке:

Иллюстрация предоставлена Хэнком ван Эссом.

Вернёмся к нашему делу. Too Good to Go –– это, по сути, приложение знакомств для овощей и ежедневной выпечки, в котором рестораны, маркеты и кафе выставляют свою непроданную еду, чтобы спасти её в последний момент.

Иллюстрация предоставлена Хэнком ван Эссом.

Пора исследовать буквы «SSEN». Следующая остановка –– Claude, семантический анализатор.

Я дал ему конкретику –– голландские слова на окнах ресторанов или магазинов, заканчивающиеся на «essen» –– и он мгновенно выдал «Delicatessen». Естественно. Пока я играл в детектива, настоящее решение состояло в том, чтобы просто спросить ИИ, который специализируется на языковых паттернах.

Иллюстрация предоставлена Хэнком ван Эссом.

Иногда самый простой подход –– просто признать, что здесь нужен мозг лучше моего, особенно если он владеет голландским.

Я скачал приложение Too Good to Go и стал искать delicatessen. Чуда не произошло. Claude объяснил, почему:

Иллюстрация предоставлена Хэнком ван Эссом.

Большинство объектов находятся в Амстердаме, поэтому я начал оттуда. На окне стоят бело-синие коробки.

Иллюстрация предоставлена Хэнком ван Эссом.

Держите маленькую забавную уловку, о которой вам никто не расскажет: если ваше расследование зависит от конкретных цветов, просто добавьте их в конце поиска в Google Images, как если бы они были своего рода цифровым алгоритмом.

Иллюстрация предоставлена Хэнком ван Эссом.

Это как добавить посыпку к мороженому, только посыпка –– криминалистические доказательства, а мороженое –– поиск в Google. Внезапно «Delicatessen Amsterdam white blue» превращается в невероятно конкретный запрос, который, минуя все общие списки ресторанов, выводит вас к магазинам с теми самыми цветными коробками на подоконнике. Кто бы знал, что цвета могут быть параметрами поиска? Это одновременно гениально и очевидно.

Иллюстрация предоставлена Хэнком ван Эссом.

Наш первый кандидат –– магазин Flo’s Deli в Амстердаме.

Иллюстрация предоставлена Хэнком ван Эссом.

И, представьте себе, это точное совпадение с первого раза.

Мы здесь столкнулись с OSINT-эквивалентном выигрыша в лотерею с первого билета. Видите, слева наша отправная точка –– неизвестная особа в красной куртке, сидящая около магазина, который может находиться буквально где угодно в Европе. У неё заботливо зачернено лицо, потому что, видимо, приватность всё ещё важна. Нам осталось отработать только знак «парковка велосипедов запрещена» и непонятные цветные узоры, которые могут оказаться чем угодно: рекламой барбершопа или необычной доской для крестиков-ноликов.

Справа показан кульминационный момент: магазин Flo’s Deli с надписью «samen redden we eten», на котором мы так надолго зациклились, и с точно такой же чередой бело-синих коробок и знаком «парковка велосипедов запрещена», который гордо маячит там, словно говорит: «да, это именно то место!»

Пометавшись между разными инструментами анализа ИИ, как мячик для цифрового пинбола, мы с их помощью выясняем, что да –– эта фотография вероятно была сделана весной или осенью (спасибо роботам за прекрасную работу по выяснению сезона). И на этом с помощью проверенного классического инструмента из арсенала OSINT –– Time Machine (машины времени) в Google Maps –– мы завершаем первую часть «Превращения нечитаемого текста в доказательства».

Иллюстрация предоставлена Хэнком ван Эссом.

В мае 2022 года этот магазин ещё не открылся. Поэтому на снимке время между маем 2022 года и сегодняшним днём, правильно?

Иллюстрация предоставлена Хэнком ван Эссом.

Ну, если у вас много времени и более достойного занятия нет, то вы можете даже выяснить точное время –– для этого надо пересмотреть тысячи фотографий этого магазина, сделанных туристами. Потому что, очевидно, это вполне нормальный способ потратить полдня.

Что за сине-белые коробки? В них рогалики.

Иллюстрация предоставлена Хэнком ван Эссом.

В великой схеме расследовательских прорывов это открытие настолько же значимое, как то, что лёд холодный. Но вот прекрасное своей нелепостью открытие: рассматривая другие контекстные фотографии и отслеживая сезонное повышение и снижение уровня коробок с рогаликами, можно действительно точно определить, что фотография сделана осенью 2024 г.

Итак, что мы узнали? Что иногда продвинутые техники криминалистического исследования означают попросить чат-бота ИИ о помощи, что инструмент за 200 долларов может проиграть редактору под названием «BeFunky» и что теперь анализ спада и подъёма потребления рогаликов в Амстердаме –– серьёзная детективная работа.

Но вот настоящий вывод: секрет превращения нечитаемого текста в читаемый не в одном инструменте. Здесь важно наличие системы: тщательно изучайте каждую деталь, комбинируйте разные подходы, признавайте, когда вы застряли, и просите помощи (даже у ИИ).

В следующий раз мы представим вашему вниманию больше техник от члена команды Bellingcat Тимми Аллена из нашего расследования китайской кредитной карты, в том числе, как разгадать финансовые загадки с помощью сильно размытой видеозаписи. Потому что похоже именно этим занято типичное воскресенье современного специалиста по цифровой криминалистике.

Примечание редактора: Эта статья впервые появилась в издании Digital Digging, информационном бюллетене Хэнка ван Эсса на платформе Substack. Она была слегка отредактирована и перепечатана здесь с его разрешения.

Хэнк ван Эсс родом из Голландии, он преподаёт, выступает и пишет об онлайн-разведке в открытых источниках и исследованиях с помощью ИИ. Популярный лектор и тренер, он путешествует по всему миру и проводит семинары по интернет-расследованиям. Его проекты: Digital Digging (ИИ и расследования), Fact-Checking the Web, Пособие по дата -журналистике (загрузка бесплатная) и выступления в качестве специалиста по социальным сетям и расследования в интернете.