Как сообщает CBS, агентство передовых оборонных исследовательских проектов DARPA Министерства обороны США запускает новый специализированный поисковик Memex, ориентированный на работу онлайн-ресурсами, которые находятся вне поля зрения популярных поисковых систем Google, Yahoo и Bing.
Невидимой Сетью, темным интернетом или Deep Web сегодня, как правило, называют скрытые от обычных поисковиков сайты Tor, защищенные паролями онлайн-форумы и ресурсы, требующие обязательной регистрации. Кроме того, в Сети существует также множество серверов, выдающих данные с каких-либо сенсоров, и огромное количество баз данных (юридических, судебных, адресных и пр.), которые размещаются на обычном хостинге (к слову, подробнее об этом здесь — http://bitte-hosting.ru/), но информацию на них не хранится в статическом виде и получить ее можно только после заполнения необходимых форм. Такие ресурсы тоже недоступны обычным поисковым системам вроде Google и Bing, но представляют интерес для правоохранителей, военных и органов безопасности.
Впервые о существовании Memex представители DARPA объявили ровно год назад, в феврале 2014-го. Анонсируя новый поисковый инструмент, его создатель и одновременно один из руководителей проекта Memex Крис Уайт отметил следующее:
«Интернет больше, намного больше, чем думают. По предварительным оценкам, через Google, Microsoft Bing и Yahoo мы получаем доступ примерно к 5% содержащегося в Сети контента. Таким образом, злоумышленники имеют достаточно пространства для теневой деятельности».
По словам Уайта, Memex выходит далеко за рамки традиционных поисквых систем и является мощнейшим инструментом, который позволяет специалистам правоохранительных структур выявлять в «невидимой Сети» различные ресурсы, специализирующиеся на рекламе торговле оружием, наркотическими веществами и прочей противоправной деятельности.
«Memex проще всего представить так: как я могу невидимое сделать видимым? — считает директор информационно-инновационного отдела DARPA Дэн Кауфман. — «Люди в большинстве своем создают в Интернете полезные и хорошие вещи. Однако живут там и паразиты, потому мы ограничиваем их возможности использовать Интернет против нас и делаем мир лучше».
Здесь стоит напомнить, что в соответствии с недавними публикациями в прессе, в том числе и отчетом Университета Карнеги-Меллона, сегодня Memex в нескольких версиях уже используется правоохранительными органами США в частности для розыска и подозреваемых в похищении и торговле людьми.
Название Memex происходит от словосочетания «memory index» (между прочим введенного в обиход журналистами издания The Atlantic еще в 1945 году) и на данный момент обозначает совокупность восьми open-source программ для поиска, анализа и визуализации информации, а также программного обеспечения для серверов нижнего уровня, выполняющего сложные вычисления и обработку данных.
При разработке способов обнаружения, извлечения, анализа и организации данных, полученных из Скрытой сети, т.е. с ресурсов со сложной защитой от поисковых роботов, DARPA активно сотрудничало с 17 научно-исследовательскими группами, как из университетов, так и из частных компаний. Как считают разработчики Memex, новый поисковик в отличии от обычных систем не только лучше и качественнее индексирует сайты соответствующего содержания, но и предоставляет операторам значительно больше данных, позволяет отслеживать изменения информации по требуемым параметрам и оперативно выявлять закономерности в собранных данных.
Разумеется, Memex не доступен обычным пользователям, и подробная информация о нем засекречена. Примечательно также, что в DARPA пока предпочитают не объяснять, как именно Memex поможет ловить «торговцев живым товаром» без так называемой дальнейшей их «деанонимизации», и аккуратно избегают ответов не неудобные вопросы вроде того, каким образом Memex будет отфильтровывать тех пользователей, для которых сеть Deep Web жизненно необходима, к примеру, журналистов, информаторов, активистов…