Журнал «Компьютерра» № 5 за 7 февраля 2006 года

Софтерра: Обыск местного значения

Автор: Макс Магляс

Говорить о том, что в наше время информационных технологий и бесконечного роста объема данных существует много проблем с обработкой и поиском информации, — это уже кощунство. Дабы не загружать вас субъективными и объективными суждениями, почерпнутыми из различных источников, перейду непосредственно к решению задачи.

Когда информации в локальных сетях было немного, любой поиск осуществлялся банальным перебором горстки доступных файлов и последовательной проверкой их названий и содержимого. Такой поиск называется прямым, и программы, его использующие, традиционно включаются во все ОС и инструментальные пакеты. Но даже мощности современных компьютеров не хватит для быстрого прямого поиска в гигантских объемах данных. Перебор пары сотен документов на диске и поиск в громадной библиотеке и нескольких десятках почтовых ящиков — разные вещи. Поэтому программы прямого поиска сегодня уходят на второй план, если речь идет об универсальных средствах.

В корпоративном секторе такой вид поиска уже не применяется — объемы не те. Не так давно Билл Гейтс, позавидовав, судя по всему, феноменальному успеху Google, огласил желание софтверного (уже и не только) гиганта всячески способствовать развитию поисковых систем и технологий. Но до создания какой-либо феноменальной программы от Microsoft или конкурентоспособного сервиса в Интернете пока далеко.

В основе современных технологий поиска лежат два процесса: индексация доступной информации и обработка запроса с последующим выводом результатов. Что касается первого, то любая программа (хоть настольный поисковик, хоть корпоративная информационная система или интернет-поисковый движок) создает свою область поиска. То есть обрабатывает документы и формирует их индекс (организованную структуру, в которой содержится информация об обработанных данных). Затем программа обрабатывает запрос (по ключевому слову-фразе) и выводит список документов, в которых эта ключевая фраза встречается. Так как информация содержится в структурированном индексе, то обработка запроса проходит в десятки и сотни раз быстрее, чем в случае с прямым поиском (выборка документов осуществляется не перебором файлов, а анализом текстовой информации в индексе).

Найденные документы программа выводит в результирующем списке согласно релевантности — соответствию документа тексту запроса. В разных технологиях используются разные методы поиска и определения релевантности (количество «вхождений» слова, частота упоминания, отношение этих параметров к общему количеству слов в документе, расстояние между словами фразы запроса в искомых файлах и т. д.). На основе этих параметров определяется «вес» документа, и в зависимости от него тот или иной файл оказывается в списке результатов на определенной позиции. В случае с интернет-поиском дело обстоит еще сложнее. Ведь в данном случае надо учитывать и множество иных факторов (Page Rank Google тому пример). Но это тема для отдельной статьи, так что Интернет трогать не будем.

На подопытный компьютер (Athlon 2,2 МГц; 1 Гбайт RAM, IDE-винчестер Seagate, 160 Гбайт, 7200 об./мин.; Windows XP) был установлен набор программ: dtSearch Desktop, «Ищейка Проф Deluxe», Google Desktop Search, SearchInform, Copernic Desktop Search, ISYS Desktop. Для тестов была скомпонована текстовая база документов в форматах doc, txt и html общим объемом 20 Гбайт. Группа товарищей под руководством вашего покорного слуги тестировала, сравнивала и делилась своими субъективными впечатлениями по каждой софтине.

Разработчик: dtSearch Corp.

Официальный сайт: www.dtsearch.com

Цена: $199

Размер дистрибутива: 23,1 Мбайт

Интерфейс dtSearch довольно прост, но некоторые окна или вкладки перегружены элементами, из-за чего создается впечатление сложности использования. Единственным действительно неприятным моментом является отсутствие русскоязычного интерфейса, хотя искать документы программа может на нескольких языках. Зато dtSearch одна из немногих утилит, которая может индексировать веб-страницы на заданную пользователем «глубину» (для этого, правда, нужно докупить адд-он dtSearch Spider).

Имеется морфологический поиск (слово во всех морфологических формах), поиск с коррекцией ошибок (с опечатками) и поиск с использованием синонимов. dtSearch может производить поиск с использованием фраз, состоящих из слов, соединенных логическими операциями. Каждому слову в запросе можно устанавливать свой вес.

В общем и целом неплохая программа из разряда профессиональных поисковиков. Накладок с русским текстом при поиске не было. Как не было их ни с заявленной морфологией, ни с нечетким поиском. Система вполне адекватно находила нужные документы и по простому запросу в одно слово, и при использовании в качестве ключевой фразы пары абзацев документа.

Разработчик: iSYS Search

Официальный сайт: www.isys-search.com

Цена: $570

Размер дистрибутива: 38,8 Мбайт

Очень мощная программа, но размер установочного файла больше 40 Мбайт! Интерфейс весьма симпатичный, но разобраться, где и что находится, куда нажимать и где наконец-то осуществить поиск, новичку будет непросто: запросы для поиска вводятся при помощи запуска одной программы, а управление индексами производится при помощи другой. Поисковые запросы вводятся также в отдельных появляющихся окошках. Ко всему прочему не поддерживается русский язык.

Возможности по созданию индексов включают в себя несколько готовых шаблонов (по папке «Мои документы», «Почта», «Почта и документы», «Определенная папка», «Папка с выбором типов файлов» и др.). ISYS Desktop умеет индексировать информацию из различных источников данных и предоставляет для этого множество настроек. Дополнительные возможности: поддержка SQL, FTP, TRIM Context, WORLDOX 2002, скрипты, планировщик индексации.

Из продвинутых функций программа предлагает использование синонимов, фильтра сортировки (по пути, имени и дате создания файла). Удивило то, что отсутствует поиск с использованием морфологии. Кроме того, нет списка значимых слов, зато имеется обширный список слов незначимых. Также заявлены функции «приблизительный поиск» и «эвристический анализ».

Результаты поиска весьма информативны, отображаются в виде списка документов, отсортированных по релевантности. К сожалению, предпросмотр документа доступен лишь в виде обычного текста, добиться отображения файлов в родном формате, будь то Word, Html или PDF, так и не удалось. Программа позволяет разбивать найденные документы на группы по определенным признакам (по умолчанию они разделены по релевантности).

Разработчик: Google

Официальный сайт: www.google.com

Цена: бесплатно

Размер дистрибутива вместе с TweakGDS:

1,2 Мбайт

Имя Google уже говорит о многом. Бесплатная разработка предназначена для поиска информации на персональном компьютере, в Интернете и корпоративной сети. С одной лишь оговоркой: компания Google предлагает свои услуги по консультации и развертыванию системы GDS Enterprise на предприятии за 10 тысяч долларов на каждую тысячу пользователей.

Первое, что бросается в глаза, — отсутствие собственной оболочки для программы. Google Desktop Search по-прежнему находится в окне браузера, соответственно весь интерфейс настольной версии достался софтине от старшего интернет-брата.

После инсталляции Google Desktop Search начинает индексировать на компьютере все подряд — выбрать пути индексации невозможно. Придется скачать отдельную программку (TweakGDS), которая позволит расширить настройки Google Desktop, в том числе указать предназначенные для индексации диски и папки. Кроме того, для работы с сетью программе необходимы Microsoft .NET Framework и Microsoft Scripting Runtime.

Что касается анализа поисковых запросов и выдачи результатов, то здесь все идентично интернет-поисковику Google: та же система отображения, тот же стандартный набор логических операций для запросов. Google Desktop Search предназначен исключительно для поиска файлов — внутреннего просмотрщика этих файлов в нем нет. Количества поддерживаемых форматов вполне достаточно, поиск осуществляется также по посещенным веб-страницам (данные из кэша).

К сожалению, похвастаться поддержкой русской морфологии, как и прочими интересными функциями поиска, данная софтина не может.Большое преимущество (или упущение?) заключается в настройке программы путем установки плагинов (даже для полноценной работы с архивами нужна отдельная примочка). Правда, все эти дополнения бесплатны. Однако если не брать в расчет десктопную версию поисковика, то грамотная настройка GDS Enterprise может оказаться вам не под силу — ведь не зря Google предлагает свои услуги.

Если же вы все-таки осилите процедуру настройки и установки (или заплатите бригаде быстрого реагирования Google), то поймете, что сложность установки с лихвой компенсируется гибкими настройками при использовании в корпоративных сетях. Немаловажным моментом является использование групповых политик, что дает возможность установить настройки для каждого пользователя.

Разработчик: Copernic

Официальный сайт: www.copernic.com

Цена: бесплатно

Размер дистрибутива: 2,56 Мбайт

В интерфейсе программы нет ничего лишнего, с ней разберется даже неискушенный пользователь. При первом запуске программа предлагает создать индексы. Необычным показалось то, что после выбора папок для индексирования Copernic не предлагает нажать какую-нибудь кнопку вроде «Начать индексацию», при этом индексация не начинается автоматически — утилита ждет простоя компьютера. Придется покопаться в опциях, чтобы настроить все должным образом. Отметим широкие возможности настройки автоматического создания индекса: встроенный планировщик, возможность индексации в фоновом режиме с низким приоритетом и т. д.

Изначально Copernic предлагает упрощенный вариант создания индекса: на выбор «Документы», «Изображения», «Видео», «Музыка». Можно выбрать типы файлов по расширению, запретить индексирование, например, картинок менее 16х16 пикселов или звуковых файлов короче 10 секунд. Copernic умеет работать с электронными письмами и контактами из адресной книги Microsoft Outlook (Outlook Express), возможна индексация «Избранного» и «Истории» из Internet Explorer.

Тесты показали, что программа не ищет документы форматов txt и html на русском языке и позволяет найти их только по заголовкам, а не по содержанию. Единственное, что Copernic предоставляет для повышения эффективности поиска, — это стандартный набор логических операций. Несмотря на слабый анализ запросов, программа предоставляет интересную систему — пользователь может выбрать тип файлов (изображения, видео, музыка и т. п.), ввести поисковый запрос и выбрать атрибуты, присущие именно выбранному типу файлов. После поиска по определенному типу файлов выдается весьма информативный список в окне результатов, причем если под ваш запрос попали файлы других типов, вы сможете открыть и их, нажав на определенную ссылку.

Под списком найденных файлов отображается их содержимое, есть возможность просмотра мультимедийных файлов. Copernic прекрасно видит и индексирует «присоединенные» сетевые диски. Но на этом все и заканчивается.

Хороший образец простого и удобного «домашнего» поисковика.

Разработчик: «СофтИнформ»

Официальный сайт: www.searchinform.com/site/ru

Цена: $199,95 (3000 рублей для граждан РФ)

Размер дистрибутива: 15 Мбайт

Интерфейс программы выполнен с соблюдением всех общепринятых правил. На первый взгляд он несколько громоздок, но при внимательном рассмотрении оказывается, что вместить весь предоставляемый SearchInform функционал, например, в окно браузера (как Google) нет никакой возможности.

Поддерживается индексация электронных писем, подключение и индексация баз данных (!) и других внешних источников (DMS, CRM). При создании индекса можно дополнительно подключить встроенный словарь русской морфологии (или английского стэмминга) и поддержку атрибутов файлов.

Перечисление возможностей программы начнем с фразового поиска: морфологический поиск, цитатный поиск, логические операции, поиск с синтаксическим разбором слова (поиск по началу слова, окончанию, средней части либо полное совпадение), смешанный цитатный поиск (все слова из запроса должны присутствовать в документе, но не обязательно во введенном порядке), поиск с коррекцией ошибок, использование синонимов и т. п. Кроме того, можно использовать словарь незначимых слов (в программе уже есть их список) и словарь приоритетных слов.

Изюминкой программы является поиск документов, похожих по смысловому содержанию на текст запроса (они упорядочиваются «по проценту похожести»). В отличие от стандартного фразового поиска здесь удается избежать предварительного подбора ключевых слов.

Корпоративная версия SearchInform Corporate состоит из двух приложений: серверного и пользовательского. Первая самостоятельно обрабатывает указанные индексы, а пользователи могут использовать их для поиска в зависимости от прав доступа. Пользователи могут быть настроены автоматически, с помощью учетных записей Windows (NTFS-аутентификация Windows) или вручную (придется добавлять по отдельности). Каждому пользователю можно разрешить или запретить доступ к определенным индексам, можно также объединять пользователей в группы.

Разработчик: Isleuthhound Technologies

Официальный сайт:www.isleuthhound.com/ru

Цена: $29

Размер дистрибутива: 6 Mбайт

Из названия ясно, что поддержка русского языка в программе есть. Интерфейс необычен, но весьма привлекателен. И все же многооконное решение — не самый удачный вариант (например, запрос вводится в одном окне, результат отображается в другом).

Индексирование проходит гораздо медленнее, нежели у других программ. Скорее всего, дело тут в неоптимизированных алгоритмах. Окно результатов не слишком информативно: прочитать весь найденный файл можно только открыв его — встроенного просмотрщика нет. Зато выдается выдержка из файла, где встретилось искомое слово.

Такого понятия, как «искать текст», нет; максимум, что можно искать, — это фразу. «Ищейка» предлагает стандартный набор: логические операции, поиск по маске и цитатный поиск. Присутствуют зачатки морфологического поиска, но настолько сырого, что он скорее мешает корректной работе (во время тестов было множество накладок с неправильным использованием морфологии).

Зато программа позволяет указывать атрибуты файлов (дата создания документа, имя файла, имя папки). Можно искать письма, указывая параметры (От, Тема и пр.), а также обновлять индексы по расписанию.

Для работы с сетью предназначено отдельное приложение — «Ищейка Сервер». Оно действует так же, как и десктоп-версия (поисковый движок един), только для документов, размещенных на сервере или общих ресурсах сети. «Ищейка Сервер» создает новые индексы на общих ресурсах или использует ранее созданные. Любой пользователь корпоративной сети может подключиться к программе и получать доступ к документам (находящимся в текущем индексе), используя интернет-браузер.

Разработчик: «Яндекс»

Официальный сайт: desktop.yandex.ru

Цена: бесплатно

Размер дистрибутива: 2,3 Mбайт Вслед за многими монстрами интернет-поиска и наш родной «Яндекс» разродился программой для поиска персонального. И «теперь вы сможете искать по документам, письмам и другим данным на вашем собственном компьютере. Со скоростью Яндекса» — рекламный слоган с официального сайта. Правда, из-за сырости софтины (бета-версия, как-никак) было решено не включать ее в обзор.

Над интерфейсом разработчикам долго думать не пришлось. Практически идеальное решение для «домашнего» поисковика — работа в окошке браузера. Буковка "Я" в систем-трее, при нажатии на нее правой кнопкой мыши, предоставляет немногочисленные пока настройки, а по двойному клику открывается браузер «по умолчанию» в системе, и вуаля: ищи не хочу.

Настроек у программы действительно немного. Выбор дисков папок для индексации, управление процессом индексации (интеллектуальный и принудительный) и… все. Остальное как у «большого брата» в Интернете. Та же строка ввода поискового запроса и практически то же отображение результатов. На первый взгляд впечатления от программы самые положительные. Неискушенный пользователь с сотней-другой doc-файлов в папке «Мои документы» ничего другого ставить на компьютер и не захочет. Но ведь есть еще такой же простой, как топор, Google Desktop Search, скажете вы. Но «Яндекс» выгодно отличается от западного конкурента поддержкой русской морфологии.

Правда, когда программе было предложено проиндексировать 100 тысяч документов, притом разных форматов, она стала давать сбои и за три попытки так и не справилась с задачей. Пару раз «падала», после чего начинала индексацию заново. Невыносимо медленно идет индексация PDF-файлов. Возможно, все дело в «баговости» PDF-конвертера, который у «Яндекса» свой. Хотя после индексации поиск по файлам этого типа вполне удовлетворительный. Что касается скорости индексации и поиска, то и тут накладка. Субъективно эта софтина работала медленнее Google и Copernic. Чего уж говорить о профессиональных системах вроде dtSearch или SearchInform. Впрочем, «Яндекс» по сути предназначен для домашнего использования, так что этой скорости вполне достаточно.

В общем и целом продукт пока сырой. Надеюсь, к официальному релизу эта утилита будет на равных конкурировать как с Google по удобству, простоте и стабильности, так и с серьезными программами по числу поддерживаемых форматов и функциональности.