Софт, сервисы и поисковики профессионального поиска 
 

ПРОГРАММЫ 

http://soberi.info/node/9 – простой парсер контента и ссылок. 

http://www.fmsasg.com/ - одна из лучших в мире программ по визуализации связей и отношений Sentinel Vizualizer. Компания полностью русифицировала свои продукты и подключила горячую линию на русском. 

http://neowatcher.com/ru/ – полезная и простая программа для отслеживания изменений на сайтах. Количество сайтов не ограниченно. 

http://www.portableofflinebrowser.com/ – программа позволяет целиком скачивать необходимые сайты, онлайн галереи изображений и фотографий, форумы и видео / аудио файлы. Программа обеспечивает наилучшую поддержку современных интернет-технологий, Flash-анимации, скриптов и активного содержимого страниц. Ее можно установить на Flash/USB диск и запускать прямо с него. 

http://www.newprosoft.com/ – “Web Content Extractor” является наиболее мощным, простым в использовании ПО извлечения данных из web сайтов. Имеет также эффективный Visual Web паук. 

SiteSputnik – не имеющий в мире аналогов программный комплекс, позволяющий вести поиск и обработку его результатов в Видимом и Невидимом Интернете, используя все необходимые пользователю поисковики. 

Avalanche 2.5 – наиболее эффективная и удобная для пользователя программа мониторинга выбранных Интернет ресурсов. 

WebSite-Watcher – позволяет проводить мониторинг веб-страниц, включая защищенные паролем, мониторинг форумов, RSS каналов, групп новостей, локальных файлов. Обладает мощной системой фильтров. Мониторинг ведется автоматически и поставляется в удобном для пользователя виде. Программа с расширенными функциями стоит 50 евро. Постоянно обновляется. 

http://web-data-extractor.net/ – хорошо зарекомендовавшее себя семейство эффективных парсеров. По оценке профессионалов – лучший российский парсер, не уступающий зарубежным образцам. Особенно эффективен для парсинга контента, по ключевым словам, email, цен и т.п. 

http://www.puffinwarellc.com/ – iMetaSearch – новейшая поисковая программа реально использующая элементы латентно-семантического анализа, позволяющая получить поисковые результаты максимально адекватные запросу, сгруппированные по категориям и ключевым словам. Программа в бесплатной версии использует Google, в платной версии может быть подключено до 16 поисковиков. Отлично документирована, имеет обучающее видео, обладает дружественным даже для новичка интерфейсов. Единственное ограничение – работает только с англоязычным интернетом. 

http://locate32.net/index.php – лучший каталогизатор файлов. Позволяет каталогизировать файлохранилища и базы данных объемом в терабайты. Каталогизация происходит по именам файлов, папок. Имеет дружественный интерфейс, интуитивно понятный даже для неподготовленного пользователя. Есть русскоязычная версия. Бесплатный. 

http://www.scribd.com/ – наиболее популярная в мире и все более широко применяемая в России платформа размещения различного рода документов, книг и т.п. для свободного доступа с очень удобным поисковиком по названиям, темам и т.п. 

http://www.atlasti.com/ – представляет собой самый мощный и эффективный из доступных для индивидуальных пользователей, небольшого и даже среднего бизнеса инструмент качественного анализа информации. Программа многофункциональная и потому полезная. Совмещает в себе возможности создания единой информационной среды для работы с различными текстовыми, табличными, аудио и видеофайлами, как единым целым, а также инструменты качественного анализа и визуализации. 

Ashampoo ClipFinder HD – все возрастающая доля информационного потока приходится на видео. Соответственно, конкурентным разведчикам нужны инструменты, позволяющие работать с этим форматом. Одним из таких продуктов является представляемая бесплатная утилита. Она позволяет осуществлять поиск роликов по заданным критериям на видеофайловых хранилищах типа YouTube. Программа проста в использовании, выводит на одну страницу все результаты поиска с подробными сведениями, названиями, длительностью, временем, когда видео было загружено в хранилище и т.п. Имеется русский интерфейс. 

http://www.advego.ru/plagiatus/ – программа сделана SEO оптимизаторами, но вполне подходит как инструмент интернет-разведки. Плагиатус показывает степень уникальности текста, источники текста, процент совпадения текста. Также программа проверяет уникальность указанного URL. Программа бесплатная. 

Check&Get – профессиональный интернет-органайзер, система мониторинга веб-сайтов и оффлайновый браузер в одном флаконе. Автоматически проверяет указанные вами веб-страницы на изменения, извлекает из них новую информацию и сохраняет ее. Программа бесплатная, но можно за символические деньги купить и поддержать отечественного производителя. 

http://neiron.ru/toolbar/ – включает надстройку для объединения поиска Google и Yandex, а также позволяет осуществлять конкурентный анализ, базирующийся на оценке эффективности сайтов и контекстной рекламы. Реализован как плагин для FF и GC. 

http://www.analytictech.com/ucinet/ – отличная совсем недорогая программа для анализа и визуализации социальных и не только сетей. Хорошо использовать для анализа взаимосвязи компаний и лиц, выявления неформальных групп. Руководство к программе ЗДЕСЬ. 

http://web-data-extractor.net/ – универсальное решение для получения любых данных, доступных в интернете. Настройка вырезания данных с любой страницы производится в несколько кликов мыши. Вам нужно просто выбрать область данных, которую вы хотите сохранять и Datacol сам подберет формулу для вырезания этого блока. 

http://www.offlineexplorerpro.com/default.asp#tabs – русскоязычная программа для скачивания сайтов целиком. Позволяет не только скачать сайт, но и сохранить графические изображения, фотографии, отфильтровать сохраняемые страницы по ключевым словам и многое другое. С выходом нового релиза, правда, подорожала до 2 400 руб. 

http://www.webalertpro.com/ – отличная программа, позволяющая производить мониторинг выбранных сайтов, составлять ежедневные отчеты, при мониторинге разделять информацию на интересующую и неважную. Программа не русифицирована, но имеет интуитивно понятный интерфейс и проста в использовании. 

http://www.webalertpro.com/ – отличная программа, позволяющая производить мониторинг выбранных сайтов, составлять ежедневные отчеты, при мониторинге разделять информацию на интересующую и неважную. Программа не русифицирована, но имеет интуитивно понятный интерфейс и проста в использовании. 

CaptureSaver – профессиональный инструмент исследования интернета. Просто незаменимая рабочая программа, позволяющая захватывать, хранить и экспортировать любую интернет информацию, включая не только web страницы, блоги, но и RSS новости, электронную почту, изображения и многое другое. Обладает широчайшим функционалом, интуитивно понятным интерфейсом и смешной ценой. 

http://www.howsimple.com/ – браузер ХХI века. Эксперты предрекают ему очень большое будущее. Принципиально отличается от всех основных типов браузеров – от EI до Opera. 

http://www.edge-security.com/theHarvester.php – хорошая программа для сбора адресов электронной почты, имен пользователей и другой информации с сайтов и хостов. 

http://www.insideview.com/index.html – программа вообще-то, ориентирована на торгашей, но может использоваться и для конкурентной разведки, поскольку позволяет вести мониторинг Web 2.0 по настраиваемым вами событиям, компаниям, персоналиям. Кроме того, получает информацию и от специализированных поставщиков специализированной информации типа Reuters и других наиболее качественных источников данных оперативной информации. 

http://www.matheo-web.com/ – приложение, совмещающее повышение релевантности поиска в интернете, осуществление мониторинга, скачивание файлов, анализ поступающей информации и многое другое. 

http://www.orbiscope.net/en/software.html – система веб мониторинга по более чем доступным ценам. 

http://www.kbcrawl.co.uk/ – программное обеспечение для работы, в том числе в «Невидимом интернете». 

http://www.copernic.com/en/products/agent/index.html – программа позволяет вести поиск, используя более 90 поисковых систем, более чем по 10 параметрам. Позволяет объединять результаты, устранять дубликаты, блокировать нерабочие ссылки, показывать наиболее релевантные результаты. Поставляется в бесплатной, личной и профессиональной версиях. Используется больше чем 20 млн.пользователей. 

Maltego – принципиально новое программное обеспечение, позволяющее устанавливать взаимосвязь субъектов, событий и объектов в реале и в интернете. 

СЕРВИСЫ 

http://isce-library.net/epi.aspx – сервис поиска первоисточников по фрагменту текста на английском языке. 

https://zmap.io/index.html – опенсорсный сканер по IPv4 адресам. 

http://www.exploit-db.com/google-dorks/ – постоянно пополняющаяся база запросов для этичного хакинга с помощью Google. 

https://www.rivaliq.com/ – эффективный инструмент для ведения конкурентной разведки на западных, в первую очередь, европейских и американских рынках товаров и услуг. 
http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные. 

https://addons.mozilla.org/ru/firefox/addon/update-scanner/ – дополнение для Firefox. Следит за обновлениями web-страниц. Полезно для web-сайтов, которые не имеют лент новостей (Atom или RSS). 

http://falcon.io/ – своего рода Rapportive для Web. Он не является заменой Rapportive, а дает дополнительные инструменты. В отличие от Rapportive дает общий профиль человека, как бы склеенный из данных из социальных сетей и упоминаний в web.http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные. 

https://addons.mozilla.org/ru/firefox/addon/update-scanner/ – дополнение для Firefox. Следит за обновлениями web-страниц. Полезно для web-сайтов, которые не имеют лент новостей (Atom или RSS). 

http://netcomber.com/ - слоган сервиса «Раскройте скрытые отношения между веб-сайтами», сервис по анализу веб сайтов и установлению их связей с родственными ресурсами. 

http://agregator.pro/ – агрегатор новостных и медийных порталов. Используется маркетологами, аналитиками и т.п. для анализа новостных потоков по тем или иным темам. 

http://price.apishops.com/ – автоматизированный веб-сервис мониторинга цен по выбранным товарным группам, конкретным интернет-магазинам и другим параметрам. 

http://www.la0.ru/ – удобный и релевантный сервис анализа ссылок и бэклинков на интернет-ресурс. 

http://www.x-file.su/tm/ – сервис определения тональности или эмоциональной нагрузки текста от компании Ай-Теко. 

http://www.recordedfuture.com/ – мощный инструмент анализа данных и их визуализации, реализованный как он-лайн сервис, построенный на «облачных» вычислениях. 

http://advse.ru/ – сервис под слоганом «Узнай все про своих конкурентов». Позволяет в соответствии с поисковыми запросами получить сайты конкурентов, анализировать рекламные компании конкурентов в Google и Yandex. 

http://spyonweb.com/ – сервис позволяет определить сайты с одинаковыми характеристиками, в том числе, использующими одинаковые идентификаторы сервиса статистики Google Analytics, IP адреса и т.п. 

http://diphur.com/introduction – приложение для мониторинга любых сайтов. Уведомляет об обновлении сайтов и приносит обновления. Версия бесплатная. 

http://www.connotate.com/solutions – линейка продуктов для конкурентной разведки, управления информационными потоками и преобразования сведений в информационные активы. Включает как сложные платформы, так и простые дешевые сервисы, позволяющие эффективно вести мониторинг вместе с компрессией информации и получением только нужных результатов. 

http://www.clearci.com/ – платформа конкурентной разведки для бизнеса различных размеров от стартапов и маленьких компаний до компаний из списка Fortune 500. Решена как saas. 

http://saplo.com/ – новый, но уже получивший в мире признание, шведский стартап, разработавший линейку продуктов по data text. Все продукты имеют API. 

http://startingpage.com/ – надстройка на Google, позволяющая вести поиск в Google без фиксации вашего IP адреса. Полностью поддерживает все поисковые возможности Google, в том числе и а русском языке. 

http://newspapermap.com/ – уникальный сервис. Соединяет геолокацию с поисковиком он-лайн медиа. Т.е. вы выбираете интересующий вас регион или даже город, или язык, на карте видите место и список он-лайн версий газет и журналов, нажимаете на соответствующую кнопку и читаете. Поддерживает русский язык, очень удобный интерфейс. 

http://infostream.com.ua/ – очень удобная отличающаяся первоклассной выборкой, вполне доступная для любого кошелька система мониторинга новостей «Инфострим» от одного из классиков интернет-поиска Д.В.Ландэ. 

http://www.instapaper.com/ – очень простой и эффективный инструмент для сохранения необходимых веб-страниц. Может использоваться на компьютерах, айфонах, айпадах и др. 

http://www.wizardrss.com/ – позволяет преобразовывать RSS в полные тексты. 

http://screen-scraper.com/ – позволяет автоматически извлекать всю информацию с веб-страниц, скачивать подавляющее большинство форматов файлов, автоматически вводить данные в различные формы. Скачанные файлы и страницы сохраняет в базах данных, выполняет множество других чрезвычайно полезных функций. Работает под всеми основными платформами, имеет полнофункциональную бесплатную и очень мощные профессиональные версии. 

http://www.park.ru/ – одна из старейших и удобных для пользователя систем архивации и мониторинга СМИ. 

http://www.mozenda.com/ - имеющий несколько тарифных планов и доступный даже для малого бизнеса веб сервис многофункционального веб мониторинга и доставки с избранных сайтов необходимой пользователю информации. 

http://www.recipdonor.com/ - сервис позволяет осуществлять автоматический мониторинг всего происходящего на сайтах конкурентов. 

http://www.spyfu.com/ – а это, если у вас конкуренты иностранные. 

http://www.webground.su/ – созданный профессионалами Интернет-поиска сервис для мониторинга Рунета, включающий всех основных поставщиков информации, новостей и т.п., способен к индивидуальным настройкам мониторинга под нужды пользователя. 

ПОИСКОВИКИ 

http://worldc.am/ – поисковик по фотографиям в свободном доступе с привязкой к геолокации. 

https://app.echosec.net/ – общедоступный поисковик, который характеризует себя как самый продвинутый аналитический инструмент для правоохранительных органов и профессионалов безопасности и разведки. Позволяет вести поиск фотографий, размещенных на различных сайтах, социальных платформах и в социальных сетях в привязке к конкретным геолокационным координатам. В настоящее время подключено семь источников данных. До конца года их число составит более 450. За наводку спасибо Дементию. 

http://www.quandl.com/ – поисковик по семи миллионам финансовых, экономических и социальных баз данных. 

http://bitzakaz.ru/ – поисковик по тендерам и госзаказам с дополнительными платными функциями. 

http://tenderplus.info/ - платная электронная система оповещения, одновременно поисковик о новых тендерах и госзакупках в России. 

Website-Finder – дает возможность найти сайты, которые плохо индексирует Google. Единственным ограничением является то, что для каждого ключевого слова он ищет только 30 веб-сайтов. Программа проста в использовании. 

http://www.solusource.com/ – веб-интерфейс для конкурентной разведки от знаменитой компании Thomas. Позволяет найти всю информацию, имеющуюся в более чем столетних базах Thomas Reuters по компаниям, продуктам и отраслям. Имеет встроенный перевод на русский язык. 

http://www.dtsearch.com/ – мощнейший поисковик, позволяющий обрабатывать терабайты текста. Работает на рабочем столе, в интернете и в интранете. Поддерживает как статические, так и динамические данные. Позволяет искать во всех программах MS Office. Поиск ведется по фразам, словам, тегам, индексам и многому другому. Единственная доступная система федеративного поиска. Имеет как платную, так и бесплатную версии. 

http://www.strategator.com/ – осуществляет поиск, фильтрацию и агрегацию информации о компании из десятка тысяч веб-источников. Ищет по США, Великобритании, основным странам ЕЭС. Отличается высокой релевантностью, удобностью для пользователя, имеет бесплатные и платный вариант (14$ в месяц). 

http://www.shodanhq.com/ – необычный поисковик. Сразу после появления получил кличку «Гугл для хакеров». Ищет не страницы, а определяет IP адреса, типы роутеров, компьютеров, серверов и рабочих станций, размещенных по тому или иному адресу, прослеживает цепочки DNS серверов и позволяет реализовать много других интересных функций для конкурентной разведки. 

http://www.infongen.com/about/?page_id=739 – поисковый агрегатор, ориентированный на коммерческое использование, ежедневно контролирует более 35 тысяч онлайновых источников, способен легко подстраиваться под конкретные уникальные темы в зависимости от заявок клиентов. Система читает на восьми языках и в режиме реального времени переводит на английский. Фактически объединяет мониторинг, фильтрацию и агрегацию информации под конкретного бизнес-пользователя. 

http://search.usa.gov/ – поисковик по сайтам и открытым базам всех государственных учреждений США. В базах находится много практической полезной информации, в том числе и для использования в нашей стране. 

http://ppldig.com/ – отличный поисковик людей в интернете, поддерживает русский. Эксперименты показывают, что читает «стены» соцсетей, например, В Контакте. 

http://visual.ly/ – сегодня все шире для представления данных используется визуализация. Это первый поисковик инфографики в Вебе. Одновременно с поисковиком на портале есть мощные инструменты визуализации данных, не требующие навыков программирования. 

http://www.quixey.com/ – функциональный поисковик, чемпион по полезности. В поисковую строку вы вводите задачу, которую вам надо решить, например, text mining, translate и т.п. и он вам выдаст все программы, сервисы и расширения для браузеров, решающие эту задачу или выполняющие данную функцию. 

http://go.mail.ru/realtime – поиск по обсуждениям тем, событий, объектов, субъектов в режиме реального, либо настраиваемого времени. Ранее крайне критикуемый поиск в Mail.ru работает очень эффективно и дает интересную релевантную выдачу. 

http://yauba.com/ – экспериментальная, но уже хорошо работающая поисковая система, созданная индийскими программистами при поддержке МТИ, Гарвардского Университета и Университета в Беркли. Наиболее известна тем, что является первым в мире действительно полностью конфиденциальным поисковиком, превосходя по этому параметру другие, в основном, американские поисковики. Кроме того, система позволяет вести не только поиск по интернет-сайтам, блогам, изображениям, видео, но и PDF файлам, World и PoewrPoint, а также по презентациям. Самое главное, система способна к смысловому, а не просто индексационному поиску. 

Zanran – недавно стартовавший, но уже отлично работающий первый и единственный поисковик для данных, извлекающий их из файлов PDF, таблиц EXCEL, данных на страницах HTML. 

http://www.ciradar.com/Competitive-Analysis.aspx – одна из лучших в мире систем поиска информации в «глубоком вебе». Извлекает практически все виды файлов во всех форматах по интересующей теме. Реализована как веб-сервис. Цены более чем приемлемые. 

http://www.surfwax.com/products/personal.htm – представляет собой собственный веб агент поиска. Позволяет подключиться к более чем 1850 источникам поиска для создания собственных хранилищ данных. Может использоваться как в личных, так и в корпоративных целях. 

http://multitender.ru/tenders – специализированная поисковая система по госзакупкам, тендерам и аукционам. Полный охват информации, удобный интерфейс, очень щадящие кошелек потребителя цены. 

http://public.ru/ – Эффективный поиск и профессиональный анализ информации, архив СМИ с 1990 года. Интернет-библиотека СМИ предлагает широкий спектр информационных услуг: от доступа к электронным архивам публикаций русскоязычных СМИ и готовых тематических обзоров прессы до индивидуального мониторинга и эксклюзивных аналитических исследований, выполненных по материалам печати. 

http://www.rosspending.ru – мониторинг государственных контрактов на федеральном и региональном уровнях. 

Cluuz – молодой поисковик с широкими возможностями для конкурентной разведки, особенно, в англоязычном интернете. Позволяет не только находить, но и визуализировать, устанавливать связи между людьми, компаниями, доменами, e-mail, адресами и т.п. 

http://www.wolframalpha.com/ – поисковик завтрашнего дня. На поисковый запрос выдает имеющуюся по объекту запроса статистическую и фактологическую информацию, в том числе, визуализированную. 

http://www.boardtracker.com/ – не имеющий аналогов поисковик, позволяющий мониторить дискуссии, ведущиеся по самым различным темам. 

http://www.ist-budget.ru/ – универсальный поиск по базам данных госзакупок, торгов, аукционов и т.п.