Лучшие бесплатные программы для проверки ссылок на веб-сайте

Категория: Интернет и Сеть

– Автор: Игорь (Администратор)

Проверка ссылок на веб-сайтах - отличная профилактика

В сущности, практически все веб-сайты содержат мертвые или битые ссылки, точно так же, как и практически любое программное обеспечение содержит ошибки. Ошибки происходят всегда и это естественное явление. Изменился контент, поменялись имена файлов и пути до них, изменилась структура на внешних сайтах и прочее. И до тех пор пока вы не будете проверять на регулярной основе веб-сайт на наличие битых ссылок, вы будете продолжать совершать классическую ошибку и давать возможность битым ссылкам расстраивать пользователей сайта.

Программы для проверки ссылок на веб-сайтах действуют аналогично паукам поисковой системы. Они "ползают" по вашему сайту и ищут внутренние и внешние битые ссылки. Весь процесс сканирования является рекурсивным. Это означает, что паук строит дерево ссылок, ведущих от страницы к страницы, и продолжает исследовать ссылки до тех пор, пока не пройдется по всему дереву или же не будет достигнут заданный предел (вложенность, уровни и прочее). Хорошие программы анализаторы ссылок так же предоставляют полноценный отчет о всех мертвых ссылках, с указанием подробной информации о местонахождении каждой ссылки и вида ошибки (например, 404 ошибка, превышен интервал ожидания и прочие).

Примечание: Вы можете ограничивать поисковые роботы с помощью настроек в файлах robots.txt и .htaccess. Однако, эти ограничения учитывают не все программы для проверки ссылок. Например, Xenu's Link Sleuth не воспринимает эти настройки и поэтому все ограничения необходимо задавать перед каждой проверкой. 

Обзор бесплатных программ для проверки ссылок на веб-сайтах

Программа для проверки ссылок на веб-сайтах LinkChecker

LinkChecker имеет все необходимые функции, которые вы только можете захотеть от программы для проверок ссылок на сайте. Самое главное, что приложение выделяет url адрес исходной страницы, где была обнаружена ошибка, так что вы всегда сможете быстро и просто исправить битые ссылки. Сводный отчет о результатах достаточно легко использовать. Каждая проверенная ссылка будет сопровождаться дополнительной информацией, включая заголовок страницы, тип и код ошибки, ответ сервера и прочее. Кроме того, LinkChecher поддерживает настройку глубины рекурсии (максимальное количество переходов от первой ссылки к последней).

LinkChecker так же можно запускать из командной строки. Существует большой набор консольных параметров, который позволит вам легко использовать программу из пакетных файлов (например, добавить к пакетному файлу, который выполняет ряд проверок по расписанию). Возможности и гибкость настройки LinkChecker действительно приятно удивляют.

Основные характеристики:

• Рекурсивная и многопоточная проверка сайта
• На выходе программы можно получить отчет в виде обычного текстового файла, html, csv и xml, а так же карту сайта в различных форматах
• Поддерживаются ссылки HTTP/1.1, HTTPS, FTP, mailto:,  nntp:, Telnet и ссылки на локальные файлы
• Поддержка ограничения проверки ссылок на основе фильтров url с регулярными выражениями
• Поддерживает прокси
• Авторизация для HTTP, FTP и Telnet
• Может учитывать исключения из файла robots.txt
• Поддерживает куки

Программа проверки ссылок Xenu's Link Sleuth отличный пример того, когда время не властно

Xenu's Link Sleuth. Это достаточно старый представитель данного класса программ. Однако, несмотря на то, что последний релиз программы состоялся в 2010, Xenu's Link до сих пор остается одной из лучших программ в своем классе. Приложение потребует от вас некоторого времени на его изучение. Но, как только вы разберетесь, то весь процесс настройки и запуска проверки будет отнимать у вас минимум времени. Кроме того, Xenu предоставляет достаточно полные и детальные отчеты.

Примечание: картинка справа - это логотип с сайта разработчика.

Основные характеристики:

• Простой пользовательский интерфейс без излишеств (классика)
• Умеет перепроверять битые ссылки (полезно при временных сетевых ошибках)
• Простой и детальный отчет о сканировании
• Фильтры 
• Занимает меньше 1 МБ
• Поддержка SSL веб-сайтов ("https:// ")
• Частичное тестирование ftp, gopher и почтовых адресов
• Обнаруживает и помечает в отчет url, которые были перенаправлены
• Создает карту сайта

Link Evaluator расширение браузера Firefox для проверки ссылок

Link Evaluator - это расширение для браузера Firefox, которое умеет проверять только открытые страницы. Но, несмотря на ограничение, программа будет весьма полезной для быстрой проверки.

Link Evaluator отслеживает как статусный код http, так и содержимое страницы, которое возвращается для каждого url. И пытается распознать отличия между результатами (как например, отсутствие корректного кода по стандарту и реально возвращаемый текст). Учитываются следующие результаты:

• Битые ссылки (404)
• Превышение времени ожидания ответа сервера
• Ошибки аутентификации
• "Некорректный" контент для заданной страницы 

Каждая проверенная ссылка подсвечивается цветом относительно результата проверки: зеленый - успешно, оттенки желтого - частично успешно, красный - не успешно.

В целом, Link Evaluator подойдет тем пользователям Firefox, которые занимаются анализом веб-страниц или же часто проводят время на своих сайтах.

Онлайн решения для проверки ссылок на веб-сайте

Как альтернатива, выступают различные онлайн решения для проверки ссылок. У них есть как и свои преимущества (например, нагрузки не на вашем компьютере и прочие), так и свои недостатки (различные ограничения, неполные отчеты и прочие).  

Online Broken Link Checker позволяет найти только точно битые ссылки, без предоставления полного отчета о всех проверенных ссылках и кодах ответов. Для каждой мертвой ссылки отмечается веб-страница, на которой ссылка была обнаружена. Вы так же можете щелкнуть по ссылке "src" рядом с каждой обнаруженной битой ссылкой, чтобы увидеть исходный код html с выделенной областью, где ссылка была обнаружена.

Бесплатная версия ограничена проверкой 3000 ссылок. Так же надо учитывать, что инструмент проверяет как внутренние ссылки, так и внешние. Поэтому в зависимости от размеров сайта, такой проверки может быть не достаточно. Коммерческая версия не имеет такого предела и позволяет проверять сайты любого размера, но все же это коммерческая версия.

Еще одним инструментом является W3C Link Checker. Несмотря на то, что решение позволяет проверять только одну страницу в один момент времени, сформированный отчет будет достаточно информативным. Кроме того, необходимо понимать, что речь идет о w3.org, в чьем ведении находятся многие стандарты строительства web. 

Link Valet от Web Design Group позволяет пройтись во вашему сайту аналогично тому, как это выполнял бы поисковый робот. Т.е. с учетом ограничений в robots.txt. После сканирования, полный отчет будет содержать информацию о ссылках и возвращаемых кодах. У сервиса есть лимит глубины рекурсии, но вы можете продолжить поиск по вашему сайту, выбрав одну из ссылок в конце отчета (страницы, которые не были проверены).

Так же существует различные дополнения для известных CMS, которые самостоятельно проверяют структуру сайта и формируют отчет о битых ссылках. Кроме того, некоторые поисковые системы предлагают собственные инструменты для отслеживания мертвых ссылок, но, обычно, для их использования необходимо зарегистрироваться и подтвердить тот факт, что сайт принадлежит вам.

Руководство по быстрому выбору (ссылки на бесплатные программы для проверки ссылок на веб-сайтах)

LinkChecker

		Мощная и одновременно простая в использовании. Задание глубины рекурсии. Подробные отчеты. Поддержка регулярных выражений для фильтров. Можно запускать из командной строки.
		Файл справки очень и очень слабый (но интерфейс программы интуитивно понятен).
		http://wummel.github.io/linkchecker/
		------------
		10,9 MB  9.3 Unrestricted freeware Windows, Mac, Linux
		Поддержка 64-разрядной ОС

Xenu's Link Sleuth

		Простая, маленькая, быстрая и точная. Простой и понятный отчет. Учитывает перенаправление.
		Потребуется некоторое время, чтобы понять, как Xenu устроена.
		http://home.snafu.de/tilman/xenulink.html
		-------------
		545 KB 1.3.8  Unrestricted Freeware Microsoft Windows 95/98/ME/NT/2000/XP/Vista/7
		Поддержка 64-разрядной ОС

Link Evaluator

		Крошечный размер. Быстрая и простая.
		Проверяет только веб-страницы, открытые в Firefox.
		К сожалению, сайт более недоступен
		----------------
		45 KB 0.9.9.7  Unrestricted Freeware Mozilla Firefox
		Поддержка 64-разрядной ОС