Входные данные и предварительная проверка
В качестве входного параметра требуется полный URL с протоколом, путем и, при наличии, параметрами запроса и фрагментом. Перед началом автоматизированного сбора полезно явно зафиксировать исходный адрес и его нормализованную форму, например указанный URL, чтобы последующие операции ссылались на одну и ту же строку. Подробности по формату и примерам можно посмотреть здесь.
Для корректного анализа обязательны параметры: синтаксически корректный URL (схема://хост/путь), ожидаемый HTTP/HTTPS-протокол и таймауты соединения. Рекомендуемый таймаут на сетевой запрос — 10 секунд; повторная попытка при ошибке сети возможна в 1–2 итерации. Ответ сервера фиксируется по коду статуса (например, 200, 301, 404) и заголовкам, включая Content-Type и Content-Length в байтах.
Требуемые параметры URL и формат ответа
Для автоматического извлечения требуется получить HTTP-ответ с полным телом HTML либо с набором сетевых вызовов, воспроизводящих динамическое изменение DOM. Обязательные поля результата анализа: финальный URL после редиректов, HTTP-статус, заголовки ответа, кодировка (например, UTF-8), длина ответа в байтах, а также временные метки запроса и ответа. При наличии редиректов фиксируются цепочки 301/302 и их количество.
Проверка доступности, сертификата и robots.txt
Первичный шаг — проверка доступности по протоколу HTTPS и валидности сертификата TLS; поддержка TLS 1.2 или TLS 1.3 считается стандартной. Параметры проверки: срок действия сертификата (дата начала и окончания), соответствие имени хоста в сертификате и отсутствие ошибок цепочки доверия. Затем запрашивается /robots.txt: в файле ожидаются директивы User-agent и Disallow, возможен указатель Sitemap. Формат даты в теге lastmod в sitemap обычно представлен в ISO 8601 (YYYY-MM-DD).
Структура страницы и ключевые элементы
HTML-страница содержит метаданные и структуру DOM, включая теги title, meta, заголовки h1–h6, а также блоки контента и мультимедиа. Для анализа требуется сохранить исходный HTML и сформированный DOM после выполнения скриптов, если страница использует динамическую подгрузку.
Извлечение метаданных и заголовков
Метаданные извлекаются из элементов: <title> (тема страницы), <meta name=»description»> (краткое описание), <meta name=»robots»> (инструкции индексации), <meta charset> и <meta name=»viewport» content=»width=device-width, initial-scale=1″>. Автоматическая схема: сначала читать серверный HTML для тега title и мета description; при отсутствии — искать данные в структурированных данных JSON-LD. Для минимизации ошибок учитывать кодировку страницы и декодировать содержимое по указанному charset (часто UTF-8).
Определение основного текстового блока и мультимедиа
Определение главного блока опирается на несколько критериев: наличие семантических контейнеров (<main>, role=»main», <article>), максимальная суммарная длина текста в дочерних параграфах, соотношение текста к общей длине HTML и количество тегов <p> внутри узла. Для мультимедиа фиксируются атрибуты изображений (src, srcset, alt, width, height), форматы файлов (JPEG, PNG, WebP) и размеры в байтах по заголовку Content-Length. Для видео/аудио сохраняются MIME-тип, контейнер (mp4, webm, mp3) и URL источника.
Навигация, ссылки и карта сайта
Ссылочная структура отражает внутреннюю и внешнюю навигацию страницы и влияет на способность собрать контент автоматизированно. Для отчёта фиксируется полная выборка ссылок и их атрибуты rel (nofollow, ugc, sponsored), target и текст анкоров.
Разделение внутренних и внешних ссылок
Классификация выполняется по сравнению хоста исходного URL и хоста каждой ссылки. Внутренние ссылки ведут на тот же хост или его поддомены; внешние — на другие хосты. В отчёте указываются относительные ссылки и ссылки с редиректами. Атрибут rel=»nofollow» и заголовок X-Robots-Tag в ответе могут указывать на ограничения индексирования определённых ссылок.
Анализ sitemap и редиректов
XML sitemap анализируется как <urlset>, фиксируются <loc>, <lastmod> и приоритеты. Наличие большого числа URL без lastmod или с одинаковыми lastmod может указывать на автоматическую генерацию. Редиректы документируются по типу (301, 302) и длине цепочки; конфликт возникает, если rel=canonical указывает на одну версию, а 301 перенаправляет на другую.
Семантика и признаки достоверности
Структурированные данные описывают сущности на странице и их атрибуты. Для проверки семантики исследуется наличие JSON-LD (script type=»application/ld+json»), microdata (itemscope) или RDFa и соответствие типам схем (Article, Person, Organization).
Поиск структурированных данных и авторских меток
JSON-LD скрипты парсятся как JSON; в случае Article ожидаются поля headline, author, datePublished (формат ISO 8601). Наличие полей author и datePublished вместе с видимым текстом даты в теле страницы повышает степень уверенности в авторстве. Дополнительный источник — мета-теги Dublin Core или rel=»author».
Признаки дублирования и каноникализации
Дублирование выявляется по совпадению основного текста (например, совпадение первых 200 слов) на разных URL, а также по отсутствию rel=canonical или по наличию конфликтующих canonical. rel=canonical контролирует множественные версии и обычно указывает предпочтительный URL; противоречие между canonical и 301-реквестом должно быть зафиксировано в отчёте.
Ограничения, риски и рекомендации по сбору
При сборе необходимо учитывать технические и юридические ограничения, а также риск блокировки. Частые обращения без учёта robots.txt и заголовков сервера могут привести к ограничению по IP или CAPTCHA.
Ограничения парсинга и юридические аспекты
robots.txt содержит правила для агентов; директивы User-agent и Disallow обязаны учитываться автоматизированными ботами. Наличие мета robots с noindex или заголовка X-Robots-Tag в HTTP-ответе прямо запрещает индексацию контента. Дополнительные юридические ограничения могут содержаться в условиях использования сайта и в законах об авторском праве.
Ограничения по скорости запросов и обработке динамики
Для предотвращения перегрузки рекомендуется интервал между последовательными запросами не менее 1 секунды при стандартном обходе; при массовом сканировании целесообразно ограничивать параллелизм до 2–4 соединений. Для динамических страниц использовать headless-браузер с ожиданием события networkIdle (например, 500 ms без новых запросов) или фиксированной задержкой 1–2 секунды после DOMContentLoaded. В отчёте фиксируются применённые таймауты, частота запросов и количество повторов при ошибках.
