Crawlie: MCP-сервер для технического SEO и GEO-сканирования
Crawlie, разработанный компанией Spronta, является специализированным сервером Model Context Protocol (MCP), предназначенным для технического SEO и GEO-ползания. Созданный на Rust для своего основного движка, CLI и компонентов MCP сервера, Crawlie подключается к агентам Large Language Model (LLM), позволяя выполнять автоматизированные SEO задачи. Он предлагает возможности для аудита сайтов, выявления проблем и отслеживания производительности. Программа распространяется через npm для своего сервера и CLI, с подписанным .dmg, доступным для пользователей настольных ПК macOS. Crawlie поддерживает как человеческие, так и агентские рабочие процессы, что делает его универсальным инструментом для цифровой оптимизации.
К чему подключается Crawlie?
Crawlie функционирует как сервер Протокола Контекста Модели (MCP), который подключается напрямую к агентам Больших Языковых Моделей (LLM). Это соединение делает его ключевым компонентом для автоматизированных задач SEO и GEO. Его локальный сервер MCP использует JSON-RPC через stdio для связи, в то время как размещенный Crawlie Cloud MCP использует Streamable HTTP. Он совместим с любым клиентом, совместимым с MCP, в частности, упоминая Cursor, Cline и пользовательские агенты, что позволяет разнообразную интеграцию в существующие рабочие процессы ИИ.
Основные функции и инструменты
Crawlie предоставляет набор вызываемых инструментов, отражающих те, что есть у размещенного Crawlie Cloud MCP. К ним относятся crawl_site для полного анализа сайта, audit_url для проверки конкретных страниц и top_fixes для приоритизации проблем. Для географических данных он предлагает geo_gaps. affected_urls определяет страницы, затронутые проблемами, в то время как diff_reports отслеживает изменения между обходами. Для управления текущими задачами crawl_status опрашивает долгие обходы, а get_report вместе с list_reports получает сохраненные облачные отчеты.
Для кого это?
Crawlie предназначен как для человеческих пользователей, так и для агентов LLM, что делает его подходящим для автоматизированных задач SEO и детального анализа. Его возможности полезны тем, кто нуждается в проведении аудитов сайтов, выявлении технических проблем SEO, таких как битые ссылки или отсутствующие метаданные, и отслеживании изменений с течением времени. Программа особенно полезна для интеграции рабочих процессов SEO с агентами ИИ. Это не лучший выбор, если ваша основная потребность - это нетехническая система управления контентом без требований к анализу SEO или GEO.
Как начать
Для размещенного Crawlie Cloud MCP доступ предоставляется через ключ API Crawlie, который создается в настройках панели управления. Локальный сервер Crawlie MCP поддерживает JSON-RPC через stdio в качестве своего транспортного протокола.
Сценарии использования
- Позволить агенту LLM провести полный аудит и действовать на его основе без вмешательства человека.
- Обход всего сайта для выявления битых ссылок, перенаправлений, отсутствующих метаданных и выполнения более 40 проверок SEO и Генеративного Движка.
- Выполнение дифференциации между обходами для выделения изменений между двумя обходами, таких как дельты здоровья и GEO-оценки, добавления/удаления страниц и новых или разрешенных проблем.
Crawlie предлагает специализированное решение для технического SEO и GEO-ползания, уникально интегрируясь с LLM-агентами через свой сервер MCP. Его архитектура на основе Rust обеспечивает производительность, в то время как его набор инструментов поддерживает детальные аудиты сайтов и отслеживание изменений. Программа подходит для автоматизации сложных SEO-задач и предоставления детализированных аналитических данных для цифровых объектов. Попробуйте это, заставив LLM-агента использовать инструмент crawl_site для проведения полного аудита.
