Утилита claude-video: полноценный визуальный анализ видеоконтента для ИИ-агентов

Это самый полезный инструмент для разбора медиа за последнее время! Утилита claude-video решает главную проблему ИИ-агентов — она позволяет им физически «смотреть» ролики, а не просто угадывать контекст по названию. Скрипт принимает ссылки на YouTube, TikTok, Loom или локальные файлы, скачивает нужный фрагмент через yt-dlp, вытаскивает субтитры и нарезает видеоряд с помощью ffmpeg. Если встроенных субтитров нет, аудиодорожка отправляется на распознавание в Whisper.

Техническая реализация вызывает отдельное уважение. Чтобы не сжечь лимит токенов на длинном хронометраже, алгоритм умно расходует бюджет: он реагирует на смену сцен и умеет отбрасывать визуальные дубликаты. Если на записи экрана полторы минуты висит один и тот же статичный интерфейс, плагин не будет дублировать эти сцены в контекст. Нейросеть получает только значимые изменения визуала с точными таймкодами и готовую текстовую расшифровку.

На практике такой подход меняет процесс ресерча. Можно скинуть ссылку на виральный ролик и попросить разобрать структуру повествования, или загрузить видео с ошибкой в приложении, чтобы модель сама нашла проблемный момент. Агент опирается на реальный визуальный ряд в связке со звуком, поэтому легко отсеивает лишнюю воду и выдает точную аналитику.