ПРОЕКТ

Программа преобразования текста в видео для автоматизированного создания контента

Разработка индивидуального ПО, Генерация видео с помощью ИИ, Ввод промптов и сценариев, Монтаж видео, Озвучка и субтитры, Рендеринг и экспорт, Публикация в социальных сетях

  • Отрасль: Производство видео
  • Португалия Местоположение: Португалия
  • Срок выполнения: 16 недель
  • Технологии: JavaScript / TypeScript (Node.js), Python
4+ месяца

Этот клиент тратит время на преобразование сценариев, изображений и загруженных видеоматериалов в готовые к публикации видео. Программа представляет собой индивидуальное рабочее пространство для преобразования текста в видео, созданное для производственной команды: она принимает промпты, сценарии и мультимедийные материалы, а затем возвращает смонтированные видео с озвучкой и субтитрами. Генерация, монтаж и распространение объединены в одном месте, что сокращает ручную работу и повторную обработку.

Обзор

Проблема

Производственный процесс клиента включает генерацию, монтаж, субтитры, рендеринг и публикацию, что на отдельных этапах требует много времени.

Решение

Решение стало единым рабочим пространством для ввода материалов, генерации с помощью ИИ и монтажа. В него также вошли озвучка, субтитры и публикация.

Результат

Программа создана для сокращения ручной работы и повторной обработки на пути от исходных материалов до готового к публикации видео.

История клиента

Клиент - компания по производству видео из Португалии. Она превращает сценарии, изображения, аудио, информацию о продуктах и загруженные видеоматериалы в видео для цифровых каналов.

Производственная команда подготавливает исходные материалы, генерирует сцены и упорядочивает клипы. Перед экспортом версий для социальных сетей она также добавляет озвучку и субтитры.

Требование было простым: принимать разные типы контента, подключать ИИ-сервисы для генерации и речи, а также поддерживать весь путь от создания до экспорта.

Решение создавалось как модульная студия с экраном ввода и рабочим пространством сгенерированных видео. Помимо разделов рендеринга, экспорта и публикации были добавлены инструменты управления озвучкой и субтитрами.

Клиент хотел

  1. Генерировать видео из промптов, сценариев, изображений, аудио, данных или видеоматериалов
  2. Подключить ИИ для работы с текстом, изображениями, видео, голосом и речью
  3. Создавать озвучку, титры, расшифровки, субтитры и наложения
  4. Редактировать сцены, заменять клипы, рендерить и экспортировать видео

Почему готовое ПО не подошло

Готовые ИИ-генераторы видео предлагают преобразование текста в видео, монтаж, хранение и распространение, однако их описания не соответствовали полному производственному процессу клиента. Ограничения кредитов и платных тарифов в одной из альтернатив сделали индивидуальное решение полезным для определения правил доступа, квот, платежей, хранения и публикации.

Обзор проекта

На первом экране можно ввести промпт или сценарий, а также добавить изображения, видео, аудио и исходные видеоматериалы.

Чтобы выполнять генерацию и монтаж в одном месте, была создана видеостудия с предпросмотром, списком сцен и временной шкалой. Она поддерживает сгенерированные клипы, анимацию изображений и замену клипов.

Особое внимание уделено озвучке и доступности. Настройки голоса, текст субтитров, файлы субтитров и фоновая музыка управляются в одной панели.

Финальный раздел объединяет рендеринг и доставку. Программа создаёт версии результата в выбранных форматах и разрешениях, предоставляет ссылки для скачивания и обмена, а также поддерживает публикацию.

Система построена модульно, поэтому позже можно добавить доступ к API, подписки и кредиты. Квоты, платежи, хранилище и дополнительные подключения для публикации можно внедрить без полной переработки продукта.

Основные реализованные функции

  • Генерация видео из промптов и сценариев
  • Анимация изображений в видеоклипах
  • Импорт видео, аудио, видеоматериалов и данных о продуктах
  • Упорядочивание сцен на визуальной временной шкале
  • Замена клипов и создание вариантов видео
  • Генерация озвучки и настройка параметров голоса
  • Создание, редактирование и встраивание субтитров
  • Рендеринг в разных форматах и разрешениях
  • Скачивание, обмен и публикация видео

Можно добавить

+ Подписки и платежи + Кредиты и квоты использования + Доступ к API + Запланированная публикация + Семантический поиск + Дополнительные интеграции с социальными каналами

Кому ещё подойдёт это решение

У этих компаний похожие задачи по созданию контента, поэтому то же решение можно адаптировать под их процессы.

Креативное агентство

Задача Превращает сценарии кампаний, изображения и видеоматериалы в рекламные видео для цифровых каналов.
Как помогает решение Решение объединяет генерацию, монтаж, субтитры, рендеринг и публикацию в одном производственном процессе.
Креативные агентства

Медийная команда

Задача Преобразует загруженные или длинные мультимедийные материалы в короткие видео для социальных каналов.
Как помогает решение Рабочее пространство поддерживает загрузку исходных материалов, упорядочивание сцен, замену клипов, субтитры, рендеринг и экспорт.
Творческие студии

Менеджер социальных сетей

Задача Создаёт и подготавливает регулярные видео для YouTube, TikTok и других социальных каналов.
Как помогает решение Решение объединяет генерацию с помощью ИИ, озвучку, субтитры, версии результата и инструменты публикации.

Технологический стек

JavaScript / TypeScript (Node.js)

Приложение и мультимедийные сервисы

Этот стек обеспечивает веб-приложение, интеграции и сервисы обработки мультимедиа.

Python

ИИ и видеопроцессы

Python обеспечивает ИИ-запросы, транскрибацию, обработку субтитров и видеопроцессы.

openai

Текстовые и ИИ-запросы

openai (официальная клиентская библиотека OpenAI) отправляет сценарии, текстовые и другие ИИ-запросы.

moviepy

Монтаж и композиция видео

moviepy (библиотека монтажа видео на Python) объединяет видео, аудио и визуальные элементы.

ffmpeg-python

Обработка мультимедиа и рендеринг

ffmpeg-python (обёртка FFmpeg для Python) обрабатывает видео, аудио, фильтрацию и рендеринг.

pysrt

Редактирование файлов субтитров

pysrt (библиотека файлов субтитров SubRip) редактирует и создаёт файлы субтитров SRT.

SRT

Титры и субтитры

SRT содержит текст титров и временные данные для субтитров и встроенных титров.

JSON and CSV

Ввод структурированного контента

JSON и CSV передают в видеопроцесс структурированную информацию о продуктах или контенте.

Интеграции

YouTube Data API

Процесс публикации отправляет отрендеренные видео и связанные с публикацией данные на YouTube.

YouTube

Подключение к YouTube поддерживает получение видео, расшифровки и процессы публикации.

Instagram

При наличии интеграции платформа может обмениваться мультимедийными данными и информацией об аккаунте с Instagram.

TikTok

Платформа может поддерживать процессы работы с контентом TikTok через подключение к TikTok API.

OpenAI

OpenAI получает запросы с текстом или сценарием и возвращает контент, сгенерированный ИИ, для производственного процесса.

FFmpeg

FFmpeg обрабатывает видео и аудио для рендеринга, конвертации форматов и встраивания титров.

Результат

Исходные материалы объединяются в одном производственном процессе

Экран ввода предоставляет производственной команде единое место для промптов, сценариев и мультимедийных материалов. Он принимает изображения, видео, аудио и исходные видеоматериалы до начала генерации.

Он объединяет исходные материалы для преобразования текста в видео и изображения в видео, включая контент, созданный на основе загруженного источника.

Как это работает

  1. Редактор промптов или сценариев хранит текстовые промпты и сценарии для генерации видео.
  2. Области загрузки принимают изображения, видео, аудио, исходные видеоматериалы и информацию о продуктах.
  3. Модули генерации создают видео из сценариев, анимируют изображения или импортируют существующие видео.
  • Текстовые промпты и сценарии
  • Изображения, аудио и загруженные видеоматериалы
  • Информация о продуктах или структурированный контент
Ввод промптов и материалов

Ввод промптов и материалов

Функции этого экрана
Генерация видео из сценариев Анимация изображений в видео Создание или импорт видео

Сцены и клипы остаются редактируемыми

Рабочее пространство сгенерированных видео объединяет предпросмотр, сцены и монтаж на временной шкале в одном месте. Сгенерированные изображения, клипы и сценарии отображаются рядом с длительностью и порядком сцен.

Перед рендерингом редакторы могут заменить клип или загрузить другой. Это же рабочее пространство поддерживает создание вариантов видео из исходного клипа.

Как это работает

  1. Предпросмотр видео показывает сгенерированный контент и текущий статус рендеринга.
  2. Список сцен и временная шкала хранят сгенерированные клипы, длительность и порядок сцен.
  3. Инструменты управления клипами заменяют или добавляют загруженные видеоматериалы в последовательность видео.
  • Сгенерированные изображения и видеоклипы
  • Порядок и длительность сцен
  • Замещающие клипы и варианты
Совет: Из одного исходного клипа можно создать несколько вариантов видео для разных результатов контента.
Рабочее пространство сгенерированных видео

Рабочее пространство сгенерированных видео

Функции этого экрана
Генерация изображений и видео с помощью ИИ Автоматизированное создание видео Генерация вариантов видео

Озвучка и субтитры подготавливаются вместе

Экран озвучки и субтитров обрабатывает озвучку, субтитры и доступность в одном месте. Выбор голоса, настройки тембра, темпа и громкости находятся рядом с настройками времени субтитров и аудиодорожками.

SRT-файлы можно редактировать или создавать, а субтитры - встраивать в финальное видео, если нужен видимый текст.

Как это работает

  1. Инструменты озвучки применяют выбор голоса, настройки тембра, темпа и громкости.
  2. Редактор субтитров и инструменты SRT хранят текст, время и результат субтитров.
  3. Микшер объединяет озвучку, фоновую музыку и другие аудиодорожки, а встроенные субтитры добавляют видимый текст.
  • Настройки озвучки
  • Текст и время субтитров
  • Результат субтитров SRT
Примечание: SRT используется для титров и субтитров в видеопроцессе.
Управление озвучкой и субтитрами

Управление озвучкой и субтитрами

Функции этого экрана
Добавление озвучки и субтитров Настройка параметров озвучки Создание субтитров Динамические субтитры Микширование фоновой музыки Поддержка субтитров

Отрендеренные версии переходят к доставке

Финальный экран объединяет рендеринг, экспорт и публикацию. Производственная команда получает информацию об отрендеренном видео, ссылки для скачивания и обмена, а также версии результата для социальных сетей.

Информация об использовании, статус публикации, история видео и журналы сохраняют данные о доставке вместе с отрендеренным результатом.

Как это работает

  1. Очередь рендеринга хранит отрендеренные видео и статус их обработки.
  2. Инструменты формата и разрешения создают экспортные версии для социальных сетей и прямые ссылки для скачивания.
  3. Инструменты публикации отправляют отрендеренное видео в процесс публикации и регистрируют его статус и историю.
  • Выбор формата и разрешения
  • Ссылки для скачивания и обмена
  • Статус публикации и история видео
Рендеринг, экспорт и публикация

Рендеринг, экспорт и публикация

Функции этого экрана
Автоматизированный рендеринг видео Экспорт видео для социальных сетей Загрузка видео на YouTube Автоматизированная публикация контента

Что обеспечивает решение

С помощью этого решения производственная компания может:

  • Создавать видео из промптов, сценариев, изображений, аудио, видеоматериалов и структурированного контента
  • Управлять сценами, клипами и монтажом на временной шкале в одном рабочем пространстве
  • Подготавливать озвучку, титры, субтитры и фоновую музыку
  • Рендерить версии в разных форматах и разрешениях
  • Скачивать, публиковать и распространять готовые видео
  • Расширять платформу с помощью API, квот, подписок и новых интеграций

Смогли бы готовые системы выполнить эту задачу?

До начала разработки задачу сравнили с готовыми продуктами на основе их собственных описаний.

Что нужно клиенту Генераторы видео с ИИ Simplified, AI Studios, Steve AI Платформы видеоконтента Goldcast, Vizard, Waymark Инструменты создания видео с ИИ Hippo Video, Colossyan Creator Индивидуальное решение
Генерация из разных исходных материалов частично частично
Подключение ИИ для текста, изображений, видео и голоса
Создание титров и озвучки
Монтаж сцен, рендеринг и экспорт
Соответствие правилам клиента: этапам, ролям и обзорам — — —
Все этапы в одном месте — —
Отсутствие ручных действий между программами частично частично частично

На основе публичных описаний продуктов и их категорий.

Готовые ИИ-продукты для видео охватывают важные части задачи, включая генерацию, монтаж, озвучку, субтитры и распространение. Готового продукта достаточно, если требуется только одна из этих частей.

Для этого клиента были важны полный производственный путь и собственные правила доступа, кредитов, хранения и публикации. Эти элементы не были описаны как единое индивидуальное рабочее пространство со всеми необходимыми автоматизированными этапами.

В заключение

В итоге решение было создано для сокращения ручной работы и повторной обработки на пути от исходных материалов до готового к публикации видео.

ЧАСТЫЕ ВОПРОСЫ

Думаете о создании похожей системы? Ознакомьтесь с ответами ниже, чтобы узнать, как ввод данных, ИИ-сервисы, монтаж, субтитры и публикация объединяются в одном продукте.

Нужно что-то похожее? Свяжитесь с нами
Или посмотрите другие проекты