CaptionBot: Скажи, что ты прод... Заметка
DEV Community на русском

CaptionBot: Скажи, что ты продаешь. Получи подпись для WhatsApp. Выходные Hacktoberfest: Создай что-то для друга

Многие мелкие продавцы одежды в Нигерии используют WhatsApp Status для демонстрации своих товаров. Самой утомительной частью этого процесса является написание уникальной подписи для каждого товара. Этот проект, CaptionBot, призван автоматизировать эту задачу. Продавцы могут описывать свои товары, набирая текст или используя голос, а CaptionBot генерирует готовую к публикации подпись для WhatsApp. Цель — создать небольшое, сфокусированное решение для конкретной проблемы, а не универсального ИИ-ассистента.Приложение CaptionBot легкое и работает на Python, используя локально Gemma 3 1B для генерации подписей. Голосовой ввод Chrome позволяет вводить текст голосом, с предварительной обработкой для исправления ошибок транскрипции. Gemma обрабатывает язык, а пользовательский код обеспечивает соблюдение правил и проверку сгенерированного контента. Выбор небольшой локальной модели минимизирует затраты на данные для продавцов.Серьезной проблемой, с которой столкнулись, было то, что модель выдумывала детали, такие как цена, которые не были предоставлены во входных данных. Это произошло из-за вводящих в заблуждение примеров в подсказке. Ошибки транскрипции также представляли проблемы, поскольку некоторые слова были неверно истолкованы. Эти проблемы были решены путем уточнения подсказки, удаления вводящих в заблуждение примеров и добавления проверки на уровне кода для критически важной информации, такой как цены.Проект подчеркивает открытые инновации, позволяя напрямую контролировать поведение модели и логику приложения. Такой подход позволяет избежать затрат на API за каждое использование, связанных с размещенными моделями. Следующим важным шагом является тестирование с реальными продавцами для сбора отзывов о предпочтениях, обработке языка и других аспектах их рабочего процесса. Эти отзывы превратят CaptionBot в инструмент, действительно разработанный его пользователями. Категория приза отмечает инновационное использование Gemma для локального, практического решения проблем.