DEV Community на русском
Подписаться
Ленивая записка — пусть местная модель прочитает заметки, которые вы откладываете
Sloth Brief — это инструмент, предназначенный для сжатия накопленных текстовых заметок в краткие рабочие сводки с указанием источников, призванный сократить усилия по повторному чтению при возобновлении задач. Он работает с использованием локальных Hugging Face Transformers с Qwen2.5-0.5B-Instruct, устраняя необходимость в платных API, облачных загрузках или учетных записях для инференса. Первый запуск загружает веса модели, последующие инференсы используют локальный кэш. Воспроизводимая демонстрация демонстрирует его функциональность, обрабатывая синтетические заметки, такие как обзор документации или устранение сбоев импортера CSV. Вывод предоставляет сводки с указанием источников, как показано на примере вывода ЦП в демонстрации. Восемь автоматизированных тестов обеспечивают соблюдение ограничений ввода, форматирования вывода и ссылок на источники, хотя они и не гарантируют точность модели. Sloth Brief использует открыто доступные веса Qwen2.5-0.5B-Instruct с лицензией Apache-2.0, позволяя пользователям проверять приложение и заменять модель. Инструмент намеренно мал и способен работать на ЦП, суммируя за один запуск не более пяти заметок отдельно. Первая версия, которая запрашивала JSON, была доработана для создания одной краткой сводки на заметку, чтобы обеспечить детерминированное указание источника. Хотя указание источника точно, верность сводки исходной заметке не гарантируется, что требует проверки пользователем. Входные файлы остаются неизменными, а вывод генерируется как новый файл; ограничения по размеру и хэши источников помогают управлять рабочей нагрузкой. Модель не имеет прав на выполнение, что предотвращает выполнение вредоносных заметок с командами оболочки. Основное преимущество — это быстрый контрольный список для возобновления работы, хотя конкретных заявлений о производительности не делается. Проект был создан с помощью ИИ, а демонстрация модели работала локально на реальных открытых весах без использования данных клиента.