DEV Community 日本語
フォロー
CaptionBot: あなたが何を売っているかを言う。WhatsAppキャプションを取得する。Hacktoberfest Weekend Challenge — 友達のために構築する
ナイジェリアの多くの小規模衣料品販売業者は、WhatsAppステータスを使用して商品を展示しています。このプロセスで最も手間のかかる部分は、各商品にユニークなキャプションを作成することです。このプロジェクト、CaptionBotは、このタスクを自動化することを目的としています。販売業者は、入力または音声で商品を説明でき、CaptionBotは投稿準備のできたWhatsAppキャプションを生成します。目標は、一般的なAIアシスタントではなく、特定の問題に対する小さく焦点を絞ったソリューションです。CaptionBotアプリケーションは軽量でPythonで実行され、キャプション生成のためにGemma 3 1Bをローカルで使用します。Chromeの音声入力により音声入力が可能になり、文字起こしエラーを修正するための前処理ステップがあります。Gemmaが言語を処理し、カスタムコードがルールを強制し、生成されたコンテンツを検証します。小さくローカルなモデルの選択は、販売業者のデータコストを最小限に抑えます。遭遇した大きな課題の1つは、モデルが入力で提供されなかった価格などの詳細をでっち上げたことでした。これは、プロンプト内の誤解を招く例が原因で発生しました。文字起こしエラーも問題を引き起こし、一部の単語が誤解されました。これらの問題は、プロンプトを洗練させ、誤解を招く例を削除し、価格などの重要な情報に対するコードレベルの検証を追加することで対処されました。このプロジェクトはオープンイノベーションを重視しており、モデルの動作とアプリケーションのロジックを直接制御できます。このアプローチは、ホストされたモデルに関連する使用ごとのAPIコストを回避します。次の重要なステップは、実際の販売業者とのユーザーテストを実施し、好み、言語処理、およびワークフローのその他の側面に関するフィードバックを収集することです。このフィードバックは、CaptionBotをユーザーによって真に設計されたツールへと形作ります。この賞のカテゴリーは、ローカルで実用的な問題解決のためにGemmaを革新的に使用したことを認識しています。