データが実際に存在する場所私が関わったすべての企業が同じ壁にぶつかります。膨大な量のデータ。ウェアハウス、チケットシステム、PDF、古いメールアーカイブ。そのデータのほとんどは、AIが利用できる状態ではありません。経営陣は、ポリシーや製品仕様に関する質問に答えられるチャットボットを求めています。しかし、誰もデータがどこにあるのか、あるいはそれを準備する方法を知りません。より大きなモデルでは解決できません。それはデータエンジニアリングによって解決されます。 繰り返し現れるパターンリトリーバルレイヤーなしで、ファウンデーションモデルに直接接続されたチャットボット。それは記憶から回答し、具体的な情報を間違えます。 5つの異なるシステムに保存されているドキュメントで、どのシステムも同じように管理されていません。 起動時に一度だけ計算され、二度と更新されない埋め込み。 ソースドキュメントへの書き込み権限を持つ人が誰もチェックせずに構築されたRAGパイプライン。ギャップは決してモデルではありません。それは、モデルが質問を見る前に起こることです。