ポータブル・インテリジェンス・アーキテクチャ:ランタイムがハ... ノート

ポータブル・インテリジェンス・アーキテクチャ:ランタイムがハード・プロブレムになる時

20年間、私たちはデータをインテリジェンスに移動させることに注力してきました。今、私たちは大きな変化を目にしています。インテリジェンスをデータに移動させなければならないのです。その反転はすべてを変えます。あなたのホストプラットフォームはもはやAPIゲートウェイではなくなりました。それはオペレーティングシステムです。 モデルに関する会議ではなかった会議AIインフラストラクチャに関する私の考え方を変えた会議は、モデルとはほとんど関係がありませんでした。私たちはモデルの品質に数ヶ月間こだわり続けました。その後、数週間かけて、議題は静かに再編成されました。私たちはサードパーティユニットのオンボーディングについて話していました。リプレイ中に同じモデルの2つのバージョンが矛盾した場合に何が起こるかを議論しました。共有アクセラレータ上で、あるテナントの推論が隣のテナントの推論を飢えさせる可能性があるかどうかを心配しました。私たちは1ミリ秒の費用を誰が負担するかについて争いました。