저자는 "유사분열(mitosis)"이라고 명명된 개념을 통해 여러 LLM을 함께 오케스트레이션하여 대규모 언어 모델을 개선하려고 시도했습니다. 이 접근 방식은 작업을 분할하고, LLM이 경쟁하도록 한 다음, 최상의 답변을 종합하는 것을 포함했습니다. 그러나 엄격한 테스트 결과 이 방법이 정확성을 악화시켜 통과율을 95%에서 83%로 감소시키는 동시에 비용을 크게 증가시키는 것으로 나타났습니다. 세 번의 독립적인 실험에서 이러한 부정적인 결과를 확인한 후, 저자는 실패한 기능을 삭제했습니다. 핵심 교훈은 피치에서 좋아 보이는 아이디어가 실제 측정에서 살아남지 못할 수 있다는 것입니다. 대신, 저자는 LLM 요청을 사전 처리하는 경량의 공급업체에 구애받지 않는 커널인 BIOMA를 개발하고 출시했습니다. BIOMA는 세 가지 핵심 메커니즘을 사용합니다. 토큰 사용량을 줄이기 위한 컨텍스트 "세포 사멸(apoptosis)"을 통한 효율성, 비밀 정보 삭제 및 홍수 탐지를 위한 "인지 방화벽(cognitive firewall)"을 통한 보안, 효율적인 신호 시스템을 통한 속도입니다. 효율성 메커니즘은 일반적으로 입력 토큰을 80% 줄이며 최대 97%까지 감소시킬 수 있습니다. 보안 기능은 레드팀 연습 중에 비밀 정보가 유출되는 것을 성공적으로 방지했습니다. BIOMA는 공급업체 종속 없이 모든 LLM 공급업체와 함께 작동하도록 설계되었습니다. 코드는 경쟁하지 않는 목적에 대한 무료 사용을 허용하는 라이선스에 따라 소스 사용 가능하며 2년 후 MIT로 전환됩니다. 저자는 모든 것을 측정하고 데이터로 검증된 것만 유지하는 것의 중요성을 강조하며, 이는 초기 프로젝트 목표를 폐기해야 하는 경우에도 마찬가지입니다.