개인 LLM을 운영하려면 다양한 개인 정보 보호 정의와 하드웨어 비용을 이해해야 합니다. 물리적 개인 정보 보호는 프롬프트가 제어된 머신을 절대 벗어나지 않음을 의미하며, 계약적 개인 정보 보호는 공급업체 계약에 의존합니다. 기술적 개인 정보 보호는 데이터를 암호화하여 운영자가 프롬프트를 볼 수 없도록 하는 하드웨어를 사용합니다.첫 번째 옵션인 자체 하드웨어의 로컬 LLM은 가장 높은 물리적 개인 정보 보호를 제공합니다. 그러나 강력한 GPU에 대한 상당한 초기 비용, 제한된 동시성 및 잠재적인 노후화가 수반됩니다. 이 설정은 꾸준한 워크로드를 가진 단일 사용자에게 이상적이지만 유지 관리에 지속적인 시간이 필요합니다.두 번째 옵션은 계약적 개인 정보 보호 보증이 있는 클라우드 공급업체를 포함합니다. 주요 클라우드 서비스는 교육을 위한 프롬프트 사용을 방지하고 데이터 보존 제로 구성을 허용하는 엔터프라이즈 계약을 제공합니다. 이 접근 방식은 서비스 수준 계약 및 확립된 법적 구제 수단이 필요한 대규모 조직에 적합합니다.세 번째 옵션인 개인 LLM 게이트웨이는 로컬과 클라우드 간의 균형을 제공합니다. 이러한 게이트웨이는 하드웨어 수준 개인 정보 보호를 위해 신뢰할 수 있는 실행 환경(TEE)을 사용합니다. 선불 비용 없이 종량제 가격을 제공하며 데이터 개인 정보 보호에 대한 하드웨어 검증을 허용합니다.게이트웨이는 로컬에서 기밀 모델을 실행하거나 최첨단 모델로 라우팅할 수 있지만, 후자는 원본 공급업체에서 여전히 볼 수 있습니다. 주요 과제는 공유 에이전트의 개인 메모리로 남아 있으며, 여기서 한 사용자의 데이터가 다른 사용자에게 노출될 수 있습니다. 연구에 따르면 개인 LLM을 사용하더라도 다중 사용자 시스템에서 상당한 개인 정보 침해가 발생합니다.공유 메모리 위험을 완화하려면 사용자별로 메모리 범위를 지정하고, 스토리지 계층에서 액세스를 적용하고, 민감한 데이터를 저장하기 전에 삭제하십시오. 모든 공유 메모리는 잠재적으로 공개적인 것으로 취급하십시오. 가장 저렴한 옵션은 볼륨에 따라 다르며, 기밀 계층은 사용량이 적을 때 비용 효율적이며, 감가상각 후 사용량이 많고 꾸준한 볼륨의 경우 자체 하드웨어가 더 저렴할 수 있습니다.궁극적으로 선택은 개인의 요구에 따라 달라집니다. 솔로 사용자는 로컬, SLA가 필요한 기업은 클라우드, 검증 가능한 개인 정보를 우선시하는 팀은 게이트웨이를 선택합니다. 어떤 경로를 선택하든 다중 사용자 액세스를 활성화하기 전에 공유 메모리 문제를 해결하십시오.