Первая работа, CIMemories, посвящена контекстной целостности постоянной памяти в больших языковых моделях (LLM). LLM все чаще сохраняют прошлые взаимодействия для улучшения пользовательского опыта и производительности за счет персонализации. Однако эта постоянная память может привести к рискам безопасности, если конфиденциальная информация будет раскрыта в неподходящих контекстах. Бенчмарк CIMemories был разработан для оценки того, насколько хорошо LLM управляют потоком информации из памяти на основе текущей задачи. Он использует синтетические профили пользователей с многочисленными атрибутами и различными сценариями задач. Эти сценарии определяют, является ли атрибут критически важным или неуместным для данной задачи. Передовые LLM демонстрируют значительные нарушения на уровне атрибутов, иногда до 69%. Часто более низкий уровень нарушений приводит к снижению полезности задачи. Эти нарушения могут накапливаться в течение нескольких задач и повторных запусков. Например, нарушения GPT-5 значительно увеличиваются с увеличением количества задач. Повторные идентичные запросы также приводят к произвольной и нестабильной утечке информации. Даже запросы, ориентированные на конфиденциальность, не решают эту проблему эффективно. Исследование подчеркивает необходимость развития у LLM контекстно-зависимых рассуждений для решения этой проблемы.