The Airbnb Tech Blog | Medium на русском
Подписаться
Проект «Маяк» — Часть 3: Представляем project-lighthouse-anonymize
Проект "Маяк" (Project Lighthouse), запущенный Airbnb в 2020 году в сотрудничестве с организациями по защите гражданских прав и конфиденциальности, направлен на измерение и смягчение потенциальных различий в пользовательском опыте на основе данных о предполагаемой расе, которые никогда не связываются с отдельными учетными записями. Эти данные используются только для измерения различий, и пользователи могут отказаться от их использования. Airbnb опубликовала в открытом доступе "project-lighthouse-anonymize" — библиотеку на Python, которая обеспечивает работу кода анонимизации, сохраняющего конфиденциальность, в рамках проекта. Наряду с выпуском кода были опубликованы две новые технические статьи, дополняющие оригинальную статью 2020 года. Статья 2020 года заложила основу подхода "конфиденциальность по замыслу", выбрав k-анонимность для предотвращения раскрытия конфиденциальных атрибутов. Первая новая статья, "Core Mondrian: Basic Mondrian beyond k-anonymity", подробно описывает масштабируемый алгоритм k-анонимности, который расширяет классический алгоритм Mondrian за счет расширяемой архитектуры, параллельной обработки и других усовершенствований для больших наборов данных. Вторая новая статья, "Measuring Data Quality for Project Lighthouse", представляет комплексную структуру для оценки качества анонимизированных данных, включая три основных метрики: корреляция Пирсона, пересмотренная метрика потери информации (RILM) и нормализованная взаимная информация v1 (NMIv1). Эта структура использует методологию эмпирической валидации, переосмысливая оценку качества данных как задачу классификации машинного обучения для прогнозирования того, когда анонимизированные данные дают статистически достоверные результаты. Библиотека предоставляет значения по умолчанию для этих метрик. Библиотека доступна на PyPI и GitHub, позволяя пользователям обеспечивать как k-анонимность, так и p-чувствительную k-анонимность посредством возмущений, с полным примером, использующим набор данных UCI Adult. Airbnb подчеркивает прозрачность своих методологий для построения доверия и поощрения аналогичных инициатив со стороны других компаний.