RSS Dropbox Tech Blog Заметка

RSS Dropbox Tech Blog

Сайт Dropbox Tech - это платформа, на которой Dropbox делится своими технологическими и инженерными историями, знаниями и инновациями. На сайте представлены статьи и записи в блогах инженеров и разработчиков Dropbox, охватывающие широкий спектр тем, таких как разработка программного обеспечения, хранение данных, безопасность и многое другое. Сайт разделен на несколько разделов, включая блог, подкаст и раздел для проектов с открытым исходным кодом. В блоге публикуются подробные статьи на различные технические темы, в том числе о том, как Dropbox подходит к решению определенных технических задач, о новых технологиях и инструментах, а также об уроках, извлеченных из прошлых проектов. В разделе подкастов вы найдете беседы с инженерами Dropbox и другими экспертами отрасли, в которых обсуждаются такие темы, как технологические тенденции, инновации и будущее разработки программного обеспечения. В разделе "Открытый исходный код" представлены проекты Dropbox с открытым исходным кодом, которые доступны на GitHub. Эти проекты включают в себя инструменты и библиотеки, разработанные инженерами Dropbox для решения конкретных проблем или улучшения определенных процессов. В целом, сайт Dropbox Tech - это ценный ресурс для разработчиков, инженеров и всех, кто интересуется технологиями и разработкой программного обеспечения. Он позволяет заглянуть во внутреннюю жизнь успешной технологической компании и предлагает знания, которые можно применить в различных областях технологической индустрии.

Трэд заметок

Статья обсуждает реализацию Dropbox модели машинного обучения, предназначенной для выявления форматов дат в именах файлов, что улучшает организацию и поиск файлов. Эффективное именование файлов является ключевым для командной работы, и функция автоматического именования файлов Dropbox позволяет пользователям устанавливать правила для имен файлов, обеспечивая единообразие и эффективность. Сначала Dropbox попробовал подход, основанный на правилах, для идентификации дат, но столкнулся с трудностями из-за разнообразия форматов дат, используемых разными людьми. Это привело к разработке модели машинного обучения, которая точно распознает даты в именах файлов. Модель прошла несколько этапов, включая аннотацию данных, токенизацию и классификацию, используя техники, такие как тегирование IOB (Inside-Outside-Beginning), чтобы маркировать компоненты дат. Модель машинного обучения, основанная на архитектуре трансформера (именно DistilRoberta), показала значительное улучшение по сравнению с предыдущей системой, основанной на правилах, увеличив количество переименованных файлов на 40%. Чтобы оптимизировать производительность, Dropbox реализовал техники, такие как обрезка модели и квантование, успешно уменьшив задержку во время вывода. После запуска в августе 2022 года функция стала популярной, и более миллиона файлов были переименованы вскоре после запуска. В будущем могут быть добавлены улучшения, включая извлечение дополнительных сущностей помимо дат, использование болееadvanced моделей для еще большей точности в именах файлов.