RSS Etsy Engineering | 코드는 예술입니다. - TheNote.app

RSS Etsy Engineering | 코드는 예술입니다.
팔로우

Etsy의 Codeascraft는 컴퓨터 프로그래밍과 전통적인 공예가 만나는 예술가 콜라보레이션입니다. 이 프로젝트는 유명한 프로그래머와 예술가들이 함께 만들어낸 다양한 디지털 예술작품을 테크 애호가들을 위한 기념품으로 변환합니다. 이러한 작품에는 바이너리 알고리즘의 인쇄된 표현이 있는 유리 촛불 홀더, 바이너리 숫자 목걸이, 유리 종이 무게에 갇힌 디지털 비트 초상화 등이 포함됩니다. Codeascraft는 기술과 공예 사이의 간격을 좁히는 데 초점을 맞추고 있습니다. 코드 애호가들을 위한 독특한 수집품을 제공합니다.

Etsy Engineering | Code as Craft etsy.com

RSS codeascraft.com

RSS Hunter • 2024년 8월 23일

노트 스레드

대조 강화 학습을 이용한 제품 이해 형성

Etsy의 마켓플레이스는 다양한 수제 및 독특한 제품을 특징으로 하며, 효과적인 검색 및 추천을 위해서는 미묘한 이해가 필요합니다. 현재의 제품 정보는 풍부하지만 종종 구조화되지 않아 머신러닝 모델이 완전히 활용하기 어렵습니다. 핵심 과제는 원시 데이터와 각 제품의 매력을 정의하는 복잡한 세부 정보 간의 격차를 해소하는 데 있습니다. 해결책은 강화 학습 접근 방식과 대조 신호를 사용하는 것을 포함합니다. 이 방법은 구매자 참여 데이터를 사용하여 차별화되는 특징을 강조하는 간결한 제품 요약을 생성하도록 LLM을 미세 조정합니다. 이는 구매자의 선택에 따라 세부 정보를 우선시하도록 모델을 훈련함으로써 달성되며, 관련성 예측을 개선합니다. 모델은 검색 상호 작용 데이터에 대해 훈련되며, 구매자가 다른 목록보다 특정 목록을 선택하게 만든 특징을 강조하는 요약에 보상을 제공합니다. 이러한 강화 학습은 검색 관련성 지표 개선으로 이어지는 요약을 생성하도록 모델을 유도합니다. 인간 평가 및 정량적 오프라인 테스트는 요약의 높은 품질과 다운스트림 모델에 미치는 영향, 성능 향상을 입증했습니다. 이 접근 방식은 판매자의 창의성을 반영하여 엄격한 정의가 아닌 구매자 행동에 기반한 제품 이해에 중점을 둡니다. 향상된 제품 이해는 궁극적으로 구매자가 자신의 취향에 맞는 제품을 발견하도록 도와 쇼핑 경험을 개선합니다. 결과적으로 간결한 요약은 유사한 제품 목록을 차별화하는 주요 특징을 강조합니다. 이 프로젝트는 단순히 키워드와 같은 텍스트 특징만을 사용하는 것에 비해 중요한 제품 세부 정보를 표면화하는 데 강력한 능력을 보여주었습니다.

Shaping Product Understanding with Contrastive Reinforcement Learning etsy.com

RSS Hunter • 5월 26일

광고의 효율성을 높이기: MMoE와 보조 작업을 사용하여 구매자와 판매자를 더 잘 연결시키기

에스티(Etsy)는 구매자 참여도와 판매자 가시성을 향상시키기 위해 광고 검색 순위 모델을 개선했습니다. 목표는 더 관련성이 높은 광고 목록을 표시함으로써 구매 의도를 더 잘 예측하는 것이었습니다. 이는 두 가지 주요 개선 사항을 통해 달성되었습니다. 멀티게이트 믹스처 오브 엑스퍼츠(Multigate Mixture of Experts, MMoE) 아키텍처를 통합하고, 장바구니에 추가를 보조 신호로 사용하는 것입니다.원래의 멀티태스크 모델은 클릭률(CTR)과 클릭 후 전환률(PCCVR)을 최적화했지만, 구매 여정의 후반부에서 데이터 희박성 문제를 겪었습니다. MMoE는 멀티태스크 학습에서 발생하는 "시소 현상"을 해결합니다. 여기서 하나의 태스크를 최적화하면 다른 태스크가 저하될 수 있습니다. MMoE는 전문가와 게이트를 도입하여 태스크가 고유한 패턴을 학습할 수 있으면서도 공유된 표현에서 이점을 얻을 수 있습니다.MMoE 아키텍처는 공유된 하위 계층과 전문가로 구성되어 있습니다. 여기서 전문가는 평행한 하위 네트워크로 다른 데이터 패턴을 학습합니다. 각 태스크에는 전문가 출력을 조합하는 방법을 제어하는 게이팅 네트워크가 있으며, CTR과 PCCVR 모두를 최적화합니다.MMoE를 조정하는 과정에는 전문가의 수, 크기, 유형을 실험하는 것이 포함되었습니다. 이질적인 전문가(DCN 및 MLP 기반)는 개선된 지표를 보여주었습니다. 그러나 전문가 사용과 전문화를 보장하는 것이 어려웠습니다.전문가 드롭아웃 및 온도 스케일링과 같은 정규화 기술을 사용하여 이러한 문제를 해결했습니다. 온도 스케일링은 전문가 선택의 확률 분포를 부드럽게 하여 전문가 사용과 전문화를 모두 촉진하는 데 더 효과적이었습니다.클릭과 구매 이외에도 에스티는 장바구니에 추가와 즐겨찾기와 같은 다른 사용자 상호작용의 가치를 인식했습니다. 이러한 동작은 높은 구매 의도를 나타내며, 구매보다 더 빈번하게 발생하여 모델에 더 강한 신호를 제공합니다.보조 태스크, 특히 장바구니에 추가를 도입하면 모델이 사용자 참여에 대한 더 일반화된 표현을 학습할 수 있습니다. 이는 더 빈번한 신호를 사용하여 희박한 구매 예측을 이점을 주어 궁극적으로 더 효과적인 순위 시스템을 만듭니다.

Making Ads Count: Using MMoE and Auxiliary Tasks to Better Connect Buyers & Sellers etsy.com

RSS Hunter • 3월 20일

Etsy의 데이터베이스 샤딩을 Vitess로 마이그레이션하기

2010년부터 Etsy의 데이터베이스 아키텍처는 자체 ORM으로 관리되는 샤딩된 MySQL 클러스터를 기반으로 했습니다. 수천 개의 샤드로 구성된 이 시스템은 수동적인 확장과 인덱스 데이터베이스의 단일 실패 지점이라는 문제에 직면했습니다. 인덱스 데이터베이스는 샤드 매핑을 저장하여 ORM이 쿼리를 효율적으로 라우팅하는 것을 방해하고 잠재적인 사이트 중단을 유발했습니다. 이러한 문제를 해결하기 위해 Etsy는 2018년에 오픈 소스 데이터베이스 확장 도구인 Vitess를 도입했습니다. 기존 샤딩 로직을 복제하기 위해 Vitess 내에 사용자 정의 vindex를 구현하여 전체 데이터 마이그레이션을 피했습니다. 여기에는 점진적인 전환을 위해 SQLite 조회 vindex 및 하이브리드 vindex를 생성하는 작업이 포함되었습니다. Vitess로의 마이그레이션은 위험을 최소화하고 쿼리 비호환성을 테스트하기 위해 테이블별로 점진적으로 수행되었습니다. 데이터베이스 트랜잭션 관련 문제로 인해 관련 테이블을 동시에 마이그레이션해야 했으며, 이는 상호 의존성을 강조했습니다. Vitess의 크로스 샤드 쿼리 기능은 성능을 크게 향상시켰지만, 스캐터 쿼리는 신중하게 관리되었습니다. 궁극적으로 Vitess 마이그레이션은 단일 실패 지점을 제거하고 개발자가 데이터에 쉽게 접근할 수 있도록 했으며, 사용자에게는 거의 눈에 띄지 않는 성능 향상을 제공했습니다. 또한 수동 확장을 크게 개선하고 새로운 Vitess 기능을 사용할 수 있게 했습니다.

Migrating Etsy’s database sharding to Vitess etsy.com

RSS Hunter • 3월 19일

Etsy가 LLM을 활용해 검색 관련성을 높이는 방법

Etsy의 검색 관련성 팀은 구매자가 원하는 것을 정확히 찾고 판매자가 해당 구매자에게 도달할 수 있도록 돕는 것을 목표로 합니다. 그들은 참여 신호 외에도 대규모 언어 모델(LLM)을 사용하여 검색 결과를 개선하기 위해 의미론적 관련성 프레임워크를 개발했습니다. 이 프레임워크는 인간이 큐레이션한 데이터와 LLM을 사용하여 관련, 부분 관련, 관련 없음 범주를 만듭니다. 시스템은 LLM 주석자, 교사 모델, 그리고 정확성과 속도 측면에서 서로 다른 트레이드오프를 가진 학생 모델을 활용합니다. 이 3단계 시스템은 관련 없는 목록을 필터링하고, 기능을 풍부하게 하며, 순위 가중치를 조정하여 검색을 개선합니다. 이 프레임워크는 완전히 배포되었으며, 완전 관련 목록의 비율이 증가했습니다. Etsy는 관련성 이해를 개선하고, 세분화된 레이블을 탐색하며, 주석 노력을 줄이고, 다단계 모델을 간소화하여 추가적인 개선을 계획하고 있습니다.

How Etsy Uses LLMs to Improve Search Relevance etsy.com

RSS Hunter • 1월 16일

예측된 제어 변수를 사용하여 실험 기간 단축

Etsy는 구매자와 판매자 경험을 개선하기 위해 온라인 실험을 활용합니다. 실험을 진행하는 데 몇 주가 걸릴 수 있으며, 이는 빠른 반복을 방해합니다. CUPED와 같은 분산 감소 기술은 실험 기간을 단축하는 데 도움이 됩니다. Etsy는 2021년에 처음 CUPED를 구현하여 적당한 분산 감소를 달성했습니다. 이후 Etsy는 CUPED를 기반으로 머신 러닝을 사용하여 결과 지표를 예측하는 CUPAC를 채택했습니다. CUPAC는 더 나은 예측을 위해 실험 전 데이터를 비선형 모델에서 사용합니다. 이는 실험 결과의 정확성과 속도를 향상시킵니다. Etsy는 CUPAC를 위해 100개 이상의 실험 전 특징을 사용하여 LightGBM 모델을 훈련합니다. CUPAC 구현은 분산 감소를 크게 증가시켰습니다. 이는 실험 기간을 평균 3일 단축하여 더 빈번한 테스트를 가능하게 했습니다. Etsy는 CUPED를 확장하고 추가적인 분산 감소 방법을 탐색할 계획입니다.

Reducing experiment duration with predicted control variates etsy.com

RSS Hunter • 2025년 11월 25일

LLM을 활용한 Etsy의 방대한 재고 이해

Etsy의 마켓플레이스는 수백만 개의 독특하고 수제 상품을 다양한 판매자로부터 제공하지만, 비정형 데이터 정리에 어려움을 겪고 있습니다. 기존의 상품 속성 추출 방식은 다양한 재고와 제한적인 정형 데이터로 인해 어려움을 겪었습니다. 대규모 언어 모델(LLM)은 비정형 상품 정보를 정형 데이터로 변환할 수 있는 새로운 기회를 제공했습니다. Etsy는 속성 추출 정확도를 향상시키기 위해 컨텍스트 엔지니어링에 초점을 맞춘 LLM을 활용하는 확장 가능한 파이프라인을 개발했습니다. 이 파이프라인은 판매자가 제공한 데이터, 전문가 예시, 그리고 Etsy의 분류 체계를 활용합니다. LLM 출력 평가는 '실버 라벨' 생성과 품질 관리를 위한 도메인 전문가 활용을 포함합니다. 추론 과정은 속성을 추출하고, 지역 라우팅을 위해 LiteLLM을 사용하며, 데이터 유효성 검사를 위해 Pydantic을 사용합니다. 강력한 모니터링 시스템은 파이프라인 상태와 모델 성능 지표를 추적합니다. LLM으로 생성된 속성을 검색 필터에 적용함으로써 구매자 참여와 전환율이 향상되었습니다. Etsy는 LLM의 활용을 확대하여 쇼핑 및 판매 경험을 더욱 개선하고자 합니다. 궁극적인 목표는 구매자와 판매자의 요구를 최대한 효율적으로 충족시키는 것입니다.

Understanding Etsy’s Vast Inventory with LLMs etsy.com

RSS Hunter • 2025년 10월 13일

실험자가 정의한 세분화를 통해 더 빠른 통찰력 확보

Etsy는 판매 증진을 위해 구매 시 무료 아이스크림 제공과 같은 아이디어를 실험을 통해 테스트합니다. 사용자 행동을 더 잘 이해하기 위해, 그들은 세분화를 사용하며, 이는 다양한 사용자 그룹을 기반으로 분석할 수 있게 해줍니다. 이전에는 Etsy 플랫폼에 미리 정의된 세분화가 제한되어 있어 심층적인 분석을 방해하고 통찰력 확보를 늦추었습니다. 팀은 실험자들이 자체 세그먼트를 정의할 수 있는 세분화 라이브러리를 개발했지만, 이는 느리고 복잡한 과정이었습니다. 이 새로운 접근 방식은 사용자가 SQL 쿼리와 조인 키를 사용하여 세분화를 생성할 수 있도록 하여 이해하고 공유하기 쉽게 만들었습니다. 배포 전에 이러한 사용자 지정 세분화는 정확성과 안전성을 보장하기 위해 검증 과정을 거칩니다. 데이터 파이프라인의 동적 작업 생성은 코드 변경 없이 새로운 세분화의 자동 처리를 가능하게 했습니다. 이러한 변화는 사용 가능한 세분화의 수를 크게 증가시켰습니다. 개선된 시스템은 더 빠르고 심층적인 통찰력을 제공하여 팀이 더 나은 데이터 기반 결정을 내릴 수 있도록 지원합니다. 전반적으로 이러한 변화는 Etsy의 실험 프로세스를 더욱 유연하고 효율적으로 만들었습니다.

Unlocking Faster Insights with Experimenter-Defined Segmentations etsy.com

RSS Hunter • 2025년 10월 8일

LLM을 활용한 Etsy 구매자 프로필 구축

"Etsy는 브라우징 및 구매 기록을 기반으로 상세하고 익명의 구매자 프로필을 만들기 위해 대규모 언어 모델(LLM)을 활용합니다. 이러한 프로필은 미묘한 관심사와 쇼핑 목적을 포착하여 플랫폼의 거의 9천만 명의 구매자에게 개인화를 강화합니다. 기술 구현에는 사용자 활동 데이터를 검색한 다음 LLM에 프롬프트를 사용하여 이 데이터를 해석하여 프로필을 생성하는 것이 포함됩니다. 이 프로세스를 확장 가능하고 비용 효율적으로 만들기 위해 Etsy는 데이터 소스를 최적화하고, 입력 토큰 볼륨을 줄이고, 배치 크기를 늘리고, 병렬 처리를 사용했습니다. 이러한 최적화는 구매자 프로필 생성 시간과 비용을 대폭 줄였습니다. 생성된 구매자 프로필은 쿼리 재작성 및 정제 알약(refinement pills)을 통해 검색 경험을 개인화하는 데 적용됩니다. 쿼리 재작성은 예측된 관심사로 사용자 검색을 풍부하게 하고, 정제 알약은 사용자 선호도를 기반으로 클릭 가능한 필터를 제공합니다. Etsy는 클릭률 및 전환율 증가와 같은 지표를 통해 이러한 개인화의 성공을 측정합니다. 또한 사용자 활동에 따라 동적으로 새로고침하고 관심사 드리프트(interest drift)를 감지하여 프로필 정확도를 유지합니다. 향후 작업에는 상속 프로필(inheritance profiles)을 실험하여 신규 사용자의 "콜드 스타트(cold start)" 문제를 해결하는 것이 포함됩니다. 궁극적으로 Etsy는 모든 쇼핑객을 위한 검색을 개선하고 보다 직관적인 검색 경험을 만드는 것을 목표로 합니다."

Building Etsy Buyer Profiles with LLMs etsy.com

RSS Hunter • 2025년 9월 3일

컨텍스트 엔지니어링 사례 연구: Etsy 특정 질문 답변

이 게시물은 Etsy의 AI 지원 온보딩을 위한 대규모 언어 모델(LLM)을 사용한 프롬프트 엔지니어링을 탐구합니다. 주요 초점은 LLM이 생성한 답변, 특히 Etsy 관련 질문에 대한 진실성과 신뢰성에 있습니다. 이 연구는 내부 여행 및 엔터테인먼트(T&E) 정책 질문과 외부 Etsy 판매자 커뮤니티 포럼 질문의 두 가지 사용 사례를 조사했습니다. T&E 정책의 경우 LLM은 약 86%의 질문에 올바르게 답변했지만, 나머지 14%는 사실 오류 또는 오해의 소지가 있는 진술("환각")을 포함하고 있었습니다. LLM에게 불확실성을 인정하거나 이유를 설명하도록 지시하는 것과 같은 기술은 이러한 환각을 완화하는 데 효과적이었습니다. Etsy 커뮤니티 포럼에서는 이질적인 데이터가 더 많아 LLM 정확도가 약 72%로 떨어졌습니다. LLM은 쿼리가 참조 문서의 문구와 밀접하게 일치할 때 더 나은 성능을 보였습니다. 또한 이 연구는 추가 맥락을 제공하더라도 특정 유형의 복잡한 질문을 해결하지 못하는 한계점도 강조했습니다. 소스 스니펫을 요청하는 것은 잠재적인 LLM 환각을 표시하는 방법으로 확인되었습니다. 전반적으로 프롬프트 엔지니어링은 유망하지만 온보딩 및 정보 검색에서 신뢰할 수 있는 AI 지원을 보장하기 위해서는 신중한 작성이 필요합니다.

Context engineering case studies: Etsy-specific question answering etsy.com

RSS Hunter • 2025년 8월 19일

"Etsy 안드로이드 앱에 Jetpack Compose 적용하기" 또는 "Etsy 안드로이드 앱의 Jetpack Compose 도입"

Etsy의 "장인정신을 다하다"라는 지침 원칙에 따라, Etsy는 안드로이드 앱 개발을 위한 선호 수단으로 네이티브 UI를 정의하는 최신 툴킷인 Jetpack Compose를 채택했습니다. 구조적인 접근 방식을 통해 Compose를 연구하고 구현했으며, 엔지니어들은 교육 과정을 만들고 정보 세션을 개최하여 팀에 교육했습니다. 디자인 시스템 팀은 내부 UI 툴킷 구성 요소의 Compose 버전을 만들어 주요 채택 전에 디자인 시스템을 완벽하게 구현했습니다. Compose의 기존 툴킷 구성 요소와의 상호 운용성을 통해 원활한 마이그레이션 경로를 확보했습니다. 팀은 Compose를 사용하여 전체 화면을 재구축하여 탐색 및 데이터 페치와 같은 더 넓은 범위의 문제에 직면했습니다. 성공적인 재작성 후, 복잡한 바닥 시트부터 시작하여 Compose를 실제 사용자에게 배포했습니다. 그런 다음 Shop 화면을 Compose를 사용하여 재구축하여 초기 화면 렌더링 시간을 5% 단축하고 사용자 상호 작용을 개선했습니다. Compose 채택은 또한 엔지니어들이 코드 줄 수 감소와 더 쉬운 테스트를 보고하면서 개발자 만족도를 향상시켰습니다. Compose와 Macramé 아키텍처의 조합은 앱 기능을 구축하는 표준 방식이 되었습니다. 전반적으로 Etsy의 Compose 채택은 학습 곡선과 과정 중 발생하는 어려움에도 불구하고 팀에게 기회와 효율성을 제공했습니다.

Adopting Jetpack Compose for Etsy's Android App etsy.com

RSS Hunter • 2025년 1월 27일

에티의 콘텐츠 모더레이션에서 머신 러닝

Etsy는 창의적인 기업가들을 힘차게 하는 시장에서 안전과 신뢰를 우선시합니다. 1억 개의 고유한 아이템과 700만 명의 활동 판매자들이 있는 Etsy는 정책을 적용하고 잠재적으로 위반되는 콘텐츠를 제거하는 데 전념하는 Trust & Safety 팀을 고용합니다. 탐지 기능을 개선하기 위해 Etsy는 기계 학습, 특히 감독 학습 모델을 사용하여 목록의 텍스트 및 이미지 신호를 다중 모달로 활용합니다. 모델 구조에는 텍스트 및 이미지 인코더가 포함되어 위반되지 않은 목록을 나타내는 중립 클래스도 있습니다. 데이터 불균형을 해결하기 위해 초점 손실을 사용합니다. 모델 평가에는 오프라인 훈련 및 프로덕션 배포를 통해 A/B 테스트가 포함됩니다. Etsy는 지속적으로 혁신적인 접근 방식을 사용하여 안전 조치를 개선하고 있습니다. 이를 통해 다른 탐지 방법을 보완하여 10만 개 이상의 위반이 확인되고 제거되었습니다. Etsy는 대규모 언어 모델을 포함하여 안전 조치를 향상시키는 데 혁신적인 접근 방식을 지속적으로 사용할 것입니다.

Machine Learning in Content Moderation at Etsy etsy.com

RSS Hunter • 2024년 8월 6일

클라우드 사용 예측, 모니터링 및 최적화 강화

에스티의 구글 클라우드 플랫폼으로의 이주는 조직 내부 및 외부에서 클라우드 가치 최적화를 추진하는 전용 FinOps 팀을 설립하게 했다.팀의 예측 방법론은 방문당 비용(CPV) 지표를 사용하여 지출 기준선을 설정하고 편차를 추적하고 확인하는 데 사용된다.CPV의 제한에도 불구하고, FinOps 팀은 내부 도구 및 경보를 사용하여 갑작스러운 폭증 또는 점진적인 성장을 감지하는 데 사용된다.정규적으로 재무 부서와의 협력은 실제 비용과 예측 사이의 정렬을 보장한다.비용 증가를 신속하게 확인하고 분석, 협력, 확인 및 문제 해결을 통해 완화시킨다.비용 최적화 이니셔티브는 FinOps 팀과 엔지니어링 팀 간의 협력을 포함하여 효율성 개선에 초점을 두고 있다.최근의 최적화 이니셔티브에는 GCS 스토리지 최적화, 컴퓨트 최적화, 모델 배포 자동화 증가, 네트워크 압축 등이 포함된다.FinOps 팀은 머신 러닝 플랫폼 지출에 대한 가시성을 개선하여 ROI 분석을 향상시키고 향후 최적화 기회를 확인하는 데 중점을 두고 있다.팀의 엔지니어링 내부 독립 운영 및 글로벌 최적화에 대한 초점은 성공적인 FinOps 실천을 이끌고 있다.에스티의 견고한 엔지니어링 문화는 효율성과 장인정신을 강조하여 FinOps 팀의 효율성을 높이는 데 기여하고 있다.

Enhancing Cloud Usage Forecasting, Monitoring & Optimizing etsy.com

RSS Hunter • 2024년 6월 17일

효율적인 시각적 표현 학습 및 평가

에스티(Etsy)는 시각 검색과 시각적으로 유사한 추천 기능과 같은 기능을 통해 컴퓨터 비전을 사용하여 사용자 경험을 향상시킵니다. 이러한 기능은 기계 학습 모델을 통해 얻은 효율적이고 표현력이 풍부한 시각적 표현이 필요합니다. 에스티는 초기에 EfficientNetB0을 사용했지만 더 효율적인 EfficientFormer-l3으로 전환했으며, 이는 더 나은 성능과 낮은 계산 요구 사항을 제공합니다. 효율성을 더욱 향상시키기 위해 에스티는 이러한 사전 학습된 백본을 미세 조정하고 다중 작업 학습을 사용하여 여러 분류 작업에 동시에 표현을 학습합니다. 평가 계획에는 모델 진행 상황을 추적하고 학습을 안내하는 세 가지 가장 가까운 이웃 검색 작업이 포함됩니다. 에스티는 또한 실험적 평가 계획을 구현했으며, 이는 텍스트 기반 쿼리와 클릭된 이미지 후보자 간의 격차를 메우는 생성적 인공지능을 활용합니다. 다운스트림 작업을 위한 효율적인 추론을 보장하기 위해 에스티는 메모리 소비와 지연 시간을 줄인 고품질 이미지를 생성하는 빠른 안정 확산 모델을 사용합니다. 이러한 기술을 사용하여 에스티는 다양한 응용 프로그램에서 효율적이고 확장 가능한 사용을 위해 시각적 표현을 최적화했습니다.

Efficient Visual Representation Learning And Evaluation etsy.com

RSS Hunter • 2024년 6월 7일

맥라메: Etsy 안드로이드 목록 화면의 노트 풀기

에스티 Android 앱의 목록 화면은 제품을 보여주는 데 있어 핵심적인 부분이었지만 코드 변경이 빠르게 진행되면서 복잡하고 유지하기 어려워졌습니다. 이를 해결하기 위해 팀은 "Macramé"라는 새로운 아키텍처를 구현했습니다. 이 아키텍처의 핵심은 불변의 State 개체로 데이터 모델을 나타내고, StateFlow를 통해 UI에 전달됩니다. 데이터 업데이트는 이벤트에 의해 처리되며 핸들러에서 처리하고 상태 또는 사이드 이펙트 업데이트를 처리합니다. ListAdapter와 RecyclerView는 비동기 UI 변경을 처리합니다. 단위 테스트 커버리지가 크게 증가하여 비즈니스 논리를 위한 간단한 핸들러의 사용을 확인했습니다. 일부 화면에서는 약간의 보일러플레이트와 복잡성이 있지만, 이 아키텍처는 코드 유지 가능성과 성능을 개선합니다. 콘텐츠 첫 번째 표시 시간이 18% 감소하여 사용자 참여도가 증가했습니다. Android 팀은 이제 Macramé의 사용을 다른 앱 화면, 예를 들어 카트와 샵 화면, Jetpack Compose로 작성된 곳으로 확장하고 있습니다.

Macramé: Untangling the Knot on the Etsy Android Listing Screen etsy.com

RSS Hunter • 2024년 3월 18일

Swift UI에서 Deals 탭을 어떻게 구축했는지

2023년 7월, Etsy의 앱 업데이트스 팀은 업데이트스 피드를 쿠폰 및 세일 허브인 Deals로 개편하는 프로젝트를 시작했습니다. 팀은 현대 기술인 Swift UI와 Tuist를 사용하여 새로운 탭을 완전히 새로 개발하는 것을 고려했습니다.ambition과 현실을 균형잡으면서, 팀은 하이브리드 접근 방식을 채택하여 Swift UI를 모듈식 개발 및 미리보기 가능성을 위해 사용하고, 네비게이션 및 기타 기능에 대한 기존 UIKit 코드베이스와 통합했습니다.Swift UI의 모듈식 구조는 뷰를 재사용 가능한 구성 요소로 나누어 빠른 개발 및 Tuist와 함께 효율적인 미리보기를 가능하게 했습니다.Decodable 모델을 사용하여 API 파싱을 분명하고 효율적으로 처리할 수 있었고, 뷰 구축 및 옵셔널 처리를 간소화했습니다.미리보기 열거형을 도입하여 복잡한 뷰에 대한 모의 데이터 생성을 간소화하여 API 지원이 완료되기 전에 모듈을 구축할 수 있었습니다.그러나 기존 코드베이스와의 통합은 특히 네비게이션 및 즐겨찾기와 같은 영역에서 어려움을 초래했습니다.이러한 문제를 해결하기 위해, 팀은 DealsAction이라는 사용자 정의 @Environment 구조를 생성하여 네비게이션 책임을 주요 대상으로 되돌려보냈고, Swift UI의 callAsFunction() 기능을 유지했습니다.환경 개체를 사용하여 다른 기능, 즉 상점 팔로우, 성능 지표 로깅 등도 구현했습니다.이 하이브리드 접근 방식은 현대 기술의 이점을 활용하면서 레거시 코드베이스의 제약을 존중하는 데 성공하여 사이버 위크 데드라인 전에 제품을 성공적으로 출시할 수 있었습니다.

How We Built The Deals Tab in Swift UI etsy.com

RSS Hunter • 2024년 3월 5일

뒷이야기 - 세금 계산의 한 눈치

증가하는 세금 의무에 따라, Etsy와 같은 마켓플레이스는 이제 구매자에게 세금을 수집하고 징수합니다. Etsy는 세금 계산을 위해 Vertex와 제휴하여 구매자와 판매자의 위치, 제품 카테고리 및 세금 규칙을 기반으로 합니다. 구매자가 장바구니에 항목을 추가할 때, Etsy는 Vertex의 견적 요청 API를 호출하여 세금 금액을 결정합니다. 주문을 생성할 때, Etsy는 주문 정보 및 세금 세부 사항을 Vertex에 보내는 DistributeTaxRequest API를 사용합니다. Etsy는 구매자에게서 세금을 수집하고 적절한 당국에 징수합니다. Vertex는 다양한 보고서 형식을 제공하며, Etsy는 이러한 보고서를 빅데이터 시스템에 가져옵니다. Etsy 제품 카테고리를 Vertex 세금 카테고리에 매핑하는 것은 엔지니어링, 세금 및 분석 팀 간의 협력이 필요했습니다. 증가하는 API 트래픽을 처리하기 위해, Etsy는 Vertex 호출을 위한 다중 인스턴스를 구현하고 체크아웃 경험을 모니터링하는 그림자 로깅을 추가했습니다. 이러한 업그레이드는 지연 없이 원활한 체크아웃을 보장했습니다. Etsy는 증가하는 트래픽 및 데이터 볼륨을 지원하는 설계를 지속적으로 개선하고 있으며, 향후 분석, 보고 및 구성 동기화를 해결할 계획입니다.

Behind the Scenes - A Glimpse to Tax Calculations etsy.com

RSS Hunter • 2024년 1월 3일

AR 측정 상자: Etsy의 Big 테이프 측정에 대한 답

Etsy의 향상된 AR 도구는 사용자가 구매하기 전에 물품의 크기와 규모를 공간에서 시각화할 수 있도록 허용합니다. 이 도구는 처음에는 벽 예술에만 제한되었지만 이제는 더 넓은 범위의 카테고리에서 사용자 지정 옵션을 지원합니다. 정확도를 개선하기 위해 Etsy는 판매자 제공 데이터에서 치수를 추출하는 강력한 치수 파싱 시스템을 개발했습니다. 이 데이터는 이제 서버에 저장되어 성능과 일관성을 향상시킵니다. AR 경험은 Apple의 SceneKit을 사용하여 물품을 나타내는 크기 조정된 직육면체를 생성합니다. 이 직육면체는 치수를 표시하고 상호작용적 회전 및 이동을 허용합니다. 새로운 iPhone 및 iPad의 LiDAR 스캐너에 의해 활성화되는 환경 Occlusion은 측정 상자가 실제 세계의 물체와 실제적으로 상호작용할 수 있도록 허용하여 사용자가 물품이 공간에 어떻게 맞을지에 대한 더 정확한 이해를 제공합니다. 향상된 치수 파싱 시스템, 3D 치수 및 환경 Occlusion이 결합하여 사용자 경험을 향상시키고, 고유하고 사용자 지정 가능한 물품을 구매할 때의 정보에 기반한 의사 결정을 지원하는 Etsy의 AR 도구를 가치 있는 자원으로 만들었습니다.

The AR Measuring Box: Etsy's answer to Big Tape Measure etsy.com

RSS Hunter • 2023년 9월 18일

실시간 ML 패러다임의 So-fine

에스티의 연례 코드 모자이크 해커톤은 상태 있는 머신 러닝 훈련 및 온라인 러닝 시스템 개발을 목표로 하는 대담한 프로젝트를 선보였다. 팀은 모델 가중치를 증분적으로 업데이트하여 비용을 절감하고 지표를 개선하는 것을 목표로 했다. 1일차에는 팀이 접근 방식을 계획하고, 실시간 훈련 데이터, 러닝 서비스, 평가에 초점을 맞춘 하위 팀으로 나누어졌다. 2일차에는 팀들이 계획을 구현하는 데에 초점을 맞추고, 데이터 형식화 및 모델 선택과 같은 도전 과제를 맞이하게 되었다. 평가 팀은 지속적으로 훈련된 모델과 일괄 훈련된 모델의 성능을 비교하는 경쟁을 제안했다. 3일차에는 발표와 시스템의 잠재적 영향을 논의하는 시간이 있었다. 특히 광고 모델만으로도 연간 약 212,000 달러의 비용 절감이 예상되는 등이었다. 팀은 시스템을 프로덕션화하는 데 필요한 인프라 및 품질 보증과 같은 장애물들을 인정했지만, 복잡한 ML 구조의 미래에 대한 낙관론을 표현했다.

The So-fine Real-time ML Paradigm etsy.com

RSS Hunter • 2023년 9월 5일

에스티 광고를 개인화하는 데 실시간 사용자 액션 활용

Etsy의 광고포머 다변화 개인화 모듈(ADPM)은 사용자의 1시간 세션 내에서 발생하는 시간적 및 콘텐츠 신호를 포착하여 랭킹 모델을 개인화합니다. ADPM 모듈은 세 가지 구성 요소로 구성되어 있습니다. 광고포머 인코더, 사전 훈련된 표현, 즉석에서 학습되는 표현입니다. 광고포머 인코더는 사용자의 세션에 대한 깊은 표현을 학습하는 수정된 트랜스포머 블록을 사용합니다. 사전 훈련된 표현은 오프라인에서 훈련된 항목 임베딩을 활용하고, 즉석에서 학습되는 표현은 다운스트림 모델에서 생성됩니다. 이러한 구성 요소들은 동적 사용자 표현을 생성하는 데 사용되며, 랭킹 모델에 통합됩니다. ADPM은 검색 쿼리, 즐겨찾기, 구매와 같은 사용자 액션을 인코딩하여 스폰서드 검색 결과의 관련성을 개선합니다. 세 가지 구성 요소를 결합하면 각 구성 요소를 독립적으로 사용하는 모델보다 성능이 향상되며 입력 분포 변화에 대한 견고성을 제공합니다. ADPM은 Etsy의 스폰서드 검색 시스템에 배포되어 오프라인 및 온라인 평가에서 상당한 성과를 달성했습니다.

Leveraging Real-Time User Actions to Personalize Etsy Ads etsy.com

RSS Hunter • 2023년 7월 14일

기계 학습 특성 시스템에서 시계열 데이터의 문제점

에스티(Etsy)의 기능 시스템 팀은 기계 학습 모델에서 타임스탬프 기능을 사용할 때 정밀도 오해로 인해 잠재적인 문제를 발견했습니다.이 문제는 타임스탬프 데이터 유형에서 비롯되었으며, 다른 프레임워크에서 다르게 해석되어 잠재적인 훈련/서비스 왜곡을 초래했습니다.이를 해결하기 위해 ML 전문가들은 타임스탬프 유형을 피하고 더 기본적인 숫자 유형, 즉 Longs를 사용하는 것을 권장했습니다.팀은 근본 원인을 조사하여 문제가 특정 버그를 넘어서 더 큰 문제를 나타내며, ML 전문가들이 타임스탬프 기능을 다루는 데 어려움을 겪고 있음을 발견했습니다.팀은 datetime 객체와 타임스탬프 유형의 복잡성이 특정 정밀도로 정수 표현만 필요로 하는 자신의 사용 사례에 불필요하다는 것을 깨달았습니다.아키텍처 워킹 그룹 회의에서, 모델 훈련과 추론 간 일관성을 보장하기 위해 datetime 기능을 원시 숫자 유형으로 표현하는 데 동의했습니다.팀은 모든 훈련 컨텍스트에서 일관성을 촉진하기 위해 더 일반적으로 원시 유형을 표준화하기로 결정했습니다.팀은 또한 고객이 기능 변환을 단순화하기 위해 문서화 개선을 필요로 한다는 것을 인식했습니다.이 사건은 소프트웨어 엔지니어링 관행을 ML 특정 요구 사항에 적용하는 데 잠재적인 도전을 강조했습니다.ML이 소프트웨어 시스템에 통합됨에 따라 이러한 종류의 세부 사항은 더 일반적이 될 것이며, 최선의 관행을 더욱 정교화할 필요가 있을 것입니다.에스티 팀의 경험은 ML 모델에서 타임스탬프 기능을 사용할 때 주의해야 할 사항을 보여주며, 일관성과 정확성을 보장하기 위해 원시 숫자 유형을 사용하는 것이 중요하다는 것을 강조합니다.

The Problem with Timeseries Data in Machine Learning Feature Systems etsy.com

RSS Hunter • 2023년 6월 23일

이미지 분류에서 멀티태스크 모델링까지: Etsy의 이미지 검색 기능 구축

에스티의 이미지 검색 기능은 사용자가 업로드한 사진과 유사한 항목을 검색할 수 있도록 합니다. 이 기능은 기계 학습 모델을 사용하여 이미지로 부터 숫자 표현을 추출하여 유사성 검색에 사용합니다.이 모델은 이미지 임베딩을 학습하기 위해 미리 학습된 합성곱 신경망(CNN)을 기반으로 하며, 항목 카테고리, 색상 및 속성과 같은 여러 분류 작업을 동시에 수행하는 다중 작업 학습 접근 방식을 사용하여 학습됩니다.고품질 제품 이미지를 사용하여 편향을 줄이기 위해, 모델은 사용자 제출 리뷰 사진 데이터 세트로도 학습됩니다.추론 파이프라인에는 검색 성능을 최적화하기 위해 역파일(IVF) 알고리즘을 사용하여 근사 최근접 이웃(ANN) 인덱스를 구축합니다.쿼리 사진은 실시간으로 GPU 추론 기술을 사용하여 빠른 응답 시간을 보장합니다.이미지 검색 기능은 에스티의 CodeMosaic 해커톤에서 처음 개발되었으며 이후 프로덕션 기능으로 구현되었습니다.이 기능은 구매자에게 새로운 검색 방법을 제공하여 에스티에서 고유하고 특별한 항목을 발견할 수 있도록 도와줍니다.모델의 아키텍처와 학습 목표는 시각적으로 일관된 결과를 생성하면서 카테고리 정확성을 유지하도록 최적화되었습니다.리뷰 사진을 학습 데이터 세트에 추가하면 모델이 사용자 제출 사진에서 관련 결과를 제공하는 능력이 크게 향상되었습니다.이 기능은 사용자로부터 좋은 반응을 얻었으며 에스티에서 구매자 참여도와 만족도를 높이는 데 기여했습니다.

From Image Classification to Multitask Modeling: Building Etsy’s Search by Image Feature etsy.com

RSS Hunter • 2023년 5월 26일

에티에서 추천을 위한 다중 태스크 표준 순위자를 어떻게 구축했는지

에스티(Etsy)는 사용자에게 관련된 항목을 제시하기 위해 추천 모듈을 사용하며, 각 모듈은 관련성에 따라 후보 항목을 점수를 매기는 랭커(ranker)로 구동됩니다. 전통적으로 에스티는 모듈별 랭커를 사용했지만, 모듈의 수가 증가함에 따라 이 접근 방식은 관리하기 어려워졌습니다.이를 해결하기 위해 에스티는 여러 모듈을 구동할 수 있는 표준 랭커(canonical ranker)를 개발했습니다. 이는 효율성과 일관성을 보장합니다. 첫 번째 표준 랭커는 방문 빈도를 중점으로 하며, 재방문에 대한 대리 변수로 즐겨찾기 비율을 사용했습니다.빈도 랭커의 모델 구조는 공유된 하위 구조(shared-bottom architecture)와 즐겨찾기 및 구매 예측을 위한 별도의 계층을 포함하며, 최종 랭킹 점수로 결합됩니다. 랭커는 또한 모듈 이름 특징과 모듈 간의 균형 잡힌 훈련 데이터를 통합하여 일반화 가능성을 보장합니다.한정된 모듈의 데이터로 훈련에도 불구하고, 표준 랭커는 훈련에 사용되지 않은 모듈에서 모듈별 랭커를 능가하여 표준 솔루션으로서의 효율성을 입증했습니다.빈도 랭커는 항목 페이지 및 홈페이지 모듈에서 즐겨찾기 비율을 개선했으며, 구매 지표 및 기타 참여 지표에서 상당한 개선이 있었습니다.출시 이후 에스티는 웹 및 앱 플랫폼에서 여러 모듈에 표준 랭커를 배포했습니다.앞으로 에스티는 빈도 랭커를 반복적으로 개선하며, 더 많은 컨텍스트를 통합하고 새로운 아키텍처를 탐색할 계획입니다.표준 랭커는 에스티의 추천 전략에 대한 변화를 나타내며, 플랫폼 및 모듈 간에 더 개인화된 추천과 일관된 사용자 경험을 제공합니다.

How We Built a Multi-Task Canonical Ranker for Recommendations at Etsy etsy.com

RSS Hunter • 2023년 4월 18일

바리스타: 머신 러닝 모델 배포에서 더 큰 유연성을 가능하게 함

기계 학습 (ML) 모델 배포는 실험에서 엄격한 엔지니어링 제약으로의 전환을 포함하여 유연성과 안정성 사이의 균형을 맞추는 데 어려움이 있습니다.Etsy의 ML 플랫폼 팀은 Kubernetes를 사용하여 모델 크기 조정 및 오케스트레이션을 처리하고, Barista가 모델 배포를 관리합니다.처음에는 모델 구성이 코드로 관리되어 엄격한 제어를 제공했지만 지연 및 병목 현상이 발생했습니다.이러한 문제를 해결하기 위해 구성이 분리되어 데이터베이스에 저장되었습니다. 이렇게 되면 CLI를 통해 즉시 변경할 수 있었습니다.그러나 CLI는 기술적 지식이 필요했으므로 모델 관리를 위한 사용자 친화적 웹 인터페이스를 개발하게 되었습니다.Barista 웹 인터페이스는 배포에 대한 포괄적인 제어를 제공하고 다양한 API와 통합하며 배포 프로세스를 간소화합니다.증가하는 모델 배포 속도는 비용 및 잘못된 구성에 대한 우려를 초래하여 사용되지 않는 배포를 자동으로 크기 조정하는 Kube Downscaler를 구현하게 되었습니다.기본적인 기술 요구 사항을 충족하는 데 초점을 맞추는 것에서 완전한 제품을 구축하여 ML 사용자를 강화하는 데로 초점이 이동했습니다.현재의 노력은 서비스의 일관성 및 자동화를 향상시키는 데 초점을 맞추고 있습니다. 이를 통해 인프라 설정을 최적화하고 클라우드 비용을 추가로 줄이려 합니다.ML 실천이 확장됨에 따라 플랫폼은 팀의 증가하는 요구 사항을 충족하는 데 지속적으로 진화해야 합니다.

Barista: Enabling Greater Flexibility in Machine Learning Model Deployment etsy.com

RSS Hunter • 2023년 4월 14일

Etsy의 코드형 문서

Docs-as-code는 개발에서 문서를 통합하여 코드와 동일한 도구 및 절차를 사용합니다. 버전 관리, 평문 마크업 및 자동화에 중점을 두어 문서 관리를 개선합니다.Etsy의 Docsbuilder 도구는 문서 작성 및 유지에 Markdown, Docusaurus 및 GitOps 워크플로우를 사용합니다.Docsbuilder는 Google Cloud Build 및 통합 테스트와 함께 사이트 생성, 검증 및 배포를 자동화합니다.Docsbuilder는 검색 엔진 및 자주 사용되는 사이트에 대한 탐색 구성 요소를 통해 검색 가능성을 향상시킵니다.Etsy는 현재 Docsbuilder 사이트 150개에 6.2k 페이지 이상을 호스팅하고 있습니다.Docs-as-code의 목표는 문서의 품질, 효율성 및 신뢰성을 향상시키는 것입니다.주요 원칙은 문서를 1급 시민으로 대우하는 것, Git에서 버전 관리, 평문 형식 사용 및 워크플로우 자동화입니다.Docs-as-code는 개발자가 문서를 코딩과 동일한 엄격도로 접근하도록 장려합니다.Etsy는 Docsbuilder 내에서 검색 가능성, 탐색 및 콘텐츠 참여도를 향상시키고 있습니다.Docs-as-code는 문서와 코딩 간의 균형 있는 접근 방식을 장려하여 조직화되고 유지 가능한 문서를 생성합니다.

Docs-as-code at Etsy etsy.com

RSS Hunter • 2023년 4월 13일

에스티 Payments를 Vitess와 함께 확장하는 방법: 3부 – Cutover 위험 감소

Etsy Payments는 23개의 테이블에 걸쳐 40억 행을 Vitess 관리 샤딩 환경으로 이동했습니다. 이 문서는 컷오버 중 발생할 수 있는 오류에 초점을 맞추고 있습니다.Vitess의 트랜잭션 모드를 이해하는 것은 중요합니다. 싱글 모드는 원자성을 유지하지만 멀티 모드는 부분 커밋을 초래할 수 있습니다. 2단계 커밋 모드는 실험적이고 추천되지 않습니다.역방향 VReplication은 컷오버 후 언샤딩 및 샤딩 키스페이스 간의 데이터 동기화를 보장합니다. 고유 키 적용으로 인해 깨질 수 있으므로 행 삭제 또는 수동 Pos 열 업데이트와 같은 수정이 필요할 수 있습니다.산란 쿼리(WHERE 절에 샤딩 키가 생략된 쿼리)는 쿼리 볼륨이 과도하게 증가하고 가용성 문제를 초래할 수 있습니다. Vitess는 이제 이러한 쿼리를 방지하는 --no_scatter 플래그를 제공합니다.호환되지 않는 쿼리는 컷오버 후 실패할 수 있습니다. 개발 환경에서 철저한 테스트가 이러한 쿼리를 확인하고 해결하는 데 필수적입니다.다른 잠재적 오류로는 Vitess의 최신 버전으로 업그레이드하여 해결할 수 있는 지원되지 않는 SQL 구조와 관련된 오류가 있습니다.이러한 위험에도 불구하고 컷오버는 일반적으로 되돌릴 수 있습니다. 그러나 그러한 중단의 영향을 신중하게 고려해야 합니다.

Scaling Etsy Payments with Vitess: Part 3 – Reducing Cutover Risk etsy.com

RSS Hunter • 2023년 2월 22일

에스티 결제 시스템을 비테스(Vitess)로 확장하기: 2부 - '무결점' 마이그레이션

Etsy는 40억 행을 언샤딩된 데이터베이스에서 Vitess가 관리하는 샤딩된 환경으로 마이그레이션했습니다.이 마이그레이션에는 데이터 재배포, 완전성 확인 및 읽기/쓰기 전환 작업이 포함되었습니다.스테이징은 프로세스에 대한 테스트 및 신뢰 구축에 있어 중요했습니다.VReplication은 부드러운 읽기/쓰기 전환 및 데이터 일관성을 가능하게 했습니다.예상치 못한 쿼리 볼륨 증가를 CreateLookupVindex를 사용하여 처리하여 산란 쿼리를 방지했습니다.마이그레이션 중에 샤드 식별을 최적화하는 데 사용되는 보조 Vindexes가 적용되었습니다.Vindex 유지 제한으로 인해 Vindexes를 외부화한 후 쓰기 작업을 원래 소스로 되돌렸습니다.Vindexes를 외부화한 후 로드 처리를 위해 대상 클러스터 사양을 업그레이드했습니다. 광범위한 테스트 및 주의 깊은 계획 덕분에 마이그레이션은 중단이나 다운타임 없이 완료되었습니다.이 것은 Vitess와 함께 Etsy의 지불 데이터를 샤딩하는 시리즈의 2부입니다.

Scaling Etsy Payments with Vitess: Part 2 – The “Seamless” Migration etsy.com

RSS Hunter • 2023년 2월 22일

에스티의 지불을 Vitess와 함께 확장하는 방법: 1부 – 데이터 모델

2020년에 Etsy의 지불 데이터베이스는 확장성 문제를 겪어 Vitess가 관리하는 샤딩 환경으로 마이그레이션해야 했다.이 프로젝트는 4개의 데이터베이스에서 40억 행을 Vitess vindexes를 사용하여 샤딩하는 단일 샤딩 환경으로 이동하는 것을 포함했다.첫 번째 단계는 판매자 대장 인프라스트럭처를 마이그레이션하는 것이었다. 이는 샤딩에 적합한 이상적인 데이터 모델을 가지고 있었다.두 번째 단계는 주요 지불 데이터베이스의 부하를 줄이는 데 초점을 맞추었다. 이는 더 맞춤화된 접근 방식을 요구하는 복잡한 데이터 모델을 가지고 있었다.두 번째 단계에서 고려된 두 가지 옵션은 다음과 같다: 핵심 데이터 모델을 재구성하거나 기존 모델 내에서 샤딩기를 찾는 것이다.시간 제약과 신뢰성 유지의 중요성으로 인해 후자 옵션이 선택되었다.팀은 기존의 기본 및 외래 키를 샤딩기로 사용하여 첫 번째 단계보다 작업량을 줄였다.Vitess의 재샤딩 기능은 향후 샤드 설계에 대한 조정의 유연성을 제공한다.Vitess의 보조 인덱스는 비이상적인 데이터 모델의 제한을 완화하여 쿼리에서 샤딩기를 사용하지 않고도 샤드 대상 지정이 가능하다.이 마이그레이션은 확장성을 60% 개선하고 향후 성장에 대한 여유를 제공했다.

Scaling Etsy Payments with Vitess: Part 1 – The Data Model etsy.com

RSS Hunter • 2023년 2월 22일

에스티의 카프카 클러스터에 지역 중복성을 추가하는 방법: 2부

처음에는 Kafka 브로커의 플랫폼 업그레이드가 지루하고 시간이 걸리는 작업이었으며, 수 시간 동안 수동적으로 모니터링하고 기다려야 했다. 이를 개선하기 위해 다중 존 아키텍처를 구현했는데, 이는 여러 브로커가 동시에 업데이트될 수 있도록 허용하여 가용성을 영향을 주지 않았다. 그러나 Kubernetes의 기본 롤링 업데이트 전략은 복제본의 존 분포로 인해 적합하지 않았다.커스텀 논리를 개발하여 업데이트를 제어할 수 있도록 했다. 이렇게 하면 존 내부의 여러 브로커가 동시에 다시 시작할 수 있었다. 이를 Kubernetes 배치 작업으로 구현하여 안정성을 보장하고 실수로 인한 배포 문제를 방지했다.프로덕션에서 테스트한 결과, 3개의 병렬 처리를 사용할 때 업그레이드를 약 2시간 내에 완료할 수 있었다. 존 내부의 모든 브로커를 동시에 다시 시작하는 것은 기술적으로 가능했지만, 남아 있는 브로커에 대한 부하를 증가시키는 것을 방지하기 위해 피했다.다중 존 아키텍처와 커스텀 업데이트 논리는 업그레이드 시간을 7시간에서 약 2시간으로 줄였다. 이 개선은 업그레이드 시간을 단축하는 것 외에도 업그레이드 중 발생하는 노동과 스트레스를 줄였다.새로운 프로세스는 Kafka 클러스터에 대한 업그레이드를 빠르고 효율적으로 수행할 수 있도록 보장했으며 업그레이드 중 최소한의 영향을 주었다. 프로젝트의 성공은 업그레이드 기간의 단축 뿐 아니라 업그레이드 중 느끼는 편안함과 마음의 평화도 포함되었다.

Adding Zonal Resiliency to Etsy’s Kafka Cluster: Part 2 etsy.com

RSS Hunter • 2023년 2월 9일

에스티의 카프카 클러스터에 지역 복원력을 추가하는 방법: 1부

2018년 에스티(Etsy)는 카프카(Kafka) 브로커를 구글 클라우드 플랫폼(Google Cloud Platform)의 쿠버네티스 엔진(Kubernetes Engine)으로 이전했습니다. 초기에는 단일 존에서 운영되었습니다. 그러나 나중에 팀은 존 내구성을 위해 아키텍처를 재설계하여 여러 존에 브로커를 분산하고 파티션 복제본을 균등하게 분배했습니다.무중단 마이그레이션을 달성하기 위해, 디스크를 스냅샷으로 만들고 올바른 존에 다시 생성하여 브로커를 이동했습니다. 파티션 재배치는 데이터 이동과 영향을 최소화하기 위해 스크립트와 도구를 사용하여 수동으로 처리했습니다.생산 환경에서 마이그레이션 후 테스트는 다중 존 설계의 효과를 입증했으며, 존 중단 시 최소한의 중단이 발생했습니다. 예상대로 존 간 네트워크 비용이 증가했지만, 자동 존 내구성의 이점이 비용을 상회했습니다.팀은 카프카의 팔로워 페칭 기능을 활용하여 비용을 최적화하고 추가적인 접근 방식을 탐색하여 존 간 트래픽을 줄이기 위해 노력하고 있습니다. 비용이 증가했지만, 존 내구성의 이점은 투자에 대한 정당성을 제공합니다.마이그레이션에는 디스크 및 파드 이동, 파티션 재배치 및 구성 조정이 포함된 복잡한 단계가 포함되었습니다. 팀의 신중한 계획과 실행으로 무중단 및 데이터 무결성을 보장했습니다.에스티의 경험은 중요한 서비스에 내구성을 설계하는 것의 중요성을 강조합니다. 존 내구성을 채택함으로써, 팀은 단일 존 실패와 관련된 위험을 완화하고 카프카 클러스터의 안정성과 가용성을 개선했습니다.다중 존 아키텍처는 에스티가 검색 인덱싱과 같은 중요한 사용자 중심 기능을 포함한 생산 트래픽 증가를 신뢰할 수 있게 합니다.회사의 비용 최적화 노력은 내구성과 재정적 고려 사이의 균형을 맞추는 데 대한 헌신을 보여줍니다.이 사례 연구는 다중 존 클라우드 환경에서 고가용성 카프카 클러스터를 마이그레이션하고 운영하는 데 관련된 도전과 전략에 대한 귀중한 통찰력을 제공합니다.

Adding Zonal Resiliency to Etsy’s Kafka Cluster: Part 1 etsy.com

RSS Hunter • 2023년 1월 31일

에스티의 ML 플랫폼에서 딥 러닝 지원 개선

에티의 Search Ranking 팀은 딥 러닝 랭킹 모델을 대규모로 제공하는 데 있어 높은 지연 시간과 계산 비용 등의 문제를 직면했습니다. 이를 해결하기 위해, 팀은 모델 개발 중 초기 지연 피드백을 제공하는 도구인 Caliper를 개발했습니다. 추론 구성 요소를 분리하여 Caliper는 배치 크기와 같은 매개변수의 효율적인 튜닝을 허용합니다. 또한 분산 추적 및 Envoy 액세스 로그를 통해 더 나은 관찰 가능성을 확보하여 기능 전송에서 병목 현상을 확인할 수 있었습니다. 압축 기술을 활용하여 페이로드 크기를 크게 줄이는 데 성공하여 오류율이 68% 감소하고 p99 지연이 50ms 줄었습니다. 향후 복잡성을 대비하여 팀은 추가 페이로드 크기 최적화 및 Caliper의 자동 성능 튜닝 개선에 대한 탐색을 진행하고 있습니다. 이러한 발전은 Search Ranking 팀이 에티 사용자에게 빠르고 정확한 검색 결과를 제공하는 데 있어 딥 러닝 모델을 대규모로 제공할 수 있도록 강화했습니다.

Improving Support for Deep Learning in Etsy's ML Platform etsy.com

RSS Hunter • 2023년 1월 26일