使用 Python 和 JSON-LD 构建通用房产列表抓取器
本文介绍了一款房地产列表抓取器,旨在从房地产网站中提取结构化数据。其解决的核心问题是不同平台(如 Zillow 和 Rightmove)数据格式不一致,导致定制解析器难以实施。该抓取器采用多层提取策略以增强鲁棒性:优先使用 JSON-LD,在可用时获取干净、机器可读的数据;若 JSON-LD 缺失,则回退至常用于社交分享的 OpenGraph 元标签;作为最后手段,利用正则表达式在页面文本中识别价格和房产详情等模式。提取的数据包含关键字段,如价格、货币、房产类型、卧室/卫生间数量、面积、地址组件、坐标及图片。该抓取器还能智能处理单个房产 URL 和搜索结果页,后者可并发抓取多个列表。它已在 Apify Store 和 RapidAPI 上架,提供按事件计费的实惠定价。潜在应用场景包括市场分析、线索生成、价格监控和投资研究。最终,该工具通过统一 disparate 的房地产网站结构,简化了数据提取流程。