作者最初开发了一个名为 LogoMesh 的 GitHub App,旨在对拉取请求中的 Python 代码更改执行对抗性测试。该应用旨在通过生成对抗性输入并在强化的 Docker 沙盒中运行测试来识别错误。尽管该应用具有先进的功能和技术复杂性,但它遇到了重大问题。该应用在实际拉取请求上的静默率很高,并且许多报告的发现都是不相关的伪影。至关重要的是,该应用的性能缓慢,延迟很高,超出了预期的时间范围。这导致作者意识到一个根本性缺陷:在没有验证初始假设的情况下进行构建。作者在意识到真正的痛点不是预防未来的错误,而是处理现有的生产错误后,改变了他们的关注点。这一发现导致了一个更简单的解决方案:一个根据 Sentry URL 生成失败的 pytest,重现崩溃的工具。该工具利用了为 LogoMesh 开发的核心技术,例如 Docker 沙盒,但目的不同。目前,作者正在评估在修复生产错误之前创建重现测试是否是一个普遍问题。他们寻求验证,以确保他们正在解决一个真正的痛点,而不是在没有适当用户输入的情况下构建另一个工具。作者质疑他们是在解决一个真正的问题,还是仅仅在解决个人工作流程效率低下问题。
dev.to
I built 14,000 lines of code before talking to a single user. Here's what I learned.
Create attached notes ...
