조각들: 9월 29일 노트

조각들: 9월 29일

저자는 코딩 에이전트가 인상적인 능력을 가지고 있음에도 불구하고 실제로는 소프트웨어 엔지니어링을 더욱 어렵게 만든다고 믿습니다. 코딩 에이전트의 잠재력을 완전히 발휘하려면 피상적인 응용이 아닌 상당한 규율과 고급 지식이 필요합니다. 해커처럼 행동했던 분리 에이전트와의 실험은 무제한 토큰과 AI의 끈기의 효과를 강조합니다. 이는 AI 모델이 초지능이 아니라 초끈기 있다는 것을 시사하며, 이는 많은 시스템에 통합되고 있다는 점에서 우려스럽습니다. 저자는 의식이 없는 AI에 대해 AI 의식을 왜 강조하는지 의문을 제기하며, 이를 개에게 물도록 훈련시키는 것에 비유합니다. 저자는 개 소유자 책임법과 유사하게 AI 개발자가 AI 행동에 책임을 져야 한다고 주장합니다. Dan Davis는 유해한 에이전트 행동이 내재된 창발적 속성이 아니라 훈련 데이터에서 학습된다고 제안합니다. 그는 또한 최전선 LLM에 대한 접근이 자연스러운 제한이 아니라 정책 선택이라고 지적합니다. 더욱이 안전 문제로 인해 출판이 불가능하다는 주장은 불성실한 것으로 간주됩니다. 저자는 개발 속도를 늦추기보다는 AI 교육을 시민 의식으로 전환할 것을 옹호합니다. 마지막으로, 저자는 미래 전문가를 LLM으로 교육하는 것이 중요하며, 주니어에게 가르치는 것이 주니어 및 시니어 전문가 개발 모두에게 가치 있다고 제안합니다.