가장 흔한 실수는 너무 크게 시작하는 것입니다. 좋은 파일럿은 같은 질문에 답하기, 청구서 다시 입력하기, 요청 분류하기처럼 이미 매일 팀의 시간을 잡아먹는 프로세스 하나를 골라 어시스턴트 하나에게 맡깁니다.
- 현재 수행 방식 그대로 설명한 하나의 프로세스
- 테스트 세트: 정답이 포함된 실제 질문 또는 문서 20–50건
- 어시스턴트가 멈추고 사람이 결정하는 명확한 경계
- 단순한 하나의 지표: 올바르게 처리한 사례 수
프롬프트보다 테스트 세트가 더 중요합니다. 실제 사례로 어시스턴트를 검증하면 양측이 같은 결과를 보게 되므로, «잘 되는지» 추측할 필요가 없습니다.
파일럿 후에는 세 가지 선택지가 있습니다: 그대로 유지, 다음 프로세스로 확장, 또는 중단. 세 가지 모두 좋은 결과입니다. 약속이 아닌 사실에 근거해 결정하세요.