DevOps 텍스트 교육

DevOps로 가설을 개선하고 실험과 학습을 중심으로 조직을 어떻게 강화하나요?

여러분이 구축해 온 일반적인 IT 조직에서는 제품과 기능이 원하는 비즈니스 성과를 내는지, 실제 사용자가 사용하기는 하는지 확인하지 않은 채 여러 버전을 릴리스하고 있을 가능성이 큽니다. 사업 모델이나 제품 및 기능 아이디어를 시험하는 가장 비효율적인 방법은 완전한 소프트웨어 제품과 서비스를 만든 뒤, 예상한 사업 수요가 있는지, 아이디어가 그 수요를 충족하는지 확인하는 것입니다.

완전한 제품과 서비스를 만들기 전에 다음과 같이 자문해야 합니다. ‘왜 이것을 구축해야 할까?”, “정말 시간과 자원을 들일 가치가 있을까?’ 아이디어, 제품, 기능이 원하는 비즈니스 성과를 내는지 검증하기 위해 가능한 한 빠르고 저렴한 실험을 설계하고 실행해야 합니다.

여러 기업용 제품군을 오랫동안 통계적으로 실험하고 측정한 결과, 적용된 전체 변경의 1/3만이 매출, 전환, 주문, 구독, 신규 고객 확보 같은 핵심 비즈니스 지표를 크게 개선할 수 있었습니다. 다시 말해 나머지 2/3는 개선이 없거나 미미했으며, 지표가 오히려 나빠지기도 했습니다. 이 2/3의 경우에는 가치를 더하지 않는 기능을 만들기보다 팀 전체에 휴가를 주는 편이 조직에 더 이로울 것입니다.

이 문제에 대처하려면 A/B 테스트로 사용자 조사를 합니다. 기능을 만들기 전에 결과를 시험하세요. 사용자 조사에서 얻은 피드백을 엔지니어링 과정에 통합하면 DevOps 방법론을 올바르게 적용하고, 만들 가치가 있는 것을 만들 수 있습니다. 실험하고 배우고 고객 피드백을 엔지니어링 수명 주기에 통합하는 속도가 빠를수록 시장에서 경쟁사를 앞설 가능성이 커집니다.

A/B 테스트는 우편을 이용한 직접 반응 마케팅에서 처음 인기를 얻었습니다. 마케팅 담당자는 문구, 색상, 레이아웃, 제목, 본문 등을 바꾼 여러 전단과 엽서를 시험해 더 좋은 성과와 판매를 내는 버전을 찾아냈습니다. 영국 정부도 시민의 체납 세금을 징수하는 데 가장 효과적인 편지를 찾으려고 A/B 테스트를 사용해 왔습니다. 이제 A/B 테스트는 마케팅 및 의사소통 요소를 시험하고, 어떤 아이디어, 제품, 기능이 효과가 있는지 확인하는 데 널리 쓰입니다.

DevOps 팀에서 A/B 테스트를 도입하려면 제품 기능의 여러 버전을 빠르고 쉽게 배포해 서로 다른 사용자 집단에 보여 줄 수 있어야 합니다. 충분한 텔레메트리와 비즈니스 계층 지표를 활용해 기능이 더 나은 결과를 내는지 파악합니다. 그렇다면 어느 버전의 성과가 가장 좋은지도 확인합니다.

예를 들어 DevOps 조직이 전자상거래 포털의 새 결제 흐름을 릴리스하려고 합니다. 이 흐름이 팀의 큰 신규 업무가 되기 전에는 더 나은 비즈니스 성과를 낼 것이라는 가설에 불과합니다. 가설을 조사하고 검증한 뒤에야 상당한 시간과 자원, 에너지를 쓰는 실제 프로젝트가 될 수 있습니다. 이 결제 흐름에 대한 팀의 첫 작업 패키지는 다음과 같습니다.

가설 검증: 저희는 새 결제 흐름이 다음 결과를 가져올 수 있다고 봅니다. 전환율 향상. 다음 조건을 확인하면 이 기능을 완전히 구축하고 제공할 확신을 얻습니다. 방문자의 1%에게 제시한 실험용 결제 흐름 버전 중 하나가 다음 7일 동안 매출을 최소 5% 늘리는 것입니다.

결론

본인과 DevOps 팀이 지금까지 배우고 본 모범 사례와 직감에만 의존하지 말고, 실제 환경에서 실제 사람이 실험에 참여하도록 하는 데 초점을 두세요.

DevOps 제품 책임자는 제품과 기능에 관한 아이디어를 검증해야 할 가설로 보아야 합니다. 합리적인 근거를 통해 좋은 아이디어로 판명된 뒤에야 포괄적으로 설계하고 구축하고 테스트할 수 있습니다.