같은 통계, 다른 판단 — 클로드 웹과 클로드 코드의 차이

어제 틈틈일기 앱의 통계 분석에 클로드를 활용해본 글을 올렸는데, 오늘도 클로드와 틈틈일기 앱 통계를 분석을 해봤습니다.

 

개발자가 통계와 친해지는 법 (feat. 클로드)

https://freewriting2024.tistory.com/30 

 

틈틈일기 앱 통계분석은 스크린샷이나 첨부파일 추가가 편한 클로드 웹에서 진행했습니다. 클로드 웹이 요청한 측정 지표를 모두 추가해 최근 일주일치 구글 애즈 캠페인 통계를 넘겼더니, 정확한 판단을 하려면 파이어베이스, 구글 애널리틱스, 애드몹 통계도 필요하다며 추가 자료를 요구하더군요. 요구한 통계를 모두 찾아 제공하니 그제서야 충분하다며 분석 결과를 내놓았습니다.

 

클로드 웹의 1차 판단

클로드 웹이 구글 애즈 광고비 대비 애드몹 수익을 비교해 비용 효율을 짚어주었습니다. 지금 당장 손볼 것은 구글 애즈 광고 최적화가 아니라 사용자 행동 분석이라는 판단이었습니다. 설치 후 일기를 꾸준히 쓰는 사용자가 적은 게 진짜 문제이니, 사용자 행동을 파악할 이벤트 항목을 더 늘려 일주일 돌려본 뒤 개선 방향을 잡자고 제안했습니다. 다만 효과 없는 iOS 구글 애즈 비용은 지금 당장 조정하라고 했고요.

 

클로드 코드의 2차 판단

여기서 흥미로운 일이 일어났습니다. 클로드 웹에게 받은 통계 수치와 개선 방향 문서를 클로드 코드에 넘기고, 분석 후 어떤 조치가 필요한지 알려달라고 했습니다. 그동안 틈틈일기 앱 코드를 직접 수정해왔던 클로드 코드는 조금 다른 결론을 내놓았습니다. 이벤트 항목을 늘려 사용자 행동을 파악하자는 점은 같았지만, iOS 광고비는 일주일 더 지켜본 뒤 조정 여부를 결정하자는 의견이었습니다.

 

왜 결론이 갈렸을까

같은 통계 데이터를 보고 두 도구의 판단이 달라진 이유를 생각해보니, 결국 보고 있는 것이 달랐던 것 같습니다. 클로드 웹은 제가 정리해 넘긴 통계만 보고 판단했지만, 클로드 코드는 실제 앱 코드를 열어 현재 측정 중인 이벤트가 얼마나 부실한지 알고 있었습니다. "이 상태의 데이터로 광고비를 당장 조정하는 건 근거가 약하다"는 판단이 가능했던 거죠.

통계 분석에 AI를 쓸 때, 통계만 던지는 것과 코드 맥락까지 함께 보여주는 것의 차이를 체감한 경험이었습니다.