낙찰 사례는 그렇게 많은데, 전체 추천 성적표는 왜 보기 어렵습니까

입찰분석 사이트를 고를 때 성공 사례부터 보는 분들이 많을 겁니다. 업체명, 공고명, 낙찰금액까지 붙어 있으면 구체적이라 믿음도 갑니다. 그런데 그 화면에서 빠져 있으면 안 되는 숫자가 하나 있습니다.

총 몇 번 추천해서 그 결과가 나왔는지입니다.

낙찰 사례가 거짓이라는 이야기를 하려는 게 아닙니다. 사례가 전부 사실이어도, 그것만으로 분석 서비스의 실력이 증명되는 건 아니라는 얘기입니다. 실제로 있었던 좋은 결과만 모아도 이용자가 받는 인상은 충분히 달라질 수 있습니다.

[데이터 분석 관점] 성공 건수에는 분모가 필요합니다

설명을 위해 가상의 서비스 두 개를 놓고 보겠습니다. A는 1,000번의 추천에서 낙찰 20건, B는 10만 번의 추천에서 낙찰 100건이 나왔다고 합시다. 이는 실제 업체 통계가 아닌 계산 예시입니다.

광고에는 B가 ‘낙찰 100건’이라고 더 크게 쓸 수 있습니다. 하지만 단순 비율은 A가 2%, B가 0.1%입니다. 이 비율만으로 A가 무조건 더 좋은 서비스라고 결론 내릴 수도 없습니다. 참여 업종, 공고 난도, 경쟁업체 수, 회원 자격이 다르면 비교 조건 자체가 달라지기 때문입니다.

다만 한 가지는 분명합니다. 성공 건수 하나만 보고 우열을 판단하는 것은 너무 성급합니다. 분모도 보고, 같은 조건에서 비교했는지도 봐야 합니다.

‘적중’이라는 표현도 마찬가지입니다. 예정가격 사정률이 추천 구간에 들어오면 적중인지, 추천 투찰금액으로 실제 낙찰했을 때 적중인지부터 달라집니다. 범위를 넓게 제시하면 구간에 들어오는 건 쉬워질 수 있지만, 그만큼 실제 투찰 의사결정에 주는 정보는 줄어들 수 있습니다.

아주 넓은 범위를 내놓고 “결과가 이 안에 있었으니 맞혔다”고 하면 실무자는 무슨 도움을 받은 걸까요? 결국 하나의 투찰금액을 정해야 하는 사람에게는 추천 범위의 폭과 실제 오차가 함께 제시되어야 합니다.

이건 특정 사이트가 그렇게 하고 있다는 폭로가 아닙니다. 광고를 볼 때 이용자가 확인할 평가 기준입니다. 무엇을 맞혔다고 부르는지 모르는 상태에서는 적중률 숫자도 제대로 읽을 수 없습니다.

NIST는 AI의 정확도를 이야기할 때 실제 사용 조건을 대표하는 시험 자료와 평가 방법을 함께 제시해야 한다고 설명합니다. ‘높은 정확도’라는 형용사보다 어떤 조건에서 무엇을 측정했는지가 중요하다는 뜻으로 읽을 수 있습니다. [1]

검증 시점도 봐야 합니다. 결과가 나온 뒤 가장 잘 맞는 분석 조건을 찾아낸 것인지, 개찰 전에 이미 확정해 둔 추천인지 구분해야 합니다. 앞의 작업은 과거 자료를 설명하는 데 쓰일 수 있지만, 뒤의 작업과 같은 예측 성적표로 취급할 수는 없습니다.

기간과 발주처를 바꿔가며 과거에 잘 들어맞는 조합을 찾을수록 우연히 좋은 결과를 고를 가능성도 생깁니다. 그래서 개발에 쓴 자료와 별도의 시험 자료를 구분하고, 새 자료에서 성능이 유지되는지 확인하는 절차가 필요합니다. 통계학에서 학습 성능과 시험 성능을 따로 보는 이유입니다. [2]

[이용자 시선] 남의 낙찰금액이 내 수익은 아닙니다

‘누적 낙찰금액’도 솔직히 생각해 볼 필요가 있습니다. 회원들이 수주한 계약금액이 크다는 사실과, 그 서비스 때문에 추가로 벌게 된 돈은 다른 계산입니다.

낙찰금액은 회사에 그대로 남는 이익도 아닙니다. 인건비와 재료비, 이행 비용을 빼야 하고, 원래 그 회원이 가진 실적과 자격, 자체적인 투찰 판단도 있습니다. 회원의 계약금액 전체를 서비스의 분석 효과처럼 받아들이면 과대평가하기 쉽습니다.

담당자가 결제 전에 알고 싶은 건 이런 겁니다. 비슷한 조건의 공고에서, 같은 기준으로, 실패까지 모두 포함했을 때 얼마나 도움이 됐는가. 질문 자체는 어렵지 않습니다.

판매하는 쪽에서 소스코드를 내놓을 필요는 없습니다. 대신 추천 기간, 총 추천 건수, 적중 정의, 오차, 비교 방법은 설명할 수 있어야 합니다. 기술은 비밀일 수 있어도 소비자가 돈을 내는 근거까지 전부 비밀일 이유는 없습니다.

상담할 때 아래 내용을 한 번에 요청해 보세요.

• 개찰 전에 기록된 추천의 전체 결과가 있는지 • 성공 사례와 전체 추천 건수가 같은 기간에 해당하는지 • 사정률 구간 적중과 실제 낙찰을 구분하는지 • 단순 평균 등 기본 방법과 같은 조건에서 비교했는지 • 잘 안 맞는 공고의 특성이나 한계도 공개하는지

자료가 없으면 성능이 나쁘다고 확정할 수는 없습니다. 다만 내가 성능을 확인하지 못한 상태라는 사실은 인정해야 합니다. 그 상태에서 큰돈을 선결제할 이유는 별도로 설명되어야 합니다.

이미 유료 서비스를 쓰는 분이라면 본인이 받은 추천과 실제 결과부터 간단히 남겨보세요. 공고번호, 추천 시각, 추천값이나 범위, 실제 결과, 추천을 사용했는지, 변경했다면 이유 정도면 시작할 수 있습니다. 결과가 좋았던 날만 기억하지 않도록 하는 용도입니다.

표본이 적으니 몇 번 기록하고 성능을 단정할 필요도 없습니다. 그래도 기억에 남는 낙찰 한 번 때문에 나머지 비용을 모두 합리화하는 일을 줄이는 데는 도움이 됩니다.

제일 안타까운 건 담당자가 결과 책임은 혼자 떠안으면서, 서비스 성적을 물어보는 데는 괜히 눈치를 보는 상황입니다. 월 이용료를 내는 고객이 전체 성적을 묻는 건 까다로운 행동이 아닙니다. 상품 설명을 요구하는 겁니다.

성공 사례를 보여주는 것 자체는 좋습니다. 그 옆에 전체 추천 성적과 평가 조건도 같이 보여주면 더 좋겠습니다. 정말 데이터 분석을 자신 있게 판매한다면, 이용자의 판단에도 데이터를 제공해야 하지 않겠습니까.

저라면 낙찰 축하 화면을 한 장 더 보기보다, 실패까지 포함한 표 한 장을 먼저 보겠습니다. 그게 있어야 내 돈을 어디에 쓸지 판단할 수 있으니까요.

참고 자료

[1] NIST: AI Risks and Trustworthiness https://airc.nist.gov/airmf-resources/airmf/3-sec-characteristics/

[2] 펜실베이니아주립대: Statistical Learning and Model Selection https://online.stat.psu.edu/stat508/Lesson03.html