입찰분석 사이트들, ‘빅데이터’라는 말로 담당자들 그만 흔들었으면 합니다

입찰분석 사이트에 ‘빅데이터’라고 큼지막하게 써 있으면, 이제는 기술 설명보다 영업 문구부터 보게 됩니다. 데이터가 몇백만 건이고, AI가 분석하고, 독자적인 알고리즘으로 추천한다는데, 정작 돈 내는 사람이 확인하고 싶은 건 하나잖아요.

“그래서 그 추천이 얼마나 믿을 만한데요?”

이 질문에 제대로 답하려면 전체 추천 성적과 검증 방법이 나와야 합니다. 낙찰 사례 몇 개, 복잡한 그래프, 소수점 여러 자리로 찍힌 추천 사정률만으로는 부족합니다. 그런데 이런 화면을 보고 있으면 괜히 나만 좋은 도구 없이 입찰하는 것 같고, 유료 분석을 안 써서 계속 떨어지는 것 같은 기분이 들 수 있습니다.

그 부분이 제일 씁쓸합니다. 입찰 계속 떨어지는 담당자 마음이 얼마나 급하겠습니까. 대표는 결과를 물어보고, 공고는 계속 쌓이고, 제출할 서류도 밀려 있는데 “분석을 바꾸면 결과가 달라진다”는 말을 들으면 한 번쯤 기대하고 싶어집니다.

그러니까 더 냉정하게 봐야 합니다. ‘빅데이터’라는 단어가 실제로 설명하는 게 무엇인지, 어디서부터 기대감을 부풀리는 표현인지 구분할 필요가 있습니다.

1. 전문가 관점에서 보면: 데이터가 많다는 것과 다음 결과를 맞힌다는 것은 별개의 문제입니다

먼저 데이터 분석의 기본 원리로 따져보겠습니다. 특정 전문가의 인터뷰를 옮긴 이야기가 아니라, 통계와 AI 모델을 평가할 때 사용하는 기준을 입찰분석에 적용해 보자는 뜻입니다.

입찰분석의 원재료부터 생각해 봅시다. 과거 공고, 기초금액, 예정가격, 개찰 결과, 업체별 투찰 내역, 복수예비가격 같은 정보입니다. 조달청은 나라장터 개찰순위와 예비가격 등 관련 정보를 오픈API로 공개하고 있습니다. 분석 사이트가 활용할 수 있는 주요 원천 중 하나가 이런 공개 데이터입니다. [1]

쉽게 말하면 우리가 조회하고 엑셀로 모아 보는 입찰 자료를 훨씬 많이 쌓고, 검색하기 좋게 정리하고, 계산을 붙이는 겁니다.

물론 사이트마다 자체적으로 가공한 지표나 추가 정보가 있을 수 있습니다. 모든 업체의 내부를 확인하지 않고 “전부 엑셀 파일만 쌓아놨다”고 단정할 수는 없습니다. 데이터를 자동으로 수집하고 오류를 정리하는 작업에도 기술과 비용이 들어갑니다.

그렇지만 공개된 과거 자료를 많이 보유했다는 사실만으로 다음 입찰에 대한 특별한 예측력이 증명되는 것은 아닙니다. ‘자료가 많다’는 설명과 ‘추천을 믿을 근거가 있다’는 설명 사이에는 검증이라는 과정이 필요합니다.

가령 지난 10년간의 사정률을 그래프로 그렸다고 합시다. 특정 구간에 결과가 많이 모여 있을 수 있습니다. 발주처별로 차이가 보일 수도 있고, 기간을 잘라 보면 어떤 흐름처럼 보이는 부분도 있을 겁니다.

그런데 그 흐름이 앞으로도 반복될 특성인지, 우연히 그렇게 모인 것인지는 별도로 확인해야 합니다. 과거 자료에서 그럴듯한 모양을 찾아내는 일과 아직 결과가 나오지 않은 공고를 예측하는 일은 난도가 다릅니다.

통계에서는 과거 데이터의 우연한 흔적까지 학습해 새 데이터에서 성능이 떨어지는 문제를 ‘과적합’이라고 설명합니다. 지난 결과를 잘 설명하는 모델도 앞으로의 결과에서는 틀릴 수 있다는 뜻입니다. 통계학 교육에서도 학습 자료에서의 오차와 별도 시험 자료에서의 오차를 구분하는 이유가 여기에 있습니다. [2]

그래서 “과거 공고에 적용해 보니 잘 맞았습니다”라는 말만으로는 부족합니다. 결과를 보고 분석 조건을 바꾼 것은 아닌지, 잘 맞는 기간이나 발주처만 골라 보여준 것은 아닌지, 실제 추천 당시에는 알 수 없었던 정보를 사용한 것은 아닌지도 봐야 합니다.

검증하려면 개찰 전에 추천값을 남겨 놓고, 이후 결과와 비교해야 합니다. 잘 맞은 공고와 빗나간 공고를 모두 포함해야 하고요. 미국 국립표준기술연구소 NIST도 AI 정확도를 평가할 때 실제 사용 조건을 대표하는 시험 데이터와 명확한 평가 방법을 함께 제시해야 한다고 설명합니다. [3]

입찰분석 사이트에도 이 정도는 물어볼 수 있어야 합니다.

“전체 추천 건수는 몇 건입니까? 적중은 어떤 기준입니까? 실제 낙찰입니까, 사정률이 일정 범위 안에 들어왔다는 뜻입니까? 단순 평균 같은 기본적인 방법보다 얼마나 나았습니까?”

여기서 답이 흐려지면 ‘빅데이터’라는 단어가 아무리 크게 적혀 있어도 판단을 보류해야 합니다. 알고리즘의 영업비밀을 공개하라는 요구가 아닙니다. 유료로 판매하는 추천이 어느 정도 성능인지 설명해 달라는 겁니다.

복수예가 방식에서는 한계가 더 분명합니다. 흔히 보는 나라장터 공고는 15개의 복수예비가격 중 참가업체가 번호를 2개씩 선택하고, 가장 많이 선택된 4개 가격을 산술평균해 예정가격을 정하는 방식입니다. 구체적인 적용 조건은 해당 공고를 확인해야 합니다. [4]

여기서 상식적으로 생각해 봅시다.

내일 아침 다른 회사 담당자가 별생각 없이 누를 복수예가 번호 두 개를, 오늘 분석 사이트가 무슨 근거로 확실하게 안다는 겁니까?

그 담당자 본인도 아직 결정하지 않았을 수 있습니다. 늘 누르는 번호가 있을 수도 있고, 그날 마음이 바뀔 수도 있습니다. 참가업체 구성과 선택 결과도 달라집니다.

이 말이 모든 선택이 완벽한 무작위라거나 어떤 통계 분석도 무의미하다는 뜻은 아닙니다. 과거 분포를 이용해 가능성을 추정하는 일은 할 수 있습니다. 다만 개별 공고의 추첨 결과까지 확정적으로 알아내는 능력이 생기는 것은 아닙니다.

추천값이 99.XXXX처럼 정밀하게 표시된다고 그만큼 확실해지는 것도 아닙니다. 계산기는 소수점을 얼마든지 길게 보여줄 수 있습니다. 중요한 건 표시 자릿수가 아니라 실제 오차와 불확실성입니다.

더구나 예정가격 추정과 낙찰은 같지 않습니다. 경쟁업체가 얼마에 들어오는지, 공고별 가격 산식과 심사 조건은 무엇인지까지 연결됩니다. 사정률 하나를 그럴듯하게 제시했다고 전체 입찰을 해결한 것처럼 말하면 곤란합니다.

1. 일반인과 현업 담당자의 시선에서 보면: 어려운 설명보다 돈값을 했는지가 중요합니다

솔직히 실무자는 모델 구조까지 공부할 여유가 없습니다. 공고 확인하고, 참가자격 검토하고, 서류 준비하고, 정정사항 챙기는 것만으로도 시간이 빠듯합니다.

그러니 이용자 입장에서는 더 단순하게 보면 됩니다.

“이 프로그램을 쓰고 내 일이 얼마나 줄었나?” “유료 분석을 믿을 만한 근거를 내가 확인했나?”

이 두 질문을 섞지 말아야 합니다.

공고를 잘 찾아주는 프로그램은 충분히 유용합니다. 우리 업종과 지역에 맞는 공고를 걸러주고, 마감을 알려주고, 개찰 결과를 정리해 주면 담당자의 시간을 아낄 수 있습니다. 그런 기능은 직접 써보면 편한지 불편한지 판단할 수 있습니다.

그런데 낙찰 가능성이 높아졌다는 주장은 확인이 훨씬 어렵습니다. 가입하고 낙찰 한 번 됐다고 전부 사이트 덕이라고 할 수 있을까요? 반대로 몇 번 떨어졌다고 분석이 무조건 쓸모없다고 단정할 수도 없습니다. 결과에 영향을 주는 조건이 여러 개이기 때문입니다.

그래서 판매하는 쪽에서 제대로 된 성적을 제시해야 하는 겁니다. 이용자가 감으로 믿도록 만들면 안 됩니다.

예를 들어 어떤 서비스가 낙찰 사례 100건을 보여준다고 합시다. 1,000건을 추천해서 나온 100건인지, 10만 건을 추천해서 나온 100건인지에 따라 의미가 완전히 달라집니다. 회원 수가 많고 참여 건수가 많으면 낙찰 사례의 절대 숫자는 커질 수 있습니다. 그 숫자만으로 추천의 우수성을 판단할 수는 없습니다. 이 숫자는 설명을 위한 가정입니다.

홈페이지에 성공 사례가 빽빽하게 올라와 있어도, 전체 추천 대비 결과가 없으면 중요한 부분이 빠진 성적표입니다. 담당자가 알고 싶은 건 남의 회사가 한 번 됐다는 사실을 넘어, 내가 비용을 지불할 합리적인 이유입니다.

영업 전화에서도 마찬가지입니다.

“대표님, 이 구간을 보셔야 합니다.” “최근 흐름이 바뀌었습니다.” “프리미엄 분석으로 들어가셔야 합니다.”

이런 말을 듣게 되면 그럴듯한 설명을 끝까지 따라가기 전에 검증 자료부터 요청하세요. 왜 그 구간인지, 과거에 같은 방식으로 추천한 전체 결과는 어땠는지, 더 비싼 요금제의 성능 차이는 어떻게 확인했는지 물어보면 됩니다.

설명이 길어질수록 실력이 좋아 보일 수는 있습니다. 하지만 결제 금액이 커지는 만큼 근거도 구체적이어야 합니다. 담당자의 불안감이 유료 전환의 근거가 되어서는 안 됩니다.

그리고 이미 돈을 쓴 분들을 두고 “그걸 왜 믿었냐”고 쉽게 말하고 싶지는 않습니다. 계속 떨어지면 뭐라도 바꿔보고 싶은 게 사람 마음입니다. 혼자 공고를 뒤지고 숫자를 검토하다 보면, 전문 분석이라는 말에 기대고 싶을 수 있습니다.

다만 지난달에 돈을 썼다는 이유로 이번 달에도 계속 써야 하는 건 아닙니다. 장기 결제했다고 효과가 생기는 것도 아닙니다. 지금이라도 내가 실제로 이용하는 기능과 지불하는 비용을 따져보면 됩니다.

공고 모니터링 시간이 하루에 얼마나 줄었는지, 불필요한 공고가 얼마나 잘 걸러지는지, 정정공고와 제출 마감을 확인하기 편한지, 개찰 자료를 다시 정리할 필요가 없어졌는지. 이런 것부터 보세요. 원문과 참가자격을 최종 확인하는 일은 담당자가 챙기되, 반복 작업을 덜어주는 정도는 충분히 평가할 수 있습니다.

그렇게 계산했을 때 이용료가 아깝지 않으면 쓰면 됩니다. 기본 기능으로 충분하면 기본 요금제를 쓰고, 추가 분석의 성능이 확인되지 않으면 그 비용은 따로 판단하면 됩니다. ‘빅데이터’라는 네 글자 때문에 예산을 올릴 이유는 없습니다.

입찰분석 사이트가 자신 있게 보여줬으면 하는 건 화려한 그래프보다 정직한 설명입니다. 어떤 데이터를 쓰는지, 무엇을 추정하는지, 얼마나 틀리는지, 어느 조건에서는 추천을 신뢰하기 어려운지까지 말해줬으면 합니다. 그런 설명이 있어야 이용자도 도구를 제대로 씁니다.

담당자에게 필요한 건 반복 업무를 줄여주는 기능과 검증 가능한 정보입니다.

나라장터 자료를 모아 편하게 보여주는 서비스라면, 그 편의에 맞는 가격을 받으면 됩니다. 예측 성능까지 비용에 포함한다면 전체 결과로 입증해야 합니다.

‘빅데이터’라는 단어를 지워도 돈 낼 이유가 남는지 한번 보세요. 공고 찾는 시간이 줄고 일이 편해진다면 쓸 만한 프로그램입니다. 그 단어를 지우고 나니 막연한 낙찰 기대감만 남는다면, 결제부터 멈추고 따져볼 때입니다.

참고 자료 [1] 조달청 나라장터 낙찰정보서비스 https://www.data.go.kr/data/15129397/openapi.do [2] 펜실베이니아주립대: Statistical Learning and Model Selection https://online.stat.psu.edu/stat508/Lesson03.html [3] NIST: AI Risks and Trustworthiness https://airc.nist.gov/airmf-resources/airmf/3-sec-characteristics/ [4] 나라장터 공고문 예시 — 실제 적용 조건은 참여하는 공고 원문을 확인하세요. https://www.g2b.go.kr/pn/pnp/pnpe/UntyAtchFile/downloadFile.do?bidPbancNo=R26BK01315162&bidPbancOrd=000&fileSeq=2&fileType=&prcmBsneSeCd=07