실험 데이터의 AX: 기준과 맥락이 있는 데이터
5장에서는 데이터 품질과 데이터 계약으로 믿을 수 있는 테이블을 만들었고, 6장에서는 흩어진 문서를 RAG로 꺼내 쓰는 법을 보았다. 둘 다 "같은 열은 같은 뜻"이라는 전제 위에 서 있다. 이 전제가 가장 쉽게 무너지는 곳이 연구·공정개발·신뢰성·분석 조직이다. 설비 데이터는 같은 센서가 같은 주기로 같은 단위를 쏟아 내지만, 실험 데이터는 같은 DB와 같은 엑셀 양식을 쓰면서도 팀마다, 시기마다 다른 기준으로 숫자를 채운다. 이 장은 "AI가 읽을 수 있는 데이터"의 정확한 뜻을 단계로 나누고, 기준을 고정하지 않고 선언하고 버전 관리하는 기준 레지스트리와 실험 카드를 설계한다. 데이터 계약이 열의 형식을 약속한다면, 기준 레지스트리는 숫자의 뜻을 약속한다.
- 사람이 읽을 수 있는 데이터, 기계가 읽을 수 있는 데이터, AI가 맥락까지 이해할 수 있는 데이터의 차이를 설명할 수 있다.
- 기준이 계속 바뀌는 조직에서 "기준을 고정"하는 대신 "기준을 선언하고 버전 관리"하는 방식(기준 레지스트리, 실험 카드)을 설계할 수 있다.
- 기준 버전이 빠진 데이터가 분석과 RAG 검색에서 "조용한 오류"를 만드는 경로를 설명하고, 기록률을 높이는 장치를 제시할 수 있다.
- 실험 조직에서 기록 정리 → 검색·비교 → 추천 순서로 AI를 올려야 하는 이유를 설명할 수 있다.
데이터 레이크는 가득 찼는데, 비교할 수 있는 실험이 없다
C사(정밀화학) 공정개발 그룹은 3년 전 실험 데이터를 모두 사내 데이터 레이크로 옮겼다. 실험 결과 엑셀 양식도 하나로 통일했다. 열 이름은 LOT_ID, 조건, 수율, 순도, 비고. 경영진 보고에는 "실험 데이터 100% 디지털화"라고 적혔다. 올해 AX 과제로 "과거 실험을 학습해 다음 실험 조건을 추천하는 AI"가 선정됐다.
데이터 담당자가 2,400건의 실험을 모아 첫 분석을 돌렸다. 결과는 이상했다. 같은 반응 조건인데 1팀의 수율이 2팀보다 늘 6~8%p 높았다. 원인을 추적하는 데 3주가 걸렸다.
DB도 같고, 양식도 같고, 열 이름도 같았다. 다른 것은 숫자의 뜻이었다. 그리고 그 뜻은 데이터가 아니라 메일, 실험 노트, 회의록, 사람의 머릿속에 있었다. AI는 열 이름만 보고 "수율"을 하나의 개념으로 다뤘고, 그럴듯한 추천을 자신 있게 내놓았다. 틀린 추천이었다.
양식과 DB를 맞추는 일은 4장에서 본 공통 언어 작업의 절반이다. 나머지 절반은 각 숫자가 어떤 기준, 어떤 조건, 어떤 방법으로 만들어졌는지를 데이터 옆에 함께 두는 일이다. 설비 데이터는 이 맥락이 거의 바뀌지 않아서 한 번 정하면 되지만, 실험 데이터는 맥락 자체가 계속 바뀐다. 실험 조직의 AX는 여기서 출발한다.
이 오류는 5장의 품질 점검으로는 잡히지 않는다. 빈칸도 없고, 형식도 맞고, 범위도 정상이다. 완전성·유효성 검사를 모두 통과한 채로 뜻만 다르다. 이 데이터를 6장의 RAG에 그대로 연결하면, AI는 서로 다른 기준의 실험 보고서를 같은 질문의 근거로 함께 가져와 매끄러운 답을 만든다. 근거 링크까지 붙어 있으니 더 믿음직해 보인다.
설비 데이터와 실험 데이터는 다르다: 실험 조직의 AX 정의
책의 앞부분은 주로 "표준화"를 강조했다. 같은 문제는 같은 양식으로, 같은 불량은 같은 코드로. 반복되는 업무에서는 이것이 맞다. 그런데 실험은 본질적으로 어제와 다른 것을 해 보는 일이다. 기준을 바꾸는 것이 곧 연구의 진전인 경우도 많다. 실험 조직에 "기준을 하나로 고정하라"고 하면 연구를 멈추라는 말처럼 들린다. 저항이 생기는 것도 당연하다.
| 구분 | 설비·공정 운영 데이터 | 실험·개발 데이터 |
|---|---|---|
| 생성 방식 | 센서·MES가 자동 생성, 같은 주기 | 사람이 설계하고 수행, 건마다 다름 |
| 스키마 | 안정적. 몇 년간 같은 열 | 실험마다 측정 항목이 늘거나 바뀜 |
| 기준 변경 | 드묾. 바뀌면 변경 관리 대상 | 잦음. 기준 변경 자체가 연구 결과 |
| 맥락의 위치 | 설비 마스터, 레시피 시스템 | 실험 노트, 메일, 회의록, 사람의 기억 |
| 양 | 많음(초·분 단위) | 적음(건당 비싸고 느림) |
| 실패의 가치 | 이상 탐지 대상 | "이 길은 안 된다"는 핵심 지식 |
| AI 활용의 초점 | 예측, 이상 탐지, 최적화 | 검색, 비교, 다음 실험 설계, 지식 재사용 |
그래서 실험 조직의 AX는 다르게 정의해야 한다. 이 책은 이렇게 제안한다.
기준을 하나로 고정하는 것이 아니라, 어떤 기준으로 만든 숫자인지 항상 함께 남게 하여, 사람과 AI가 과거의 모든 실험을 다시 찾고, 올바르게 비교하고, 다음 실험 설계에 재사용할 수 있게 만드는 것.
핵심은 표준의 위치를 옮기는 것이다. 실험 방법은 자유롭게 두고, 실험의 기록 방식을 표준으로 만든다. 무엇을 바꿔 보든 상관없다. 다만 무엇을 바꿨는지, 어떤 기준으로 판정했는지, 결과가 어땠는지를 같은 틀에 남긴다. "자유롭게 실험하되, 기록은 표준으로." 이 원칙이 이 장 전체의 뼈대다.
AI가 읽을 수 있는 데이터란: 존재에서 맥락까지
"AI-ready 데이터", "AI 친화적 데이터"라는 말이 흔하지만 뜻이 흐릿하다. 실무에서 쓸 수 있게 단계로 나누어 보자. 아래로 갈수록 AI가 더 많은 질문에 올바르게 답할 수 있다.
- 존재한다어딘가에 있다. 개인 PC, 메일 첨부, 실험 노트 사진. 찾는 사람이 있어야만 쓸 수 있다.
- 접근할 수 있다권한이 있는 사람과 시스템이 한곳에서 찾을 수 있다. 공유 저장소, 데이터 레이크, 문서 시스템(2장).
- 기계가 읽을 수 있다 (machine-readable)표가 이미지나 PPT 그림이 아니라 셀·필드로 들어 있다. 단위가 숫자와 분리되어 있고, 날짜·ID 형식이 일정하다.
- 스스로를 설명한다 (self-describing)각 숫자 옆에 단위, 측정 방법, 장비, 판정 기준과 그 버전이 붙어 있다. 다른 사람이 메일을 뒤지지 않아도 뜻을 안다.
- 맥락에 연결되어 있다왜 했는지(목적·가설), 무엇을 바꿨는지(변수 vs 고정 조건), 결론과 다음 행동, 그리고 실패한 실험까지 같은 실험 ID로 묶여 있다.
- AI가 쓰기 좋다 (AI-friendly)위 모든 것이 검색·질의 가능한 형태로 열려 있고, 권한이 걸려 있고, "이 질문에는 이 답이 맞다"는 평가 세트가 있어 AI의 답을 검증할 수 있다(6장).
대부분의 조직은 3단계까지 와 있으면서 "디지털화 완료"라고 부른다. AI 과제가 실패하는 곳은 그 위다. 4~5단계가 빠지면 AI는 답을 못 하는 것이 아니라 틀린 답을 자신 있게 한다. 이 점이 사람이 엑셀을 볼 때와 결정적으로 다르다. 사람은 숫자가 이상하면 전화를 하지만, AI는 기본적으로 주어진 것을 믿는다.
연구 데이터 분야에는 데이터를 찾을 수 있고(Findable), 접근할 수 있고(Accessible), 상호 운용되고(Interoperable), 재사용할 수 있어야(Reusable) 한다는 FAIR 원칙이 널리 쓰인다(Wilkinson 외, Scientific Data, 2016). 위 사다리의 1~2단계가 F·A, 3~4단계가 I, 5단계가 R에 해당한다. FAIR가 "사람과 기계 모두를 위한" 원칙이라는 점에서, 생성형 AI 시대의 AI-friendly 데이터는 FAIR의 연장선에 있다. 학계의 연구 데이터 관리 경험을 사내 실험 조직이 그대로 빌려 쓸 수 있다.
AI 가독성 점검기: 실험 기록 한 건에 무엇이 있어야 AI가 답하나
같은 DB, 다른 기준: 기준 레지스트리와 실험 카드
그렇다면 조직마다, 시기마다 다른 기준으로 데이터를 만드는 문제는 어떻게 다룰까? 흔히 떠올리는 해법은 두 가지다. 하나는 "전사 기준을 하나로 통일하라"는 것이고, 다른 하나는 "팀마다 다르니 어쩔 수 없다"는 것이다. 둘 다 실패한다. 앞의 것은 연구를 막고 현장의 반발을 부르며, 뒤의 것은 데이터를 쓸모없게 만든다. 제3의 길이 있다. 기준을 통일하지 말고, 기준을 선언하게 하라.
기준 레지스트리는 거창한 시스템이 아니어도 된다. 처음에는 공유된 표 하나로 시작할 수 있다. 필요한 열은 많지 않다.
| 항목 | 예시 | 왜 필요한가 |
|---|---|---|
| 기준 ID@버전 | YLD@v2 | 데이터 행이 가리킬 수 있는 짧은 키 |
| 정의(계산식·측정 방법) | 실측 수득량 ÷ 이론 수득량 × 100 | 사람과 AI가 같은 뜻으로 읽게 |
| 적용 기간·적용 조직 | 2025-04~, 공정개발 2팀 | 언제 누구의 숫자에 해당하는지 |
| 오너 | 2팀 김 책임 | 질문할 사람, 변경을 승인할 사람 |
| 변경 사유 | 원료 순도 편차 보정 | 왜 바꿨는지 자체가 지식 |
| 이전 버전과의 관계 | v1 → v2 환산식 있음(근사) | 과거 데이터를 살릴 수 있는지 |
여기에 실험 카드(experiment card)를 더한다. 실험 한 건을 설명하는 최소 메타데이터 묶음이다. 실험 노트를 대체하는 것이 아니라, 실험 노트의 맨 앞장을 표준화하는 것이다. 3장의 이슈 카드가 "같은 문제는 같은 양식으로"였다면, 실험 카드는 "다른 실험도 같은 머리말로"다.
목적과 가설
무엇을 확인하려 했는가. "온도를 올리면 부반응이 줄 것이다."
바꾼 변수 / 고정 조건
변수: 반응 온도 70·80·90℃. 고정: 촉매 로트, 교반 속도, 원료 공급사.
측정 방법과 기준 버전
수율 YLD@v2, 순도 PUR-HPLC@v3, 장비 ID. 숫자 옆에 기준이 붙는다.
결론과 다음 행동
80℃가 최적. 단 90℃에서 색상 변화 관찰 → 다음 실험에서 확인.
실패와 중단도
"중간에 중단, 원료 수분 과다로 추정." 실패 기록은 다음 사람의 2주를 아낀다.
실험 카드를 사람이 처음부터 다 쓰게 하면 3주 만에 비게 된다. 실험 노트, 장비 출력 파일, 관련 메일을 AI가 읽고 카드 초안을 채우게 하고, 사람은 확인과 수정만 한다. 특히 "기준 버전"처럼 빠지기 쉬운 항목은 AI가 "이 실험의 수율 기준이 레지스트리의 어느 버전인가요?"라고 되묻게 설계한다. 데이터를 AI-readable하게 만드는 일을 AI가 돕는 것, 이것이 실험 조직에서 가장 먼저 효과를 보는 AX다.
기준 드리프트 시뮬레이터: 시간이 갈수록 비교할 수 있는 실험이 줄어든다
실험 조직이 먼저 할 것
위 내용을 한 번에 할 필요는 없다. 앞부분은 AI 이전의 일처럼 보이지만, 이 작업 자체에 AI를 쓰는 것이 핵심이다. 실험 조직이라면 다음 순서로 시작하자.
- 핵심 지표 5~10개의 팀별 정의를 모은다. 자주 비교되는 지표부터. 과거 메일·회의록에서 "정의가 바뀐 흔적"을 찾는 일은 AI에게 맡긴다. 지표별 현재 정의와 오너가 표 하나에 있으면 된다.
- 기준 레지스트리 v0와 실험 카드 양식 v0를 만든다. 공유된 표 하나로 충분하다. 신규 실험은 AI가 실험 노트에서 카드 초안을 뽑고 사람이 확인한다.
- 자주 찾는 과거 실험부터 역으로 카드화한다. 전부가 아니라 "이건 해 봤나?"라는 질문이 자주 나오는 실험부터. 기준 버전은 AI가 추정하고 사람이 확정한다.
- 검색·비교 도우미와 평가 세트를 함께 연다. 비교할 때 기준 버전이 다르면 경고를 띄우고, 평가 세트 정답률과 실제 사용 빈도를 공개한다.
- 추천·최적화는 그다음에 올린다. 아래 경고를 보자.
주차별 일정과 졸업 기준은 거버넌스·로드맵 트랙과 나란히 19장의 영역별 90일 트랙에 모아 두었다.
많은 실험 조직이 첫 과제로 실험 조건 추천이나 최적화 모델을 고른다. 눈에 띄기 때문이다. 하지만 기준이 섞인 데이터로 학습한 추천은 그럴듯하게 틀린다. 검색과 비교가 먼저다. 과거 실험을 올바르게 찾고 비교할 수 있게 되면, 추천은 그 위에 자연스럽게 올라간다. 순서를 바꾸면 "AI는 우리 일에 안 맞는다"는 결론만 남는다.
핵심 정리
- 포맷과 DB를 통일해도 숫자의 뜻(기준·방법·장비)이 다르면 AI는 다른 것을 같은 것으로 비교한다. 이 조용한 오류는 품질 점검을 통과하고, RAG의 근거 링크를 달고 나타난다.
- 실험 조직의 AX는 기준을 고정하는 것이 아니라, 기준을 선언하고 버전 관리해 모든 실험을 다시 찾고 올바르게 비교하고 재사용하게 만드는 것이다. "자유롭게 실험하되, 기록은 표준으로."
- AI-readable 데이터는 존재 → 접근 → 기계 판독 → 자기 서술 → 맥락 연결 → AI 활용 가능의 단계로 나뉜다. 단위·기준 버전이 빠지면 AI는 답을 못 하는 대신 자신 있게 틀린다.
- 기준 레지스트리(ID@버전, 정의, 기간, 오너, 변경 사유, 변환 가능성)와 실험 카드(목적, 변수/고정 조건, 측정 기준, 결론, 실패)가 최소 장치다. 입력 부담은 AI 초안 추출로 줄인다.
- 기준을 통일하지 못해도 기준 버전의 기록률을 높이면 조용한 오류는 크게 준다. 비교할 수 없는 것은 "비교 불가"로 보이게 만드는 것이 목표다.
- 순서는 기록 정리 → 검색·비교 → 추천이다. 첫 성과는 기록 정리 자체에 AI를 쓰는 데서 나온다.
확인 퀴즈
1. 세 팀이 같은 DB와 같은 엑셀 양식으로 실험 결과를 입력한다. 그런데 AI 분석에서 팀 간 수율 차이가 일관되게 나왔다. 가장 먼저 확인할 것은?
2. 기준이 자주 바뀌는 연구 조직에 가장 적절한 데이터 표준화 원칙은?
3. 실험 기록에서 단위와 판정 기준 버전이 빠졌을 때 생성형 AI의 가장 위험한 반응은?
4. 2팀이 수율 정의를 YLD@v1에서 YLD@v2로 바꿨다. 기준 레지스트리에 새 버전을 등록할 때 과거 데이터를 살리기 위해 특히 남겨야 할 항목은?
5. 기준 드리프트 시뮬레이터에서 팀마다 기준이 계속 바뀌는 상황(변경 확률을 0으로 만들기 어려움)일 때, 조용한 오류를 가장 크게 줄이는 손잡이는?
6. 실험 조직의 첫 AI 과제로 가장 권장되는 순서는?