docs/AIRISK_USABILITY_DIAGNOSIS_20260512.md

STEM-BIO-AI — MIT AI Risk Repository 기반 적용 가능성 진단

날짜: 2026-05-12 기반 데이터:

• MIT AI Risk Repository V4_03 (2026-04-23 export) — 1,595 risk entries, 7 domains, 24 subdomains
• arXiv:2408.12622 (Slattery et al., Patterns 2026, CC BY 4.0)
• airisk.mit.edu

---

1. MIT AI Risk Repository 구조 요약

7대 도메인 / 24 서브도메인

ID	도메인	핵심 서브도메인
1	Discrimination & Toxicity	1.1 차별/왜곡, 1.2 독성 콘텐츠, 1.3 집단간 성능 불균등
2	Privacy & Security	2.1 PII 유출/추론, 2.2 AI 시스템 보안 취약점
3	Misinformation	3.1 허위/오도 정보, 3.2 정보 생태계 오염
4	Malicious Actors	4.1 디스인포, 4.2 사이버공격/무기, 4.3 사기/조작
5	Human-Computer Interaction	5.1 과의존/불안전 사용, 5.2 자율성 상실
6	Socioeconomic & Environmental	6.1-6.6 불평등/고용/거버넌스/환경
7	AI System Safety	7.1 목표충돌, 7.2 위험역량, 7.3 성능부족, 7.4 투명성부족, 7.5-7.6

핵심 발견: 인간 결정이 AI 리스크의 38%, AI 시스템 자체가 42% 유발 — 즉 Pre-deployment governance가 50% 이상의 리스크를 커버할 수 있다.

---

2. 의료/임상 관련 핵심 리스크 목록

임상/의료 직접 리스크

Risk ID	제목	도메인	출처
41.04.00	Healthcare — 과의존	5.1	Allianz2018
24.01.03	새 질병 컨텍스트 의료 AI 탐색 문제	7.3	Gabriel2024
24.03.08	의료 AI 통한 개인 의료기록 추출	2.1	Gabriel2024
39.25.00	의료 헬스케어 black-box AI 검증불가	7.4	Saghiri2022
70.01.02	헬스케어 자동화 사고 피해	7.3	Perlo2025
70.02.02	임상 지식 환각(hallucination)	3.1	Perlo2025
60.02.01	부정확한 의료 정보 신뢰성 문제	7.3	Bengio2025
43.01.00	의료/법률/금융 AI 신뢰성 요건	7.0	InfoComm2023

PII / 재식별 리스크

Risk ID	제목	도메인	출처
65.03.01	PII/SPI in training data	2.1	IBM2025
65.03.03	재식별 (PII 제거 후에도)	2.1	IBM2025
65.20.01	PII 출력 유출	2.1	IBM2025
02.07.01-03	LLM PII 기억/추출/연결	2.1	Cui2024
60.03.05	훈련 데이터 내 의료기록 노출	2.1	Bengio2025
70.02.01	EAI의 PII 공개	2.1	Perlo2025

관련 거버넌스 프레임워크

• HIPAA: Virginia HB 2154 — 병원/요양원 AI HIPAA 준수 의무
• NIST AI RMF: Federal AI Risk Management Act 2023
• FDA: 의약품 감시 AI, FDA 승인 AI 처방
• EU AI Act: 의료 고위험 AI 분류
• HHS 차별금지: 환자 케어 의사결정 지원 도구 비차별

---

3. STEM-BIO-AI — 도메인별 커버리지 매핑

커버리지 매트릭스

MIT 도메인	커버리지	STEM-BIO-AI 탐지기	비고
1. 차별/독성	LOW	B2 (텍스트), R4 (인구통계)	표면 텍스트만, 실측 성능 미평가
2. 프라이버시/보안	MEDIUM-HIGH	C1 (자격증명), C3 (환자경로), CC-3 (얕은 검증)	재식별 API 노출 미탐지
3. 허위정보	HIGH	CC-1 (confidence=0), CC-2 (API계약)	코드 레벨 허위 클레임 탐지
4. 악의적 행위자	NONE	—	설계 범위 밖
5. HCI / 과의존	HIGH	T0 floor, CA-DIRECT, H1-H3 (임상 과장)	핵심 차별화 강점
6. 사회경제/환경	LOW	Stage 4 (재현성)	거버넌스 언어 부분 탐지
7. AI 안전/한계	MEDIUM	C4 (fail-open), CC-1, CC-3, B2	7.3 성능부족, 7.4 투명성 부분

세부 탐지기 → MIT 리스크 ID 매핑

STEM-BIO-AI 탐지기	커버하는 MIT 리스크	설명
T0 hard floor	5.1 (41.04.00, 61.02.28)	임상 경계 선언 부재 → 과의존 리스크
CA-DIRECT	5.1, 5.2	"diagnosis", "treatment recommendation" 감지
H1-H3 (hype)	5.2, 3.1	과장 임상 주장 → 허위정보/자율성 상실
CC-1	3.1 (70.02.02, 60.02.01)	confidence=0.0 → 저신뢰도 예측 그대로 임상 출력
CC-2	3.1, 7.4	README 허위 API 선언 → 투명성 부족
CC-3	2.1 (65.03.01, 70.02.01)	얕은 SSN/PII 검증 → 재식별 위험
C1	2.2	하드코딩 자격증명 → 보안 취약점
C4	7.3 (70.01.02)	fail-open → 사고 피해
B2	1.3, 7.4	편향/한계 언어 부재 → 집단간 성능불균등, 불투명
Stage 4	7.3, 7.4	재현성 증거 → 신뢰성/투명성

---

4. 공백 (Gap) 분석 — MIT 기준 미커버 리스크

고우선순위 공백

MIT 리스크	ID	현재 STEM-BIO-AI 상태	추가 탐지기 제안
재식별 API 공개 노출	65.03.03	미탐지	CC-4_reidentify_api_exposure: public API에 reidentify()/deanonymize() 감지
임상 hallucination 정량화	70.02.02	CC-1로 부분 탐지, 실측 불가	Layer 3 (동적 테스트) — Layer 2 한계
훈련 데이터 출처 부재	65.03.01, 60.03.05	B1 부분 탐지	데이터 카드/Model Card 존재 여부
Black-box 검증불가	39.25.00	B2 부분 탐지	Model Card/interpretability 문서 탐지
집단간 성능불균등	1.3 (11.02.00)	B2 텍스트만	실측 F1-by-subgroup 불가 (Layer 2 한계)
모델 버전 미고정	7.3	Stage 4 일부	HF Hub revision 핀 여부 직접 검사

저우선순위 공백 (설계 범위 밖)

• Domain 4 (악의적 행위자): STEM-BIO-AI는 governance 도구로 악의적 사용 감지 미포함 — 의도적 설계
• Domain 6 사회경제/환경: 단일 레포 스캐너 수준에서 접근 불가
• 7.1 목표충돌, 7.5 AI welfare: 철학적 분류, 정적 분석 불가

---

5. STEM-BIO-AI 포지셔닝 진단

강점 — 타 도구 대비 차별화

1. Pre-deployment governance gate 특화: MIT 인과 분류 기준 "Pre-deployment / Unintentional" 리스크의 70%+ 탐지 가능
2. 임상 과의존 리스크 (5.1) 유일한 자동 탐지: T0 hard floor 메커니즘은 오픈소스 대안 없음
3. 코드 레벨 허위정보 (3.1): CC-1/CC-2는 confidence=0 + 허위 API 동시 탐지

약점 — 구조적 한계

1. Post-deployment 커버리지 0: 런타임 모니터링, 실제 출력 품질 측정 불가
2. Domain 1 (차별): 표면 텍스트 탐지만 — 실제 subgroup 편향 측정 Layer 3 필요
3. 재식별 리스크 (65.03.03): reidentify() 공개 API 노출이 가장 큰 미탐지 공백

사용 적합 시나리오

시나리오	적합도	이유
HuggingFace 의료 AI 레포 사전 검토	최상	T0/CA 분류 + CC 탐지기 완비
병원 조달 전 AI 도구 1차 심사	높음	임상 경계 + 코드 계약 자동 검사
HIPAA compliance 보조 레이어	중간	CC-3(PII 검증), CC-4(재식별) 필요
FDA SaMD 제출 전 완전 감사	보조만	Layer 3 동적 + 전문가 검토 필수
연구 바이오인포매틱스 레포	높음	T0/CA + 재현성 Stage 4

---

6. 다음 단계 권고

즉시 (v1.7.x)

1. CC-4 추가: reidentify()/deanonymize() public API 노출 탐지 → 리스크 65.03.03 직접 커버
2. HF Hub revision 핀 체크: model_id 지정에 revision= 또는 commit hash 없으면 WARN → 리스크 7.3

중기 (v2.0)

3. Model Card / Data Card 존재 탐지: 미존재 시 7.4 (투명성), 1.3 (편향) 경고
4. MIT Risk Repository 연동: 스캔 결과에 커버되는 MIT 리스크 ID 자동 매핑 출력

---

MIT AI Risk Repository V4_03 (2026-04-23) | airisk.mit.edu | Flamehaven Research | 2026-05-12