SYSTEM_PROMPT = """
당신은 B2B SaaS 회사의 고객 문의 분류 전문가입니다.
 
## 역할
- 고객 이메일을 분석하여 카테고리와 우선순위를 분류합니다
- 분류 결과를 JSON 형식으로 반환합니다
 
## 분류 카테고리 (정확히 아래 값 중 하나)
- billing: 결제, 요금, 청구서 관련
- technical: 버그, 오류, 기술 지원
- feature_request: 기능 요청, 개선 제안
- account: 계정 관련 (비밀번호, 권한, 탈퇴)
- other: 위 카테고리에 해당하지 않는 경우
 
## 우선순위 기준
- critical: 서비스 중단, 데이터 손실
- high: 업무 차질, 결제 문제
- medium: 불편하지만 우회 가능
- low: 일반 문의, 기능 요청
 
## 제약 조건
- 분류만 수행합니다. 고객에게 직접 응답하지 마세요
- 확실하지 않으면 confidence를 0.5 이하로 설정하세요
- 개인정보(이름, 전화번호)는 출력에 포함하지 마세요
"""

from pydantic import BaseModel, Field
from typing import Literal
from openai import OpenAI
 
class EmailClassification(BaseModel):
    """고객 이메일 분류 결과"""
    category: Literal["billing", "technical", "feature_request", "account", "other"]
    priority: Literal["critical", "high", "medium", "low"]
    confidence: float = Field(ge=0, le=1, description="분류 확신도 (0~1)")
    summary: str = Field(max_length=100, description="핵심 내용 한 줄 요약")
    requires_human: bool = Field(description="사람 검토 필요 여부")
 
client = OpenAI()
 
def classify_email(email_text: str) -> EmailClassification:
    """이메일을 구조화된 형태로 분류"""
    response = client.beta.chat.completions.parse(
        model="gpt-4o",
        messages=[
            {"role": "system", "content": SYSTEM_PROMPT},
            {"role": "user", "content": email_text}
        ],
        response_format=EmailClassification  # Structured Outputs
    )
    return response.choices[0].message.parsed
 
# 실행
result = classify_email("결제가 두 번 됐는데 환불해주세요!")
print(result.model_dump_json(indent=2))
# {
#   "category": "billing",
#   "priority": "high",
#   "confidence": 0.95,
#   "summary": "이중 결제 발생, 환불 요청",
#   "requires_human": true
# }

FEW_SHOT_EXAMPLES = """
## 예시 1
입력: "API 호출 시 500 에러가 발생합니다. 로그를 첨부합니다."
출력: {"category": "technical", "priority": "high", "confidence": 0.92, "summary": "API 500 에러 발생", "requires_human": false}
 
## 예시 2
입력: "다음 달부터 Enterprise 플랜으로 업그레이드하고 싶습니다."
출력: {"category": "billing", "priority": "medium", "confidence": 0.88, "summary": "Enterprise 플랜 업그레이드 문의", "requires_human": false}
 
## 예시 3
입력: "대시보드에 팀 단위 통계를 볼 수 있는 기능이 있으면 좋겠습니다."
출력: {"category": "feature_request", "priority": "low", "confidence": 0.95, "summary": "팀 단위 통계 대시보드 기능 요청", "requires_human": false}
 
## 예시 4 (경계 사례)
입력: "안녕하세요 잘 부탁드립니다"
출력: {"category": "other", "priority": "low", "confidence": 0.60, "summary": "구체적 내용 없는 인사 메시지", "requires_human": true}
"""

GUARDRAIL_RULES = """
## 거부 조건 (반드시 requires_human: true로 설정)
1. 법적 분쟁 가능성이 있는 내용 (소송, 법적 조치 언급)
2. 개인정보 유출 가능성 (주민번호, 카드번호 등 포함)
3. 자해/자살 암시가 포함된 메시지
4. 분류 확신도(confidence)가 0.7 미만인 경우
 
## 에스컬레이션 규칙
- critical 우선순위 → Slack #urgent 채널 즉시 알림
- requires_human: true → 담당자 이메일 + 대시보드 플래그
- 동일 고객의 3회 이상 연속 문의 → VIP 에스컬레이션
"""
 
async def process_with_guardrails(email: str) -> dict:
    """가드레일이 포함된 처리 파이프라인"""
    result = classify_email(email)
 
    # 가드레일 체크
    if result.confidence < 0.7:
        result.requires_human = True
 
    if result.requires_human:
        await notify_human(result)  # Slack/이메일 알림
 
    if result.priority == "critical":
        await send_urgent_alert(result)  # 긴급 알림
 
    return result.model_dump()

import pytest
 
# 테스트 데이터셋 (실제 운영 데이터에서 추출)
TEST_CASES = [
    {
        "input": "결제가 안 됩니다. 카드 오류라고 뜹니다.",
        "expected_category": "billing",
        "expected_priority": "high"
    },
    {
        "input": "API 응답이 너무 느립니다. 타임아웃이 자주 발생해요.",
        "expected_category": "technical",
        "expected_priority": "high"
    },
    {
        "input": "엑셀 내보내기 기능을 추가해주세요.",
        "expected_category": "feature_request",
        "expected_priority": "low"
    },
]
 
@pytest.mark.parametrize("case", TEST_CASES)
def test_email_classification(case):
    result = classify_email(case["input"])
 
    assert result.category == case["expected_category"], \
        f"카테고리 오분류: {result.category} != {case['expected_category']}"
    assert result.priority == case["expected_priority"], \
        f"우선순위 오분류: {result.priority} != {case['expected_priority']}"
    assert 0 <= result.confidence <= 1

from collections import Counter
 
def evaluate_prompt_version(test_dataset: list, prompt_version: str) -> dict:
    """프롬프트 버전별 성능 평가"""
    correct = 0
    total = len(test_dataset)
    errors = []
 
    for case in test_dataset:
        result = classify_email(case["input"])  # 현재 프롬프트 버전으로 실행
 
        if result.category == case["expected_category"]:
            correct += 1
        else:
            errors.append({
                "input": case["input"][:50],
                "expected": case["expected_category"],
                "actual": result.category,
                "confidence": result.confidence
            })
 
    return {
        "version": prompt_version,
        "accuracy": correct / total,
        "total": total,
        "correct": correct,
        "error_details": errors
    }
 
# 실행 예시
# v1 = evaluate_prompt_version(dataset, "v1.0_basic")
# v2 = evaluate_prompt_version(dataset, "v2.0_few_shot")
# → v2 accuracy 87% vs v1 accuracy 72% → v2 채택