feat: add find-something skill - general purpose search pipeline
This commit is contained in:
@@ -0,0 +1,130 @@
|
||||
# Step 4: 결과 검증
|
||||
|
||||
## 개요
|
||||
|
||||
수집된 결과 목록에 대해 정보의 정확성, 최신성, 출처 신뢰성을 종합적으로 검증합니다.
|
||||
|
||||
## 검증 항목
|
||||
|
||||
| 검증 항목 | 방법 | 기준 |
|
||||
|-----------|------|------|
|
||||
| **정확성** | 다중 소스 교차 확인, 사실 여부 확인 | 2개 이상 소스에서 일치 |
|
||||
| **최신성** | 게시/수정일 확인 | 유형별 최대 허용 기간 이내 |
|
||||
| **출처 권위** | 출처 도메인/기관의 신뢰도 평가 | 신뢰 도메인 우대, 불명 출처 감점 |
|
||||
| **정보 일관성** | 결과 간 모순 여부 확인 | 모순되는 정보 플래그 표시 |
|
||||
|
||||
## 검증 단계
|
||||
|
||||
### 1단계: 정확성 확인
|
||||
|
||||
다중 소스 교차 검증을 통해 정보의 정확성을 확인합니다:
|
||||
|
||||
| 상태 | 기준 | 처리 |
|
||||
|------|------|------|
|
||||
| **VERIFIED** | 3개 이상 독립 소스 일치 | 신뢰도 상승 |
|
||||
| **CORROBORATED** | 2개 소스 일치 | 신뢰도 유지 |
|
||||
| **SINGLE_SOURCE** | 1개 소스만 존재 | 주의 표시 |
|
||||
| **CONTRADICTED** | 소스 간 모순 | 추가 확인 필요 플래그 |
|
||||
|
||||
### 2단계: 최신성 확인
|
||||
|
||||
정보의 게시일/수정일이 유형별 허용 기준 내인지 확인합니다:
|
||||
|
||||
| 유형 | 최대 허용 기간 | 비고 |
|
||||
|------|----------------|------|
|
||||
| **뉴스/이슈** | 7일 | 속보성 정보 |
|
||||
| **일반 정보** | 1년 | 변동 가능한 정보 |
|
||||
| **참고 자료** | 2년 | 준영구적 정보 |
|
||||
| **역사/기준** | 제한 없음 | 고정된 사실 |
|
||||
|
||||
### 3단계: 출처 검증
|
||||
|
||||
출처의 신뢰도를 평가합니다:
|
||||
|
||||
| 출처 등급 | 예시 | 점수 |
|
||||
|-----------|------|------|
|
||||
| **공식 기관** | .gov, .edu, 국제기구 | 1.0 |
|
||||
| **신뢰 매체** | 위키피디아, 공신력 있는 언론 | 0.8 |
|
||||
| **전문 사이트** | 기술 블로그, 전문 매체 | 0.6 |
|
||||
| **개인/커뮤니티** | 블로그, 포럼, SNS | 0.3 |
|
||||
| **불명/차단** | 출처 없음, 블랙리스트 | 0.0 |
|
||||
|
||||
### 4단계: 종합 검증 결과 산출
|
||||
|
||||
각 검증 항목의 결과를 종합합니다:
|
||||
|
||||
```
|
||||
overall_status = {
|
||||
VERIFIED: 모든 검증 통과 (trust_score >= 0.7)
|
||||
CONDITIONAL: 일부 검증 통과 (0.4 <= trust_score < 0.7)
|
||||
QUESTIONABLE: 검증 실패 (trust_score < 0.4)
|
||||
}
|
||||
```
|
||||
|
||||
## 검증 결과 분류
|
||||
|
||||
| 결과 | 의미 | 조치 |
|
||||
|------|------|------|
|
||||
| **VERIFIED** | 모든 검증 통과 | 신뢰할 수 있는 정보로 표시 |
|
||||
| **CONDITIONAL** | 조건부 통과 | 주의 사항 명시 후 표시 |
|
||||
| **QUESTIONABLE** | 검증 실패 | 실패 사유 표시, 추가 확인 권장 |
|
||||
|
||||
## 출력
|
||||
|
||||
```json
|
||||
{
|
||||
"validation_id": "val_001",
|
||||
"collection_id": "col_001",
|
||||
"results": [
|
||||
{
|
||||
"result_id": "res_001",
|
||||
"validation_result": "VERIFIED",
|
||||
"validation_details": {
|
||||
"accuracy": {
|
||||
"status": "VERIFIED",
|
||||
"details": "3개 독립 소스에서 정보 일치 확인",
|
||||
"supporting_sources": 3,
|
||||
"contradicting_sources": 0
|
||||
},
|
||||
"recency": {
|
||||
"status": "PASS",
|
||||
"details": "게시일 2024-10-15, 5일 전",
|
||||
"published_date": "2024-10-15",
|
||||
"age_days": 5,
|
||||
"max_allowed_days": 365
|
||||
},
|
||||
"source_authority": {
|
||||
"status": "PASS",
|
||||
"details": "신뢰 매체 등급, 점수 0.8",
|
||||
"authority_score": 0.8,
|
||||
"top_domain": "example.com"
|
||||
}
|
||||
},
|
||||
"overall_score": 0.85
|
||||
}
|
||||
],
|
||||
"summary": {
|
||||
"total_validated": 7,
|
||||
"verified": 4,
|
||||
"conditional": 2,
|
||||
"questionable": 1
|
||||
},
|
||||
"validation_timestamp": "2024-10-20T09:10:00Z"
|
||||
}
|
||||
```
|
||||
|
||||
## 에러 핸들링
|
||||
|
||||
| 상황 | 처리 방법 |
|
||||
|------|-----------|
|
||||
| **정보 부족** | "추가 확인 필요"로 표시 |
|
||||
| **소스 간 모순** | 모든 관점 표시, 모순 플래그 |
|
||||
| **날짜 정보 없음** | 최신성 검증 건너뛰기 |
|
||||
| **출처 확인 불가** | "출처 미확인"으로 표시 |
|
||||
|
||||
## 규칙
|
||||
|
||||
1. **다중 소스 우선** — 단일 소스 정보는 CONDITIONAL 이하
|
||||
2. **최신성 유형별 적용** — 유형별 허용 기간 준수
|
||||
3. **출처 등급 명시** — 모든 정보의 출처 등급 표시
|
||||
4. **모순 정보 플래그** — 소스 간 모순 시 양측 모두 표시
|
||||
Reference in New Issue
Block a user