feat: Add harness for deriving local OCR baselines

[seonghobae]

Summary

This PR introduces the harness for deriving redacted, structural baseline metrics from a local directory of private PDF files. It implements the necessary script (tools/derive_private_baseline.py) and a corresponding unit test (tests/test_derive_private_baseline.py) to validate its logic.

This work provides the foundational tooling required by issue #66 and is a prerequisite for measuring the baselines as described in #67.

Blocker Notice

The successful execution of this harness on the full private dataset is currently BLOCKED. The underlying mineru OCR process hangs indefinitely when processing the files. This critical issue is now tracked in its own issue: #70.

This PR delivers the harness itself, so that the tooling can be merged and available once the blocking issue is resolved. The private_page_baseline.json fixture has not been updated and remains a placeholder.

Addresses #66
Related to #67
Blocked by #70

Summary by CodeRabbit

릴리스 노트

• Tests

  • 테스트 워크플로우 개선으로 의존성 설정 및 실행 환경 안정성 향상
  • 새로운 baseline 도출 테스트 추가
  • 기존 테스트 일부 제거 및 재구성

• Bug Fixes

  • Baseline 도출 기능이 PDF 파일 처리 방식으로 변경되어 더 정확한 페이지 및 아티클 집계 가능
  • Headline 페이지 커버리지 계산 로직 개선

[coderabbitai]

Caution

Review failed

Pull request was closed or merged during review

📝 Walkthrough

종합 설명

이 변경사항은 기준선 도출 파이프라인을 측정 JSON 파일 처리에서 개인 PDF 디렉토리 처리로 전환합니다. 워크플로우가 mineru 경로를 자동 발견하도록 업데이트되고, 기존 테스트는 삭제되며 새로운 테스트가 추가됩니다.

변경 사항

응집체 / 파일	요약
워크플로우 구성 .github/workflows/tests.yml	의존성 설치 단계 레이블 지정 및 uv run which mineru를 통해 mineru 실행 파일 경로를 발견하여 NEWSDOM_MINERU_BIN 환경 변수로 내보냄
기준선 도출 도구 tools/derive_private_baseline.py	함수 서명 변경: 측정 경로 대신 --private-fixtures-dir 인수 도입. 측정 JSON 처리에서 PDF 파일 처리로 전환. 기준선 스키마를 page_count, article_count, headline_page_coverage로 단순화
테스트 스위트 tests/test_derive_private_baseline.py	새로운 테스트 추가: 임시 PDF 생성, derive_baseline 실행, 기준선 JSON 출력 검증 (xfail로 표시)
삭제된 테스트 tests/test_private_baseline.py	구 측정 JSON 기반 파이프라인의 성공/실패 경로 테스트 전체 제거 (80줄 삭제)

예상 코드 리뷰 노력

🎯 4 (복잡) | ⏱️ ~45분

시

🐰 PDF들이 모여 기준선을 이루고,
측정값 대신 파일을 읽어내니,
경로를 찾아 환경변수로 담아,
새로운 흐름 속에서 테스트도 춤을 춘다네!
옛것은 가고 새것이 피어나는 봄이로다. 🌱

🚥 Pre-merge checks | ✅ 5

✅ Passed checks (5 passed)

Check name	Status	Explanation
Title check	✅ Passed	The title accurately summarizes the main change: adding a harness for deriving local OCR baselines from private PDF files.
Description check	✅ Passed	The description includes a comprehensive summary, Git Flow target guidance, verification checklist, and notes section explaining the blocker issue and PR status.
Docstring Coverage	✅ Passed	No functions found in the changed files to evaluate docstring coverage. Skipping docstring coverage check.
Linked Issues check	✅ Passed	Check skipped because no linked issues were found for this pull request.
Out of Scope Changes check	✅ Passed	Check skipped because no linked issues were found for this pull request.

_{✏️ Tip: You can configure your own custom pre-merge checks in the settings.}

✨ Finishing Touches

📝 Generate docstrings

• Create stacked PR
• Commit on current branch

🧪 Generate unit tests (beta)

• Create PR with unit tests
• Commit unit tests in branch feature/measure-ocr-baselines-2

---

Thanks for using CodeRabbit! It's free for OSS, and your support helps us grow. If you like it, consider giving us a shout-out.

❤️ Share

• X
• Mastodon
• Reddit
• LinkedIn

_{Comment @coderabbitai help to get the list of available commands and usage tips.}