docs(HANDOFF): refresh OpenAI model/cost/state (gpt-5.4-mini default, reasoning_effort: none)#12
Conversation
…, reasoning_effort: none - Default model is gpt-5.4-mini (was gpt-5.4-nano); reasoning_effort: none + verbosity: low + max_completion_tokens: 600 baked into callOpenAI. - Cost section: measured ~$0.0001/compile; free on OpenAI's data-sharing tier. - New session-4 entry: openai:smoketest + .env.example, the max_tokens->max_completion_tokens production fix, model/reasoning tuning, OpenAI verified end-to-end. - Flag dry-run-replay is still a v0.1 stub; note the closed FactPaths set is the AutoMod-capability-gap root cause. - Inventory: add openai-smoketest.ts, undo-action.json, .env.example; fix test count (152/13); fix stale gpt-5.4-nano mentions. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
You have reached your Codex usage limits for code reviews. You can see your limits in the Codex usage dashboard. |
|
Warning Rate limit exceeded
You’ve run out of usage credits. Purchase more in the billing tab. ⌛ How to resolve this issue?After the wait time has elapsed, a review can be triggered using the We recommend that you space out your commits to avoid hitting the rate limit. 🚦 How do rate limits work?CodeRabbit enforces hourly rate limits for each developer per organization. Our paid plans have higher rate limits than the trial, open-source and free plans. In all cases, we re-allow further reviews after a brief timeout. Please see our FAQ for further information. ✨ Finishing Touches🧪 Generate unit tests (beta)
Thanks for using CodeRabbit! It's free for OSS, and your support helps us grow. If you like it, consider giving us a shout-out. Comment |
![gemini-code-assist[bot]](https://avatars.githubusercontent.com/in/956858?s=60&v=4){kind=small}
There was a problem hiding this comment.
Code Review
This pull request updates the project documentation and configuration to transition the default LLM from gpt-5.4-nano to gpt-5.4-mini. Key changes include the addition of an OpenAI smoke test script, a fix for a production bug involving API parameter names (max_completion_tokens), and the tuning of inference settings for improved latency and reliability. The documentation now reflects updated cost estimates and project status. Review feedback highlights several inconsistencies where model names or performance metrics in the documentation do not match the actual implementation or other configuration files.
| │ ├── shared/ | ||
| │ │ ├── rule-schema.ts (160줄, Zod v4 strict) | ||
| │ │ ├── system-prompt.ts (110줄, gpt-5.4-nano용) | ||
| │ │ ├── system-prompt.ts (110줄, gpt-5.4-mini/nano용 — FactPaths/액션을 프롬프트에 자동 주입) |
There was a problem hiding this comment.
이 설명에는 system-prompt.ts가 gpt-5.4-mini/nano용이라고 명시되어 있으나, 실제 src/shared/system-prompt.ts 파일의 헤더 주석(2행)은 여전히 gpt-4o-mini를 참조하고 있습니다. 다음 세션 작업자의 혼선을 방지하기 위해 코드 내 주석도 새로운 모델 기본값에 맞춰 업데이트하는 것이 좋습니다.
| │ ├── post-submit.json ← replay 예제: 트리거 이벤트 | ||
| │ └── compose-rule-submit.json ← replay 예제: 폼 제출 (canned OpenAI 응답 포함) | ||
| │ ├── devvit-doctor.ts ← `npm run doctor` — 배포 전 프리플라이트 (devvit.json·fetch host↔permissions·route↔config·node engine·login/app-id) | ||
| │ ├── openai-smoketest.ts ← `npm run openai:smoketest` — 실제 OpenAI API로 프롬프트↔스키마↔모델 검증 (latency·토큰·`OPENAI_MODELS=a,b,c` 비교; `.env` 또는 `$OPENAI_API_KEY` 필요) |
There was a problem hiding this comment.
openai-smoketest.ts 스크립트의 기본 모델이 현재 gpt-5.4-nano로 설정되어 있습니다(scripts/openai-smoketest.ts 44행). 프로젝트의 다른 주요 설정(devvit.json, index.ts)이 gpt-5.4-mini를 기본값으로 사용하도록 변경되었으므로, 일관성 있는 검증을 위해 스크립트의 기본값도 통일하는 것을 권장합니다.
|
|
||
| - ✅ `npm run openai:smoketest` 추가 — 실제 OpenAI API에 실제 시스템 프롬프트 + few-shot + 7 케이스(컴파일 5 / 모호 2)를 던져 `Rule.parse`로 검증. per-call latency · 토큰 · $ 추정 · `OPENAI_MODELS=a,b,c` 비교 테이블. (`npm run check`/CI엔 안 들어감 — 실키 필요.) `.env.example` 신규. | ||
| - ✅ **버그(프로덕션)**: `callOpenAI()`가 `max_tokens` + `temperature` 보냄 → gpt-5.x는 `max_completion_tokens`만 받고 temperature 기본값만. 안 고쳤으면 **모든 compile이 400**. `max_completion_tokens: 600` + `temperature` 제거. | ||
| - ✅ **추론설정**: 이 호출은 기계적 NL→JSON 번역이라 `reasoning_effort: 'none'` (gpt-5.4 계열 값 — 5.4는 `'minimal'` 거부) + `verbosity: 'low'` 추가. 측정: gpt-5.4-mini 중간값 ~1.2s / nano ~1.5s / 풀 5.4 ~2.1s, **셋 다 7/7**. gpt-5-mini는 `reasoning_effort: 'minimal'`이어야 7/7(아니면 3/7 — 토큰 truncation), 느려서 옵션 제외. gpt-5-nano/gpt-4.1-* 는 이 키에 권한 없음(403). |
There was a problem hiding this comment.
여기서 보고된 지연 시간 측정값(~1.2s, ~1.5s, ~2.1s)이 devvit.json의 설정 라벨(~1.1s, ~1.4s, ~1.8s)과 약간의 차이가 있습니다. 문서 간 정보의 일관성을 유지하기 위해 devvit.json에 기재된 수치로 맞추는 것이 좋습니다.
| - ✅ **추론설정**: 이 호출은 기계적 NL→JSON 번역이라 `reasoning_effort: 'none'` (gpt-5.4 계열 값 — 5.4는 `'minimal'` 거부) + `verbosity: 'low'` 추가. 측정: gpt-5.4-mini 중간값 ~1.2s / nano ~1.5s / 풀 5.4 ~2.1s, **셋 다 7/7**. gpt-5-mini는 `reasoning_effort: 'minimal'`이어야 7/7(아니면 3/7 — 토큰 truncation), 느려서 옵션 제외. gpt-5-nano/gpt-4.1-* 는 이 키에 권한 없음(403). | |
| - ✅ **추론설정**: 이 호출은 기계적 NL→JSON 번역이라 reasoning_effort: 'none' (gpt-5.4 계열 값 — 5.4는 'minimal' 거부) + verbosity: 'low' 추가. 측정: gpt-5.4-mini 중간값 ~1.1s / nano ~1.4s / 풀 5.4 ~1.8s, **셋 다 7/7**. gpt-5-mini는 reasoning_effort: 'minimal'이어야 7/7(아니면 3/7 — 토큰 truncation), 느려서 옵션 제외. gpt-5-nano/gpt-4.1-* 는 이 키에 권한 없음(403). |
docs(HANDOFF): refresh OpenAI model/cost/state (gpt-5.4-mini default, reasoning_effort: none)
1 participant
Brings HANDOFF.md in line with the merged OpenAI work (PR #7-#11): default model gpt-5.4-mini, reasoning_effort none, measured cost, session-4 changelog, dry-run-stub flagged, FactPaths gap noted, inventory/test-count fixed. Markdown only.