Key Specifications

Benchmark Performance

Benchmark	Score	Unit	Evaluated At	Notes	Source
MMLU	62.1	%	2024-05-21	5-shot	view
HUMANEVAL	53.9	pass@1	2024-05-21	—	view
GSM8K	59	%	2024-05-21	0-shot CoT	view
MATH	34.3	%	2024-05-21	0-shot CoT	view
BBH	71.4	%	2024-05-21	3-shot CoT	view
GPQA	25.6	%	2024-05-21	0-shot	view
IFEVAL	67.4	%	2024-05-21	prompt_strict	view
ARC	90.1	%	2024-05-21	challenge	view
MUSR	43.9	%	2024-05-21	0-shot	view
WINOGRANDE	72.1	%	2024-05-21	0-shot	view

Name: Phi-3 Medium
Brand: other

Microsoft Phi-3 Medium 14B 模型, 4K 上下文 (可扩展 128K), 在 14B 规模上接近 GPT-3.5 性能。

ベンダー	バージョン	リリース日	コンテキストウィンドウ	入力モダリティ	出力モダリティ	ライセンス
Other	phi-3-medium	2024-05-21	4K	text	text	MIT

ベンチマーク	スコア	単位	備考
MMLU (Massive Multitask Language Understanding)	62.1	%	5-shot
HumanEval	53.9	pass@1	—
GSM8K (Grade School Math 8K)	59.0	%	0-shot CoT
MATH	34.3	%	0-shot CoT
BBH (BIG-Bench Hard)	71.4	%	3-shot CoT
GPQA	25.6	%	0-shot
IFEval	67.4	%	prompt_strict
ARC	90.1	%	challenge
MUSR	43.9	%	0-shot
WinoGrande	72.1	%	0-shot

入力	出力	キャッシュ読み取り	キャッシュ書き込み
—	—	—	—

100万トークンあたり