Key Specifications

Benchmark Performance

Benchmark	Score	Unit	Evaluated At	Notes	Source
MMLU	71.8	%	2024-05-21	5-shot	view
HUMANEVAL	68.3	pass@1	2024-05-21	—	view
GSM8K	62.7	%	2024-05-21	0-shot CoT	view
MATH	43.5	%	2024-05-21	0-shot CoT	view
BBH	71.8	%	2024-05-21	3-shot CoT	view
GPQA	30.9	%	2024-05-21	0-shot	view
IFEVAL	61	%	2024-05-21	prompt_strict	view
ARC	89.6	%	2024-05-21	challenge	view
MUSR	36.5	%	2024-05-21	0-shot	view
WINOGRANDE	74.9	%	2024-05-21	0-shot	view

Name: Phi-3 Small
Brand: other

Microsoft Phi-3 Small 7.4B 模型, 8K 上下文, 在 7B 规模上推理能力突出, 适合移动设备部署。

ベンダー	バージョン	リリース日	コンテキストウィンドウ	入力モダリティ	出力モダリティ	ライセンス
Other	phi-3-small	2024-05-21	8K	text	text	MIT

ベンチマーク	スコア	単位	備考
MMLU (Massive Multitask Language Understanding)	71.8	%	5-shot
HumanEval	68.3	pass@1	—
GSM8K (Grade School Math 8K)	62.7	%	0-shot CoT
MATH	43.5	%	0-shot CoT
BBH (BIG-Bench Hard)	71.8	%	3-shot CoT
GPQA	30.9	%	0-shot
IFEval	61.0	%	prompt_strict
ARC	89.6	%	challenge
MUSR	36.5	%	0-shot
WinoGrande	74.9	%	0-shot

入力	出力	キャッシュ読み取り	キャッシュ書き込み
—	—	—	—

100万トークンあたり