Key Specifications

Vendor	google
Version	gemma-2-27b
Release Date	2024-06-27
Context Window	8192 tokens
Input Modalities	text
Output Modalities	text
License	Gemma License
Documentation	https://ai.google.dev/gemma/docs

Benchmark Performance

Benchmark	Score	Unit	Evaluated At	Notes	Source
MMLU	77.4	%	2024-06-27	5-shot	view
HUMANEVAL	72.4	pass@1	2024-06-27	—	view
GSM8K	77.4	%	2024-06-27	0-shot CoT	view
MATH	35.5	%	2024-06-27	0-shot CoT	view
BBH	71.2	%	2024-06-27	3-shot CoT	view
GPQA	35.4	%	2024-06-27	0-shot	view
IFEVAL	72.5	%	2024-06-27	prompt_strict	view
ARC	93.1	%	2024-06-27	challenge	view
MUSR	53	%	2024-06-27	0-shot	view
WINOGRANDE	80.5	%	2024-06-27	0-shot	view

Name: Gemma 2 27B
Brand: google

Google Gemma 2 27B 开源模型, 8K 上下文, 在 27B 规模上接近 GPT-4 性能, 推理能力突出。

ベンダー	バージョン	リリース日	コンテキストウィンドウ	入力モダリティ	出力モダリティ	ライセンス
Google	gemma-2-27b	2024-06-27	8K	text	text	Gemma License

ベンチマーク	スコア	単位	備考
MMLU (Massive Multitask Language Understanding)	77.4	%	5-shot
HumanEval	72.4	pass@1	—
GSM8K (Grade School Math 8K)	77.4	%	0-shot CoT
MATH	35.5	%	0-shot CoT
BBH (BIG-Bench Hard)	71.2	%	3-shot CoT
GPQA	35.4	%	0-shot
IFEval	72.5	%	prompt_strict
ARC	93.1	%	challenge
MUSR	53.0	%	0-shot
WinoGrande	80.5	%	0-shot

入力	出力	キャッシュ読み取り	キャッシュ書き込み
—	—	—	—

100万トークンあたり