Индекс моделей для разработки

Мой индекс

Топ-10 · больше — лучше

63,3

Sonnet 5.5 max

61,9

Opus 5.5 max

61,8

Opus 5.5 xhigh

60,2

Opus 5.5 high

59,3

Sonnet 5.5 xhigh

58,9

Opus 5.5 medium

57,5

GPT-6 Astra

57,1

Fable 5.1

56,6

GPT-6.1 Sol

55,2

Gemini 4 Argon

Цена задачи

Те же модели · $ за задачу индекса AA · меньше — лучше

$0,72

GPT-6.1 Sol

$1,3

Opus 5.5 medium

$1,8

Opus 5.5 high

$2,0

Gemini 4 Argon

$2,0

Sonnet 5.5 xhigh

$3,3

GPT-6 Astra

$3,5

Opus 5.5 xhigh

$5,5

Sonnet 5.5 max

$6,0

Opus 5.5 max

$7,6

Fable 5.1

Баллов на $1

Те же модели · индекс / цена задачи · больше — лучше

79

GPT-6.1 Sol

44

Opus 5.5 medium

33

Opus 5.5 high

30

Sonnet 5.5 xhigh

28

Gemini 4 Argon

18

Opus 5.5 xhigh

18

GPT-6 Astra

12

Sonnet 5.5 max

10

Opus 5.5 max

7

Fable 5.1

Индекс

Индекс по моим задачам

Взвешенное среднее 9 частей · больше — лучше · вкладка «Индекс AA» — для сравнения

63,3

Sonnet 5.5 max

61,9

Opus 5.5 max

61,8

Opus 5.5 xhigh

60,2

Opus 5.5 high

59,3

Sonnet 5.5 xhigh

58,9

Opus 5.5 medium

57,5

GPT-6 Astra

57,1

Fable 5.1

56,6

GPT-6.1 Sol

55,2

Gemini 4 Argon

51,5

DeepSeek V4.1 Flash

49,0

GLM-5.3

48,6

Muse Spark 1.3

47,9

Haiku 5.5 max

47,7

Grok 4.7 xhigh

47,3

Grok 4.7 high

47,2

GLM-5.3-Flash

46,4

Haiku 5.5 xhigh

46,3

Qwen3.8 Max

45,3

MiMo-V2.6-Pro

44,4

Kimi K3

41,2

Gemini 3.8 Flash

58

Opus 5.5 max

56

Sonnet 5.5 max

56

Opus 5.5 xhigh

54

Opus 5.5 high

53

GPT-6 Astra

53

Fable 5.1

53

Gemini 4 Argon

52

Sonnet 5.5 xhigh

52

GPT-6.1 Sol

51

Opus 5.5 medium

48

Muse Spark 1.3

46

Grok 4.7 xhigh

46

Grok 4.7 high

46

MiMo-V2.6-Pro

45

DeepSeek V4.1 Flash

45

GLM-5.3

45

Qwen3.8 Max

44

Kimi K3

43

Haiku 5.5 max

42

GLM-5.3-Flash

41

Haiku 5.5 xhigh

41

Gemini 3.8 Flash

Модель	Компания	Мой индекс	AA	Код	Дизайн	Короткие вопросы	CI и деплой	Ревью	Данные и SQL	Понять просьбу	Найти проблему	Поиск в интернете	$ за задачу	Баллов на $1
Sonnet 5.5 (max)	Anthropic	63,3	56	55	63	78	68	49	58	79	—	62	$5,46	12
Opus 5.5 (max)	Anthropic	61,9	58	56	66	76	65	47	56	79	38	56	$5,98	10
Opus 5.5 (xhigh) *	Anthropic	61,8	56	57	63	76	62	44	—	76	—	50	$3,46	18
Opus 5.5 (high) *	Anthropic	60,2	54	55	63	76	60	43	—	63	—	48	$1,82	33
Sonnet 5.5 (xhigh) *	Anthropic	59,3	52	52	59	78	61	42	—	69	—	51	$2,01	30
Opus 5.5 (medium) *	Anthropic	58,9	51	55	63	76	57	44	—	51	—	46	$1,34	44
GPT-6 Astra (max)	OpenAI	57,5	53	53	64	66	64	48	51	46	49	59	$3,26	18
Fable 5.1 (max)	Anthropic	57,1	53	51	58	79	56	38	58	66	50	43	$7,63	7
GPT-6.1 Sol (max)	OpenAI	56,6	52	53	59	69	61	47	50	47	—	55	$0,72	79
Gemini 4 Argon (high)	Google	55,2	53	50	58	47	67	64	49	44	—	81	$1,99	28
DeepSeek V4.1 Flash 1017 (max)	DeepSeek	51,5	45	39	55	73	50	39	—	58	—	50	$0,26	198
GLM-5.3 (max)	Z AI	49,0	45	41	44	65	52	55	39	47	46	66	$2,01	24
Muse Spark 1.3 (max)	Meta	48,6	48	37	57	57	46	54	38	54	33	63	$1,60	30
Haiku 5.5 (max)	Anthropic	47,9	43	37	48	69	34	51	54	50	—	48	$0,21	228
Grok 4.7 (xhigh)	SpaceXAI	47,7	46	30	47	65	46	52	53	61	42	68	$3,74	13
Grok 4.7 (high) *	SpaceXAI	47,3	46	30	46	65	44	51	55	60	—	66	$2,73	17
GLM-5.3-Flash	Z AI	47,2	42	37	46	65	47	57	25	43	51	66	$0,28	169
Haiku 5.5 (xhigh) *	Anthropic	46,4	41	37	47	69	33	51	—	39	—	46	$0,12	387
Qwen3.8 Max (0902)	Alibaba	46,3	45	41	47	40	48	57	45	56	40	64	$5,41	9
MiMo-V2.6-Pro	Xiaomi	45,3	46	40	51	39	47	52	38	50	—	59	$0,13	348
Kimi K3 (max)	Kimi	44,4	44	28	56	62	35	45	39	38	48	53	$2,00	22
Gemini 3.8 Flash (high)	Google	41,2	41	28	49	54	40	41	46	19	53	52	$1,24	33

Разница в 1–2 балла — в пределах шума. * — стиль ответа взят у версии max той же модели: AA меряет его только там.

Индекс против цены задачи

Цена — за одну задачу индекса AA, шкала логарифмическая · пунктир — граница Парето

Модель	Компания	Мой индекс	AA	Код	Дизайн	Короткие вопросы	CI и деплой	Ревью	Данные и SQL	Понять просьбу	Найти проблему	Поиск в интернете	$ за задачу	Баллов на $1
Sonnet 5.5 (max)	Anthropic	63,3	56	55	63	78	68	49	58	79	—	62	$5,46	12
Opus 5.5 (max)	Anthropic	61,9	58	56	66	76	65	47	56	79	38	56	$5,98	10
Opus 5.5 (xhigh) *	Anthropic	61,8	56	57	63	76	62	44	—	76	—	50	$3,46	18
Opus 5.5 (high) *	Anthropic	60,2	54	55	63	76	60	43	—	63	—	48	$1,82	33
Sonnet 5.5 (xhigh) *	Anthropic	59,3	52	52	59	78	61	42	—	69	—	51	$2,01	30
Opus 5.5 (medium) *	Anthropic	58,9	51	55	63	76	57	44	—	51	—	46	$1,34	44
GPT-6 Astra (max)	OpenAI	57,5	53	53	64	66	64	48	51	46	49	59	$3,26	18
Fable 5.1 (max)	Anthropic	57,1	53	51	58	79	56	38	58	66	50	43	$7,63	7
GPT-6.1 Sol (max)	OpenAI	56,6	52	53	59	69	61	47	50	47	—	55	$0,72	79
Gemini 4 Argon (high)	Google	55,2	53	50	58	47	67	64	49	44	—	81	$1,99	28
DeepSeek V4.1 Flash 1017 (max)	DeepSeek	51,5	45	39	55	73	50	39	—	58	—	50	$0,26	198
GLM-5.3 (max)	Z AI	49,0	45	41	44	65	52	55	39	47	46	66	$2,01	24
Muse Spark 1.3 (max)	Meta	48,6	48	37	57	57	46	54	38	54	33	63	$1,60	30
Haiku 5.5 (max)	Anthropic	47,9	43	37	48	69	34	51	54	50	—	48	$0,21	228
Grok 4.7 (xhigh)	SpaceXAI	47,7	46	30	47	65	46	52	53	61	42	68	$3,74	13
Grok 4.7 (high) *	SpaceXAI	47,3	46	30	46	65	44	51	55	60	—	66	$2,73	17
GLM-5.3-Flash	Z AI	47,2	42	37	46	65	47	57	25	43	51	66	$0,28	169
Haiku 5.5 (xhigh) *	Anthropic	46,4	41	37	47	69	33	51	—	39	—	46	$0,12	387
Qwen3.8 Max (0902)	Alibaba	46,3	45	41	47	40	48	57	45	56	40	64	$5,41	9
MiMo-V2.6-Pro	Xiaomi	45,3	46	40	51	39	47	52	38	50	—	59	$0,13	348
Kimi K3 (max)	Kimi	44,4	44	28	56	62	35	45	39	38	48	53	$2,00	22
Gemini 3.8 Flash (high)	Google	41,2	41	28	49	54	40	41	46	19	53	52	$1,24	33

Граница Парето — модели, лучше которых нет ни одной дешевле. Всё, что ниже неё, переплата.

Из чего состоит индекс

Части индекса

Оценка модели по типу задач, 0–100 · в названии вкладки — вес части

57

Opus 5.5 xhigh

56

Opus 5.5 max

55

Opus 5.5 high

55

Opus 5.5 medium

55

Sonnet 5.5 max

53

GPT-6 Astra

53

GPT-6.1 Sol

52

Sonnet 5.5 xhigh

51

Fable 5.1

50

Gemini 4 Argon

41

GLM-5.3

41

Qwen3.8 Max

40

MiMo-V2.6-Pro

39

DeepSeek V4.1 Flash

37

Haiku 5.5 xhigh

37

Haiku 5.5 max

37

Muse Spark 1.3

37

GLM-5.3-Flash

30

Grok 4.7 xhigh

30

Grok 4.7 high

28

Kimi K3

28

Gemini 3.8 Flash

66

Opus 5.5 max

64

GPT-6 Astra

63

Sonnet 5.5 max

63

Opus 5.5 xhigh

63

Opus 5.5 high

63

Opus 5.5 medium

59

Sonnet 5.5 xhigh

59

GPT-6.1 Sol

58

Fable 5.1

58

Gemini 4 Argon

57

Muse Spark 1.3

56

Kimi K3

55

DeepSeek V4.1 Flash

51

MiMo-V2.6-Pro

49

Gemini 3.8 Flash

48

Haiku 5.5 max

47

Qwen3.8 Max

47

Haiku 5.5 xhigh

47

Grok 4.7 xhigh

46

Grok 4.7 high

46

GLM-5.3-Flash

44

GLM-5.3

79

Fable 5.1

78

Sonnet 5.5 max

78

Sonnet 5.5 xhigh

76

Opus 5.5 max

76

Opus 5.5 xhigh

76

Opus 5.5 high

76

Opus 5.5 medium

73

DeepSeek V4.1 Flash

69

GPT-6.1 Sol

69

Haiku 5.5 max

69

Haiku 5.5 xhigh

66

GPT-6 Astra

65

GLM-5.3-Flash

65

GLM-5.3

65

Grok 4.7 xhigh

65

Grok 4.7 high

62

Kimi K3

57

Muse Spark 1.3

54

Gemini 3.8 Flash

47

Gemini 4 Argon

40

Qwen3.8 Max

39

MiMo-V2.6-Pro

68

Sonnet 5.5 max

67

Gemini 4 Argon

65

Opus 5.5 max

64

GPT-6 Astra

62

Opus 5.5 xhigh

61

Sonnet 5.5 xhigh

61

GPT-6.1 Sol

60

Opus 5.5 high

57

Opus 5.5 medium

56

Fable 5.1

52

GLM-5.3

50

DeepSeek V4.1 Flash

48

Qwen3.8 Max

47

MiMo-V2.6-Pro

47

GLM-5.3-Flash

46

Grok 4.7 xhigh

46

Muse Spark 1.3

44

Grok 4.7 high

40

Gemini 3.8 Flash

35

Kimi K3

34

Haiku 5.5 max

33

Haiku 5.5 xhigh

64

Gemini 4 Argon

57

Qwen3.8 Max

57

GLM-5.3-Flash

55

GLM-5.3

54

Muse Spark 1.3

52

MiMo-V2.6-Pro

52

Grok 4.7 xhigh

51

Grok 4.7 high

51

Haiku 5.5 max

51

Haiku 5.5 xhigh

49

Sonnet 5.5 max

48

GPT-6 Astra

47

GPT-6.1 Sol

47

Opus 5.5 max

45

Kimi K3

44

Opus 5.5 medium

44

Opus 5.5 xhigh

43

Opus 5.5 high

42

Sonnet 5.5 xhigh

41

Gemini 3.8 Flash

39

DeepSeek V4.1 Flash

38

Fable 5.1

58

Sonnet 5.5 max

58

Fable 5.1

56

Opus 5.5 max

55

Grok 4.7 high

54

Haiku 5.5 max

53

Grok 4.7 xhigh

51

GPT-6 Astra

50

GPT-6.1 Sol

49

Gemini 4 Argon

46

Gemini 3.8 Flash

45

Qwen3.8 Max

39

GLM-5.3

39

Kimi K3

38

Muse Spark 1.3

38

MiMo-V2.6-Pro

25

GLM-5.3-Flash

79

Opus 5.5 max

79

Sonnet 5.5 max

76

Opus 5.5 xhigh

69

Sonnet 5.5 xhigh

66

Fable 5.1

63

Opus 5.5 high

61

Grok 4.7 xhigh

60

Grok 4.7 high

58

DeepSeek V4.1 Flash

56

Qwen3.8 Max

54

Muse Spark 1.3

51

Opus 5.5 medium

50

MiMo-V2.6-Pro

50

Haiku 5.5 max

47

GLM-5.3

47

GPT-6.1 Sol

46

GPT-6 Astra

44

Gemini 4 Argon

43

GLM-5.3-Flash

39

Haiku 5.5 xhigh

38

Kimi K3

19

Gemini 3.8 Flash

53

Gemini 3.8 Flash

51

GLM-5.3-Flash

50

Fable 5.1

49

GPT-6 Astra

48

Kimi K3

46

GLM-5.3

42

Grok 4.7 xhigh

40

Qwen3.8 Max

38

Opus 5.5 max

33

Muse Spark 1.3

81

Gemini 4 Argon

68

Grok 4.7 xhigh

66

GLM-5.3-Flash

66

GLM-5.3

66

Grok 4.7 high

64

Qwen3.8 Max

63

Muse Spark 1.3

62

Sonnet 5.5 max

59

MiMo-V2.6-Pro

59

GPT-6 Astra

56

Opus 5.5 max

55

GPT-6.1 Sol

53

Kimi K3

52

Gemini 3.8 Flash

51

Sonnet 5.5 xhigh

50

DeepSeek V4.1 Flash

50

Opus 5.5 xhigh

48

Opus 5.5 high

48

Haiku 5.5 max

46

Opus 5.5 medium

46

Haiku 5.5 xhigh

43

Fable 5.1

Модель	Компания	Мой индекс	AA	Код	Дизайн	Короткие вопросы	CI и деплой	Ревью	Данные и SQL	Понять просьбу	Найти проблему	Поиск в интернете	$ за задачу	Баллов на $1
Sonnet 5.5 (max)	Anthropic	63,3	56	55	63	78	68	49	58	79	—	62	$5,46	12
Opus 5.5 (max)	Anthropic	61,9	58	56	66	76	65	47	56	79	38	56	$5,98	10
Opus 5.5 (xhigh) *	Anthropic	61,8	56	57	63	76	62	44	—	76	—	50	$3,46	18
Opus 5.5 (high) *	Anthropic	60,2	54	55	63	76	60	43	—	63	—	48	$1,82	33
Sonnet 5.5 (xhigh) *	Anthropic	59,3	52	52	59	78	61	42	—	69	—	51	$2,01	30
Opus 5.5 (medium) *	Anthropic	58,9	51	55	63	76	57	44	—	51	—	46	$1,34	44
GPT-6 Astra (max)	OpenAI	57,5	53	53	64	66	64	48	51	46	49	59	$3,26	18
Fable 5.1 (max)	Anthropic	57,1	53	51	58	79	56	38	58	66	50	43	$7,63	7
GPT-6.1 Sol (max)	OpenAI	56,6	52	53	59	69	61	47	50	47	—	55	$0,72	79
Gemini 4 Argon (high)	Google	55,2	53	50	58	47	67	64	49	44	—	81	$1,99	28
DeepSeek V4.1 Flash 1017 (max)	DeepSeek	51,5	45	39	55	73	50	39	—	58	—	50	$0,26	198
GLM-5.3 (max)	Z AI	49,0	45	41	44	65	52	55	39	47	46	66	$2,01	24
Muse Spark 1.3 (max)	Meta	48,6	48	37	57	57	46	54	38	54	33	63	$1,60	30
Haiku 5.5 (max)	Anthropic	47,9	43	37	48	69	34	51	54	50	—	48	$0,21	228
Grok 4.7 (xhigh)	SpaceXAI	47,7	46	30	47	65	46	52	53	61	42	68	$3,74	13
Grok 4.7 (high) *	SpaceXAI	47,3	46	30	46	65	44	51	55	60	—	66	$2,73	17
GLM-5.3-Flash	Z AI	47,2	42	37	46	65	47	57	25	43	51	66	$0,28	169
Haiku 5.5 (xhigh) *	Anthropic	46,4	41	37	47	69	33	51	—	39	—	46	$0,12	387
Qwen3.8 Max (0902)	Alibaba	46,3	45	41	47	40	48	57	45	56	40	64	$5,41	9
MiMo-V2.6-Pro	Xiaomi	45,3	46	40	51	39	47	52	38	50	—	59	$0,13	348
Kimi K3 (max)	Kimi	44,4	44	28	56	62	35	45	39	38	48	53	$2,00	22
Gemini 3.8 Flash (high)	Google	41,2	41	28	49	54	40	41	46	19	53	52	$1,24	33

Тесты

Исходные результаты независимых тестов, из которых собраны части

правки кода в реальных репозиториях · процент решённого

57,1

Opus 5.5 medium

54,0

Opus 5.5 high

53,5

Opus 5.5 xhigh

52,2

Opus 5.5 max

49,1

GPT-6.1 Sol

49,0

Fable 5.1

47,0

GPT-6 Astra

46,1

Sonnet 5.5 xhigh

45,8

Sonnet 5.5 max

45,5

Haiku 5.5 xhigh

45,4

MiMo-V2.6-Pro

43,7

DeepSeek V4.1 Flash

43,6

Kimi K3

43,5

Gemini 4 Argon

43,2

Qwen3.8 Max

41,8

Haiku 5.5 max

41,0

GLM-5.3-Flash

40,6

Muse Spark 1.3

40,1

GLM-5.3

36,4

Gemini 3.8 Flash

34,2

Grok 4.7 high

33,8

Grok 4.7 xhigh

работа в терминале: сборка, деплой · процент решённого

63,6

Sonnet 5.5 max

59,6

Opus 5.5 max

59,6

Opus 5.5 xhigh

59,1

GPT-6 Astra

57,1

Sonnet 5.5 xhigh

57,1

Gemini 4 Argon

56,6

Opus 5.5 high

56,1

GPT-6.1 Sol

52,5

Opus 5.5 medium

52,0

Fable 5.1

41,9

GLM-5.3

38,9

Qwen3.8 Max

34,8

MiMo-V2.6-Pro

33,8

DeepSeek V4.1 Flash

33,3

Muse Spark 1.3

32,8

Haiku 5.5 max

32,8

GLM-5.3-Flash

29,3

Haiku 5.5 xhigh

25,8

Grok 4.7 xhigh

24,7

Grok 4.7 high

19,7

Gemini 3.8 Flash

12,6

Kimi K3

вёрстка интерфейса, голоса людей · рейтинг Elo

1 390

Opus 5.5 max

1 390

Opus 5.5 xhigh

1 390

Opus 5.5 high

1 390

Opus 5.5 medium

1 379

GPT-6 Astra

1 365

Sonnet 5.5 max

1 365

Sonnet 5.5 xhigh

1 361

Kimi K3

1 352

Muse Spark 1.3

1 346

GPT-6.1 Sol

1 336

Fable 5.1

1 333

DeepSeek V4.1 Flash

1 328

Gemini 4 Argon

1 317

MiMo-V2.6-Pro

1 304

GLM-5.3

1 304

Gemini 3.8 Flash

1 293

Qwen3.8 Max

1 282

GLM-5.3-Flash

1 279

Haiku 5.5 max

1 279

Haiku 5.5 xhigh

1 271

Grok 4.7 xhigh

1 271

Grok 4.7 high

многошаговая работа с инструментами · процент решённого

77,5

Gemini 4 Argon

71,8

Sonnet 5.5 max

69,5

Opus 5.5 max

68,5

GPT-6 Astra

66,6

DeepSeek V4.1 Flash

65,6

Grok 4.7 xhigh

65,5

Sonnet 5.5 xhigh

65,0

Opus 5.5 xhigh

64,9

GPT-6.1 Sol

63,5

Grok 4.7 high

63,2

Opus 5.5 high

62,2

GLM-5.3

61,2

Opus 5.5 medium

60,4

GLM-5.3-Flash

59,9

Gemini 3.8 Flash

59,4

Fable 5.1

58,6

MiMo-V2.6-Pro

58,3

Kimi K3

57,9

Muse Spark 1.3

56,2

Qwen3.8 Max

36,0

Haiku 5.5 xhigh

35,4

Haiku 5.5 max

не выдумывает факты · процент решённого

84,9

Gemini 4 Argon

72,4

GLM-5.3-Flash

71,2

Qwen3.8 Max

70,7

Grok 4.7 xhigh

70,4

GLM-5.3

67,6

Grok 4.7 high

67,1

Muse Spark 1.3

59,6

Haiku 5.5 max

59,4

MiMo-V2.6-Pro

55,6

Haiku 5.5 xhigh

53,0

Sonnet 5.5 max

48,7

GPT-6 Astra

46,8

Kimi K3

45,7

GPT-6.1 Sol

44,8

Gemini 3.8 Flash

41,4

Opus 5.5 max

37,1

Sonnet 5.5 xhigh

34,3

Opus 5.5 xhigh

33,2

DeepSeek V4.1 Flash

32,4

Opus 5.5 high

31,6

Opus 5.5 medium

27,4

Fable 5.1

анализ данных · процент решённого

57,5

Sonnet 5.5 max

57,5

Fable 5.1

56,2

Opus 5.5 max

55,0

Grok 4.7 high

53,8

Haiku 5.5 max

52,5

Grok 4.7 xhigh

51,2

GPT-6 Astra

50,0

GPT-6.1 Sol

48,8

Gemini 4 Argon

46,2

Gemini 3.8 Flash

45,0

Qwen3.8 Max

38,8

GLM-5.3

38,8

Kimi K3

37,5

Muse Spark 1.3

37,5

MiMo-V2.6-Pro

25,0

GLM-5.3-Flash

понимание расплывчатой задачи · рейтинг Elo

1 817

Sonnet 5.5 max

1 803

Opus 5.5 max

1 764

Opus 5.5 xhigh

1 751

Sonnet 5.5 xhigh

1 686

Opus 5.5 high

1 672

Fable 5.1

1 642

Grok 4.7 xhigh

1 633

Grok 4.7 high

1 625

Opus 5.5 medium

1 613

Qwen3.8 Max

1 581

Muse Spark 1.3

1 577

Haiku 5.5 max

1 570

DeepSeek V4.1 Flash

1 569

GPT-6 Astra

1 557

GPT-6.1 Sol

1 532

Haiku 5.5 xhigh

1 515

MiMo-V2.6-Pro

1 507

GLM-5.3

1 499

Kimi K3

1 486

Gemini 4 Argon

1 453

GLM-5.3-Flash

1 203

Gemini 3.8 Flash

реальные рабочие задачи · рейтинг Elo

1 866

Opus 5.5 max

1 838

Sonnet 5.5 max

1 831

Opus 5.5 xhigh

1 754

Fable 5.1

1 746

DeepSeek V4.1 Flash

1 728

Sonnet 5.5 xhigh

1 711

Grok 4.7 xhigh

1 706

Grok 4.7 high

1 704

Opus 5.5 high

1 684

MiMo-V2.6-Pro

1 681

Muse Spark 1.3

1 665

Qwen3.8 Max

1 650

GLM-5.3

1 642

GLM-5.3-Flash

1 623

Gemini 4 Argon

1 618

Haiku 5.5 max

1 594

GPT-6.1 Sol

1 584

Opus 5.5 medium

1 573

GPT-6 Astra

1 533

Kimi K3

1 513

Haiku 5.5 xhigh

1 436

Gemini 3.8 Flash

поиск причин сбоев · процент решённого

52,5

Gemini 3.8 Flash

51,2

GLM-5.3-Flash

49,5

Fable 5.1

48,6

GPT-6 Astra

47,7

Kimi K3

46,1

GLM-5.3

42,1

Grok 4.7 xhigh

40,3

Qwen3.8 Max

38,2

Opus 5.5 max

33,2

Muse Spark 1.3

3D-сцены по описанию · рейтинг Elo

1 197

Sonnet 5.5 max

1 191

Opus 5.5 max

1 166

GPT-6 Astra

1 154

Gemini 4 Argon

1 133

Fable 5.1

1 118

GPT-6.1 Sol

1 037

Muse Spark 1.3

997

Haiku 5.5 max

995

Grok 4.7 xhigh

981

Kimi K3

980

MiMo-V2.6-Pro

969

Gemini 3.8 Flash

948

Qwen3.8 Max

935

GLM-5.3-Flash

787

GLM-5.3

Модель	Компания	FrontierCode 1.1, %	Terminal-Bench 4.0, %	Design Arena, Elo	AutomationBench, %	AA-Omniscience, %	AnalystAgent, %	AA-Briefcase, Elo	GDPval-AA, Elo	ITBench, %	AA-3D, Elo
Sonnet 5.5 (max)	Anthropic	45,8	63,6	1 365	71,8	53,0	57,5	1 817	1 838	—	1 197
Opus 5.5 (max)	Anthropic	52,2	59,6	1 390	69,5	41,4	56,2	1 803	1 866	38,2	1 191
Opus 5.5 (xhigh)	Anthropic	53,5	59,6	1 390	65,0	34,3	—	1 764	1 831	—	—
Opus 5.5 (high)	Anthropic	54,0	56,6	1 390	63,2	32,4	—	1 686	1 704	—	—
Sonnet 5.5 (xhigh)	Anthropic	46,1	57,1	1 365	65,5	37,1	—	1 751	1 728	—	—
Opus 5.5 (medium)	Anthropic	57,1	52,5	1 390	61,2	31,6	—	1 625	1 584	—	—
GPT-6 Astra (max)	OpenAI	47,0	59,1	1 379	68,5	48,7	51,2	1 569	1 573	48,6	1 166
Fable 5.1 (max)	Anthropic	49,0	52,0	1 336	59,4	27,4	57,5	1 672	1 754	49,5	1 133
GPT-6.1 Sol (max)	OpenAI	49,1	56,1	1 346	64,9	45,7	50,0	1 557	1 594	—	1 118
Gemini 4 Argon (high)	Google	43,5	57,1	1 328	77,5	84,9	48,8	1 486	1 623	—	1 154
DeepSeek V4.1 Flash 1017 (max)	DeepSeek	43,7	33,8	1 333	66,6	33,2	—	1 570	1 746	—	—
GLM-5.3 (max)	Z AI	40,1	41,9	1 304	62,2	70,4	38,8	1 507	1 650	46,1	787
Muse Spark 1.3 (max)	Meta	40,6	33,3	1 352	57,9	67,1	37,5	1 581	1 681	33,2	1 037
Haiku 5.5 (max)	Anthropic	41,8	32,8	1 279	35,4	59,6	53,8	1 577	1 618	—	997
Grok 4.7 (xhigh)	SpaceXAI	33,8	25,8	1 271	65,6	70,7	52,5	1 642	1 711	42,1	995
Grok 4.7 (high)	SpaceXAI	34,2	24,7	1 271	63,5	67,6	55,0	1 633	1 706	—	—
GLM-5.3-Flash	Z AI	41,0	32,8	1 282	60,4	72,4	25,0	1 453	1 642	51,2	935
Haiku 5.5 (xhigh)	Anthropic	45,5	29,3	1 279	36,0	55,6	—	1 532	1 513	—	—
Qwen3.8 Max (0902)	Alibaba	43,2	38,9	1 293	56,2	71,2	45,0	1 613	1 665	40,3	948
MiMo-V2.6-Pro	Xiaomi	45,4	34,8	1 317	58,6	59,4	37,5	1 515	1 684	—	980
Kimi K3 (max)	Kimi	43,6	12,6	1 361	58,3	46,8	38,8	1 499	1 533	47,7	981
Gemini 3.8 Flash (high)	Google	36,4	19,7	1 304	59,9	44,8	46,2	1 203	1 436	52,5	969

Веса

Вес типа задач

Вес — среднее трёх долей: задач, денег и поправок · трекер 2026-09-24…2026-10-18, 5 107 задач

доля задач
доля денег
доля поправок
вес в индексе

20,4

39,9

12,5

24,3

Код

12,9

19,8

29,0

20,6

Дизайн

19,1

10,5

17,6

15,7

Короткие вопросы

10,9

6,3

13,3

10,2

CI и деплой

14,1

11,3

1,6

9,0

Ревью

6,7

3,3

9,0

6,3

Данные и SQL

6,2

2,1

10,6

6,3

Понять просьбу

5,0

2,7

3,9

Найти проблему

4,8

4,0

2,4

3,7

Поиск в интернете

Тип задач	Задач	Денег	Поправок	Вес
Код	20,4%	39,9%	12,5%	24,3%
Дизайн	12,9%	19,8%	29,0%	20,6%
Короткие вопросы	19,1%	10,5%	17,6%	15,7%
CI и деплой	10,9%	6,3%	13,3%	10,2%
Ревью	14,1%	11,3%	1,6%	9,0%
Данные и SQL	6,7%	3,3%	9,0%	6,3%
Понять просьбу	6,2%	2,1%	10,6%	6,3%
Найти проблему	5,0%	2,7%	3,9%	3,9%
Поиск в интернете	4,8%	4,0%	2,4%	3,7%

Поправки не оценивают модель (почти все — на Opus 5.5), а показывают, где задачи трудные: там нужен более строгий тест.

Тест	Где используется	Вес в индексе
Terminal-Bench 4.0	код ½, CI ½	17,3%
FrontierCode 1.1	код ½, ревью ½	16,7%
AA-PersonalityBench	короткие вопросы: стиль и краткость	15,7%
Design Arena	дизайн ¾	15,5%
AutomationBench-AA	CI ½, поиск ½	6,9%
AA-Omniscience	ревью ½, поиск ½	6,4%
AA-AnalystAgent	данные	6,3%
AA-3D	дизайн ¼	5,2%
ITBench-AA	найти проблему	3,9%
AA-Briefcase	понять просьбу ½	3,2%
GDPval-AA	понять просьбу ½	3,2%

Таблица

Все модели

Клик по заголовку сортирует


Sonnet 5.5 (max)	Anthropic	63,3	56	55	63	78	68	49	58	79	—	62	$5,46	12
Opus 5.5 (max)	Anthropic	61,9	58	56	66	76	65	47	56	79	38	56	$5,98	10
Opus 5.5 (xhigh) *	Anthropic	61,8	56	57	63	76	62	44	—	76	—	50	$3,46	18
Opus 5.5 (high) *	Anthropic	60,2	54	55	63	76	60	43	—	63	—	48	$1,82	33
Sonnet 5.5 (xhigh) *	Anthropic	59,3	52	52	59	78	61	42	—	69	—	51	$2,01	30
Opus 5.5 (medium) *	Anthropic	58,9	51	55	63	76	57	44	—	51	—	46	$1,34	44
GPT-6 Astra (max)	OpenAI	57,5	53	53	64	66	64	48	51	46	49	59	$3,26	18
Fable 5.1 (max)	Anthropic	57,1	53	51	58	79	56	38	58	66	50	43	$7,63	7
GPT-6.1 Sol (max)	OpenAI	56,6	52	53	59	69	61	47	50	47	—	55	$0,72	79
Gemini 4 Argon (high)	Google	55,2	53	50	58	47	67	64	49	44	—	81	$1,99	28
DeepSeek V4.1 Flash 1017 (max)	DeepSeek	51,5	45	39	55	73	50	39	—	58	—	50	$0,26	198
GLM-5.3 (max)	Z AI	49,0	45	41	44	65	52	55	39	47	46	66	$2,01	24
Muse Spark 1.3 (max)	Meta	48,6	48	37	57	57	46	54	38	54	33	63	$1,60	30
Haiku 5.5 (max)	Anthropic	47,9	43	37	48	69	34	51	54	50	—	48	$0,21	228
Grok 4.7 (xhigh)	SpaceXAI	47,7	46	30	47	65	46	52	53	61	42	68	$3,74	13
Grok 4.7 (high) *	SpaceXAI	47,3	46	30	46	65	44	51	55	60	—	66	$2,73	17
GLM-5.3-Flash	Z AI	47,2	42	37	46	65	47	57	25	43	51	66	$0,28	169
Haiku 5.5 (xhigh) *	Anthropic	46,4	41	37	47	69	33	51	—	39	—	46	$0,12	387
Qwen3.8 Max (0902)	Alibaba	46,3	45	41	47	40	48	57	45	56	40	64	$5,41	9
MiMo-V2.6-Pro	Xiaomi	45,3	46	40	51	39	47	52	38	50	—	59	$0,13	348
Kimi K3 (max)	Kimi	44,4	44	28	56	62	35	45	39	38	48	53	$2,00	22
Gemini 3.8 Flash (high)	Google	41,2	41	28	49	54	40	41	46	19	53	52	$1,24	33

Модель	Компания	Мой индекс	AA	Код	Дизайн	Короткие вопросы	CI и деплой	Ревью	Данные и SQL	Понять просьбу	Найти проблему	Поиск в интернете	$ за задачу	Баллов на $1
Sonnet 5.5 (max)	Anthropic	63,3	56	55	63	78	68	49	58	79	—	62	$5,46	12
Opus 5.5 (max)	Anthropic	61,9	58	56	66	76	65	47	56	79	38	56	$5,98	10
Opus 5.5 (xhigh) *	Anthropic	61,8	56	57	63	76	62	44	—	76	—	50	$3,46	18
Opus 5.5 (high) *	Anthropic	60,2	54	55	63	76	60	43	—	63	—	48	$1,82	33
Sonnet 5.5 (xhigh) *	Anthropic	59,3	52	52	59	78	61	42	—	69	—	51	$2,01	30
Opus 5.5 (medium) *	Anthropic	58,9	51	55	63	76	57	44	—	51	—	46	$1,34	44
GPT-6 Astra (max)	OpenAI	57,5	53	53	64	66	64	48	51	46	49	59	$3,26	18
Fable 5.1 (max)	Anthropic	57,1	53	51	58	79	56	38	58	66	50	43	$7,63	7
GPT-6.1 Sol (max)	OpenAI	56,6	52	53	59	69	61	47	50	47	—	55	$0,72	79
Gemini 4 Argon (high)	Google	55,2	53	50	58	47	67	64	49	44	—	81	$1,99	28
DeepSeek V4.1 Flash 1017 (max)	DeepSeek	51,5	45	39	55	73	50	39	—	58	—	50	$0,26	198
GLM-5.3 (max)	Z AI	49,0	45	41	44	65	52	55	39	47	46	66	$2,01	24
Muse Spark 1.3 (max)	Meta	48,6	48	37	57	57	46	54	38	54	33	63	$1,60	30
Haiku 5.5 (max)	Anthropic	47,9	43	37	48	69	34	51	54	50	—	48	$0,21	228
Grok 4.7 (xhigh)	SpaceXAI	47,7	46	30	47	65	46	52	53	61	42	68	$3,74	13
Grok 4.7 (high) *	SpaceXAI	47,3	46	30	46	65	44	51	55	60	—	66	$2,73	17
GLM-5.3-Flash	Z AI	47,2	42	37	46	65	47	57	25	43	51	66	$0,28	169
Haiku 5.5 (xhigh) *	Anthropic	46,4	41	37	47	69	33	51	—	39	—	46	$0,12	387
Qwen3.8 Max (0902)	Alibaba	46,3	45	41	47	40	48	57	45	56	40	64	$5,41	9
MiMo-V2.6-Pro	Xiaomi	45,3	46	40	51	39	47	52	38	50	—	59	$0,13	348
Kimi K3 (max)	Kimi	44,4	44	28	56	62	35	45	39	38	48	53	$2,00	22
Gemini 3.8 Flash (high)	Google	41,2	41	28	49	54	40	41	46	19	53	52	$1,24	33

Как считается

Задачи — из моих логов Claude Code за 2026-09-24…2026-10-18: 5 107 задач, разложенных на 9 типов. Поддержка клиентов не учитывается.
Вес типа — среднее трёх долей: сколько таких задач, сколько на них ушло денег и сколько раз я поправлял ответ.
Каждому типу — ближайший независимый тест (Artificial Analysis, Design Arena). Цифры производителей не используются. Elo переводится в шанс победы: 100 / (1 + 10^((база − Elo) / 400)).
Если у модели нет какого-то теста, остальные веса пересчитываются; в индекс попадают модели, у которых измерено не меньше 85% веса.
Источники: Artificial Analysis (v4.3.2), Design Arena (2026-10-20 18:07 UTC).

История версий

20 октября 2026
v2: 9 типов задач, вес — среднее долей задач, денег и поправок; дизайн по Design Arena; в индексе 22 модели разных компаний.
14 октября 2026
v1: агентная разработка 45%, понимание 45%, «не выдумывать» 10% — пять тестов, только Claude.

Расход на ИИ и подписки — на отдельной странице: сколько ИИ-кодинга влезает в подписку.