diff --git a/README.md b/README.md index 38175d8..f3a2eee 100644 --- a/README.md +++ b/README.md @@ -128,13 +128,15 @@ OLLAMA_BASE_URL=http://localhost:11434 ./bin/run ... Результаты тестирования моделей: +- openai_gpt_oss_20b: 87% - google_gemini_2_0_flash_001: 86% - openai_o3_mini_high: 85% -- google_gemini_2_5_flash_preview_05_20: 84% +- moonshotai_kimi_k2: 83% - deepseek_deepseek_chat_v3_0324: 82% - google_gemini_2_5_flash_preview: 82% - deepseek_deepseek_chat_free: 78% - google_gemini_2_0_flash_lite_001: 78% +- google_gemini_2_5_flash_lite_preview_06_17: 78% - google_gemma_3_27b_it: 77% - openai_gpt_4o_mini: 77% - deepseek_deepseek_chat: 76% @@ -142,8 +144,11 @@ OLLAMA_BASE_URL=http://localhost:11434 - mistralai_codestral_2501: 75% - google_gemini_flash_1_5: 75% - inception_mercury_coder_small_beta: 74% +- z_ai_glm_4: 74% +- google_gemma_3_12b_it: 71% - meta_llama_llama_3_1_70b_instruct: 69% - mistralai_mistral_small_3_1_24b_instruct: 67% +- google_gemma_3_4b_it: 47% - qwen_qwen2_5_vl_3b_instruct_free: 41% - microsoft_phi_4_multimodal_instruct: 35% - ollama_codellama: 31% @@ -151,6 +156,7 @@ OLLAMA_BASE_URL=http://localhost:11434 - ollama_llama3_2: 25% - ollama_codellama_34b: 17% - qwen_qwen3_235b_a22b: 14% +- google_gemma_3_9b_it: 1% ``` Только по модели: diff --git a/config/models.yml b/config/models.yml index dff246a..509ef97 100644 --- a/config/models.yml +++ b/config/models.yml @@ -152,6 +152,12 @@ openrouter: note: https://openrouter.ai/z-ai/glm-4.5 done: false + openai-gpt-oss-20b: + name: openai/gpt-oss-20b + provider: openrouter.ai + note: https://openrouter.ai/openai/gpt-oss-20b + done: false + # Ollama модели ollama: ollama_llama3_2: diff --git a/reports/human_eval_for_ruby_report_full.html b/reports/human_eval_for_ruby_report_full.html index eed63f3..0c2badd 100644 --- a/reports/human_eval_for_ruby_report_full.html +++ b/reports/human_eval_for_ruby_report_full.html @@ -64,13 +64,14 @@

Отчет о тестировании моделей

-

Дата: 2025-08-03 17:30:21

+

Дата: 2025-08-09 18:04:26

Результаты по моделям

+ @@ -78,15 +79,15 @@

Результаты по моделям

- - + + - + + - @@ -122,6 +123,7 @@

Детальные результаты по задачам

+ @@ -151,6 +153,7 @@

Детальные результаты по задачам

+ @@ -174,7 +177,8 @@

Детальные результаты по задачам

- + + @@ -206,6 +210,7 @@

Детальные результаты по задачам

+ @@ -234,6 +239,7 @@

Детальные результаты по задачам

+ @@ -265,6 +271,7 @@

Детальные результаты по задачам

+ @@ -294,6 +301,7 @@

Детальные результаты по задачам

+ @@ -321,6 +329,7 @@

Детальные результаты по задачам

+ @@ -351,6 +360,7 @@

Детальные результаты по задачам

+ @@ -380,6 +390,7 @@

Детальные результаты по задачам

+ @@ -409,6 +420,7 @@

Детальные результаты по задачам

+ @@ -440,6 +452,7 @@

Детальные результаты по задачам

+ @@ -467,6 +480,7 @@

Детальные результаты по задачам

+ @@ -494,7 +508,8 @@

Детальные результаты по задачам

- + + @@ -526,6 +541,7 @@

Детальные результаты по задачам

+ @@ -556,6 +572,7 @@

Детальные результаты по задачам

+ @@ -582,6 +599,7 @@

Детальные результаты по задачам

+ @@ -614,6 +632,7 @@

Детальные результаты по задачам

+ @@ -643,6 +662,7 @@

Детальные результаты по задачам

+ @@ -674,6 +694,7 @@

Детальные результаты по задачам

+ @@ -703,6 +724,7 @@

Детальные результаты по задачам

+ @@ -733,6 +755,7 @@

Детальные результаты по задачам

+ @@ -761,6 +784,7 @@

Детальные результаты по задачам

+ @@ -789,6 +813,7 @@

Детальные результаты по задачам

+ @@ -818,6 +843,7 @@

Детальные результаты по задачам

+ @@ -851,6 +877,7 @@

Детальные результаты по задачам

+ @@ -876,6 +903,7 @@

Детальные результаты по задачам

+ @@ -905,6 +933,7 @@

Детальные результаты по задачам

+ @@ -937,6 +966,7 @@

Детальные результаты по задачам

+ @@ -961,6 +991,7 @@

Детальные результаты по задачам

+ @@ -990,6 +1021,7 @@

Детальные результаты по задачам

+ @@ -1020,6 +1052,7 @@

Детальные результаты по задачам

+ @@ -1047,6 +1080,7 @@

Детальные результаты по задачам

+ @@ -1074,6 +1108,7 @@

Детальные результаты по задачам

+ @@ -1106,6 +1141,7 @@

Детальные результаты по задачам

+ @@ -1130,6 +1166,7 @@

Детальные результаты по задачам

+ @@ -1159,6 +1196,7 @@

Детальные результаты по задачам

+ @@ -1187,6 +1225,7 @@

Детальные результаты по задачам

+ @@ -1215,6 +1254,7 @@

Детальные результаты по задачам

+ @@ -1245,6 +1285,7 @@

Детальные результаты по задачам

+ @@ -1276,6 +1317,7 @@

Детальные результаты по задачам

+ @@ -1304,6 +1346,7 @@

Детальные результаты по задачам

+ @@ -1328,6 +1371,7 @@

Детальные результаты по задачам

+ @@ -1360,6 +1404,7 @@

Детальные результаты по задачам

+ @@ -1388,6 +1433,7 @@

Детальные результаты по задачам

+ @@ -1412,6 +1458,7 @@

Детальные результаты по задачам

+ @@ -1444,6 +1491,7 @@

Детальные результаты по задачам

+ @@ -1472,6 +1520,7 @@

Детальные результаты по задачам

+ @@ -1496,6 +1545,7 @@

Детальные результаты по задачам

+ @@ -1525,6 +1575,7 @@

Детальные результаты по задачам

+ @@ -1556,6 +1607,7 @@

Детальные результаты по задачам

+ @@ -1584,6 +1636,7 @@

Детальные результаты по задачам

+ @@ -1612,6 +1665,7 @@

Детальные результаты по задачам

+ @@ -1637,6 +1691,7 @@

Детальные результаты по задачам

+ @@ -1665,6 +1720,7 @@

Детальные результаты по задачам

+ @@ -1693,6 +1749,7 @@

Детальные результаты по задачам

+ @@ -1721,6 +1778,7 @@

Детальные результаты по задачам

+ @@ -1753,6 +1811,7 @@

Детальные результаты по задачам

+ @@ -1781,6 +1840,7 @@

Детальные результаты по задачам

+ @@ -1805,6 +1865,7 @@

Детальные результаты по задачам

+ @@ -1837,6 +1898,7 @@

Детальные результаты по задачам

+ @@ -1862,6 +1924,7 @@

Детальные результаты по задачам

+ @@ -1890,6 +1953,7 @@

Детальные результаты по задачам

+ @@ -1918,6 +1982,7 @@

Детальные результаты по задачам

+ @@ -1946,6 +2011,7 @@

Детальные результаты по задачам

+ @@ -1977,6 +2043,7 @@

Детальные результаты по задачам

+ @@ -2005,6 +2072,7 @@

Детальные результаты по задачам

+ @@ -2030,6 +2098,7 @@

Детальные результаты по задачам

+ @@ -2059,6 +2128,7 @@

Детальные результаты по задачам

+ @@ -2088,6 +2158,7 @@

Детальные результаты по задачам

+ @@ -2114,6 +2185,7 @@

Детальные результаты по задачам

+ @@ -2141,6 +2213,7 @@

Детальные результаты по задачам

+ @@ -2174,6 +2247,7 @@

Детальные результаты по задачам

+ @@ -2199,6 +2273,7 @@

Детальные результаты по задачам

+ @@ -2231,6 +2306,7 @@

Детальные результаты по задачам

+ @@ -2259,6 +2335,7 @@

Детальные результаты по задачам

+ @@ -2283,6 +2360,7 @@

Детальные результаты по задачам

+ @@ -2316,6 +2394,7 @@

Детальные результаты по задачам

+ @@ -2341,6 +2420,7 @@

Детальные результаты по задачам

+ @@ -2373,6 +2453,7 @@

Детальные результаты по задачам

+ @@ -2401,6 +2482,7 @@

Детальные результаты по задачам

+ @@ -2429,6 +2511,7 @@

Детальные результаты по задачам

+ @@ -2457,6 +2540,7 @@

Детальные результаты по задачам

+ @@ -2481,6 +2565,7 @@

Детальные результаты по задачам

+ @@ -2511,6 +2596,7 @@

Детальные результаты по задачам

+ @@ -2539,6 +2625,7 @@

Детальные результаты по задачам

+ @@ -2570,6 +2657,7 @@

Детальные результаты по задачам

+ @@ -2598,6 +2686,7 @@

Детальные результаты по задачам

+ @@ -2626,6 +2715,7 @@

Детальные результаты по задачам

+ @@ -2654,6 +2744,7 @@

Детальные результаты по задачам

+ @@ -2682,6 +2773,7 @@

Детальные результаты по задачам

+ @@ -2707,6 +2799,7 @@

Детальные результаты по задачам

+ @@ -2735,6 +2828,7 @@

Детальные результаты по задачам

+ @@ -2765,6 +2859,7 @@

Детальные результаты по задачам

+ @@ -2794,6 +2889,7 @@

Детальные результаты по задачам

+ @@ -2819,6 +2915,7 @@

Детальные результаты по задачам

+ @@ -2848,6 +2945,7 @@

Детальные результаты по задачам

+ @@ -2875,6 +2973,7 @@

Детальные результаты по задачам

+ @@ -2904,6 +3003,7 @@

Детальные результаты по задачам

+ @@ -2936,6 +3036,7 @@

Детальные результаты по задачам

+ @@ -2961,6 +3062,7 @@

Детальные результаты по задачам

+ @@ -2992,6 +3094,7 @@

Детальные результаты по задачам

+ @@ -3020,6 +3123,7 @@

Детальные результаты по задачам

+ @@ -3045,6 +3149,7 @@

Детальные результаты по задачам

+ @@ -3073,6 +3178,7 @@

Детальные результаты по задачам

+ @@ -3106,6 +3212,7 @@

Детальные результаты по задачам

+ @@ -3135,6 +3242,7 @@

Детальные результаты по задачам

+ @@ -3160,6 +3268,7 @@

Детальные результаты по задачам

+ @@ -3191,6 +3300,7 @@

Детальные результаты по задачам

+ @@ -3217,6 +3327,7 @@

Детальные результаты по задачам

+ @@ -3248,6 +3359,7 @@

Детальные результаты по задачам

+ @@ -3273,6 +3385,7 @@

Детальные результаты по задачам

+ @@ -3304,6 +3417,7 @@

Детальные результаты по задачам

+ @@ -3332,6 +3446,7 @@

Детальные результаты по задачам

+ @@ -3360,6 +3475,7 @@

Детальные результаты по задачам

+ @@ -3388,6 +3504,7 @@

Детальные результаты по задачам

+ @@ -3413,6 +3530,7 @@

Детальные результаты по задачам

+ @@ -3443,6 +3561,7 @@

Детальные результаты по задачам

+ @@ -3469,6 +3588,7 @@

Детальные результаты по задачам

+ @@ -3497,6 +3617,7 @@

Детальные результаты по задачам

+ @@ -3525,6 +3646,7 @@

Детальные результаты по задачам

+ @@ -3553,6 +3675,7 @@

Детальные результаты по задачам

+ @@ -3584,6 +3707,7 @@

Детальные результаты по задачам

+ @@ -3611,6 +3735,7 @@

Детальные результаты по задачам

+ @@ -3636,6 +3761,7 @@

Детальные результаты по задачам

+ @@ -3668,6 +3794,7 @@

Детальные результаты по задачам

+ @@ -3693,6 +3820,7 @@

Детальные результаты по задачам

+ @@ -3724,6 +3852,7 @@

Детальные результаты по задачам

+ @@ -3752,6 +3881,7 @@

Детальные результаты по задачам

+ @@ -3777,6 +3907,7 @@

Детальные результаты по задачам

+ @@ -3805,6 +3936,7 @@

Детальные результаты по задачам

+ @@ -3833,6 +3965,7 @@

Детальные результаты по задачам

+ @@ -3864,6 +3997,7 @@

Детальные результаты по задачам

+ @@ -3889,6 +4023,7 @@

Детальные результаты по задачам

+ @@ -3917,6 +4052,7 @@

Детальные результаты по задачам

+ @@ -3945,6 +4081,7 @@

Детальные результаты по задачам

+ @@ -3976,6 +4113,7 @@

Детальные результаты по задачам

+ @@ -4004,6 +4142,7 @@

Детальные результаты по задачам

+ @@ -4029,6 +4168,7 @@

Детальные результаты по задачам

+ @@ -4058,6 +4198,7 @@

Детальные результаты по задачам

+ @@ -4086,6 +4227,7 @@

Детальные результаты по задачам

+ @@ -4115,6 +4257,7 @@

Детальные результаты по задачам

+ @@ -4146,6 +4289,7 @@

Детальные результаты по задачам

+ @@ -4174,6 +4318,7 @@

Детальные результаты по задачам

+ @@ -4199,6 +4344,7 @@

Детальные результаты по задачам

+ @@ -4226,6 +4372,7 @@

Детальные результаты по задачам

+ @@ -4258,6 +4405,7 @@

Детальные результаты по задачам

+ @@ -4284,6 +4432,7 @@

Детальные результаты по задачам

+ @@ -4312,6 +4461,7 @@

Детальные результаты по задачам

+ @@ -4340,6 +4490,7 @@

Детальные результаты по задачам

+ @@ -4372,6 +4523,7 @@

Детальные результаты по задачам

+ @@ -4397,6 +4549,7 @@

Детальные результаты по задачам

+ @@ -4425,6 +4578,7 @@

Детальные результаты по задачам

+ @@ -4453,6 +4607,7 @@

Детальные результаты по задачам

+ @@ -4481,6 +4636,7 @@

Детальные результаты по задачам

+ @@ -4509,6 +4665,7 @@

Детальные результаты по задачам

+ @@ -4538,6 +4695,7 @@

Детальные результаты по задачам

+ @@ -4569,6 +4727,7 @@

Детальные результаты по задачам

+ @@ -4594,6 +4753,7 @@

Детальные результаты по задачам

+ @@ -4625,6 +4785,7 @@

Детальные результаты по задачам

+ @@ -4650,6 +4811,7 @@

Детальные результаты по задачам

+ @@ -4678,6 +4840,7 @@

Детальные результаты по задачам

+ @@ -4706,6 +4869,7 @@

Детальные результаты по задачам

+ @@ -4733,6 +4897,7 @@

Детальные результаты по задачам

+ @@ -4765,5 +4930,6 @@

Детальные результаты по задачам

+
МодельУспешность
google_gemma_3_9b_it100%
google_gemini_2_0_flash_00187%
openai_gpt_oss_20b87%
openai_o3_mini_high85%
moonshotai_kimi_k283%
deepseek_deepseek_chat_v3_032482%
deepseek_deepseek_chat_free79%
google_gemini_2_0_flash_lite_00179%
google_gemini_2_5_flash_lite_preview_06_1778%
openai_gpt_4o_mini77%
google_gemma_3_27b_it77%
deepseek_deepseek_chat77%
google_gemma_3_27b_it77%
openai_gpt_4o_mini77%
qwen_qwen_2_5_coder_32b_instruct75%
google_gemini_flash_1_575%
mistralai_codestral_250175%
google_gemini_flash_1_575%
inception_mercury_coder_small_beta74%
qwen_qwen3_235b_a22b74%
z_ai_glm_474%
inception_mercury_coder_small_beta74%
google_gemma_3_12b_it71%
meta_llama_llama_3_1_70b_instruct69%
mistralai_mistral_small_3_1_24b_instruct67%
ollama_codellama_34b ollama_llama3_2 openai_gpt_4o_miniopenai_gpt_oss_20b openai_o3_mini_high qwen_qwen2_5_vl_3b_instruct_free qwen_qwen_2_5_coder_32b_instruct ✓ ✓ ✓✓
t1 ✗ ✗ ✗ ✗✗✓✓ ✓ ✗ ✗ ✗ ✓ ✓✓ ✗ ✗ ✗ ✗ ✗ ✗✗ ✓ ✗ ✗ ✓ ✗ ✗✗ ✓ ✓ ✗ ✓ ✓ ✓✓ ✗ ✓ ✗ ✓ ✗ ✗✗ ✓ ✗ ✗ ✓ ✓ ✓✓ ✗ ✓ ✗ ✓ ✓ ✓✓ ✗ ✓ ✗ ✓ ✓ ✓✓ ✗ ✓ ✗ ✓ ✓ ✓✓ ✗ ✗
✗ ✗ ✓✓ ✗ ✗ ✗ ✗ ✗ ✗✗✓✓ ✓ ✗ ✓ ✓ ✓ ✓✓ ✗ ✓ ✗ ✓ ✓ ✓✓ ✗ ✗ ✓ ✗ ✗ ✗✗ ✓ ✓ ✗ ✗ ✓ ✓✓ ✗ ✓ ✓ ✗ ✗ ✓✗ ✓ ✓ ✓ ✗ ✓ ✓✓ ✗ ✓ ✗ ✗ ✓ ✓✓ ✗ ✓ ✓ ✗ ✗ ✓✓ ✗ ✓ ✓ ✗ ✓ ✓✓ ✗ ✗ ✓ ✗ ✗ ✓✓ ✗ ✗ ✓ ✗ ✗ ✗✗ ✓ ✗ ✗ ✓ ✓ ✓✓
t120 ✗ ✗ ✓ ✓✓ ✗ ✓ ✓ ✗ ✓ ✓✓ ✗ ✓ ✓ ✓ ✓ ✓✓
t123 ✓ ✗ ✗ ✓✓ ✗ ✓ ✓ ✗ ✓ ✓✓ ✗ ✓ ✓ ✗ ✗ ✗✗ ✓ ✗
✗ ✓ ✗✗ ✓ ✓ ✗ ✗ ✗ ✓✓ ✗ ✓ ✓ ✗ ✗ ✗✗
t129 ✗ ✗ ✗ ✓✗ ✓ ✗ ✗ ✗ ✓ ✓✓ ✗ ✓ ✗ ✗ ✗ ✓✓ ✗ ✗ ✓ ✓ ✓ ✓✓ ✗ ✓ ✓ ✓ ✗ ✗✗ ✓ ✗
✓ ✓ ✓✓
t134 ✓ ✗ ✗ ✗✗
t135 ✗ ✓ ✗ ✗✗ ✓ ✓ ✗ ✓ ✓ ✓✓
t137 ✗ ✗ ✗ ✗✗
t138 ✓ ✗ ✓ ✓✓ ✗ ✗ ✓ ✓ ✓ ✓✓
t14 ✓ ✓ ✓ ✓✓
t140 ✓ ✗ ✗ ✓✓ ✗ ✗ ✓ ✗ ✗ ✓✓ ✗ ✓ ✓ ✓ ✓ ✓✓
t143 ✓ ✓ ✓ ✓✓
t144 ✓ ✓ ✓ ✓✓
t145 ✓ ✗ ✓ ✓✓ ✗ ✗ ✗ ✗ ✓ ✓✓ ✗ ✓ ✓ ✗ ✗ ✓✓ ✗ ✗ ✗ ✗ ✓ ✓✓ ✗ ✓ ✓ ✓ ✓ ✓✓
t15 ✓ ✓ ✓ ✓✓
t150 ✓ ✓ ✗ ✓✗ ✓ ✓ ✓ ✓ ✓ ✓✓
t152 ✓ ✓ ✓ ✓✓ ✗ ✓ ✓ ✗ ✓ ✓✓ ✗ ✗ ✓ ✗ ✗ ✓✓ ✗ ✗ ✓ ✗ ✓ ✓✓ ✗ ✓ ✓ ✓ ✓ ✓✓
t157 ✓ ✓ ✓ ✓✓
t158 ✗ ✗ ✗ ✓✓ ✗ ✓ ✗ ✓ ✗ ✗✗ ✓ ✗
✓ ✓ ✓✓ ✗
t160 ✓ ✓ ✗✗ ✓ ✓ ✗ ✗ ✗ ✓✓ ✗ ✗ ✓ ✓ ✓ ✓✓
t163 ✓ ✗ ✓ ✓✓ ✗ ✓ ✓ ✓ ✓ ✓✓
t18 ✓ ✓ ✓ ✓✓
t19 ✓ ✗ ✗ ✓✓ ✗ ✓ ✓ ✓ ✓ ✓✓
t20 ✓ ✗ ✓ ✓✓ ✗ ✓ ✓ ✗ ✗ ✗✗
t22 ✓ ✓ ✓ ✓✓
t23 ✓ ✓ ✓ ✓✓
t24 ✓ ✓ ✓ ✓✓
t25 ✓ ✗ ✗ ✗✗ ✓ ✗ ✓ ✗ ✓ ✓✓ ✗ ✓ ✓ ✗ ✓ ✓✓ ✗ ✗ ✓ ✓ ✓ ✓✓
t29 ✓ ✓ ✓ ✓✓
t3 ✓ ✓ ✓ ✓✓
t30 ✓ ✓ ✓ ✓✓
t31 ✓ ✓ ✓ ✓✓
t32 ✗ ✗ ✗ ✓✓ ✗ ✗ ✓ ✗ ✓ ✓✓ ✗ ✗ ✓ ✓ ✓ ✓✓ ✗
t35 ✓ ✓ ✓✓
t36 ✓ ✗ ✓ ✓✓ ✗ ✓ ✗ ✗ ✓ ✓✓ ✗ ✓ ✓ ✗ ✗ ✗✓ ✗ ✗ ✓ ✗ ✓ ✓✓ ✗ ✗ ✓ ✓ ✓ ✓✓
t40 ✗ ✗ ✓ ✓✓ ✗ ✓ ✓ ✓ ✓ ✓✓
t42 ✓ ✓ ✓ ✓✓
t43 ✓ ✗ ✗ ✓✓ ✗ ✗ ✓ ✗ ✓ ✓✓ ✗ ✓ ✓ ✗ ✗ ✗✗
t46 ✓ ✓ ✓ ✓✓
t47 ✗ ✗ ✓ ✗✗ ✓ ✓ ✓ ✓ ✓ ✓✓
t49 ✓ ✓ ✓ ✓✓ ✗ ✓ ✗ ✓ ✓ ✓✓
t50 ✓ ✗ ✓ ✓✓ ✗ ✓ ✓ ✓ ✓ ✓✓
t52 ✓ ✓ ✓ ✓✓
t53 ✓ ✓ ✓ ✓✓
t54 ✓ ✓ ✓ ✓✓
t55 ✓ ✗ ✗ ✓✓ ✗ ✗ ✓ ✓ ✓ ✓✓ ✗
t57 ✗ ✓ ✓✓ ✗ ✓ ✓ ✗ ✓ ✓✓ ✗ ✓ ✓ ✓ ✓ ✓✓ ✗ ✓ ✓ ✗ ✓ ✓✓ ✗ ✓ ✓ ✓ ✓ ✓✓
t61 ✓ ✓ ✓ ✓✓ ✗
t62 ✓ ✓ ✓✓ ✗ ✗ ✗ ✓ ✓ ✓✓
t64 ✓ ✗ ✓ ✓✓ ✗ ✗ ✓ ✗ ✗ ✗✗
t66 ✓ ✓ ✓ ✓✓
t67 ✓ ✗ ✓ ✓✓ ✗ ✗ ✓ ✓ ✓ ✓✓ ✗ ✓ ✓ ✗ ✓ ✓✓ ✗ ✓ ✓ ✓ ✓ ✓✓
t70 ✗ ✗ ✓ ✓✓ ✗ ✓ ✓ ✓ ✗ ✓✓ ✗ ✓ ✓ ✗ ✓ ✓✓ ✗ ✓ ✓ ✓ ✓ ✓✓
t74 ✓ ✓ ✓ ✓✓
t75 ✓ ✗ ✓ ✓✓ ✗ ✓ ✓ ✗ ✗ ✓✓ ✗ ✗ ✗ ✗ ✗ ✓✓ ✗ ✓ ✓ ✗ ✓ ✓✓ ✗ ✗ ✓ ✓ ✓ ✓✓
t8 ✓ ✓ ✓ ✓✓
t80 ✗ ✓ ✓ ✓✓ ✗ ✗ ✓ ✗ ✗ ✗✓ ✗ ✗ ✗ ✓ ✓ ✓✓ ✗
t83 ✗ ✗ ✓✓ ✗ ✓ ✓ ✗ ✓ ✓✓ ✗ ✓ ✓ ✗ ✓ ✓✓ ✗ ✓ ✓ ✗ ✗ ✗✗
t87 ✓ ✗ ✓ ✓✓ ✗ ✓ ✓ ✗ ✓ ✓✓ ✗ ✓ ✓ ✗ ✗ ✓✓ ✗ ✗ ✓ ✓ ✓ ✓✓ ✗ ✓ ✓ ✗ ✓ ✓✓ ✗ ✓ ✓ ✗ ✓ ✓✓ ✗ ✗ ✓ ✓ ✓ ✓✓
t93 ✗ ✗ ✗ ✓✓ ✗ ✗ ✓ ✓ ✓ ✓✓
t95 ✓ ✗ ✗ ✓✓ ✗ ✗ ✓ ✗ ✓ ✓✓ ✗ ✓ ✓ ✓ ✗ ✓✓ ✗ ✗ ✓ ✗ ✗ ✓✓ ✗ ✓ ✓ ✓ ✓ ✓✓
diff --git a/reports/human_eval_for_ruby_report_total.html b/reports/human_eval_for_ruby_report_total.html index 4178a9c..45d1f2e 100644 --- a/reports/human_eval_for_ruby_report_total.html +++ b/reports/human_eval_for_ruby_report_total.html @@ -64,12 +64,13 @@

Суммарный отчет о тестировании моделей

-

Дата: 2025-08-03 17:30:21

+

Дата: 2025-08-09 18:04:26

+ @@ -77,15 +78,15 @@

Суммарный отчет о тестировании моделей

- - + + - + + - diff --git a/reports/test_results.json b/reports/test_results.json index abec6a3..8c22dda 100644 --- a/reports/test_results.json +++ b/reports/test_results.json @@ -1,5 +1,5 @@ { - "timestamp": "2025-08-03 17:30:21", + "timestamp": "2025-08-09 18:04:26", "models": [ [ "google_gemma_3_9b_it", @@ -9,6 +9,10 @@ "google_gemini_2_0_flash_001", 87 ], + [ + "openai_gpt_oss_20b", + 87 + ], [ "openai_o3_mini_high", 85 @@ -38,7 +42,7 @@ 78 ], [ - "openai_gpt_4o_mini", + "deepseek_deepseek_chat", 77 ], [ @@ -46,7 +50,7 @@ 77 ], [ - "deepseek_deepseek_chat", + "openai_gpt_4o_mini", 77 ], [ @@ -54,23 +58,23 @@ 75 ], [ - "google_gemini_flash_1_5", + "mistralai_codestral_2501", 75 ], [ - "mistralai_codestral_2501", + "google_gemini_flash_1_5", 75 ], [ - "qwen_qwen3_235b_a22b", + "inception_mercury_coder_small_beta", 74 ], [ - "z_ai_glm_4", + "qwen_qwen3_235b_a22b", 74 ], [ - "inception_mercury_coder_small_beta", + "z_ai_glm_4", 74 ], [ @@ -139,6 +143,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -166,7 +171,8 @@ "ollama_codellama_13b": false, "ollama_codellama_34b": false, "ollama_llama3_2": false, - "openai_gpt_4o_mini": false, + "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": false, @@ -197,6 +203,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -226,6 +233,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -255,6 +263,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": true, @@ -285,6 +294,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -313,6 +323,7 @@ "ollama_codellama_13b": true, "ollama_codellama_34b": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -342,6 +353,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -371,6 +383,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -400,6 +413,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -429,6 +443,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -458,6 +473,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -486,7 +502,8 @@ "ollama_codellama_13b": false, "ollama_codellama_34b": false, "ollama_llama3_2": false, - "openai_gpt_4o_mini": false, + "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": true, @@ -517,6 +534,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -546,6 +564,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -574,7 +593,8 @@ "ollama_codellama_13b": false, "ollama_codellama_34b": false, "ollama_llama3_2": false, - "openai_gpt_4o_mini": true, + "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": true, @@ -605,6 +625,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": true, @@ -635,6 +656,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen3_235b_a22b": true, @@ -665,6 +687,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -694,6 +717,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": true, @@ -724,6 +748,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -752,6 +777,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -780,6 +806,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": false, @@ -809,6 +836,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen3_235b_a22b": false, @@ -838,6 +866,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen3_235b_a22b": true, @@ -867,6 +896,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": true, @@ -896,6 +926,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": true, @@ -925,6 +956,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -953,6 +985,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -981,6 +1014,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1009,6 +1043,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": false, @@ -1038,6 +1073,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1066,6 +1102,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1094,6 +1131,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -1122,6 +1160,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -1150,6 +1189,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1178,6 +1218,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -1206,6 +1247,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": true, @@ -1235,6 +1277,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1263,6 +1306,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen3_235b_a22b": true, @@ -1292,6 +1336,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -1320,6 +1365,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -1348,6 +1394,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1376,6 +1423,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -1404,6 +1452,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1432,6 +1481,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1460,6 +1510,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1488,6 +1539,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1516,6 +1568,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1544,6 +1597,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1572,6 +1626,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1600,6 +1655,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1628,6 +1684,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -1656,6 +1713,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1684,6 +1742,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -1712,6 +1771,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1740,6 +1800,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen3_235b_a22b": true, @@ -1769,6 +1830,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1797,6 +1859,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1825,6 +1888,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1853,6 +1917,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1881,6 +1946,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -1909,6 +1975,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -1937,6 +2004,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1965,6 +2033,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -1993,6 +2062,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2021,6 +2091,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2049,6 +2120,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2077,6 +2149,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2105,6 +2178,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2133,6 +2207,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": true, @@ -2162,6 +2237,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2190,6 +2266,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": true, @@ -2219,6 +2296,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2247,6 +2325,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2275,6 +2354,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen3_235b_a22b": true, @@ -2304,6 +2384,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2332,6 +2413,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2360,6 +2442,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -2389,6 +2472,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2417,6 +2501,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2445,6 +2530,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2473,6 +2559,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": true, @@ -2502,6 +2589,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2530,6 +2618,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -2558,6 +2647,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2586,6 +2676,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2614,6 +2705,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2642,6 +2734,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2670,6 +2763,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2698,6 +2792,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -2726,6 +2821,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -2754,6 +2850,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2782,6 +2879,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2810,6 +2908,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": true, @@ -2839,6 +2938,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2867,6 +2967,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2895,6 +2996,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": false, @@ -2924,6 +3026,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2952,6 +3055,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -2980,6 +3084,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3008,6 +3113,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3036,6 +3142,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -3064,6 +3171,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": true, @@ -3093,6 +3201,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": false, @@ -3122,6 +3231,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen3_235b_a22b": true, @@ -3151,6 +3261,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3179,6 +3290,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3207,6 +3319,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen3_235b_a22b": false, @@ -3236,6 +3349,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3264,6 +3378,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3292,6 +3407,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3320,6 +3436,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3348,6 +3465,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3376,6 +3494,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3404,6 +3523,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -3432,6 +3552,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3460,6 +3581,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3488,6 +3610,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3516,6 +3639,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3544,6 +3668,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3572,6 +3697,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3600,6 +3726,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3628,6 +3755,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -3656,6 +3784,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3684,6 +3813,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -3712,6 +3842,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -3740,6 +3871,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3768,6 +3900,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -3796,6 +3929,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3824,6 +3958,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3852,6 +3987,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3880,6 +4016,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3908,6 +4045,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3936,6 +4074,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3964,6 +4103,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -3992,6 +4132,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -4020,6 +4161,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": true, @@ -4049,6 +4191,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -4077,6 +4220,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": true, @@ -4106,6 +4250,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -4134,6 +4279,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -4162,6 +4308,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -4190,6 +4337,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -4218,6 +4366,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -4246,6 +4395,7 @@ "ollama_codellama_34b": true, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen3_235b_a22b": true, @@ -4275,6 +4425,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -4303,6 +4454,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -4331,6 +4483,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -4359,6 +4512,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": false, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": false, @@ -4388,6 +4542,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -4416,6 +4571,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -4444,6 +4600,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -4472,6 +4629,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -4500,6 +4658,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen3_235b_a22b": true, @@ -4529,6 +4688,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -4557,6 +4717,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -4585,6 +4746,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -4613,6 +4775,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -4641,6 +4804,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -4669,6 +4833,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -4697,6 +4862,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": true, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": false, "qwen_qwen_2_5_coder_32b_instruct": false, @@ -4725,6 +4891,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": true, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": false, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, @@ -4753,6 +4920,7 @@ "ollama_codellama_34b": false, "ollama_llama3_2": false, "openai_gpt_4o_mini": false, + "openai_gpt_oss_20b": true, "openai_o3_mini_high": true, "qwen_qwen2_5_vl_3b_instruct_free": true, "qwen_qwen_2_5_coder_32b_instruct": true, diff --git a/reports/total.md b/reports/total.md index 5928e81..daaede3 100644 --- a/reports/total.md +++ b/reports/total.md @@ -2,6 +2,7 @@ - google_gemma_3_9b_it: 100% - google_gemini_2_0_flash_001: 87% +- openai_gpt_oss_20b: 87% - openai_o3_mini_high: 85% - moonshotai_kimi_k2: 83% - deepseek_deepseek_chat_v3_0324: 82% @@ -9,15 +10,15 @@ - deepseek_deepseek_chat_free: 79% - google_gemini_2_0_flash_lite_001: 79% - google_gemini_2_5_flash_lite_preview_06_17: 78% -- openai_gpt_4o_mini: 77% -- google_gemma_3_27b_it: 77% - deepseek_deepseek_chat: 77% +- google_gemma_3_27b_it: 77% +- openai_gpt_4o_mini: 77% - qwen_qwen_2_5_coder_32b_instruct: 75% -- google_gemini_flash_1_5: 75% - mistralai_codestral_2501: 75% +- google_gemini_flash_1_5: 75% +- inception_mercury_coder_small_beta: 74% - qwen_qwen3_235b_a22b: 74% - z_ai_glm_4: 74% -- inception_mercury_coder_small_beta: 74% - google_gemma_3_12b_it: 71% - meta_llama_llama_3_1_70b_instruct: 69% - mistralai_mistral_small_3_1_24b_instruct: 67% diff --git a/tasks/t1-openai_gpt_4o_mini.rb b/tasks/t1-openai_gpt_4o_mini.rb index 34209b6..d622c55 100644 --- a/tasks/t1-openai_gpt_4o_mini.rb +++ b/tasks/t1-openai_gpt_4o_mini.rb @@ -1,3 +1,27 @@ def separate_paren_groups(paren_string) - paren_string.scan(/\s*\(\s*(?:[^\(\)]|\(\s*[^\(\)]*\s*\))*\s*\)/).map(&:strip) + paren_string = paren_string.gsub(' ', '') + groups = [] + stack = [] + current_group = '' + + paren_string.each_char do |char| + if char == '(' + if stack.empty? + current_group = '' + end + stack.push(char) + current_group << char + elsif char == ')' + if stack.empty? + next + end + stack.pop + current_group << char + if stack.empty? + groups << current_group + end + end + end + + groups end \ No newline at end of file diff --git a/tasks/t10-openai_gpt_4o_mini.rb b/tasks/t10-openai_gpt_4o_mini.rb index aee80c7..5c8d5d2 100644 --- a/tasks/t10-openai_gpt_4o_mini.rb +++ b/tasks/t10-openai_gpt_4o_mini.rb @@ -1,9 +1,12 @@ def make_palindrome(string) return string if string == string.reverse - for i in 0...string.length + suffix = '' + (0...string.length).each do |i| if string[i..-1] == string[i..-1].reverse - return string + string[0...i].reverse + suffix = string[0...i].reverse + break end end + string + suffix end \ No newline at end of file diff --git a/tasks/t100-openai_gpt_4o_mini.rb b/tasks/t100-openai_gpt_4o_mini.rb index f19d527..c8a34d8 100644 --- a/tasks/t100-openai_gpt_4o_mini.rb +++ b/tasks/t100-openai_gpt_4o_mini.rb @@ -1,9 +1,9 @@ def make_a_pile(n) pile = [] - current = n + current_stones = n n.times do - pile << current - current += (current.odd? ? 2 : 2) + pile << current_stones + current_stones += (current_stones.even? ? 2 : 2) end pile end \ No newline at end of file diff --git a/tasks/t102-openai_gpt_4o_mini.rb b/tasks/t102-openai_gpt_4o_mini.rb index 1d2d88f..5eb0df4 100644 --- a/tasks/t102-openai_gpt_4o_mini.rb +++ b/tasks/t102-openai_gpt_4o_mini.rb @@ -1,5 +1,9 @@ def choose_num(x, y) - return -1 if y < x - max_even = (y.even? ? y : y - 1) - max_even >= x ? max_even : -1 + max_even = -1 + (x..y).each do |num| + if num.even? && num > max_even + max_even = num + end + end + max_even end \ No newline at end of file diff --git a/tasks/t105-openai_gpt_4o_mini.rb b/tasks/t105-openai_gpt_4o_mini.rb index fba50a6..a7effab 100644 --- a/tasks/t105-openai_gpt_4o_mini.rb +++ b/tasks/t105-openai_gpt_4o_mini.rb @@ -1,6 +1,6 @@ def by_length(arr) - number_words = {1 => "One", 2 => "Two", 3 => "Three", 4 => "Four", 5 => "Five", 6 => "Six", 7 => "Seven", 8 => "Eight", 9 => "Nine"} + words = {1 => "One", 2 => "Two", 3 => "Three", 4 => "Four", 5 => "Five", 6 => "Six", 7 => "Seven", 8 => "Eight", 9 => "Nine"} arr.select { |num| num.between?(1, 9) } .sort.reverse - .map { |num| number_words[num] } + .map { |num| words[num] } end \ No newline at end of file diff --git a/tasks/t106-openai_gpt_4o_mini.rb b/tasks/t106-openai_gpt_4o_mini.rb index 6e0c441..4875bcc 100644 --- a/tasks/t106-openai_gpt_4o_mini.rb +++ b/tasks/t106-openai_gpt_4o_mini.rb @@ -1,9 +1,11 @@ def f(n) - (1..n).map do |i| + result = [] + (1..n).each do |i| if i.even? - (1..i).inject(:*) || 1 + result << (1..i).inject(:*) || 1 else - (1..i).sum + result << (1..i).sum end end + result end \ No newline at end of file diff --git a/tasks/t109-openai_gpt_4o_mini.rb b/tasks/t109-openai_gpt_4o_mini.rb index a5a27f8..24c390c 100644 --- a/tasks/t109-openai_gpt_4o_mini.rb +++ b/tasks/t109-openai_gpt_4o_mini.rb @@ -1,8 +1,10 @@ def move_one_ball(arr) return true if arr.empty? - - max_index = arr.each_with_index.max[1] - rotated = arr[max_index..-1] + arr[0...max_index] - - rotated == rotated.sort + count = 0 + arr.each_with_index do |num, index| + if index > 0 && num < arr[index - 1] + count += 1 + end + end + count <= 1 end \ No newline at end of file diff --git a/tasks/t11-openai_gpt_4o_mini.rb b/tasks/t11-openai_gpt_4o_mini.rb index be19ace..22bd881 100644 --- a/tasks/t11-openai_gpt_4o_mini.rb +++ b/tasks/t11-openai_gpt_4o_mini.rb @@ -1,10 +1,8 @@ def string_xor(a, b) length = [a.length, b.length].min - result = "" - + result = '' length.times do |i| result << (a[i] == b[i] ? '0' : '1') end - result end \ No newline at end of file diff --git a/tasks/t110-openai_gpt_4o_mini.rb b/tasks/t110-openai_gpt_4o_mini.rb index 52b486c..459b831 100644 --- a/tasks/t110-openai_gpt_4o_mini.rb +++ b/tasks/t110-openai_gpt_4o_mini.rb @@ -1,5 +1,5 @@ def exchange(lst1, lst2) - odd_count = lst1.count { |num| num.odd? } - even_count_in_lst2 = lst2.count { |num| num.even? } - odd_count <= even_count_in_lst2 ? "YES" : "NO" + odd_count = lst1.count(&:odd?) + even_count = lst2.count(&:even?) + odd_count <= even_count ? "YES" : "NO" end \ No newline at end of file diff --git a/tasks/t111-openai_gpt_4o_mini.rb b/tasks/t111-openai_gpt_4o_mini.rb index 2987bff..4314131 100644 --- a/tasks/t111-openai_gpt_4o_mini.rb +++ b/tasks/t111-openai_gpt_4o_mini.rb @@ -1,7 +1,7 @@ def histogram(text) frequency = Hash.new(0) text.each_char do |char| - frequency[char] += 1 if char.match?(/[a-z]/) + frequency[char] += 1 if char =~ /[a-z]/ end - frequency.select { |_, count| count == frequency.values.max } + frequency end \ No newline at end of file
МодельУспешность
google_gemma_3_9b_it100%
google_gemini_2_0_flash_00187%
openai_gpt_oss_20b87%
openai_o3_mini_high85%
moonshotai_kimi_k283%
deepseek_deepseek_chat_v3_032482%
deepseek_deepseek_chat_free79%
google_gemini_2_0_flash_lite_00179%
google_gemini_2_5_flash_lite_preview_06_1778%
openai_gpt_4o_mini77%
google_gemma_3_27b_it77%
deepseek_deepseek_chat77%
google_gemma_3_27b_it77%
openai_gpt_4o_mini77%
qwen_qwen_2_5_coder_32b_instruct75%
google_gemini_flash_1_575%
mistralai_codestral_250175%
google_gemini_flash_1_575%
inception_mercury_coder_small_beta74%
qwen_qwen3_235b_a22b74%
z_ai_glm_474%
inception_mercury_coder_small_beta74%
google_gemma_3_12b_it71%
meta_llama_llama_3_1_70b_instruct69%
mistralai_mistral_small_3_1_24b_instruct67%