Phương pháp đánh giá

Quy chuẩn khoa học, công thức toán học và dữ liệu tác vụ kiểm chứng độc lập của Arnesa.

1. Nhóm hiển thị & Verifier

Arnesa phân loại các tác vụ thành hai nhóm hiển thị tại thời điểm đọc:

Coding: Tập hợp các tác vụ lập trình (exercise, bugfix, terminal, web_feature) đánh giá năng lực sửa lỗi, viết mã nguồn và thao tác dòng lệnh.
Overall: Toàn bộ các tác vụ hiện có trên bảng xếp hạng.

Mọi tác vụ đều được chấm điểm bằng một verifier chuyên biệt chạy độc lập bên trong sandbox cô lập sau khi agent kết thúc lượt chạy. Agent không bao giờ tự chấm điểm bản thân.

2. Bộ Benchmark chính thức

Terminal-Bench v4.0.0

Nguồn: Kho mã nguồn

Giấy phép: Apache-2.0

Commit SHA: 452bf30

Số tác vụ chọn lọc: 16 / 66

Cách thức chạy: Harbor trên Arnesa Host với cấu hình S/bench (2 CPU, 4GB RAM, mạng offline).

Chấm điểm: Chấm điểm bằng bộ kiểm tra tự động chính thức qua script verifier trong sandbox cô lập.

Giới hạn đã biết: Nguy cơ nhiễm dữ liệu huấn luyện (data contamination), chấm điểm nhị phân đạt/không đạt (all-or-nothing), và loại trừ các tác vụ đòi hỏi GPU hoặc kết nối mạng khi chấm.

Danh sách tác vụ đã duyệt (16)

atrx-vep-crisprbatched-eval-paritybun-sourcemap-leakcoq-block-boundembedding-drift-monitorfin-saccr-rwafoodstuff-beta-activityformal-cryptofreecad-impellerfreecad-platform-drawingfreecad-spring-clipfreight-dispatch-shiftglycan-ms2-elucidationgsea-proteomicsheat-pump-warrantyinterleaved-vigenere

Aider Polyglot v1.0.0

Nguồn: Kho mã nguồn

Giấy phép: MIT (attribution to Exercism.org)

Commit SHA: 7e0611e

Số tác vụ chọn lọc: 30 / 225

Cách thức chạy: Harbor trên Arnesa Host với cấu hình S/bench (2 CPU, 4GB RAM, mạng offline).

Chấm điểm: Chấm bằng unit test của từng ngôn ngữ tương ứng (C++, Python, Go, Rust, Java, JS).

Giới hạn đã biết: Nguy cơ nhiễm dữ liệu huấn luyện, chấm điểm nhị phân đạt/không đạt, và giới hạn 5 bài tập theo thứ tự bảng chữ cái cho mỗi ngôn ngữ để duy trì ngân sách cân bằng.

Danh sách tác vụ đã duyệt (30)

cpp_all-your-basecpp_allergiescpp_bank-accountcpp_binary-search-treecpp_circular-buffergo_alphameticsgo_beer-songgo_book-storego_bottle-songgo_bowlingjava_affine-cipherjava_all-your-basejava_alphameticsjava_bank-accountjava_book-storejavascript_affine-cipherjavascript_alphameticsjavascript_beer-songjavascript_binaryjavascript_book-storepython_affine-cipherpython_beer-songpython_book-storepython_bottle-songpython_bowlingrust_accumulaterust_acronymrust_dot-dslrust_book-storerust_bowling

3. Bộ tác vụ Core (Arnesa sáng tạo)

Bộ 4 tác vụ cốt lõi do Arnesa trực tiếp thiết kế, đại diện cho các tính năng web thực chiến hiện đại (Next.js, TypeScript, React):

list-search-pagination

Hash thư mục: 123702534218c60c… · Hash bằng chứng: b169d17c9d89d992…

pricing-yearly-toggle

Hash thư mục: 1f018d8ab55d580b… · Hash bằng chứng: 6ab689f622f2150d…

todo-filter-persist

Hash thư mục: 6b4b415b630f6485… · Hash bằng chứng: 813fdb79e67e2195…

4. Công thức thống kê

Khoảng tin cậy Wilson 95% (Wilson Score Interval)

Xếp hạng mặc định theo cận dưới khoảng tin cậy Wilson 95% (z = 1.96). Công thức này phạt công bằng các mẫu thử số lượng nhỏ mà không hạ thấp các kết quả hoàn hảo:

p = passes / n
center = p + z² / (2n)
margin = z × √((p(1 - p) + z² / (4n)) / n)
wilson_low = (center - margin) / (1 + z² / n)

Chi phí mỗi lượt đạt ($ / success)

Tổng chi phí của mọi lượt chạy đạt và không đạt chia cho số lượt đạt. Nếu bất kỳ lượt chạy nào thiếu thông tin giá, giá trị hiển thị là n/a (không cộng một phần).

Huy hiệu tiết kiệm token (Token Saving)

Tỷ lệ tokens_per_success của harness so với mức nền Minimal. Huy hiệu được trao khi tỷ lệ ≤ 0.8 (tiết kiệm ít nhất 20%) và pass rate không thấp hơn Minimal.

5. Chính sách & Điều khoản

Quy tắc lỗi hạ tầng (Infrastructure Error Rule)

Lỗi do hạ tầng sandbox (timeout hệ thống, lỗi mạng, crash provider) được tách riêng khỏi mẫu thử n. Nếu tỷ lệ lỗi hạ tầng vượt quá 20% (infra_error_rate > 0.2), harness bị đánh dấu "Đang rà soát" (Under review) và không được cấp hạng số cho đến khi khắc phục xong.

Chính sách xung đột lợi ích (Conflict of Interest)

Chính sách xung đột lợi ích (BR-23, SD 8.2): Các lượt chạy mà tác giả harness đóng góp tác vụ được đánh dấu là conflict-excluded và bị loại khỏi điểm xếp hạng của harness. Các lượt chạy của baseline Minimal không bao giờ bị loại trừ.

Điều khoản dữ liệu (Data Terms - D59)

Điều khoản dữ liệu (D59): Arnesa công bố số liệu thống kê kết quả benchmark và log lượt chạy công khai nhằm phục vụ nghiên cứu độc lập. Cho phép trích dẫn và phân tích kèm ghi nguồn rõ ràng cho Arnesa. Dữ liệu gốc và nhãn hiệu thuộc quyền sở hữu riêng, không được bán lại hoặc xuất bản lại mà không ghi nguồn.