HW 5 is out!

[goodtaeeun]

안녕하세요. 다섯 번째 과제인 ThriLLVM Analyzer에 대한 공지입니다.

여러분은 이 과제를 통해 ThriLLVM 언어에서 division-by-zero, null-dereference 오류를 검출하는 정적 분석기를 구현하게 됩니다.
더 자세한 설명과 안내는 과제의 README.md를 참고해 주세요.

제출

아래 링크를 통해 과제 레포지토리를 생성하고 과제를 진행해주시기 바랍니다.
https://classroom.github.com/a/SWbxP2o5

과제 채점은 Gradescope 를 통해 이루어집니다. 5. Thrillvm Analyzer 라는 이름의 과제에 제출해주시기 바랍니다.

채점

과제 점수는 네 가지 점수의 합으로 결정됩니다.

1. 안전성 점수 (50%): 구현한 분석기가 실제 알람을 모두 검출했는지에 따라 결정됩니다.
2. 정확성 점수 (20%): 분석기의 정확도에 따라 결정됩니다.
3. 효율성 점수 (20%): worklist 알고리즘의 효율성에 따라 결정됩니다.
4. 퀴즈 점수 (10%): 저장소 quiz파일에 있는 문제에 대한 점수입니다. 과제 제출 시 반드시 quiz파일에 답안을 작성하여 제출해 주세요.

정확성 점수는 오탐 비율로 결정되며, 다음과 같이 계산됩니다.

if (no_true_alarms)
    precision = 1 / (your_alarms + 1)
else
    precision = true_alarms / your_alarms

효율성 점수는 분석기를 실행하는 동안 사용된 join, widen, narrow 연산 개수의 합을 기존의 가장 효율적이었던 분석기와 비교하여 결정합니다.
계산 방식은 다음과 같습니다.

efficiency = 2 - (operation_count / best_operation_count)
if (efficiency < 0)
    efficiency = 0
else if (efficiency > 1)
    efficiency = 1

추가로 Interval과 Sign 도메인의 경우, 각 도메인의 함수에 대한 단위 테스트(Unit Test)를 통해 각 함수가 올바르게 구현되었는지 검사할 것입니다.

이번 과제의 커버리지 기준은 80%입니다.

중요: 테스트 요구사항

이번 과제부터 여러분이 제출할 테스트의 기준이 보다 엄격해집니다. 여러분이 제출하는 모든 테스트는 다음과 같은 기준을 만족해야 합니다.

1. 모든 테스트는 명시된 위치에 하나의 실제 오류가 존재해야 합니다.
2. 모든 테스트는 명시된 위치 이외에는 오류가 존재하지 않아야 합니다.
3. 테스트는 최소 5개 이상 추가되어야 합니다.

위의 기준은 Gradescope 오토그레이더를 통해서 자동으로 검사됩니다. 검사 방식과 이에 따른 구체적인 요구사항은 문서를 참고해주세요.

1번 기준의 경우, 여러분의 편의를 위해 과제 레포지토리에서 미리 검사할 수 있는 기능을 제공하고 있습니다.
테스트를 준비하신 후 make validate를 실행하시면 다음과 같이 명시된 위치에 실제 오류가 존재하는지 자동으로 검사할 수 있습니다.

[pass] example1
[pass] example2
...
[pass] exampleN
Validated tests: N
Passed tests: N
Compile failures: 0
Skipped incomplete sets: 0

참고: make validate는 내부적으로 Clang Sanitizer를 사용합니다. 프로그램 살균기(Sanitizer)는 특정한 종류의 오류를 동적으로 검출하는 검사기입니다. 예를 들어, 모든 나눗셈에 앞서 분모가 0인지 확인하는 등의 검사를 자동으로 삽입하는 방식으로 작동합니다. 더 관심이 있는 분은 UndefinedBehaviorSanitizer를 참고해 주세요.

위의 자동화된 작업을 각 테스트에 대해 수동으로 진행할 수도 있습니다.

1. 테스트에 필요한 파일을 준비합니다 (c 파일, 정답 라인 파일 등). 컴파일된 프로그램이 실행 가능하도록 test/student/homework.h 파일을 test/student/validate_header.h파일로 교체합니다.
2. 프로그램 살균기와 함께 테스트 파일을 컴파일합니다.

clang -fsanitize=integer-divide-by-zero,null test.c -g -o test.bin

3. 준비된 입력 파일과 함께 테스트를 실행합니다.

./test.bin < test.input

4. 오류가 발생하는 경우, 프로그램 살균기는 다음과 같은 보고서를 출력합니다. 보고서에 나온 오류 위치가 정답 라인과 일치하는지 확인합니다.

test.c:13:12: runtime error: division by zero
SUMMARY: UndefinedBehaviorSanitizer: undefined-behavior test.c:13:12 in
UndefinedBehaviorSanitizer:DEADLYSIGNAL
==...==ERROR: UndefinedBehaviorSanitizer: FPE on unknown address 
    #0 in main test/student/test.c:13:12
    …

마감 이후에는 숨겨진 20%의 테스트가 추가되어 최종 채점이 진행됩니다. 여러분이 제출한 테스트도 이 20%에 포함될 예정이니 참고해 주시기 바랍니다.

기한

제출 마감: 05. 13 (수) 23:59
늦은 제출 마감: 05. 15 (금) 23:59

감사합니다.

P.S. Gradescope 리더보드에 있는 Elvis (TA)는 조교의 점수이며, Hoseong Lee (2024S)는 이전 수강생들 중 우수한 성적을 거둔 학생의 점수입니다. 이 점수를 뛰어넘어서 다음 수강생들에게 이름을 남겨보시길 바랍니다!

---

Hello. This is an announcement regarding the fifth assignment, ThriLLVM Analyzer.

Through this assignment, you will implement a static analyzer that detects division-by-zero and null-dereference errors in the ThriLLVM language.
Please refer to README.md for more detailed explanations and guidance.

Submission

Please create the assignment repository using the link below and proceed with the assignment.
https://classroom.github.com/a/SWbxP2o5

Assignment grading will be done through Gradescope. Please submit to the assignment named 5. Thrillvm Analyzer.

Grading

The assignment score will be determined by the sum of the four scores.

1. Soundness Score (50%): Determined by whether the analyzer you implemented detects all actual alarms.
2. Precision Score (20%): Determined by the accuracy of the analyzer.
3. Efficiency Score (20%): Determined by the efficiency of the worklist algorithm.
4. Quiz Score (10%): Score for the problem in the quiz file in the repository. Make sure to write your answer to the quiz file when submitting.

The precision score accounts for the false positive ratio.
It will be computed as follows

if (no_true_alarms)
        precision = 1 / (your_alarms + 1)
else
    precision = true_alarms / your_alarms

The efficiency score is determined by comparing the sum of the number of join, widen, and narrow operations used during the analyzer’s execution with that of the past best-performing analyzer.
It is computed as follows:

efficiency = 2 - operation_count / best_operation_count
if (efficiency < 0)
    efficiency = 0
else if (efficiency > 1)
    efficiency = 1

We will also run unit tests for the Interval and Sign domains to test that each function is implemented correctly.

The coverage threshold for this assignment is 80%.

Important: Test Requirements

We will apply stricter requirements to your submitted tests starting with this assignment. All additional tests you add must meet the following requirements:

1. Each test must have exactly one real bug at the specified location.
2. Each test must not have any bugs other than the one at the specified location.
3. There must be at least 5 tests.

The above requirements will be automatically checked through the Gradescope autograder. Please refer to this document for the checking method and specific requirements accordingly.

We support automatically checking the first requirement in your assignment repository.
After preparing the required test files, run make validate, which should print out the following output:

[pass] example1
[pass] example2
...
[pass] exampleN
Validated tests: N
Passed tests: N
Compile failures: 0
Skipped incomplete sets: 0

NOTE: We use Clang sanitizers to detect bugs. Sanitizer is a checker to detect specific types of bugs. For example, you can think of it as inserting a check for the divisor before every division. This is all you need to know about the sanitizer for this assignment. However, you may refer to UndefinedBehaviorSanitizer if you are further interested.

You can also manually check with the following steps.

1. Prepare the header file necessary for building the test. Replace test/student/homework.h with test/student/validate_header.h.
2. Build the test program with sanitizer enabled to check for division-by-zero and null-pointer-dereference bugs.

clang -fsanitize=integer-divide-by-zero,null test.c -g -o test.bin

3. Run the program with the input file.

./test.bin < test.input

4. If the bug is triggered, the sanitizer will print out the report in the following format. Check if the bug location in the report matches the location specified in the expected file.

test.c:13:12: runtime error: division by zero
SUMMARY: UndefinedBehaviorSanitizer: undefined-behavior test.c:13:12 in
UndefinedBehaviorSanitizer:DEADLYSIGNAL
==...==ERROR: UndefinedBehaviorSanitizer: FPE on unknown address 
    #0 in main test/student/test.c:13:12
    …

Furthermore, a hidden 20% of the test suite will be added after the deadline for final grading. Note that your submitted tests will also be included in this portion.

Deadline

Submission Deadline: 05. 13 (Wed) 23:59
Late Submission Deadline: 05. 15 (Fri) 23:59

Thank you.

P.S. The name Elvis (TA) on the Gradescope leaderboard is the TA’s scores, and Hoseong Lee (2024S) is the past best-performing submission. Aim for your name to appear on the leaderboard the next semester!

[KihongHeo]

Dear students,

It will be interesting if you 1) implement your unique precision-improving strategies (as we discussed today), and 2) add examples such that your strategy is effective to analyze them (so KILL other students' analyzers!). I will be happy to see the final results.

[sinarette]

@goodtaeeun make test 및 make validate에서는 문제가 없는데 autograder에서는 build failed가 뜨는데, 한번 확인 가능할까요..?

[goodtaeeun]

확인해보니 ref의 사용이 문제가 되는 상황입니다. 관련 공지를 확인해주시기 바랍니다.

[goodtaeeun]

안녕하세요, 과제 레포의 Makefile을 다음과 같이 수정하시면 make test를 통해 값 중심 프로그래밍 관련 요구사항을 자동으로 검사하실 수 있습니다.

 release:
        $(DUNE) build --profile=release src/main.exe
        $(LN) _build/default/src/main.exe $(EXE)
+       @$(foreach item, $(SRC), checkml $(item) || exit 1;)

---

Hi all. You can check the value oriented programming requirements with make test by updating the Makefile as follows.

 release:
        $(DUNE) build --profile=release src/main.exe
        $(LN) _build/default/src/main.exe $(EXE)
+       @$(foreach item, $(SRC), checkml $(item) || exit 1;)

[GaeunBae]

안녕하세요 make validate은 통과하고, 소스코드에서 ref 사용을 하지 않는데도 autograder에서 All submitted tests must be valid (validated: 2, submitted: 63)가 뜨는 상황입니다. 혹시 확인 부탁드릴 수 있을까요?

---

When I run make validate locally, all tests pass, and my source code does not use ref anywhere. However, the autograder returns the following error:
"All submitted tests must be valid (validated: 2, submitted: 63)"
Could you help me look into what might be causing this discrepancy?

[sujin0529]

안녕하세요.
make validate 는 테스트 요구사항 중 1번 기준을 확인할 수 있는 기능입니다.
2번 기준까지 통과한 테스트가 5개 이상 되었는지 확인해 보시기 바랍니다.
감사합니다.

---

Hello.
The make validate command is intended to check whether the first requirement of the test requirements is satisfied.
Please check whether at least five test cases also satisfy the second requirement as well.
Thank you.