HW 6 is out!

[goodtaeeun]

안녕하세요. 여섯 번째 과제인 ThriLLVM Watermark Detector에 대한 공지입니다.

여러분은 이 과제를 통해 간단한 LLVM 프로그램에서 워터마크를 검출하는 정적 분석기를 구현하게 됩니다.
더 자세한 설명과 안내는 README.md를 참고해 주세요.

제출

아래 링크를 통해 과제 레포지토리를 생성하고 과제를 진행해주시기 바랍니다.
https://classroom.github.com/a/8k_FGPS3

과제 채점은 Gradescope 를 통해 이루어집니다. 6. ThriLLVM Watermark Detector라는 이름의 과제에 제출해 주시기 바랍니다.

채점

과제 점수는 세 가지 점수의 합으로 결정됩니다.

1. 안전성 점수(60%): 구현한 분석기가 실제 알람을 얼마나 검출했는지에 따라 결정됩니다.
2. 정확성 점수(20%): 분석기의 정확도에 따라 결정됩니다.
3. 효율성 점수(20%): worklist 알고리즘의 효율성에 따라 결정됩니다.

안전성 점수는 다음과 같이 계산합니다.

if (no_true_alarms)
    soundness = 1
else
    soundness = your_true_alarms / true_alarms

정확성 점수는 오탐 비율로 결정되며, 다음과 같이 계산됩니다.

if (no_true_alarms)
    precision = 1 / (your_alarms + 1)
else
    precision = your_true_alarms / your_alarms

효율성 점수는 분석기를 실행하는 동안 사용된 join, widen, narrow 연산 개수의 합을 기존의 가장 효율적이었던 분석기와 비교하여 결정합니다.
계산 방식은 다음과 같습니다.

efficiency = 2 - (operation_count / best_operation_count)
if (efficiency < 0)
    efficiency = 0
else if (efficiency > 1)
    efficiency = 1

이번 과제의 커버리지 기준은 80%입니다.

중요: 테스트 요구사항

여러분이 제출하는 모든 테스트는 다음과 같은 기준을 만족해야 합니다.

1. 모든 테스트는 명시된 위치에 실제 워터마크가 존재해야 합니다(여러 지점 가능).
2. 모든 테스트는 명시된 위치 이외에는 워터마크가 존재하지 않아야 합니다.
3. 테스트는 최소 5개 이상 추가되어야 합니다.

위의 기준은 Gradescope 오토그레이더를 통해서 자동으로 검사됩니다. 검사 방식과 이에 따른 구체적인 요구사항은 문서를 참고해주세요.

1번 기준의 경우, 여러분의 편의를 위해 과제 레포지토리에서 미리 검사할 수 있는 기능을 제공하고 있습니다.
테스트를 준비하신 후 make validate를 실행하시면 다음과 같이 명시된 위치에 실제 오류가 존재하는지 자동으로 검사할 수 있습니다.

[pass] example1
[pass] example2
...
[pass] exampleN
Validated tests: N
Passed tests: N
Compile failures: 0
Skipped incomplete sets: 0

위의 자동화된 작업을 각 테스트에 대해 수동으로 진행할 수도 있습니다.

1. 테스트에 필요한 파일을 준비합니다 (c 파일, 정답 파일 등). 컴파일된 프로그램이 실행 가능하도록 test/student/homework.h 파일을 test/student/validate_header.h파일로 교체합니다.
2. 다음과 같이 테스트 파일을 컴파일합니다.

clang -S -emit-llvm -g -O1 -Xclang -disable-llvm-optzns -o test.ll test.c
opt -load-pass-plugin="[test directory]/DynamicWatermarkPass.so" -passes='function(mem2reg),dynamic-watermark-pass' test.ll -S -o test.inst.ll
clang test.inst.ll -o test.bin

3. 준비된 입력 파일과 함께 테스트를 실행합니다.

./test.bin < test.input

4. 컴파일된 프로그램은 워터마크가 관찰된 지점의 목록을 출력합니다. 목록의 지점들과 정답이 일치하는지 확인합니다.

마감 이후에는 숨겨진 20%의 테스트가 추가되어 최종 채점이 진행됩니다. 여러분이 제출한 테스트도 이 20%에 포함될 예정이니 참고해 주시기 바랍니다.

기한

제출 마감: 05. 27 (수) 23:59
늦은 제출 마감: 05. 29 (금) 23:59

감사합니다.

P.S. Gradescope 리더보드에 있는 Elvis (TA)는 조교의 점수입니다. 이번 학기 가장 우수한 제출물은 다음 학기 리더보드에 올라갈 예정이니 다음 수강생들에게 이름을 남길 기회를 놓치지 마세요!

---

Hello. This is an announcement regarding the sixth assignment, ThriLLVM Watermark Detector.

You will implement a static analyzer that detects program watermarks in the simple LLVM language.
Please refer to README.md for more detailed explanations and guidance.

Submission

Please create the assignment repository using the link below and proceed with the assignment.
https://classroom.github.com/a/8k_FGPS3

Your submission will be graded via Gradescope. Please submit to the assignment named 6. ThriLLVM Watermark Detector.

Grading

The assignment score will be determined by the sum of the three scores.

1. Soundness Score (60%): Determined by whether the analyzer you implemented detects all true watermarks.
2. Precision Score (20%): Determined by the accuracy of the analyzer.
3. Efficiency Score (20%): Determined by the efficiency of the worklist algorithm.

The soundness score will be computed as follows:

if (no_true_alarms)
    soundness = 1
else
    soundness = your_true_alarms / true_alarms

The precision score accounts for the false positive ratio.
It will be computed as follows

if (no_true_alarms)
        precision = 1 / (your_alarms + 1)
else
    precision = your_true_alarms / your_alarms

The efficiency score is determined by comparing the sum of the number of join, widen, and narrow operations used during the analyzer’s execution with that of the past best-performing analyzer.
It is computed as follows:

efficiency = 2 - operation_count / best_operation_count
if (efficiency < 0)
    efficiency = 0
else if (efficiency > 1)
    efficiency = 1

The coverage threshold for this assignment is 80%.

Important: Test Requirements

All tests you add must meet the following requirements:

1. Each test must have true watermarks at the specified locations.
2. Each test must not have any potential watermarks other than the ones at the specified locations.
3. There must be at least 5 tests.

The above requirements will be automatically checked through the Gradescope autograder. Please refer to this document for the checking method and specific requirements accordingly.

We support automatically checking the first requirement in your assignment repository.
After preparing the required test files, run make validate, which should print out the following output:

[pass] example1
[pass] example2
...
[pass] exampleN
Validated tests: N
Passed tests: N
Compile failures: 0
Skipped incomplete sets: 0

You can also manually check with the following steps.

1. Prepare the header file necessary for building the test. Replace test/student/homework.h with test/student/validate_header.h.
2. Build the test program with sanitizer enabled to check for division-by-zero and null-pointer-dereference bugs.

clang -S -emit-llvm -g -O1 -Xclang -disable-llvm-optzns -o test.ll test.c
opt -load-pass-plugin="[test directory]/DynamicWatermarkPass.so" -passes='function(mem2reg),dynamic-watermark-pass' test.ll -S -o test.inst.ll
clang test.inst.ll -o test.bin

3. Run the program with the input file.

./test.bin < test.input

4. The program will print out the locations of the watermarks triggered by the input. Check if the report matches the location specified in the expected file.

Furthermore, a hidden 20% of the test suite will be added after the deadline for final grading. Note that your submitted tests will also be included in this portion.

Deadline

Submission Deadline: 05. 27 (Wed) 23:59
Late Submission Deadline: 05. 29 (Fri) 23:59

Thank you.

P.S. The name Elvis (TA) on the Gradescope leaderboard is the TA’s scores. We will add the best submissions from this semester to the leaderboard for future semesters. Make your name appear on next semester’s leaderboard!