Jak zachować rzetelność oceniania przy użyciu agentów AI do programowania?

Rzetelność oceny to nie to samo co naruszenie zasad

Ocena może nie pozwalać na wiarygodny wniosek, nawet gdy nikt nie oszukuje — na przykład AI potrafi wykonać zadanie, a zebrane dowody nie pokazują indywidualnego efektu. Z drugiej strony AI może być dozwolona, a ocena nadal może dostarczać podstaw do oceny uczenia się. Użycie AI samo w sobie nie oznacza naruszenia.

Dobierz warunki AI do tego, co ma być ocenione

Ograniczenie AI może być właściwe, jeśli oceniane jest wykonanie bez wsparcia. Ograniczone użycie wymaga jasnych granic, informacji dla studentów i zasad ujawnienia. AI może być dozwolona jako część zadania, jeśli dowody nadal odnoszą się do efektu. Żaden model nie jest właściwy dla wszystkich. Zobacz ujawnianie użycia AI i projektowanie oceny zadania.

Zbieraj dowody odpowiadające na pytanie o uczenie się

Artefakt, testy, wybrane zapisy procesu, kontrolowane zadanie, portfolio lub ukierunkowane wyjaśnienie mogą być przydatne zależnie od efektu. Nie potrzeba każdego źródła przy każdym zaliczeniu. Kilka słabych, powielających się sygnałów nie staje się mocnym dowodem tylko dlatego, że jest ich kilka. Końcowy artefakt ani przechodzący build nie potwierdzają automatycznie wszystkich umiejętności. Zobacz dowody z procesu pracy.

Przykład: autoryzacja w usłudze backendowej

Przykład skonstruowany — nie pochodzi z zajęć, od studenta, klienta ani z TraceYield. W zadaniu drugiego roku HBO-ICT student ma zaprojektować, zaimplementować i zweryfikować reguły autoryzacji w usłudze webowej. AI może pomagać w implementacji, lecz student ma uzasadnić ważne decyzje i sprawdzić działanie. Agent generuje początkową kontrolę; student ją modyfikuje. Aktualne testy przechodzą, ale brakuje istotnego przypadku negatywnego. Student wyjaśnia część, lecz nie całość rozumowania.

Pytanie nie brzmi „czy AI napisała kod?”, lecz „czy dowody wystarczają do oceny wskazanego efektu?”. Można przejrzeć implementację, wybrane zapisy pracy i testy, a następnie zlecić ukierunkowane dopisanie lub objaśnienie przypadku negatywnego. Nie trzeba wymyślać oceny ani rozstrzygać zarzutu; niepewność może pozostać.

Bezpieczeństwo oceny i jej trafność to różne sprawy

Kontrola warunków może ograniczać niedozwoloną pomoc, ale nie gwarantuje, że zadanie mierzy zamierzony efekt. Zablokowany egzamin może mierzyć niewłaściwą umiejętność; realistyczny projekt z AI może nie dostarczyć dowodów indywidualnych. Autentyczność również nie jest sama w sobie dowodem trafności. TEQSA to australijskie wytyczne sektorowe, nie polityka holenderska.

Sprawdź pokrycie efektów w kursie lub programie

Różne efekty mogą być oceniane w różnych warunkach: projekcie z AI, zadaniu kontrolowanym, egzaminie praktycznym lub portfolio — o ile każda część ma uzasadnienie. Npuls opisuje podejście Two-Lane jako propozycję rozróżnienia warunków kontrolowanych i bardziej zintegrowanych z AI; nie jest to obowiązek ani metoda TraceYield. Nie każdy program musi przyjąć ten układ.

Zadbaj o uczciwe i wykonalne warunki

Jeśli AI jest wymagana lub oceniana, uwzględnij dostęp do kont, różnice między modelami i płatnymi planami, limity, sprzęt, wsparcie oraz dostępność. Warunki narzędzi mogą zmieniać się w trakcie semestru, co wpływa na porównywalność. Nie zbieraj pełnych transkryptów domyślnie. Informacje należy gromadzić w zakresie potrzebnym do celu oceny.

Gdy dowody są sprzeczne lub brakuje zapisu

Silny artefakt, słaba weryfikacja, skąpe zapisy procesu i wiarygodne wyjaśnienie nie powinny zostać uśrednione w „wynik rzetelności”. Zapytaj, który efekt wspiera każde źródło. Brak zapisu to brak dowodu, nie dowód braku pracy ani naruszenia. Możliwe działania to ukierunkowane sprawdzenie, węższy wniosek lub kolejna okazja do wykazania efektu. Podejrzenie odrębnego naruszenia należy rozpatrywać osobną procedurą.

Oceniaj system kursu, nie tylko pojedynczy incydent

Warto sprawdzić, czy warunki były jasne, czy studenci mieli uczciwą możliwość wykazania efektu, czy pracowali przy porównywalnym dostępie do narzędzi oraz czy prowadzący stosują wspólne kryteria. Kalibracja i moderacja mogą być odpowiednie przy ważnych decyzjach, ale nie gwarantują trafności ani sprawiedliwości. TraceYield może udostępniać wybrane zapisy, jeśli są rejestrowane; nie zapewnia rzetelności, sprawiedliwości ani oceny.

Odróżnij wykonanie bez AI, indywidualną ocenę i kompetencję wspomaganą przez AI

Wykonanie bez AI oznacza, że student realizuje określoną pracę bez wsparcia AI. Indywidualna ocena oznacza, że dostępne dowody pozwalają ocenić konkretnego studenta. Kompetencja wspomagana przez AI oznacza korzystanie z AI przy jednoczesnym wykazaniu wymaganej wiedzy, osądu, decyzji lub weryfikacji. To różne twierdzenia; kurs może wymagać wykonania bez AI dla jednego efektu, a pracy wspomaganej AI dla innego. Wnioskowanie od wyniku do oceny powinno uwzględniać założenia i ograniczenia dowodów.

Warunki bezpieczeństwa i dowody na efekt pełnią różne role

Zapobieganie ma zachować zamierzone warunki; detekcja może oznaczyć możliwe zachowanie istotne dla reguły; dowody wspierają twierdzenie o uczeniu się lub procesie; projekt oceny ma wywołać zachowanie pozwalające ocenić efekt. Kurs skoncentrowany wyłącznie na kontroli lub detekcji nadal może nie zbierać dowodów na deklarowane umiejętności.

Pokrycie programu wymaga lokalnej decyzji

Przy przeglądzie programu można zestawić efekty, konteksty oceniania, warunki AI, źródła dowodów i stawkę decyzji. To pomoc w rozmowie, nie obowiązkowa mapa ani matryca TraceYield. Nie każdy efekt wymaga zarówno komponentu bez AI, jak i komponentu z AI. Npuls przedstawia Two-Lane jako swoją propozycję; program nadal wybiera rozwiązania odpowiednie do lokalnego kontekstu.

Moderacja może wesprzeć wspólne rozumienie kryteriów

Wspólne kryteria, kalibracja lub druga ocena mogą być rozważone przy ważnych decyzjach. Nie zapewniają same w sobie trafności ani sprawiedliwości. Rozmowa ustna lub praktyczna również może wprowadzić niezamierzone wymagania dotyczące komunikacji; używaj jej tylko wtedy, gdy odpowiada wskazanej niepewności.