Wróć na stronę główną
Legal AI research · fikcyjne dane · prywatne repozytorium

Sprawdź, gdzie AI się myli.

LexAI Evaluation Lab to projekt badawczy do testowania LexAI na kontrolowanych przypadkach. Plan zakłada lokalne uruchomienie aplikacji, wykonanie przygotowanego testu i porównanie wyniku z odpowiedzią wzorcową.

Pierwszy test przygotowujemy tak, aby po udostępnieniu materiałów można go było wykonać bez programowania na fikcyjnej sprawie.

Zobacz plan pierwszego testu Status repozytorium Evaluation Lab

Repozytorium i materiały testowe są teraz prywatne. Nie umieszczamy w nich prawdziwych akt klientów ani poufnych danych kancelarii.

Co właściwie testujemy?

Nie sprawdzamy, czy odpowiedź AI „brzmi dobrze”.

Sprawdzamy, czy odpowiedź da się zweryfikować na podstawie materiału sprawy i czy LexAI zachowuje się zgodnie z oczekiwaniem.

  1. Fikcyjna sprawa
  2. Dokumenty
  3. Zadanie
  4. LexAI
  5. Odpowiedź
  6. Ground Truth
  7. PASS / PARTIAL / FAIL
PASS

Odpowiedź odpowiada oczekiwanemu wynikowi.

PARTIAL

Część wyniku jest poprawna, ale występuje istotny brak lub błąd.

FAIL

LexAI podał błędny wynik, nie znalazł wymaganej informacji albo wywnioskował coś, czego nie ma w aktach.

CASE-001

Plan pierwszego testu

Materiały pozostają na razie w prywatnym repozytorium. Pierwszy test nie będzie wymagał wiedzy programistycznej.

  1. 01

    Przygotuj lokalne LexAI

    Evaluation Lab testuje aplikację LexAI. Dostęp do niej jest obecnie ograniczony.

    Sprawdź dostęp do LexAI
  2. 02

    Otwórz instrukcję START HERE

    Evaluation Lab prowadzi Cię przez cały pierwszy eksperyment krok po kroku.

    Otwórz START HERE
  3. 03

    Utwórz fikcyjną sprawę

    W LexAI utwórz nową fikcyjną sprawę testową. Nie korzystaj na pierwszym teście z prawdziwych akt klientów.

  4. 04

    Dodaj dokumenty CASE-001

    CASE-001 zawiera pięć przygotowanych, całkowicie fikcyjnych dokumentów. Dodaj je do Akt utworzonej sprawy.

    Otwórz CASE-001
  5. 05

    Uruchom TEST-001

    Otwórz przygotowane zadanie, a następnie wykonaj je w Asystencie AI działającym w kontekście tej sprawy.

    Otwórz TEST-001
  6. 06

    Porównaj wynik

    Po uzyskaniu odpowiedzi porównaj ją z przygotowanym Ground Truth, czyli odpowiedzią wzorcową.

    Zobacz Ground Truth
    PASSPARTIALFAIL
Co dalej?

Pierwszy test to dopiero początek.

TEST-001

Fakty

Sprawdzenie, czy LexAI prawidłowo odczytuje informację znajdującą się w dokumentach.

TEST-002

Sprzeczności

Sprawdzenie, czy LexAI prawidłowo porównuje informacje z kilku dokumentów.

TEST-003

Czy AI potrafi powiedzieć „nie wiem”?

Sprawdzenie, czy LexAI powstrzymuje się od zgadywania, gdy odpowiedzi nie ma w aktach.

Zobacz wszystkie testy CASE-001
Znalazłeś błąd?

Znalazłeś coś, co LexAI zrobił źle?

Nie musisz poprawiać kodu. Opisz, czego oczekiwałeś, co zrobił LexAI i czy problem udało się powtórzyć.

Zgłoś Finding

Finding = konkretna, możliwa do sprawdzenia obserwacja dotycząca błędnego lub nieoczekiwanego zachowania LexAI.

Masz pytanie, pomysł albo ciekawy eksperyment, ale nie jest to jeszcze konkretny błąd?

Przejdź do Discussions
Co dzieje się z Findingiem?

Błąd nie powinien kończyć się na komentarzu.

  1. FINDING
  2. REPRODUKCJA
  3. WERYFIKACJA
  4. REGUŁA / SKILL / FIX
  5. TEST REGRESYJNY
  6. NOWA WERSJA

Jeżeli problem zostanie potwierdzony, może zostać zamieniony w nową regułę, zmianę skilla, poprawkę kodu albo test regresyjny. Dzięki temu znaleziony błąd może zostać wykorzystany przy testowaniu kolejnych wersji LexAI.

Dla kogo?

Kto może testować?

Student prawa

Uruchom gotowy przypadek, oceń odpowiedź AI i spróbuj znaleźć błąd.

Prawnik

Sprawdź zachowanie LexAI na kontrolowanych przypadkach albo twórz własne bezpieczne scenariusze.

Badacz

Porównuj modele, wersje, instrukcje i sposoby działania.

Developer

Reprodukuj Findings, buduj testy regresyjne i proponuj poprawki.

Bezpieczeństwo

Prawdziwe akta zostają poza repozytorium.

Evaluation Lab można wykorzystywać do lokalnych eksperymentów, ale repozytorium nie jest miejscem na dane klientów ani materiały objęte tajemnicą zawodową.

Możesz publikować

  • materiały syntetyczne,
  • dane fikcyjne,
  • bezpieczne publiczne materiały,
  • opis błędu bez ujawniania akt.

Nie publikuj

  • prawdziwych akt klientów,
  • danych osobowych,
  • tajemnicy adwokackiej lub radcowskiej,
  • poufnej korespondencji,
  • kluczy API,
  • sekretów środowiska.

Jeżeli testujesz LexAI lokalnie na prywatnych materiałach, możesz zgłosić sam typ problemu bez publikowania dokumentów źródłowych.

Co jest już testowane?

CASE-001 testuje działanie Asystenta AI w kontekście fikcyjnej sprawy oraz trzy podstawowe zachowania: odczyt faktu, analizę sprzeczności i powstrzymanie się od odpowiedzi przy braku danych.

Co dopiero będziemy dodawać?

  • osobne testy skills,
  • testy JEV,
  • testy modułu Analiza sprawy,
  • testy rozumowania prawnego,
  • bardziej złożone sprawy,
  • testy regresyjne wynikające ze zgłoszonych Findings.
Dołącz do testów

Możesz znaleźć błąd, którego my jeszcze nie znaleźliśmy.

Opisujemy plan testu CASE-001. Dostęp do materiałów udostępnimy po przygotowaniu pierwszego wydania.

Status dostępu do CASE-001 Status repozytorium
Dostęp do repozytorium

Repozytorium jest jeszcze prywatne.

Materiały udostępnimy po zakończeniu pierwszych testów.