RAG σε παραγωγή: τι δεν λέει κανένα tutorial

Μια επίδειξη RAG είναι συνήθως εντυπωσιακή.

Παίρνεις ένα PDF, το χωρίζεις σε τμήματα, δημιουργείς embeddings, κάνεις μια ερώτηση και το LLM επιστρέφει μια αρκετά καλή απάντηση.

Μετά δοκιμάζεις να κάνεις το ίδιο με πραγματικά δεδομένα.

Εκεί αρχίζει το ενδιαφέρον.

Στη δουλειά μου έχω ασχοληθεί με ροές επεξεργασίας που διαβάζουν πραγματικά επιχειρησιακά έγγραφα από τον χώρο της ναυτιλίας. Αυτά τα έγγραφα δεν μοιάζουν καθόλου με τα παραδείγματα των tutorials.

Συναντάς σαρωμένες σελίδες, σφάλματα στο OCR, πίνακες, πληροφορίες που συνεχίζονται στην επόμενη σελίδα, εξειδικευμένη ορολογία και την ίδια έννοια διατυπωμένη με πέντε διαφορετικούς τρόπους. Συχνά, μάλιστα, η πληροφορία που χρειάζεσαι δεν βρίσκεται σε μια καθαρή, αυτοτελή παράγραφο.

Εκεί κατάλαβα ότι το LLM είναι μόνο ένα κομμάτι του συστήματος.

Αν το OCR χάσει την πληροφορία, το LLM δεν μπορεί να τη βρει. Αν η τμηματοποίηση χωρίσει λανθασμένα το έγγραφο, το απαραίτητο πλαίσιο χάνεται πριν καν ξεκινήσει η ανάκτηση. Αν η ανάκτηση επιστρέψει άσχετα τεκμήρια, ακόμη και ένα εξαιρετικό γλωσσικό μοντέλο μπορεί να παραγάγει μια πολύ πειστική, αλλά λανθασμένη, απάντηση.

Γι’ αυτό θεωρώ σημαντικό να διαχωρίζουμε δύο διαφορετικές ερωτήσεις:

Βρήκαμε τη σωστή πληροφορία;

και

Χρησιμοποίησε σωστά το μοντέλο αυτή την πληροφορία;

Η ανάκτηση και η παραγωγή δεν είναι το ίδιο πρόβλημα.

Το ίδιο ισχύει και για την επαναταξινόμηση. Το τμήμα με την υψηλότερη ομοιότητα δεν είναι απαραίτητα και το καλύτερο τεκμήριο για την ερώτηση που προσπαθείς να απαντήσεις.

Ίσως, όμως, το μεγαλύτερο μάθημα για μένα να αφορά την αξιολόγηση. Μπορείς να αλλάζεις embeddings, μεγέθη τμημάτων, οδηγίες, στρατηγικές ανάκτησης και μοντέλα — και κάθε φορά να πιστεύεις ότι το σύστημα έγινε λίγο καλύτερο. Αν, όμως, δεν διαθέτεις ένα πραγματικό σύνολο αξιολόγησης από τον τομέα σου, ουσιαστικά βελτιστοποιείς με το μάτι.

Αυτό δεν αρκεί για ένα παραγωγικό περιβάλλον.

Μια επίδειξη αρκεί να αποδείξει ότι κάτι μπορεί να δουλέψει. Ένα πραγματικό σύστημα ΤΝ πρέπει να σου επιτρέπει να κατανοήσεις πότε δουλεύει, γιατί δουλεύει και πώς αποτυγχάνει.

Για μένα, αυτή είναι μια από τις μεγαλύτερες διαφορές ανάμεσα στο να χρησιμοποιείς μοντέλα ΤΝ και στο να χτίζεις συστήματα ΤΝ.