Co to jest wektor osadzenia?

Wektor osadzenia to lista o stałej długości liczb zmiennoprzecinkowych, która reprezentuje fragment danych — słowo, zdanie, obraz lub dowolne inne dane wejściowe — w wielowymiarowej przestrzeni matematycznej. Modele uczenia maszynowego, takie jak BERT, modele text-embedding OpenAI i kodery obrazów, generują te wektory w taki sposób, że elementy semantycznie podobne znajdują się blisko siebie geometrycznie. Pojedyncze osadzenie może mieć od kilkudziesięciu do kilku tysięcy wymiarów.

Zrozumienie numerycznych właściwości osadzenia jest przydatne podczas debugowania modeli, porównywania reprezentacji wektorowych, wykrywania anomalii lub optymalizacji przechowywania i pobierania danych w bazie wektorowej.

Opis narzędzia

To narzędzie akceptuje tablicę JSON liczb reprezentujących wektor osadzenia i natychmiast oblicza zestaw statystyk opisowych: liczbę wymiarów, wartości minimalne i maksymalne, średnią arytmetyczną, odchylenie standardowe, normę L2 (wielkość) i rzadkość. Wyświetla również 10 wymiarów o największym wpływie, uszeregowanych według wartości bezwzględnej aktywacji.

Funkcje

  • Natychmiastowe statystyki — wymiary, min, max, średnia, odchylenie standardowe, norma L2 i rzadkość obliczane w przeglądarce bez wysyłania danych na serwer.
  • Tabela 10 najlepszych aktywacji — zawiera dziesięć wymiarów o największych wartościach bezwzględnych, posortowanych według wpływu, z ich indeksem, wartością surową i wartością bezwzględną.
  • Edytor JSON z podświetlaniem składni — wklej lub wpisz dowolną prawidłową tablicę JSON bezpośrednio w edytorze i uzyskaj wyniki w czasie rzeczywistym.