GuppyLM: Malý jazykový model s veľkým osobným šarmom

GuppyLM je inovatívny projekt v oblasti umelých inteligencií, ktorý predstavuje jazykový model so zhruba 9 miliónmi parametrov. Tento model je unikátny svojou témou - napodobňuje malú rybičku menom Guppy, ktorá rozpráva o svete okolo seba.

Čo je GuppyLM?

GuppyLM prináša svieži prístup k jazykovým modelom. Guppy vníma svet cez vodu, jedlo, svetlo a tanky, pričom nerozumie abstraktom ako peniaze alebo politika. Je to model, ktorý dokáže fungovať na jedinom GPU za približne 5 minút a je dostatočne malý, aby bežal aj v prehliadači.

Architektúra

Tento model využíva jednoduchú architektúru transformátora, ktorá sa skladá z 8,7 miliónov parametrov, 6 vrstiev s 384 skrytými dimenziami a vyrovnávací mechanizmus nazvaný "LayerNorm". Transformátor operuje so synchronizovanými váhami a neobsahuje žiadne pokročilé techniky ako GQA alebo SwiGLU.

Osobnosť

Guppy je mimoriadne priateľská a zvedavá modelová rybka, ktorá rozpráva v krátkych vetách bez veľkých písmen. Jej konverzácie zahŕňajú okolo 60 rôznych tém od jedla po svetlo, pričom jej myšlienky často smerujú k jedlu.

Rýchly štart

Komunikácia s Guppy

Nádejní užívatelia môžu bez tréningu začať komunikovať s GuppyLM prostredníctvom Google Colab, len tým, že spustia všetky potrebné úkony a prevezmú predtrénovaný model z HuggingFace.

Vytvorte si vlastnú verziu

1. Nastavte runtime na T4 GPU.
2. Spustite všetky úkony, od stiahnutia datasetu, cez tréning tokenizéru, až po tréning samotného modelu.
3. Hotový model môžete zdieľať cez HuggingFace alebo si ho stiahnuť lokálne.

Databáza a dáta

Model je vyškolený na množine 60 000 syntetických konverzácií, ktoré sú rozdelené na tréningové a testovacie dáta.