Подяки

Виправлення хибної розкладки відрізняє справжні слова від помилково набраних невеликими мовними моделями. Ось з чого їх побудовано.

Tatoeba

Мовні моделі побудовано на реченнях проєкту Tatoeba (tatoeba.org), які додали його користувачі, ліцензія CC BY 2.0 FR.

FineWeb, FineWeb-2 і C4

Мовні моделі побудовано на наборах даних FineWeb, FineWeb-2 (Hugging Face) і C4 (Allen Institute for AI), ліцензія ODC-By 1.0, зібраних із Common Crawl.

Що постачається в Langouste

Лише зведена статистика послідовностей літер, кілька сотень кілобайтів. Жодних слів чи речень із цих джерел у Langouste немає.