Transformers for Natural Language Processing. Build, train, and fine-tune deep neural network architectures for NLP with Python, Hugging Face, and OpenAI's GPT-3, ChatGPT, and GPT-4 - Second Edition

Denis Rothman, Antonio Gulli

Transformers are...well...transforming the world of AI. There are many platforms and models out there, but which ones best suit your needs?Transformers for Natural Language Processing, 2nd Edition, guides you through the world of transformers, highlighting the strengths of different models and platforms, while teaching you the problem-solving skills you need to tackle model weaknesses.You'll use Hugging Face to pretrain a RoBERTa model from scratch, from building the dataset to defining the data collator to training the model.If you're looking to fine-tune a pretrained model, including GPT-3, then Transformers for Natural Language Processing, 2nd Edition, shows you how with step-by-step guides.The book investigates machine translations, speech-to-text, text-to-speech, question-answering, and many more NLP tasks. It provides techniques to solve hard language problems and may even help with fake news anxiety (read chapter 13 for more details).You'll see how cutting-edge platforms, such as OpenAI, have taken transformers beyond language into computer vision tasks and code creation using DALL-E 2, ChatGPT, and GPT-4.By the end of this book, you'll know how transformers work and how to implement them and resolve issues like an AI detective.

Transformery w przetwarzaniu języka naturalnego i widzenia komputerowego. Generatywna AI oraz modele LLM z wykorzystaniem Hugging Face, ChatGPT, GPT-4V i DALL-E 3. Wydanie III

Denis Rothman

Transformery zrewolucjonizowały przetwarzanie języka naturalnego, analizę obrazów i komputerowe widzenie. Oparte na transformerach duże modele generatywne dostępne za pośrednictwem systemu ChatGPT z GPT-4V w zadaniach przetwarzania tekstu i obrazów przewyższają wydajność człowieka. Aby uczestniczyć w tej nowej erze technologicznej, musisz zrozumieć, jak działają transformery. Tę książkę docenią praktycy: analitycy danych i inżynierowie uczenia maszynowego. Opisano w niej różne architektury transformerów - od pierwszych modeli podstawowych po najnowsze osiągnięcia w generatywnej sztucznej inteligencji. Dzięki lekturze nauczysz się wstępnego szkolenia i dostrajania modeli LLM, a także pracy nad różnymi przypadkami użycia. Poznasz takie problemy jak halucynacje i zagrożenia prywatności, a następnie dowiesz się, jak je łagodzić. W książce pokazano ponadto, jak poprawiać dokładność modeli LLM i uzyskiwać większą kontrolę nad generowanymi przez nie wynikami. Nie zabrakło ciekawych szczegółów dotyczących modeli generatywnych opartych na transformerach, modeli wizyjnych i architektur multimodalnych, jak również opisu najlepszych praktyk. Najciekawsze tematy: wstępne szkolenie i dostrajanie modeli LLM platformy: Hugging Face, OpenAI i Google Vertex AI tokenizery i najlepsze praktyki wstępnego przetwarzania danych językowych techniki łagodzenia halucynacji wizualizacja aktywności modeli transformerów z użyciem systemów BertViz, LIME i SHAP modele wizyjne i multimodalne oparte na transformerach: CLIP, DALL-E 2, DALL-E 3 i GPT-4V Sztuczna inteligencja, która widzi i mówi - przekonaj się, jak to działa!