جزییات کتاب
یک رویکرد حل مسئله برای یادگیری همه چیز در مورد ترانسفورماتورها و راه اندازی در کمترین زمان با پیاده سازی متدولوژی هایی که آینده NLP را می سازند در نظر بگیرید.
ویژگی های کلیدی
نمونه سازی سریع را با کتابخانه های به روز پایتون برای ایجاد راه حل های موثر برای مشکلات صنعتی کاوش کنید
حل مشکلات پیشرفته NLP مانند تشخیص هویت نام، استخراج اطلاعات، تولید زبان و هوش مصنوعی مکالمه
عملکرد مدل خود را با کمک BertViz، exBERT و TensorBoard نظارت کنید
توضیحات کتاب
مدلهای زبان مبتنی بر ترانسفورماتور بر مطالعات پردازش زبان طبیعی (NLP) مسلط شدهاند و اکنون به یک پارادایم جدید تبدیل شدهاند. با این کتاب، نحوه ساخت برنامههای NLP مبتنی بر ترانسفورماتور مختلف را با استفاده از کتابخانه Python Transformers یاد خواهید گرفت.
این کتاب با نشان دادن نحوه نوشتن اولین برنامه Hello-world خود به شما معرفی می کند. سپس یاد خواهید گرفت که یک توکنایزر چگونه کار می کند و چگونه توکنایزر خود را آموزش دهید. با پیشروی، معماری مدلهای رمزگذاری خودکار، مانند BERT و مدلهای اتورگرسیو مانند GPT را بررسی خواهید کرد. نحوه آموزش و تنظیم مدلها را برای انواع مشکلات درک زبان طبیعی (NLU) و تولید زبان طبیعی (NLG) از جمله طبقهبندی متن، طبقهبندی نشانهها و نمایش متن مشاهده خواهید کرد. این کتاب همچنین به شما کمک میکند تا مدلهای کارآمد برای مشکلات چالش برانگیز، مانند وظایف NLP با زمینه طولانی با ظرفیت محاسباتی محدود را بیاموزید. شما همچنین با مشکلات چند زبانه و چند زبانه کار خواهید کرد، مدل ها را با نظارت بر عملکرد آنها بهینه سازی می کنید، و کشف می کنید که چگونه این مدل ها را برای تفسیرپذیری و توضیح پذیری تجزیه کنید. در نهایت، شما می توانید مدل های ترانسفورماتور خود را در یک محیط تولید مستقر کنید.
در پایان این کتاب NLP، شما یاد خواهید گرفت که چگونه از ترانسفورماتورها برای حل مسائل پیشرفته NLP با استفاده از مدل های پیشرفته استفاده کنید.
Summary by sahand.e.ma
Take a problem-solving approach to learning all about transformers and get up and running in no time by implementing methodologies that will build the future of NLPKey FeaturesExplore quick prototyping with up-to-date Python libraries to create effective solutions to industrial problemsSolve advanced NLP problems such as named-entity recognition, information extraction, language generation, and conversational AIMonitor your model's performance with the help of BertViz, exBERT, and TensorBoardBook DescriptionTransformer-based language models have dominated natural language processing (NLP) studies and have now become a new paradigm. With this book, you'll learn how to build various transformer-based NLP applications using the Python Transformers library. The book gives you an introduction to Transformers by showing you how to write your first hello-world program. You'll then learn how a tokenizer works and how to train your own tokenizer. As you advance, you'll explore the architecture of autoencoding models, such as BERT, and autoregressive models, such as GPT. You'll see how to train and fine-tune models for a variety of natural language understanding (NLU) and natural language generation (NLG) problems, including text classification, token classification, and text representation. This book also helps you to learn efficient models for challenging problems, such as long-context NLP tasks with limited computational capacity. You'll also work with multilingual and cross-lingual problems, optimize models by monitoring their performance, and discover how to deconstruct these models for interpretability and explainability. Finally, you'll be able to deploy your transformer models in a production environment. By the end of this NLP book, you'll have learned how to use Transformers to solve advanced NLP problems using advanced models.What you will learnExplore state-of-the-art NLP solutions with the Transformers libraryTrain a language model in any language with any transformer architectureFine-tune a pre-trained language model to perform several downstream tasksSelect the right framework for the training, evaluation, and production of an end-to-end solutionGet hands-on experience in using TensorBoard and Weights & BiasesVisualize the internal representation of transformer models for interpretabilityWho this book is forThis book is for deep learning researchers, hands-on NLP practitioners, as well as ML/NLP educators and students who want to start their journey with Transformers. Beginner-level machine learning knowledge and a good command of Python will help you get the best out of this book.Table of ContentsFrom Bag-of-Words to the TransformersA Hands-On Introduction to the SubjectAutoencoding Language ModelsAutoregressive and Other Language Models Fine-Tuning Language Models for Text ClassificationFine-Tuning Language Models for Token ClassificationText RepresentationWorking with Efficient TransformersCross-Lingual and Multilingual Language ModelingServing Transformer ModelsAttention Visualization and Experiment Tracking