بر اساس تخمین‌های صنعت، بیش از ۸۰ درصد داده‌های تولید شده به صورت قالب‌های بدون ساختار است، مثل فرمت متن، عکس، صوت، ویدئو و ... .در حالی که ما داریم صحبت می‌کنیم، می‌نویسیم، توییت میکنیم، از پلتفرم‌های شبکه‌های اجتماعی استفاده می‌کنیم، بر روی پلتفرم‌های مختلف پیام رسانی، پیام ارسال می‌کنیم یا در حال خرید در فروشگاه‌های الکترونیکی هستیم، در حال تولید داده هستیم. بیشتر این داده‌ها در قالب متن وجود دارند.

بنابراین داده‌های بدون ساختار چه چیزی هستند؟ داده‌های بدون ساختار اطلاعاتی هستند که در یک پایگاه داده رابطه ای سنتی وجود ندارند. برای مثال اسناد، بلاگ ها، فید‌های رسانه‌های اجتماعی، تصاویر و ویدئو ها. داده‌های متنی بیشتر از ۵۰ درصد داده‌های بدون ساختار را تشکیل داده اند.

اما پردازش زبان طبیعی که عموما با NLP نیز شناخته می‌شود چیست؟ همه ما می‌دانیم که ماشین‌ها و الگوریتم‌ها درکی از متون و کاراکتر‌ها ندارند، بنابراین خیلی مهم است که بتوانیم متن را به فرمت قابل فهم برای ماشین (مثل اعداد یا باینری) تبدیل کنیم تا برای هر نوع آنالیزی بر روی داده‌های متنی قابل استفاده شوند. این که کاری کنیم که ماشین‌ها زبان انسان‌ها (داده‌های متنی) را بفهمند و ترجمه کنند را اصطلاحا پردازش زبان طبیعی گویند.

Implement natural language processing applications with Python using a problem-solution approach. This book has numerous coding exercises that will help you to quickly deploy natural language processing techniques, such as text classification, parts of speech identification, topic modeling, text summarization, text generation, entity extraction, and sentiment analysis.

Natural Language Processing Recipes starts by offering solutions for cleaning and preprocessing text data and ways to analyze it with advanced algorithms. You’ll see practical applications of the semantic as well as syntactic analysis of text, as well as complex natural language processing approaches that involve text normalization, advanced preprocessing, POS tagging, and sentiment analysis. You will also learn various applications of machine learning and deep learning in natural language processing.

By using the recipes in this book, you will have a toolbox of solutions to apply to your own projects in the real world, making your development time quicker and more efficient.

What You Will Learn

Apply NLP techniques using Python libraries such as NLTK, TextBlob, spaCy, Stanford CoreNLP, and many more
Implement the concepts of information retrieval, text summarization, sentiment analysis, and other advanced natural language processing techniques.
Identify machine learning and deep learning techniques for natural language processing and natural language generation problems