کتاب Linear Algebra and Optimization for Machine Learning (جبر خطی و بهینه سازی برای یادگیری ماشین)، جبر خطی و بهینه سازی را در زمینه یادگیری ماشین معرفی می‌کند. در کل کتاب، مثال‌ها و تمرینات زیادی ارائه شده است. همچنین یک حل المسائل برای تمرینات پایان هر فصل، در دسترس مدرسان قرار گرفته است. این کتاب، دانشجویان مقطع تحصیلات تکمیلی و اساتید علوم کامپیوتر، ریاضیات و علوم داده را هدف قرار داده است. دانشجویان برتر مقطع کارشناسی نیز می‌توانند از این کتاب استفاده کنند.

یک چالش مکرر که مبتدیان در یادگیری ماشین با آن روبرو هستند، پیش زمینه گسترده مورد نیاز در جبر خطی و بهینه سازی است. یک مشکل این است که دوره‌های جبر خطی و بهینه سازی موجود، فقط مخصوص یادگیری ماشین نیستند؛ بنابراین، معمولاً افراد باید بیشتر از آنچه برای یادگیری ماشین لازم است دوره بگذرانند و یاد بگیرند. علاوه بر این، انواع خاصی از ایده‌ها و ترفندهای بهینه سازی و جبر خطی، بیشتر از سایر تنظیمات برنامه-محور در یادگیری ماشین تکرار می‌شوند. بنابراین، در توسعه دید جبر خطی و بهینه سازی که با دید خاص یادگیری ماشین مناسب‌تر باشد، ارزش قابل توجهی وجود دارد.

فصل‌های کتاب جبر خطی و بهینه سازی برای یادگیری ماشین به شرح زیر است: ۱. جبر خطی و کاربردهای آن: این فصل‌ها بر مبانی جبر خطی همراه با کاربردهای رایج آنها در تجزیه مقدار‌های منفرد، تجزیه ماتریس، ماتریس‌های تشابه (روش‌های هسته) و تحلیل گراف متمرکز هستند. کاربرد‌های زیادی از یادگیری ماشین به عنوان مثال استفاده شده اند مانند خوشه بندی طیفی، طبقه بندی مبتنی بر هسته و تشخیص خارج از محدوده. تلفیق فشرده روش‌های جبر خطی با مثال هایی از یادگیری ماشین، این کتاب را از جلدهای عمومی در مورد جبر خطی متمایز می‌کند. تمرکز این کتاب، به وضوح بر مهم‌ترین جنبه‌های جبر خطی برای یادگیری ماشین و آموزش نحوه استفاده از این مفاهیم به خوانندگان است.

۲. بهینه سازی و کاربردهای آن: بخش عمده ای از یادگیری ماشین به عنوان یک مسئله بهینه سازی مطرح شده است که در آن سعی می‌کنیم دقت مدل‌های رگرسیون و طبقه بندی را به حداکثر برسانیم. «مسئله والدین» یادگیری ماشین بهینه سازی-محور، رگرسیون حداقل-مربعات است. جالب اینجاست که این مسئله هم در جبر خطی و هم در بهینه سازی به وجود می‌آید و یکی از اصلی‌ترین مشکلات اتصال این دو زمینه است. رگرسیون حداقل-مربعات، همچنین نقطه شروع برای پشتیبانی ماشین‌های برداری، رگرسیون منطقی و سیستم‌های توصیه گر است. علاوه بر این، روش‌های کاهش ابعاد و تجزیه ماتریس نیز به توسعه روش‌های بهینه سازی نیاز دارند. همچنین یک دید کلی از بهینه سازی در گراف‌های محاسباتی همراه با کاربردهای آن برای بازگشت انتشار در شبکه‌های عصبی مورد بحث قرار گرفته است.

ریاضیات گسسته، مطالعه سیستم‌های محدود، با پیشرفت عصر کامپیوتر اهمیت فزاینده ای پیدا کرده است. کامپیوتر دیجیتال اساساً یک ساختار محدود است و بسیاری از خصوصیات آن در چارچوب سیستم‌های ریاضی محدود قابل درک و تفسیر است. این کتاب، ممکن است به عنوان یک کتاب درسی برای یک دوره رسمی ریاضیات گسسته یا به عنوان مکمل تمام متون فعلی برای ارائه مطالب اساسی‌تر مورد استفاده قرار گیرد.

سه فصل اول ویرایش سوم کتاب Schaum's Outline of Discrete Mathematics، مطالب استانداردی را در مورد مجموعه ها، روابط، توابع و الگوریتم‌ها و فصل‌های بعدی درمورد منطق، شمارش و احتمال پوشش می‌دهد. سپس سه فصل در مورد نظریه گراف داریم: گراف ها، گراف‌های جهت دار و درخت‌های دو دویی. سرانجام فصل‌های جداگانه ای در مورد خصوصیات اعداد صحیح، زبان ها، ماشین ها، مجموعه‌ها و شبکه‌های مرتب، جبر بولی، ضمائم مربوط به بردارها و ماتریس‌ها و سیستم‌های جبری وجود دارد. فصل مربوط به توابع و الگوریتم‌ها شامل بحث در مورد کاردینالیته و مجموعه‌های قابل شمارش و پیچیدگی است. فصل‌های مربوط به تئوری گراف شامل بحث در مورد برنامه ریزی، قابلیت پیمایش، حداقل مسیرها، و الگوریتم‌های ورشال و هافمن است. ما تأکید می‌کنیم که فصل‌ها به گونه ای نوشته شده اند که می‌توان ترتیب آن‌ها را بدون مشکل و بدون از دست دادن استمرار تغییر داد.

هر فصل با بیان روشنی از تعاریف، اصول و قضایای مربوط با مطالب توصیفی و گویا آغاز می‌شود؛ و به دنبال آن مجموعه ای از مسائل حل شده و تکمیلی است. مسائل حل شده برای نشان دادن و تقویت مطالب، و همچنین شامل اثبات قضایا است. مسائل تکمیلی یک مرور کامل از مطالب موجود در فصل را ارائه می‌دهند.

پیشرفت‌های فن آوری در چهار دهه گذشته منجر به تغیییرات بسیاری در برنامه درسی مقطع کارشناسی شده است. این تغییرات باعث پیشرفت بسیاری از دوره‌های تک ترم و چند ترم شده است و مطالبی که در آن‌ها ارائه می‌شود عبارتند از: 1) روشهای گسسته ای که بر طبیعت محدود ذاتی در بسیاری از مسائل و ساختارها تأکید می‌کند. 2) ترکیبات - جبر شمارش یا شمارش با روابط متقابل جذاب خود با بسیاری از ساختارهای محدود. 3) تئوری گراف با کاربرد‌های آن و ارتباط با موضوعاتی مانند ساختمان داده‌ها و روش‌های بهینه سازی 4) ساختارهای جبری محدود که همراه با رشته هایی مانند نظریه کد گذاری، روش‌های شمارش، شبکه‌های gating و طرح‌های ترکیبی به وجود می‌آیند.

یکی از دلایل اصلی مطالعه مطالب کتاب Discrete and Combinatorial Mathematics، در هر یک از این چهار موضوع اصلی، فراوانی کاربردهایی است که در مطالعه علوم کامپیوتر مشاهده می‌کنید - به ویژه در زمینه ساختار داده ها، نظریه زبان‌های کامپیوتری و تجزیه و تحلیل الگوریتم ها. علاوه بر این، در مهندسی و علوم فیزیکی و زیستی و همچنین در آمار و علوم اجتماعی نیز کاربرد دارد. در نتیجه، موضوع ریاضیات گسسته و ترکیبی فقط برای کسانی که در رشته‌های ریاضیات یا علوم رایانه هستند، مطالب ارزنده ای را برای دانشجویان بسیاری از رشته‌ها ارائه می‌دهد.

دوره ریاضیات گسسته بیش از یک هدف دارد. دانشجویان باید مجموعه خاصی از حقایق ریاضی و نحوه بکارگیری آنها را بیاموزند. مهمتر از همه، چنین دوره ای باید به دانشجویان یاد بدهد که چگونه منطقی و ریاضی فکر کنند. برای دستیابی به این اهداف، این کتاب بر استدلال ریاضی تأکید می‌کند و راه‌های مختلف حل مسائل را نشان می‌دهد. پنج موضوع مهم در ویرایش هشتم کتاب Discrete Mathematics and Its Applications، بهم پیوسته اند: استدلال ریاضی، تحلیل ترکیبی، ساختارهای گسسته، تفکر الگوریتمی و کاربردها و مدل سازی. یک دوره موفق ریاضیات گسسته باید به دقت هر پنج موضوع را با هم ترکیب و متعادل کند.

دانشجویان باید استدلال ریاضی را برای خواندن، درک و ساختن استدلال‌های ریاضی درک کنند. این کتاب با بحث در مورد منطق ریاضیات آغاز می‌شود که پایه و اساس مباحث بعدی روش‌های اثبات است. همچنین هم به علم و هم به هنر ساخت اثبات پرداخته شده است. تکنیک استقرای ریاضی از طریق انواع مختلفی از نمونه هایی از چنین اثبات‌ها و توضیح دقیق در مورد چرایی این که استقرای ریاضی یک روش اثبات معتبر است بیان می‌شود.

یک مهارت مهم برای حل مسئله توانایی شمارش یا شمارش اشیاء است. بحث شمارش در این کتاب با تکنیک‌های اساسی شمارش آغاز می‌شود. تاکید بر انجام تجزیه و تحلیل ترکیبی برای حل مشکلات شمارش و تحلیل الگوریتم‌ها است نه استفاده از فرمول ها.

یک دوره در ریاضیات گسسته باید به دانشجویان بیاموزد که چگونه با ساختارهای گسسته که ساختارهای انتزاعی ریاضی هستند که برای نمایش اشیاء گسسته و روابط بین این اشیاء استفاده می‌شوند، کار کنند. این ساختارهای گسسته شامل مجموعه ها، جایگشت ها، روابط، گراف ها، درختان و ماشین‌های حالت محدود هستند.

کلاس‌های خاصی از مسائل با مشخصات یک الگوریتم حل می‌شوند. پس از توصیف الگوریتم، می‌توان با پیاده سازی آن یک برنامه کامپیوتری ساخت. بخش‌های ریاضی این فعالیت، که شامل مشخصات الگوریتم، تأیید صحت عملکرد آن و تجزیه و تحلیل حافظه کامپیوتر و زمان لازم برای انجام آن است، همه در این کتاب آمده است. الگوریتم‌ها با استفاده از انگلیسی و شکلی از شبه کد که به راحتی درک می‌شوند توضیح داده شده است.

ریاضیات گسسته تقریباً در هر زمینه تحصیلی قابل استفاده است. این کتاب کاربردهای زیادی در زمینه علوم کامپیوتر و شبکه داده وجود دارد و همچنین کاربردهایی در زمینه‌های متنوعی مانند شیمی، زیست شناسی، زبان شناسی، جغرافیا، تجارت و اینترنت دارد. این کاربردها، کاربردهای طبیعی و مهمی از ریاضیات گسسته است و مورد تردید نیست. مدل سازی با ریاضیات گسسته یک مهارت حل مسئله بسیار مهم است که دانشجویان می‌توانند با ساخت مدل‌های خود در برخی از تمرین‌ها آن را توسعه دهند.

تحقیق در عملیات یا پژوهش عملیاتی (Operations Research, Operational Research (به اختصار OR))، شاخه‌ای میان‌رشته‌ای از ریاضیات است که برای یافتن نقطه بهینه در مسائل بهینه‌سازی، از گرایش‌هایی مانند برنامه‌ریزی ریاضی، آمار و طراحی الگوریتم‌ها استفاده می‌کند. یافتن نقطه بهینه براساس نوع مسئله مفاهیم مختلف دارد و در تصمیم سازیها استفاده می‌شود. مسائل تحقیق در عملیات بر بیشینه‌سازی (ماکزیمم‌سازی) -مانند سود، سرعت خط تولید، تولید زراعی بیشتر، پهنای باند بیشتر و غیره- یا کمینه‌سازی (می‌نیمم‌سازی) -مانند هزینه کمتر و کاهش ریسک و غیره، با استفاده از یک یا چند قید تمرکز دارند. ایدهٔ اصلی تحقیق در عملیات یافتن بهترین پاسخ برای مسائل پیچیده‌ای است که با زبان ریاضی مدل‌سازی شده‌اند که باعث بهبود یا بهینه‌سازی عملکرد یک سامانه می‌شوند.

این جزوه توسط استاد اعظم باقری در دانشگاه آزاد واحد نجف آباد تدریس شده است.