بسط مختصر : با افزایش چشمگیر حجم اطلاعات و بسط وب، نیاز به آیین ها و صنعت هایی که بتوانند امکان دستیابی کارا به دادهها و استحصال دادهها از آنها را فراهم کنند، بیش از پیش احساس می شود. وب کاوی یکی از زمینه های پژوهشی است که با به کارگیری تکنیک های داده کاوی به کشف و استخراج خودکار دادهها از اسناد و سرویسهای وب می پردازد. باب واقع وب کاوی، فرآیند کشف اطلاعات و دانش ناشناخته و مفید از داده های وب باده باشد. روش های وب کاوی بر اساس آن که چه سنخ داده ای را مورد کاوش قرار می دهند، به سمت سه سنخ کاوش محتوای وب، کاوش ساختار وب و کاوش استفاده از وب تقسیم می شوند. طی این گزارش پس از معرفی وب کاوی و بررسی مراحل آن، ارتباط وب کاوی با اسم زمینه های تحقیقاتی امعان شده و به چالش ها، مشکلات و کاربردهای این زمینه تحقیقاتی اشاره می شود. همچنین هر یک از انواع وب کاوی به اطناب مورد بررسی رسم می گیرند که در این پروژه بیشتر به وب کاوی در صنعت می پردازم. برای این منظور مدل ها، الگوریتم ها و کاربردهای تمام اشکوبه معرفی می شوند.
فهرست :
مقدمه
دوران دوم: داده کاوی
مقدمه ای بر داده کاوی
چه چیزی سبب احداث داده کاوی شده است؟
مراحل انکشاف اندیشه
جایگاه داده کاوی در میان حقایق مختلف
داده کاوی چه کارهایی نمی تواند انجام دهد؟
داده کاوی و انبار داده ها
داده کاوی و OLAP
استعمال آموزش ماشین و آمار در داده کاوی
توصیف داده ها باب داده کاوی
خلاصه سازی و به پرتره باب آوردن داده ها
سنبله بندی
تجزیه لینک
مدل های پیش پوز داده ها
دسته بندی
رگرسیون
پوشیده های زمانی
الگو ها و الگوریتم های داده کاوی
شبکه های عصبی
درخت آهنگ
Multivariate Adaptive Regression Splines(MARS)
Rule induction
Knearest neibour and memorybased reansoning(MBR)
رگرسیون اسم
تجزیه تفکیکی
مدل افزودنی بسیار (GAM)
Boosting
سلسله مراتب انتخابها
داده کاوی و تدبیر بهینه وب سکوی پرتاب موشک ها
دادهکاوی و تدبیر دانش
فصل سوم: وب کاوی
تشریح وب کاوی
مراحل وب کاوی
وب کاوی و زمینه های تحقیقاتی پیوسته
وب کاوی و داده کاوی
وب کاوی و بازیابی اطلاعات
وب کاوی و استخراج دادهها
وب کاوی و یادگیری ماشین
انواع وب کاوی
خرامیدن های وب کاوی
مشکلات ومحدودیت های وب کاوی در سکوی پرتاب موشک های فارسی لسان
محتوا کاوی وب
فصل چهارم: وب کاوی در صنعت
اشکال وب کاوی باب صنعت
وب کاوی در تکنیک نفت، گاز و پتروشیمی
مهندسی مخازن/ اکتشاف
مهندسی بهره برداری
مهندسی حفاری
بخشهای مدیریتی
کاربرد های دانش داده کاوی باب صنعت بیمه
کاربردهای دانش داده کاوی در تدبیر شهری
کاربردهای داده کاوی در صنعت بانکداری
بخش اسیر مشتریان
پژوهش های کاربردی
پاداش گیری
منبعها و ماخذ فارسی
مراجع و منابع لاتین و سایتهای اینترنتی
تا به امروز نرم افزارهای تجاری و آموزشی فراوانی برای داده کاوی در حوزه های مختلف داده ها به دنیای علم و فناوری عرضه شده اند. هریک از آنها با توجه به نوع اصلی داده هایی که مورد کاوش قرار میدهند، روی الگوریتمهای خاصی متمرکز شده اند. مقایسه دقیق و علمی این ابزارها باید از جنبه های متفاوت و متعددی مانند تنوع انواع و فرمت داده های ورودی، حجم ممکن برای پردازش داده ها، الگـوریتمهای پیاده سـازی شده، روشهای ارزیابی نتایج، روشهای مصـور سـازی، روشهای پیش پردازش داده ها، واسطهای کاربر پسند، پلتفرمهای سازگار برای اجرا،قیمت و در حد بودن نرم افزار صورت گیرد. از آن میان، نرم آلت Weka با داشتن امکانات بسیار گسترده،امکان مقایسه خروجی روشهای مختلف با هم، راهنمای خوب، واسط گرافیگی کارا، سازگاری حرف سایر برنامه های ویندوزی، و از همه مهمتر وجود کتابی بسیار جامع و مرتبط با آن [Data Mining, witten et Al. 2005 ] ، معرفی میشود.
1- شناسایی نرم افزار Weka
میزکارWeka ، مجموعهای از الگوریتمهای روز یادگیری ماشینی و ابزارهای پیش پردازش دادهها میباشد. این نرمافزار به گونهای طراحی شده است که میتوان به سرعت، روشهای حاضر را به صورت انعطافپذیری روی مجموعههای جدید داده، آزمایش نمود. این نرمافزار، پشتیبانیهای ارزشمندی را برای کل فرآیند داده کاوی های تجربی فراهم میکند. این پشتیبانیها، آراسته سازی دادههای ورودی، ارزیابی آماری چارچوبهای یادگیری و نمایش گرافیکی دادههای ورودی و نتایج یادگیری را در بر میگیرند. همچنین، سازگار با دامنه وسیع الگوریتمهای یادگیری، این نرمافزار شامل ابزارهای جوراجور پیش پردازش دادههاست. این جعبه ابزار متنوع و جامع، از طریق یک واسط متداول در دسترس است، به سمت نحوی که کاربر میتواند روشهای متفاوت را در ثانیه با یکدیگر مقایسه کند و روشهایی را که برای مسایل مدنظر مناسبتر هستند، تشخیص دهد.
این سیستم به زبان جاوا نوشته شده و بر اساس لیسانس عمومی و فراگیر GNU انتشار یافته است.Weka تقریباً روی هر پلت فرمی اجرا میشود و نیز تحت سیستم عاملهای لینوکس، ویندوز، و مکینتاش، و حتی روی یک منشی دیجیتالی شخصی، آزمایش شده است.
این نرم افزار، یک واسط همگون برای بسیاری از الگوریتمهای یادگیری متفاوت، فراهم کرده است که از طریق آن روشهای پیش پردازش، پشت از پردازش و ارزیابی نتایج طرح های یادگیری روی همه مجموعه های داده موجود، قابل اعمال است.
رقیق آلت Weka ، پیاده سازی الگوریتمهای مختلف یادگیری را فراهم میکند و به آسانی میتوان آنها را به مجموعه های داده خود اعمال کرد.
همچنین، این رقیق افزار حاوی مجموعه متنوعی از ابزارهای تبدیل مجموعههای داده ها، همانند الگوریتمهای گسسته سازی میباشد. در این محیط میتوان یک مجموعه داده را پیش پردازش کرد، آن را به یک طرح یادگیری وارد نمود، و دستهبندی حاصله و کارآییاش را مورد تحلیل قرار داد.( تمام این کارها، بدون نیاز به سمت نوشتن هیچ قطعه برنامهای میسر است.)
این محیط، شامل روشهایی برای همه مسایل مدل داده کاوی مانند رگرسیون، ردهبندی، خوشهبندی، کاوش قواعد انجمنی و تعیین ویژگی میباشد. حرف در نظر گرفتن اینکه، دادهها بخش مکمل کار هستند، بسیاری از ابزارهای پیش پردازش دادهها و مصورسازی آنها آماده گشته است. همه الگوریتم ها، ورودیهای خود را به سمت صورت یک جدول رابطهای به سمت فرمت ARFF دریافت میکنند. این فرمت دادهها، میتواند از یک فایل صفت شده یا به وسیله یک درخواست از پایگاه دادهای تولید گردد.
یکی از راههای به کارگیری Weka ، اجرا یک آیین یادگیری به یک مجموعه داده و تحلیل خروجی آن برای شناخت چیزهای بیشتری راجع به آن اطلاعات میباشد. راه دیگر استفاده از الگو یادگیری شده برای تولید پیشبینیهایی در مورد نمونههای جدید است. سومین راه، اعمال یادگیرندههای مختلف و مقایسه کارآیی آنها به غرض انتخاب یکی از آنها برای تخمین میباشد. روشهای یادگیری Classifier نامیده میشوند و باب واسط تعاملی Weka ، میتوان هر یک از آنها را از منو انتخاب نمود. بسیاری از classifier ها پارامترهای قابل تنظیم دارند که میتوان از طریق صفحه ویژگیها یا object editor به سمت آنها دسترسی داشت. یک تنها ارزیابی مشترک، برای اندازهگیری کارآیی همه classifier به کار میرود.
پیاده سازیهای چارچوبهای یادگیری واقعی، منابع بسیار ارزشمندی هستند که Weka فراهم می کند. ابزارهایی که برای پیش پردازش دادهها استعمال میشوند Filter نامیده میشوند. همانند classifier ها، میتوان filter ها را از منوی مربوطه انتخاب کرده و آنها را حرف نیازمندیهای خود، سازگار نمود. در ادامه، به سمت آیین به کارگیری فیلترها اشاره میشود.
علاوه بر موردها فوق، Weka شامل پیاده سازی الگوریتمهایی برای یادگیری قواعد انجمنی، خوشهبندی دادهها در جایی که هیچ دستهای تعریف نشده است، و انتخاب ویژگیهای مرتبط باب دادهها میباشد.
تعداد صفحات :80
فرمت فایل : Word