نوآوری‌های هم‌افزا، الگوریتم‌های نوین

نقش‌یاب

هدف این سرویس تشخیص دقیق نوع کلمات (مانند اسم، فعل، صفت، قید، حرف اضافه و...) برای تمامی واژه‌های موجود در جملات است. این سرویس به عنوان یک پایه قوی، زیرساخت‌هایی نظیر استخراج کلمات کلیدی، شناسایی موجودیت‌های نامدار، خلاصه‌سازی و فهم عمیق متون را فراهم می‌آورد. این قابلیت به صورت تخصصی برای تشخیص نوع کلمات در هر دو گونه ادبیات رسمی و محاوره‌ای فارسی طراحی شده است. ورودی این سرویس یک رشته متنی خام (جمله یا پاراگراف) به زبان فارسی است و خروجی آن، تگ‌گذاری دستوری (Part-of-Speech Tagging) هر کلمه در ورودی است. نحوه محقق شدن این سرویس از طریق بهره‌گیری از مدل‌های زبان بزرگ مبتنی بر ترنسفورمر است که بر روی پیکره‌های وسیع و متنوع زبان فارسی آموزش دیده‌اند تا توانایی تحلیل بافت و نقش دستوری کلمات را در هر شرایطی داشته باشند.

ویژگی‌ها

  • دقت بسیار بالا در تشخیص نقش دستوری واژگان در جملات پیچیده
  • قابلیت شناسایی نوع کلمات در متون محاوره‌ای و غیررسمی فارسی
  • پردازش سریع حجم بالایی از داده‌های متنی در حداقل زمان ممکن
  • امکان تشخیص ابهام‌های دستوری بر اساس بافت کلی جمله
  • پشتیبانی از تفکیک نقش‌های دستوری جزئی و تخصصی
  • فراهم کردن برچسب‌های دستوری استاندارد جهت استفاده در تحلیل‌های بعدی

موارد استفاده

  • بهبود عملکرد سامانه‌های چت‌بات با افزایش دقت در فهم مقصود کاربر
  • تسهیل در فرآیند خلاصه‌سازی خودکار متون و مقالات طولانی
  • ارتقاء کیفیت ابزارهای ویرایشگر و غلط‌یاب‌های املایی و دستوری
  • استفاده در موتورهای جستجو برای فیلتر و رتبه‌بندی دقیق‌تر نتایج
  • تحلیل دقیق ساختار زبانی برای پژوهش‌های علمی و زبان‌شناسی
  • تولید خودکار داده‌های آموزشی برچسب‌گذاری شده برای توسعه مدل‌های هوش مصنوعی