نوآوریهای همافزا، الگوریتمهای نوین
این سرویس وظیفه حذف واژگان پرتکرار و کممعنی (ایستواژهها) را از متن ورودی بر عهده دارد. هدف اصلی این فرآیند کاهش نویز و بهبود دقت در تحلیلهای بعدی است. این سرویس در پروژههایی مانند تشخیص موجودیتهای نامدار و خلاصهسازی متن به عنوان یک مرحله پیشپردازش حیاتی مورد استفاده قرار میگیرد. ورودی: متن خام فارسی. خروجی: متنی که ایستواژههای آن حذف شدهاند (یا لیستی از توکنهای معنادار). نحوه عملکرد: متن ورودی ابتدا توکنایز (واژهبندی) میشود. سپس هر واژه با یک لیست کامل و بهروزرسانی شده از ایستواژههای فارسی مقایسه میشود. واژههایی که در لیست حضور دارند، از خروجی نهایی حذف میشوند، در نتیجه تمرکز مدل بر واژگان کلیدی افزایش مییابد.