راهنمای دریافت خوراک RSS در رونما
دریافت محتوا
راهنمای RSS Ingestion در رونما
RSS Ingestion برای دریافت منظم محتوا از فیدها، تشخیص آیتم جدید، جلوگیری از تکرار و آماده‌سازی ورودی برای پردازش تحریریه استفاده می‌شود.
جریان کار
- فید منبع ثبت می‌شود.
- سیستم فید را با فاصله زمانی مشخص بررسی می‌کند.
- آیتم‌ها بر اساس شناسه، URL و زمان مقایسه می‌شوند.
- موارد جدید از تکراری‌ها جدا می‌شوند.
- عنوان، لینک، زمان، خلاصه و سایر فیلدها نرمال می‌شوند.
- آیتم برای مرحله بعدی مانند بررسی منبع، خوشه‌بندی، ترجمه یا تولید خبر آماده می‌شود.
چه چیزهایی باید کنترل شوند؟
- اعتبار URL فید
- پاسخ HTTP و زمان پاسخ
- فرمت XML معتبر
- GUID یا شناسه پایدار
- تاریخ انتشار و timezone
- URL canonical آیتم
- encoding متن
- محتوای تکراری
Deduplication
عنوان به‌تنهایی معیار کافی نیست. یک فید ممکن است عنوان را تغییر دهد یا چند آیتم عنوان نزدیک داشته باشند. شناسه پایدار، URL منبع و fingerprint محتوا باید در کنار هم استفاده شوند.
اگر فید خراب شد
خرابی یک فید نباید کل ingestion را متوقف کند. خطا باید ثبت، منبع موقتاً علامت‌گذاری و تلاش بعدی با فاصله منطقی انجام شود. آیتم ناقص نباید به‌عنوان خبر کامل وارد جریان انتشار شود.
کنترل منبع
وجود RSS به معنی اعتبار تحریریه‌ای منبع نیست. ingestion فقط دریافت فنی است؛ اعتبار، Tier، استقلال و صحت ادعا باید جداگانه ارزیابی شود.
مرحله بعد
زمان تقریبی مطالعه: ۱ دقیقه