هوش مصنوعی لبه‌ای چیست و چرا پردازش روی دستگاه اهمیت دارد؟

محاسبه نزدیک منبع داده

هوش مصنوعی لبه‌ای زمانی ارزشمند است که ارسال همه داده‌ها به ابر هزینه یا ریسک قابل توجهی داشته باشد. دوربین کارخانه می‌تواند حرکت غیرعادی را همان‌جا تشخیص دهد و فقط هشدار یا قطعه کوتاهی از داده را ارسال کند. این کار تأخیر شبکه را کم می‌کند و در قطع اینترنت نیز بخشی از عملکرد را حفظ می‌کند. در مقابل، دستگاه لبه‌ای معمولاً توان پردازشی، حافظه و انرژی محدودتری از مرکز داده دارد.

طراحی موفق با انتخاب مدل آغاز نمی‌شود، بلکه با تعیین محدودیت‌ها شروع می‌شود: حداکثر تأخیر، بودجه انرژی، دمای مجاز، فضای ذخیره‌سازی و مدت کارکرد بدون اتصال. سپس می‌توان از کوانتیزه‌سازی، هرس مدل یا شتاب‌دهنده اختصاصی استفاده کرد و اثر هر روش را روی دقت سنجید. مدیریت نسخه و به‌روزرسانی امن اهمیت زیادی دارد؛ دستگاهی که در محل نصب شده ممکن است سال‌ها بدون نظارت مستقیم باقی بماند.

طراحی برای محدودیت‌های دستگاه

در یک پروژه واقعی، بهتر است ابتدا دامنه کاربرد محدود و معیار پذیرش روشن تعریف شود. خط مبنا باید پیش از اجرای راهکار ثبت شود تا بتوان تغییر عملکرد را با وضعیت قبلی مقایسه کرد. آزمایش کنترل‌شده، ثبت نسخه نرم‌افزار و داده ورودی و مستندسازی شرایط اجرا، نتیجه را قابل تکرار می‌کند.

طراحی و استقرار هوش مصنوعی روی دستگاه

در معماری edge AI بخشی از استنتاج نزدیک محل تولید داده انجام می‌شود؛ روی دوربین هوشمند، تلفن، دروازه صنعتی یا رایانه کوچک. مزیت اصلی کاهش رفت‌وبرگشت شبکه، امکان کار در زمان قطع ارتباط و محدودکردن ارسال داده خام است. بااین‌حال، انتقال پردازش به لبه محدودیت‌های تازه‌ای در توان محاسباتی، حافظه، گرما، انرژی و به‌روزرسانی ایجاد می‌کند.

مسیر استقرار معمولاً از آموزش مدل در زیرساخت قدرتمند آغاز می‌شود و با تبدیل و بهینه‌سازی ادامه می‌یابد. quantization وزن‌ها و فعال‌سازی‌ها را با دقت پایین‌تر نمایش می‌دهد؛ pruning اتصالات کم‌اثر را حذف می‌کند؛ distillation دانش مدل بزرگ‌تر را به مدل کوچک منتقل می‌کند. هر روش ممکن است دقت برخی کلاس‌ها یا شرایط نادر را کاهش دهد، بنابراین مدل بهینه‌شده باید دوباره روی مجموعه آزمون نماینده سنجیده شود.

انتخاب سخت‌افزار فقط بر اساس TOPS یا تعداد عملیات نظری کافی نیست. پهنای باند حافظه، پشتیبانی runtime از عملگرهای مدل، شتاب‌دهنده اختصاصی، مصرف در حالت آماده‌به‌کار، دفع حرارت و عملکرد پیوسته اهمیت دارند. مدلی که در benchmark کوتاه سریع است ممکن است پس از گرم‌شدن دستگاه throttling شود. اندازه‌گیری latency صدک ۹۵ و ۹۹ در بار پایدار تصویر دقیق‌تری می‌دهد.

در سامانه‌های صنعتی، معماری ترکیبی رایج است: تشخیص فوری و تصمیم ایمنی روی دستگاه انجام می‌شود، اما تحلیل‌های سنگین یا آموزش مجدد به سرور مرکزی سپرده می‌شود. قطع شبکه نباید باعث از کار افتادن کنترل‌های ضروری شود. برای هر تصمیم باید مشخص باشد کدام بخش محلی است، کدام بخش ابری و رفتار سامانه در حالت آفلاین چیست.

مدیریت ناوگان دستگاه‌ها یکی از دشوارترین بخش‌هاست. نسخه مدل، firmware، کتابخانه inference و تنظیمات باید قابل ردیابی باشند. به‌روزرسانی امضاشده، امکان بازگشت به نسخه قبلی، پایش drift داده و ثبت خطاها ضروری است. در دستگاه‌های کم‌اتصال باید سیاست ارسال telemetry کم‌حجم و امن طراحی شود.

معیارهای ارزیابی شامل دقت در شرایط واقعی، تأخیر انتهابه‌انتها، انرژی به‌ازای هر inference، دمای پایدار، نرخ خطا، زمان کارکرد آفلاین و هزینه نگه‌داری هر دستگاه است. اگر پردازش محلی برای حفظ حریم خصوصی انتخاب شده، باید مسیرهای جانبی خروج داده و دسترسی فیزیکی به دستگاه نیز در مدل تهدید دیده شوند.

طراحی سامانه هوش مصنوعی لبه از نمونه اولیه تا مقیاس

در پروژه لبه، مدل تنها یکی از اجزای محصول است. دستگاه باید داده را از حسگر دریافت کند، آن را آماده‌سازی کند، استنتاج را اجرا کند و نتیجه را به یک عمل یا پیام تبدیل کند. در کارخانه ممکن است خروجی مدل به کنترل‌گر صنعتی برسد؛ در دوربین هوشمند، نتیجه به هشدار محلی تبدیل شود؛ و در خودرو، تصمیم باید در محدوده زمانی سخت‌گیرانه انجام گیرد. مسیر کامل داده و مسئولیت هر جزء باید پیش از انتخاب سخت‌افزار روشن باشد.

انتخاب مدل به بودجه محاسباتی واقعی وابسته است. کوانتیزه‌سازی می‌تواند وزن‌ها و محاسبات را به دقت پایین‌تر منتقل کند؛ هرس‌کردن بخش‌هایی از شبکه را حذف می‌کند؛ و تقطیر دانش، اطلاعات مدل بزرگ را به مدل کوچک‌تر منتقل می‌کند. این روش‌ها همیشه بدون افت کیفیت نیستند. ارزیابی باید روی داده نماینده دستگاه هدف انجام شود، زیرا معماری پردازنده و کتابخانه بهینه‌سازی ممکن است نتیجه آزمایش رایانه توسعه را تغییر دهد.

توان مصرفی فقط عدد میانگین نیست. دستگاه باتری‌خور باید مصرف در حالت آماده‌به‌کار، زمان فعال بودن حسگر، پردازش اوج و ارتباط بی‌سیم را جداگانه اندازه بگیرد. در محفظه صنعتی، دما و تهویه می‌توانند فرکانس پردازنده را کاهش دهند. اگر مدل پس از نیم ساعت کار مداوم داغ کند و کند شود، برای استقرار آماده نیست.

معماری ترکیبی لبه و ابر باید رفتار خود را هنگام قطع ارتباط مشخص کند. آیا دستگاه باید به کار ادامه دهد؟ چه داده‌ای را ذخیره کند و چه زمانی نتیجه را همگام سازد؟ برای هر حالت سیاست مشخصی تعریف کنید. داده حساس را فقط در صورت ضرورت ارسال کنید و ارتباط دستگاه با سرور را با هویت منحصربه‌فرد و کانال رمزنگاری‌شده محافظت کنید.

مدیریت ناوگان در مقیاس صدها یا هزاران دستگاه به فرایند مستقل نیاز دارد. هر دستگاه باید شناسه، نسخه سیستم‌عامل، نسخه مدل، وضعیت سلامت و زمان آخرین ارتباط داشته باشد. بسته به‌روزرسانی باید امضای دیجیتال داشته باشد و امکان انتشار مرحله‌ای، توقف انتشار و بازگشت به نسخه قبلی فراهم باشد. انتشار هم‌زمان نسخه جدید برای کل ناوگان می‌تواند یک خطای مدل را به اختلال گسترده تبدیل کند.

برای سنجش کیفیت، تأخیر صدک ۹۵ و ۹۹، نرخ خطا، دقت مدل در شرایط محیطی مختلف، مصرف انرژی، دمای دستگاه، زمان بازیابی و درصد دستگاه‌های به‌روز را ثبت کنید. مدل ممکن است به دلیل تغییر نور، حسگر یا رفتار محیط دچار تغییر توزیع داده شود. نمونه‌هایی از خطاهای واقعی را با رعایت حریم خصوصی جمع‌آوری و برای بازآموزی یا تنظیم آستانه‌ها استفاده کنید.

یک پایلوت مناسب باید شامل دستگاه نهایی، محفظه نهایی، شبکه واقعی و ساعات کار واقعی باشد. از اجرای مدل روی لپ‌تاپ توسعه‌دهنده نمی‌توان عملکرد یک برد کم‌مصرف را نتیجه گرفت. مستندات TensorFlow Lite و ONNX Runtime برای بررسی موتورهای اجرای مدل در لبه مفیدند، اما انتخاب نهایی باید با آزمون روی سخت‌افزار مقصد انجام شود.

نمونه استقرار: بینایی ماشین روی خط تولید

فرض کنید دوربینی روی خط تولید باید قطعات معیوب را پیش از بسته‌بندی تشخیص دهد. نخست باید هزینه خطای مثبت و منفی روشن شود. ردکردن قطعه سالم باعث اتلاف و توقف می‌شود، اما عبور قطعه معیوب ممکن است هزینه ضمانت یا خطر ایمنی ایجاد کند. آستانه تصمیم باید با توجه به این هزینه‌ها و نرخ خرابی واقعی تنظیم شود، نه صرفاً برای رسیدن به یک عدد دقت بالا در مجموعه آزمایش.

انتخاب سخت‌افزار از محدودیت‌های محل نصب آغاز می‌شود: فضای فیزیکی، دمای محیط، لرزش، گردوغبار، توان برق، رابط دوربین و امکان تعویض دستگاه. سپس مدل با داده‌های همان خط تولید آموزش یا تنظیم می‌شود. تصاویر آزمایشگاهی معمولاً تنوع نور، تغییر شیفت، فرسودگی دوربین و تفاوت سری مواد اولیه را بازنمایی نمی‌کنند؛ بنابراین مجموعه اعتبارسنجی باید از شرایط عملیاتی نمونه‌برداری شود.

کاهش دقت عددی یا quantization می‌تواند مصرف حافظه و زمان استنتاج را کم کند، اما ممکن است تشخیص نقص‌های ظریف را تضعیف کند. هر نسخه فشرده‌شده باید با مدل مبنا روی یک مجموعه آزمون ثابت مقایسه شود. علاوه بر دقت، نرخ پردازش در ثانیه، تأخیر انتهابه‌انتها، مصرف توان و رفتار هنگام افزایش دمای دستگاه اندازه‌گیری شود.

سامانه باید در قطع شبکه نیز رفتار مشخصی داشته باشد. اگر تصمیم‌گیری محلی ممکن است، خط تولید می‌تواند برای مدت تعریف‌شده ادامه دهد؛ اما در صورت نامطمئن‌شدن مدل یا پرشدن صف، سیاست توقف یا ارجاع به اپراتور باید فعال شود. ذخیره‌سازی محلی محدود، همگام‌سازی امن و جلوگیری از ارسال تکراری رخدادها به سامانه مرکزی ضروری است.

پس از نصب، توزیع داده ورودی را پایش کنید. تغییر تأمین‌کننده قطعه، نور محیط یا زاویه دوربین می‌تواند باعث data drift شود. نمونه‌های مشکوک را با رعایت حریم خصوصی برای بازبینی انسانی جمع‌آوری کنید و مدل جدید را ابتدا در حالت shadow اجرا کنید تا خروجی آن بدون کنترل مستقیم ماشین با عملکرد نسخه فعلی مقایسه شود.

مدیریت ناوگان دستگاه‌ها نیز بخشی از طراحی است. هر گره باید شناسه، نسخه نرم‌افزار، وضعیت سلامت و زمان آخرین به‌روزرسانی داشته باشد. بسته به‌روزرسانی امضاشده، امکان بازگشت به نسخه قبلی و ثبت نتیجه نصب، خطر خراب‌شدن هم‌زمان تعداد زیادی دستگاه را کاهش می‌دهد. دسترسی مدیریتی از راه دور باید محدود و قابل ممیزی باشد.

شاخص نهایی، اثر بر کیفیت و بهره‌وری خط است: قطعه معیوب عبورکرده، قطعه سالم ردشده، توقف خط، مداخله اپراتور، هزینه نگه‌داری و انرژی مصرفی. اگر مدل در آزمایش دقیق باشد اما در شیفت شب یا پس از گرم‌شدن دستگاه افت کند، هنوز برای تولید آماده نیست.