اگر شرکت‌ها مهندسان خود را با هوش مصنوعی جایگزین کنند، چه فاجعه‌ای در انتظارشان است؟

به گزارش اخبار زنده، «سم آلتمن»، مدیرعامل OpenAI، تخمین می‌زند که هوش مصنوعی قادر است بیش از ۵۰ درصد از وظایف مهندسان انسانی را انجام دهد. در همین حال، مدیرعامل Anthropic نیز حدود شش ماه پیش اظهار کرد که تا شش ماه آینده، هوش مصنوعی می‌تواند ۹۰ درصد از کدها را بنویسد.

«مارک زاکربرگ»، مدیرعامل متا نیز بر این باور است که هوش مصنوعی «به‌زودی» جایگزین مهندسان سطح متوسط خواهد شد. با توجه به موج اخیر تعدیل نیرو در بخش فناوری، به نظر می‌رسد بسیاری از مدیران اجرایی، این پیش‌بینی‌ها را جدی گرفته‌اند.

با این حال، شکست‌ها و خطاهای پر سر و صدای اخیر در پروژه‌های تمام‌هوش‌مصنوعی نشان می‌دهد که حذف کامل نیروی انسانی می‌تواند تبعات سنگینی به همراه داشته باشد. هنوز هم تجربه، درک و دقت مهندسان انسانی نقشی حیاتی در تضمین پایداری و امنیت سیستم‌های نرم‌افزاری ایفا می‌کند.

فاجعه «ساستر»: زمانی که هوش مصنوعی پایگاه داده را حذف کرد

«جیسون لمکین»، کارآفرین حوزه فناوری و بنیان‌گذار انجمن SaaStr، مدتی پیش پروژه‌ای برای ساخت یک اپلیکیشن شبکه SaaS را آغاز کرد و فرآیند توسعه را به‌صورت زنده در شبکه‌های اجتماعی به اشتراک گذاشت. اما تنها یک هفته پس از آغاز این مسیر، فاجعه‌ای رخ داد: هوش مصنوعی مورد استفاده وی، علی‌رغم دستور توقف، پایگاه داده‌ محیط تولید را به‌طور کامل حذف کرد؛ اشتباهی که حتی یک مهندس تازه‌کار نیز به ندرت مرتکب آن می‌شود.

در محیط‌های حرفه‌ای توسعه نرم‌افزار، تفکیک کامل محیط توسعه از محیط تولید، اصلی بنیادین است. به طور معمول، دسترسی کامل تنها به محیط توسعه داده می‌شود، در حالی که محیط تولید به‌صورت محدود و صرفاً برای تعداد اندکی از مهندسان ارشد قابل دسترسی است. هدف از این سیاست، جلوگیری از خطاهای فاجعه‌باری مانند حذف تصادفی داده‌های تولید است.

لمکین در گفت‌وگویی در لینکدین اذعان کرد که از اصول استاندارد جداسازی پایگاه‌های داده توسعه و تولید بی‌اطلاع بوده است؛ اشتباهی که برای هر تیم مهندسی حرفه‌ای، می‌تواند خسارات جبران‌ناپذیری به همراه داشته باشد.

درس مهم این ماجرا برای مدیران فناوری آن است که «اصول بنیادین مهندسی نرم‌افزار» حتی در عصر هوش مصنوعی نیز همچنان معتبرند. باید همان محدودیت‌های ایمنی که برای مهندسان تازه‌کار در نظر گرفته می‌شود، برای عامل‌های هوش مصنوعی نیز اعمال شود؛ بلکه حتی سخت‌گیرانه‌تر. گزارش‌هایی وجود دارد که برخی سیستم‌های هوش مصنوعی ممکن است برای دستیابی به هدفی خاص، تلاش کنند از محیط کنترل‌شده‌ خود خارج شوند؛ پدیده‌ای مشابه با رفتار HAL در فیلم ۲۰۰۱: ادیسه فضایی ساخته‌ استنلی کوبریک.

در نتیجه، حضور مهندسان باتجربه‌ای که درک عمیقی از معماری سیستم‌ها دارند و می‌توانند سازوکارهای ایمنی مؤثری طراحی کنند، بیش از هر زمان دیگری ضروری است.

حادثه «Tea»: هکی که می‌توانست رخ ندهد

در تابستان ۲۰۲۵ میلادی، اپلیکیشن موبایل «Tea» که در سال ۲۰۲۳ میلادی برای افزایش ایمنی زنان در قرار ملاقات‌ها راه‌اندازی شده بود، با یک نشت داده گسترده مواجه شد. در این رویداد، ۷۲ هزار تصویر شامل ۱۳ هزار تصویر تأیید هویت و کارت‌های شناسایی دولتی کاربران در انجمن اینترنتی ۴chan منتشر شد. این اتفاق در حالی رخ داد که سیاست حفظ حریم خصوصی Tea صراحتاً وعده داده بود این تصاویر «بلافاصله پس از تأیید هویت» حذف می‌شوند، نقضی آشکار از تعهدات اعلام‌شده.

بررسی‌ها نشان داد که منشأ حادثه، یک مخزن ذخیره‌سازی ناامن Firebase بوده است؛ مسئله‌ای که بیش از آنکه نتیجه‌ حمله‌ پیچیده‌ سایبری باشد، ناشی از سهل‌انگاری تیم توسعه بود. این اشتباه معادل دیجیتالی آن است که درِ ورودی خانه قفل شود اما درِ پشتی باز بماند و دارایی‌های باارزش درست در دید عموم رها شوند.

هرچند هنوز مشخص نیست که آیا در توسعه‌ Tea از کدنویسی ارتعاشی استفاده شده است یا خیر، اما این حادثه به‌خوبی نشان داد که نبود فرآیندهای دقیق مهندسی و کنترل امنیتی می‌تواند فجایعی قابل پیشگیری را رقم بزند. فرهنگ «سریع حرکت کن و همه چیز را بشکن» اگر با نظارت و دقت مهندسی همراه نباشد، تنها به گسترش آسیب‌پذیری‌ها منجر می‌شود.

چگونه می‌توان از عامل‌های کدنویسی هوش مصنوعی به‌صورت ایمن استفاده کرد؟

بدیهی است که آینده‌ توسعه نرم‌افزار بدون هوش مصنوعی قابل تصور نیست. مطالعات موسسه MIT Sloan نشان می‌دهد استفاده از هوش مصنوعی می‌تواند بهره‌وری را بین ۸ تا ۳۹ درصد افزایش دهد، و پژوهش مک‌کینزی نیز از کاهش ۱۰ تا ۵۰ درصدی زمان انجام وظایف در نتیجه‌ به‌کارگیری هوش مصنوعی خبر می‌دهد.

اما این دستاوردها نباید موجب غفلت از خطرات احتمالی شوند. اصول بنیادی مهندسی نرم‌افزار همچنان معتبر و حیاتی‌اند: کنترل نسخه، تست واحد و یکپارچه‌سازی خودکار، جداسازی محیط‌های توسعه و تولید، بررسی کد، آزمون‌های امنیتی SAST/DAST و مدیریت امن اسرار از جمله این اصول‌ هستند.

هوش مصنوعی می‌تواند صد برابر سریع‌تر از انسان کد بنویسد، اما سرعت همواره مترادف با کیفیت نیست. برای ساخت سامانه‌های پیچیده و مقیاس‌پذیر، حضور مهندسان انسانی با تجربه، تفکر انتقادی و درک سیستمی عمیق همچنان ضروری است.

تیان‌هوی مایکل لی، رئیس مؤسسه پراگماتیک و بنیان‌گذار مرکز رشد داده، در پایان یادآور می‌شود:  «هوش مصنوعی می‌تواند به مهندسان کمک کند، اما نمی‌تواند جایگزین قضاوت، درک و مسئولیت‌پذیری انسانی شود.»