هوش مصنوعی و یادگیری ماشینی پیشران‌هایی هستند که مک‌کنزی آن را «تغییر لرزه‌ای و مبتنی بر فناوری» در صنعت بیمه می‌نامد. اما حتی زمانی که شرکت‌های فناوری بیمه راه‌های جدیدی را برای فعال کردن تجربیات هوشمند مشتریان پیدا می‌کنند، باید در به کارگیری آنچه که تحقیقات گارتنر «AI TRiSM» می‌نامد، برای دستیابی به موفقیت در کسب‌وکار و در عین حال اجتناب از دام‌های هوش مصنوعی، سختگیرانه عمل کنند.
گارتنر اعتماد، ریسک و مدیریت امنیت هوش مصنوعی (AI TRiSM= trust, risk and security management) را به عنوان «چارچوبی که از حاکمیت مدل هوش مصنوعی، قابل اعتماد بودن، انصاف، قابلیت اطمینان، استحکام، کارایی و حریم خصوصی پشتیبانی می‌کند»، تعریف می‌کند. حمایت از TRiSM به ترکیبی از فناوری و فرآیندهایی نیاز دارد که توضیح‌پذیری هوش مصنوعی، حاکمیت یادگیری ماشین و حفاظت از داده‌ها را ممکن می‌کند.
تمرکز بر TRiSM ناشی از موفقیت بسیار زیاد هوش مصنوعی در صنایعی مانند بیمه است. هرچه شرکت‌ها بیشتر به هوش مصنوعی روی بیاورند تا تصمیماتی که بر مصرف‌کنندگان تاثیر می‌گذارد را هدایت کنند، فرصت‌های بیشتری برای نتایج بد ایجاد می‌شود:
- مصرف‌کنندگان نگران استفاده یا سوء استفاده از اطلاعات قابل شناسایی شخصی (PII) خود برای تصمیم‌گیری‌هایی هستند که بر رفاه مالی آنها موثر است. این نگرانی‌ها بر اعتماد مصرف‌کنندگان به شرکت‌هایی که از هوش مصنوعی برای اتخاذ این تصمیم‌ها استفاده می‌کنند، تاثیر می‌گذارد.
- قانونگذاران نحوه مدیریت PII و انطباق با قوانین مربوط به کلاس‌های محافظت‌شده توسط شرکت‌ها را مورد بررسی قرار می‌دهند. مقررات پیشنهادی هوش مصنوعی مانند ADPPA و منشور حقوق هوش مصنوعی، خطرات جدیدی را برای سازمان‌هایی ایجاد می‌کنند که در برنامه‌های کاربردی درآمدزای خود به هوش مصنوعی / یادگیری ماشین متکی هستند.
- کارشناسان فناوری اطلاعات نگرانند که هکرها نه تنها به داده‌های مصرف‌کنندگان، بلکه به الگوریتم‌هایی که در مورد صدور، قیمت‌گذاری و خسارات تصمیم می‌گیرند نیز دسترسی داشته باشند. این تهدیدات امنیتی به نوبه خود، تقویت اعتماد مصرف‌کننده و کاهش ریسک‌های نظارتی را دشوارتر می‌کند.
قابلیت پشتیبانی از TRiSM
از منظر فناوری، قابلیت‌های پشتیبانی از TRiSM هوش مصنوعی باید در پلتفرم هوش مصنوعی عملیاتی که یک شرکت برای تولید، مدیریت و نظارت بر مدل‌های یادگیری ماشین خود استفاده می‌کند، تعبیه شود. این قابلیت تضمین می‌کند که بهترین شیوه‌ها در مورد اعتماد، ریسک و امنیت، در ابزارها و فرآیندهای مورد استفاده توسط دانشمندان داده، مهندسان یادگیری ماشین، توسعه‌دهندگان نرم‌افزارهای کاربردی و سایر افراد دخیل در چرخه حیات یادگیری ماشین قرار می‌گیرند.
قابلیت‌هایی که از اعتماد هوش مصنوعی، مدیریت ریسک و امنیت پشتیبانی می‌کنند عبارتند از:
اعتماد
یکی از مؤلفه‌های کلیدی اطمینان از اعتماد به هوش مصنوعی، توضیح‌پذیری است؛ یعنی توانایی درک اینکه چگونه یک مدل به یک نتیجه رسیده است. یک سیستم مدیریت مدل سازمانی مرکزی، یک «منبع واحد حقیقت» را فراهم می‌کند که در آن دانشمندان داده می‌توانند تمام ابرداده‌ها، اسناد و مصنوعات مربوط به یک مدل را منتشر کنند و داده‌های قابل توضیح را به راحتی در دسترس قرار دهند.
شرکت‌ها همچنین باید بررسی‌های توضیح‌پذیری و سوگیری را به عنوان بخشی از فرآیند انتشار یک مدل برای اطمینان از انطباق با استانداردهای هوش مصنوعی اخلاقی تنظیم کنند. در نهایت، اعتماد مستلزم دیده شدن برای زنجیره تامین داده است و شرکت‌ها باید اطمینان حاصل کنند که می‌توانند اصالت مدل را به داده‌های آموزشی مورد استفاده در آزمایش ردیابی کنند.
ریسک
شرکت‌ها ریسک‌های هوش مصنوعی را با اعمال حاکمیت دقیق بر مدل‌ها در طول چرخه حیات ML، از توسعه و مرحله‌بندی تا تولید و بایگانی، مدیریت می‌کنند. تیم‌های مدیریت و ریسک باید بتوانند مدل ورودی/خروجی و عملکرد را نظارت کنند و قوانینی را اجرا کنند که از پیشگیری از نتایج بد اطمینان حاصل کنند.
یک پلتفرم هوش مصنوعی عملیاتی باید اعتبار مدل را فعال کند تا اطمینان حاصل شود که مدل‌های سازمان مطابق طراحی عمل می‌کنند، موارد لبه‌ای را که نیاز به پردازش دستی یا بازبینی بیشتر دارند، شناسایی کند و سلامت کلی مدل‌ها را از طریق معیارهایی مانند زمان پاسخ، تاخیر، نرخ خطا و توان کنترل کند.
شرکت‌ها همچنین باید انتظار داشته باشند که سیستم مدیریت مدل آنها به طور خودکار کیفیت داده‌ها و جابجایی داده‌ها و همچنین معیارهای عملکرد مدل مانند دقت، صحت، یادآوری و امتیاز F1[1] را پایش کند. قابلیت‌های هشدار، در جایی که هشدارها در صورت کاهش عملکرد یا جابجایی فعال می‌شوند، اطمینان حاصل می‌کنند که می‌توان اقدامات اصلاحی را قبل از وقوع نتایج بد انجام داد.
مدیریت امنیت
حفاظت از داده‌ها و امنیت فناوری اطلاعات، در فرآیند یادگیری برای پشتیبانی از TRiSM هوش مصنوعی ضروری است. امنیت پیرامون داده‌ها با فعال کردن کنترل‌های دسترسی دانه‌ای در کل چرخه حیات ML آغاز می‌شود و دسترسی مناسب به اطلاعات مناسب را برای کاربران فراهم می‌کند و در عین حال از رخنه‌های غیرعمدی یا عمدی جلوگیری می‌کند. در حالت ایده‌آل، پلتفرم هوش مصنوعی عملیاتی شما باید به راحتی با خط مشی‌های امنیتی موجود و سیستم مدیریت هویت ادغام شود و در مقابل سیستم دیگری برای مدیریت فناوری اطلاعات ایجاد گردد.
یک پلتفرم هوش مصنوعی عملیاتی مؤثر باید به شرکت‌ها اجازه دهد تا فضاهای کاری جداگانه‌ای ایجاد کنند که بین محیط‌ها، چه بین تیم‌ها و چه بین مدل‌های توسعه و تولید، ایزوله‌سازی نماید. باید امکان ایجاد شیوه‌های انتشار ایمن استانداردشده با چک‌لیست‌های انتشار و اتوماسیون‌های CI/CD را فراهم کند و بتواند مدل‌ها را برای آسیب‌پذیری‌ها به عنوان بخشی از استقرار اسکن کند و گزارش‌های حسابرسی را برای انطباق حفظ کند.
همین الان باید شروع کرد
به گفته گارتنر، خبر خوب این است که شرکت‌هایی که به مسائل مربوط به اعتماد، ریسک و امنیت هوش مصنوعی می‌پردازند، می‌توانند انتظار نتایج تجاری بسیار بهتری از پروژه‌های هوش مصنوعی خود داشته باشند. از سوی دیگر، تحقیقات بیان می‌کند که سازمان‌هایی که گام‌هایی برای مدیریت این ریسک‌ها بر نمی‌دارند، به احتمال زیاد شاهد مدل‌هایی که طبق انتظار عمل نمی‌کنند، شکست‌های امنیتی، زیان‌های مالی و آسیب به شهرت خواهند بود.
از آنجایی که صنعت اینشورتک به گسترش و نوآوری برنامه‌های هوش مصنوعی برای ارائه خدمات بهتر به پایگاه مشتریان در حال گسترش ادامه می‌دهد، زمان استقرار قابلیت‌ها برای پشتیبانی از TRiSM هوش مصنوعی در عملیات یادگیری ماشین فرا رسیده است، قبل از اینکه نتایج بدی رخ دهد که بر اعتماد مصرف‌کننده تاثیر بگذارد یا بازرسی‌های نظارتی را تحت تاثیر قرار دهد.
[1] برای ارزیابی عملکرد سیستم‌ها کاربرد دارد که یک نوع میانگین بین پارامتر p (دقت) و پارامتر r (یادآوری) است p همان دقت سیستم در میان داده‌های پیش‌بینی شده‌است و r هم نسبت تعداد داده‌های پیش‌بینی شده، به تعداد کل داده‌های مورد انتظار برای پیش‌بینی است.