سامانهای مبتنی بر هوش مصنوعی که برای شناسایی موارد خودآسیبی در یادداشتهای تریاژ اورژانس ساخته شده بود، در بیمارستان محل توسعه عملکردش را در گذر زمان حفظ کرد؛ اما وقتی به یک بیمارستان منطقهای منتقل شد، دقت آن کاهش یافت. این نتیجه از مطالعهای میآید که ۱۱ سپتامبر در PLOS Digital Health منتشر شد و نشان میدهد اعتبارسنجی مدل در همان مرکز، برای اطمینان از کارکرد آن در محیطی دیگر کافی نیست.
پژوهشگران دادههای دو بیمارستان استرالیا را بررسی کردند. سامانه با یادداشتهای تریاژ بیمارستان سلطنتی ملبورن در سالهای ۲۰۱۲ تا ۲۰۱۷ توسعه یافت. این ابزار، متنهای کوتاه و پر از اختصار و غلط املایی را ابتدا یکدست میکرد و سپس با طبقهبند LightGBM و ۱٬۹۳۱ ویژگی متنی، موارد خودآسیبی را از دیگر مراجعهها جدا میکرد.
برای اعتبارسنجی آیندهنگر، ۳۲۹٬۶۵۵ یادداشت چهار سال بعدِ همان بیمارستان بررسی شد. در اعتبارسنجی بیرونی نیز پژوهشگران ۳۱۶٬۸۷۷ یادداشت از بیمارستان منطقهای لاتروب را به کار بردند؛ مرکزی در فاصلهٔ حدود ۱۵۰ کیلومتری ملبورن. مساحت زیر منحنی دقت-یادآوری یا PR AUC در آزمون اولیه ۰٫۸۴ بود و در دادههای جدید همان بیمارستان نیز ۰٫۸۴ باقی ماند. این شاخص در بیمارستان منطقهای به ۰٫۷۸ کاهش یافت. ارزش پیشبینی مثبت نیز از ۰٫۷۷ در اعتبارسنجی زمانی به ۰٫۷۱ در مرکز منطقهای رسید و حساسیت از ۰٫۷۶ به ۰٫۷۳ افت کرد.
افت عملکرد فقط مسئلهای آماری نبود. الگوی مراجعهها و زبان ثبتشده در دو مرکز با هم تفاوت داشت. در بیمارستان منطقهای، خودآسیبی بیشتر با مصرف دارو توصیف میشد و واژهها و عبارتهای محلی نیز توزیع دیگری داشتند. سامانه گاهی افکار خودکشی را با عمل خودآسیبی اشتباه میگرفت؛ تمایزی که برای کاربرد فردمحور و تصمیمگیری بالینی مهم است.
نویسندگان تأکید میکنند این ابزار اکنون برای پایش جمعیتی خودآسیبی در ایالت ویکتوریا به کار میرود، نه برای تشخیص یا تصمیمگیری مستقل دربارهٔ یک بیمار. در چنین کاربردی، توازن حساسیت و ارزش پیشبینی مثبت میتواند برای برآورد روندها مفید باشد. بااینحال، استفادهٔ بالینی مستقیم به توان تفکیک بالاتر، بازبینی انسانی، پایش مداوم و آزمون در محیط محلی نیاز دارد.
پیام اصلی مطالعه روشن است: یک طبقهبند متنی، حتی اگر در مرکز سازنده پایدار بماند، ممکن است با تغییر جمعیت، شیوهٔ مستندسازی و الگوی خودآسیبی افت کند. اعتبارسنجی بیرونی باید بخشی از چرخهٔ استقرار باشد، نه مرحلهای یکباره پیش از ورود سامانه به خدمت.
منبع: Rozova V, Chen L, Witt K, et al. Temporal and cross-site validation of an AI system for self-harm detection. PLOS Digital Health. 2026. DOI: 10.1371/journal.pdig.0001667.
