Конец 1950-х, Гарвард, лаборатория Дэвида Хьюбела и Торстена Визеля. Кошке под наркозом через слайд-проектор показывают полоски света, а электрод фиксирует, как на это откликается отдельный нейрон зрительной коры. Никаких компьютеров, тольк...
Конец 1950-х, Гарвард, лаборатория Дэвида Хьюбела и Торстена Визеля. Кошке под наркозом через слайд-проектор показывают полоски света, а электрод фиксирует, как на это откликается отдельный нейрон зрительной коры. Никаких компьютеров, только аналоговые инструменты. Но из этого вырос один из главных результатов в истории нейробиологии: открытие нейронов зрительной коры, избирательно реагирующих на ориентацию. За него Хьюбел и Визель позже получили Нобелевскую премию.
В 2026 году все ровно наоборот. Мы можем открыть любой вес нейросети, посмотреть любую активацию, любой градиент, но вот что происходит внутри нее — до сих пор непонятно. Объект исследования стал доступнее, но знаем мы о нем куда меньше.
Об этом и идет речь в свежем препринте «From Interpretability Methods to Interpretable Models». Пятнадцать лет подряд исследователи объяснимого ИИ (Explainable AI, или XAI) в компьютерном зрении занимались почти одним и тем же: улучшали методы объяснения, сравнивали их между собой, проверяли на достоверность и на устойчивость к манипуляциям. А вот вопрос, который напрашивался сам собой задавали на удивление редко. Стала ли модель после всех этих усилий понятнее человеку?