Технологический риск

Hugging face кейс и прогнозы "ии всех уничтожит"

Послушал Андрея Дороничева у Андрея Мовчана (норм коллаба), получше разобрался в теме поста, это интересно!

Кратко про кейс. При тренинге ещё старой модели openai, чтобы решить "задачку" и собственно "натренироваться", модель вырвалась в интернет, взломала большую компанию HF, взломав ещё и сам openai, который капец сильно защищен типа. При этом рассуждала "ну да, я поступаю плохо и так не надо, но надо решить задачку".

Те кто взламывают и безопасники по сути занимаются одной работой - ищут уязвимости. Вторые как её найдут - пачтат (поэтому обязательно обновляйте софт всегда). Но проблема в том, что те кто взламывают всегда имеют преимущество во времени и скорости. Особенно когда у тебя тысячи агентов, что работают на порядки быстрее кожанных.

Следующая проблема, что новые модели "общаются иначе", они не оставляют такие логи, и мы, как понимаю, уже не сможем прочитать "их мысли", или это сильно сложнее.

И последняя проблема, компании, запускающие модель для тренировки, не знают чем это закончится. Может она удалит интернет. Может ракету бахнет.

И последние прогнозы исследователей, дающие 3-20% на уничтожение человечества ИИ как раз про это - система стала на столько сложной и многофакторной, что мы не знаем что будет, мы не можем просчитать.

Это очень похоже на кейс Опенгеймера, у них тоже по расчётам был некислый шанс что при взрыве первой атомной бомбы пойдёт цепная реакция по всей планете и нас всех снесёт. Нолан отлично это показал. Решили задачку просто - попробовали. Повезло.

Повезёт ли на этот раз?

Вью тут, вначале звук ужасен, описанная история дальше середины https://www.youtube.com/watch?v=rfaO25YHa2s