Что-то новое об ограниченности возможностей искусственного интеллекта типа LLM

[alex0rozoff]

LLM-модели в основном обучаются на платформах для «усреднённых американцев» с IQ 90-100, среди которых главная – Reddit.
https://t.me/proeconomics/19370
Обучающие данные в значительной степени отражают мир, и поэтому LLM относительно хорошо справляются с распространёнными задачами, относительно плохо - с редкими.
Потому ИИ в первую очередь и будет заменять «усреднённых людей», что уже делает и сейчас – офисных работников с низкими когнитивным и и профессиональными способностями.
(А есть ещё огромная группа социальных профессий, в основном женских, куда и ИИ, и гуманоидные роботы доберутся очень нескоро)
https://t.me/proeconomics/19387
…Между тем, обнаружилась критическая неустранимая проблема, которая полностью закрывает для AI LLM возможность развития до уровня коллективного разумного (или даже полуразумного) существа. Это проблема неявных знаний

Неявное знание – это знание, которое люди усваивают на опыте и которое трудно кодифицировать. «Мы знаем больше, чем можем рассказать» – гласит названный по имени ученого «парадокс Поланьи». Например, мы без труда узнаем хорошо знакомого человека в толпе, при плохом освещении, спустя годы – однако не сможем составить «инструкцию», которая позволила бы другому сделать то же самое, опираясь только на наши словесные описания. Парадокс в том, что мы знаем, что это – наш хороший знакомый, но не можем исчерпывающе объяснить, как именно мы это поняли (не по длине носа или цвету волос, а по сложному, не поддающемуся вербализации образу).
…Развивая идею Поланьи об индивидуальных неявных знаниях, британский социолог науки Гарри Коллинз в 2010 г. расширил ее, в частности, на коллективное неявное знание. Это знание, которое принадлежит обществу и усваивается только через погружение в социальную среду, позволяя понимать контекст и правильно интерпретировать правила. Коллинз показал, что даже в точных науках ученые полагаются на навыки, которые невозможно передать через учебники и инструкции, – их можно только перенять, работая непосредственно рядом с теми, кто этими навыками обладает.
https://econs.online/articles/techno/neyavnye-znaniya-mozhet-li-ii-opredelit-tsennost-nauchnoy-idei/

…Такие дела…

Comments

[davels]

+

[vit_r]

> их можно только перенять,
> работая непосредственно рядом с теми,
> кто этими навыками обладает.

Учёный, как всегда, сморозил глупость. Знания можно перенять, если их передают. (Про загнутые концы или немного дедологии / 13 kB / 2023-10-31)

Передача "рядом работая" относится к разряду магических ритуалов. Понятно, что учёному никто не сказал. Но он-то сам тоже ничего руками не делал, потому и не понимает.

И, мон шер, пока Вы гнались за прогрессом, он уже обогнал. Не только люди воздействуют на технологии, но и технологии на людей.

Если раньше массы подвергались отгугливанию информации, то сейчас её правдизируют бредогенераторы. Тут представлен только один из примеров. Явление уже более чем распространённое. Этакий бредогенераторный аутизм. Люди не в состоянии воспринимать детали и контекст.

(Фантомные боли газеты "ПРАВДА" / 18 kB / 2026-04-16)

[sergesenin]

1. Помнится, сосем недавно Вы с презрением отзывались о LLM в сравнении с людьми вообще и в особенности в сравнении с так сказать "креативными профессиями", а тут не прошло и года, как Вы же цитируете тех, кто считает, что LLM вполне легко могут заменить людей. Пока "усредненных", но стоит подождать еще 1 год, как Вы же скажете, что заменяют и "креативных".

2. По поводу "неявного знания", осязаемое действие которого мы часто видим как интуицию у людей, то КТО ВАМ СКАЗАЛ, что у LLM этого нет? Ваша "антропоцентрическая гордыня", которая никак не может свыкнуться с мыслью, что многие LLM при всех их недостатках и галлюцинациях уже в настоящее время по иллюзии когнитивных возможностей и креативности (напоминаю пример со сценариями рассказа о Луне недавно), по иллюзии интеллекта и по иллюзии мышления уже гораздо выше вот того "усредненного человека"? И в итоге, какая разница, иллюзия это или нет?

"Неявное знание" LLM отличается от того же у человека, так как у человека есть тело со многими "датчиками", сложная нервная система и субъективность (Я), а у LLM всё пока еще в основном текстовое. Задайте ГПТ вопрос, который не был задан ранее никем, и получите то, что будет создано его "неявным знанием" на текущем уровне развития. Например "Как ты считаешь, что будет, если нечто осязаемое станет мало осязаемым, сможет ли оно пройти фильтр осязаемости, окружающий его или же это не случится никогда? Дай короткий ответ"

[vit_r]

LLM могут заменить людей там, где:

1. результаты не важны

2. ошибки допускаются

3. ответственности нет.

Bullshit Jobs.

> Дай короткий ответ

Ну-ну.

[sergesenin]

Однозначно Вы правы, что не отменяет того факта, что оно сейчас способно заменить как минимум немалую часть работы, которую делали люди, и в первую очередь буллшитджоб. Но я чуть раньше указывал, что уже сейчас до 80% нетребовательных графических работ типа превьюшек Ютуб и прочего делают нейросети легко, просто, быстро и относительно неплохо - а для фрилансеров это огромный рынок, который ушел от них. На том же Ютубе множество каналов, которые завалены вполне себе правдоподобными и посещаемыми людьми роликами философии, успеха, психологии и прочего, созданные полностью нейросетями, забирая посещения у каналов живых людей. То же самое и с сайтами, посещаемость которых после внедрения Гемини в поиск упало часто в несколько раз, так как раньше люди рылись по ссылкам на разных сайтах, а сейчас получают вполне годный ответ в самом начале поисковой выдачи. Понятно, что падение посещаемости сайта дает пропорциональное падение прибыли.

Так что мы пока еще в процессе, и даже если все так легко заваливается этим нейросетевым мусором, но тогда кто же тогда эти якобы незаменимые творческие люди, которых так легко заменяет это все нагенерированное, и кто же тогда эти пользователи, которые с легкостью потребляют все это?

[vit_r]

Огромный рынок халтуры давным-давно ушёл из цивилизованных стран в низкооплачиваемые. Сейчас отбирают деньги у тех, кто отбирал деньги лет десять назад.

Проблема в том, что выгоняют тех, кто делает реальную работу. И поручают бредогенераторам изображать работу.

Вот это уже улыбка очень толстого северного зверька.

[grayinspirer]

Работодатели давным-давно заменяют умных работников на дешёвых там, где:
1. результаты не важны
2. ошибки допускаются
3. ответственности нет
В последнее время эта практика распространилась на все сферы человеческой деятельности

[vit_r]

Нет, конечно. Произошёл качественный скачок.

И каждая новая модель не лучше решает задачу, а лучше убеждает пользователя, что нашла правильное решение.

[vitus_wagner]

Нейронные сети, в частности LLM это как раз и есть машина для получения и применения неявных знаний. Те неявные знания которые содержатся в ее обучающей выборке она вполне успешно применяет.

В частности распознает лица людей.

Другое дело что как тут верно заметил vit_r для того чтобы получить неявные знания во мноних областях нужно повыполнять практическую работу под руководством учителя, готового эти знания передавать. И далеко не всякий учитель, даже желающий выучить ученика, способен заметить, что ученику не хватает вот этого неявного знания, и его надо явно вербализовать.

В общем, следующий шаг в развитии LLM будет тогда, когда их начнут обучать не на текстах, а на реальности.

Теоретически это не так уж сложно сделать. Берем человекоподобного робота размером примерно с двухлетнего ребенка и начинаем воспитывать вместе с человеческими детьии. Раз в квартал мы роботу немножко подкручиваем шарниры, чтобы рос вместь со своими приятелями. Раз в год-другой ааменяем либо все тело, либо отдельные детали, которые исчерпали диапазон подкручивания.

Лет через пятнадцать имеем модель, обладающую всеми неявными знанияи, которые имеет выпускник средней школы.

Да, долго. Но что делать?

[vit_r]

> это как раз и есть машина
> для получения и применения
> неявных знаний

Фигня в том, что культура производства -- это проверенные временем неявные знания.

Неявные знания, не соответствующие реальности, жеманно называют галлюцинациями. Хотя, конечно, это неустранимые ошибки.

Кстати, ни одному начальнику не придёт нанять в работники даже клерка, если у него в послужном списке кража интеллектуальной собственности или доведение до самоубийства.

[vitus_wagner]

Любое ремесло обязательно образстает суевериями и приметами, которые и есть те самые гоаллюцинации. Даже космонавты и те мочатся на колесо автобуса.

Тот начальник, который не наймет человека по упомянутым выше критериям, шанс стать триллионером упустит. Потому что опереться можно только на то, что оказывает сопротивление.

[vit_r]

Есть менеджмент рисков. Шанс стать триллионером больше в лотерее, а вот шанс пролететь на неадеквате очень существенный.

[vitus_wagner]

Вот на мой взгляд неадекватным конструктивной инженерной деятельноси является человек, уважающий идиотские законы об интеллектуальной собственности. И человек, который из политкорректности не называет мудака мудаком.

А менеждеру необходим сотрудник, который лично его назовет мудаком в глаза, если тот поведет себя по-мудацки. В былые времена, когда у королей был серьезный риск лишиться короны вместе с головой, они держали при себе шутов - таких специальных людей. которым заведомо позволено называть сюзерена мудаком.

СоответственнО, менеджер, который не берет на работу по критериям на пару комментариев выше, заведомо пролетит на неадеквате. Впрочпем, наёмному менеджеру-то плевать. Он не свои деньги просадит. А когда фирму обанкротит - улетит на золотом парашюте.

[vit_r]

> идиотские законы об интеллектуальной собственности

Человечество пока что лучше ничего не придумало.

Видимо, Вы только пересказываете чужие мысли, а свои не производите.

[vitus_wagner]

Придумало. Статут королевы Анны.4

Видимо пересказываете чужие мысли вы. Поскольку считаете что мысли это что-то настолько ценноея. что на них надо вводить право собственности. Кто умеет генерировать свои мысли, понимает что мысли это не сокровище, которое следует хранить под спудом, а вода в роднике, которой надо позволить свободно течь, иначе она застоитсяс и станет грязной.

Высказанная мысль как оказанная услуга - не стоит уже ничего.

[vit_r]

Генерирование мыслей в литературе называется "бред".

[ahovdryk]

В общем, следующий шаг в развитии LLM будет тогда, когда их начнут обучать не на текстах, а на реальности. Уже. Но никто и не собирается делать совсем уже универсальную машину. Учат конкретным навыкам.

[vitus_wagner]

Некоторый минимум универсальности машине нужен для того, чтобы она правильно понимала людей и могла правильно объяснить людям что у нее не так.

[ahovdryk]

С этим в состоянии справится даже принтер. И тут проблем никаких я не вижу. А чем заковыристее машина тем разнообразнее и затейливей она может спятить, оттого и техник ей требуется поумнее да порукастей.

[grayinspirer]

Так называемый «парадокс Поланьи» использовал ещё Сократ
Курите философский метод — майевтики (от греч. maieutike — «повивальное искусство»). Как и мать, Сократ помогал рождаться, но не детям, а истине у человека через диалог и вопросы. Суть метода: Сократ считал, что знания уже скрыты внутри собеседника, и с помощью последовательных вопросов помогал их «извлечь».

Например, мы без труда узнаем хорошо знакомого человека в толпе, при плохом освещении, спустя годы
Именно с этим прекрасно справляется ИИ, причём, гораздо лучше среднестатистического человека.

Искусственный интеллект лучше Reddit тем, что даёт ответ в ту же минуту
Кроме того, ответ ИИ конфиденциальный, в отличие от переписки на Reddit

[roberttylerd]

Достаточно заменять Bullshit Jobs быстрее, чем те создаются-и губительное для иерархического общества материальное изобилие в какой то момент сдержать не удастся

[claramontanari]

Похоже тут только что выяснилось что объединяет ИИ и людей с аутизмом - отключение от общественного сознания.

[crdigger]

На самом деле неявные знания - это реальный мир за пределами языка, о котором LLM не имеют понятия потому, что они L, потому там, где нет подходящего ответа, ИИ бредит.Используются плагины, которые эти баги в значительной мере правят, это удорожает и усложняет процесс, но проблемы решаемы.

[ploughlike_elk]

Алекс, ЛЛМ не мыслит. К сожалению, кстати, а то бы хоть кто-то был мыслящий на этой планете. Она лишь пиздИт. Причем делает это лучше большинства людей. Поэтому и заменяет именно тех чья работа заключается в том чтобы не мыслить и гладко и послушно пиздеть. Большинству потребителей, кстати, тоже нужен не продукт мышления, а складный пиздеж.

[sergesenin]

Причем последнее утверждение согласуется с тем предположением, что по факту люди заражены мемами (самовоспроизводящимися информационными структурами), и, как любой паразит, они стремятся к максимальному распространению, причем для них не имеет ценности как сам носитель, так и не имеет значения его вид (форма), будь то человек, нейросеть и супермозг будущего. Главное - это скорость и широта канала распространения, поэтому появление Интернета, далее быстрых каналов связи, далее нейросетей здесь - это просто путь эволюции мемов-паразитов, которые заставляют зараженного (в данном случае людей) формировать для себя более подходящие условия (создавать среду) для реплицированния.

Интересная идея.

[crdigger]

А как он успешно работает ботом и программистом, а его родственник получил Нобелевскую премию?Нейросеть - именно эмуляция нервной системы, он мыслит, но на уровне распознавания образов.

[ploughlike_elk]

Но позвольте. Как же он мог служить в очистке?

[ahovdryk]

LLM-модели в основном обучаются на платформах для «усреднённых американцев» с IQ 90-100, среди которых главная – Reddit.
Это не так.

Обучающие данные в значительной степени отражают мир, и поэтому LLM относительно хорошо справляются с распространёнными задачами, относительно плохо - с редкими.
Это частично соответствует истине. Ключевое - частично.

Между тем, обнаружилась критическая неустранимая проблема, которая полностью закрывает для AI LLM возможность развития до уровня коллективного разумного (или даже полуразумного) существа. Это проблема неявных знаний
И это не такая уже и проблема на современных датасетах и моделях с большим количеством параметров. Более того: неявные знания присутствуют и в моделях, правда в ином виде.

Основная проблема моделей иная. Она скорее политическая, нежели технологическая: приучить компьютер к двоемыслию оказалось сложнее, чем человека.

[vitus_wagner]

Вот как раз благодаря LLM мы начинаем осознавать, насколько неполно имеющийся у нас массив текстов, картин, аудио и видеозаписей, отражает окружающий мир, насколько много общего для всех людей контекста остается умолчательным, передаваемым только от человека к человеку.

[ahovdryk]

Да, но есть одно интересное но. Семантические кластеры LLM аналогичны человеческим. Грубо говоря: направление куда и как копать у нас есть.

[ahovdryk]

Ах, да, как раз по этой теме не далее чем сегодня утром я встретил архилюбопытную заметку: https://a-jelly.dreamwidth.org/542089.html
Возможно, этот кусок реальности вас заинтересует: https://a-jelly.dreamwidth.org/542089.html