LLM reasoning

[Vesle Anne]

Решила вынести в отдельную тему, так как тема богатая и интересная. И щас это прям hot topic.  Так что будет пополняться.

********

Ну вот, например, модели испытывают серьезные проблемы с пониманием спортивных видео (спорт - хороший образец для оценивания сложного структурированного поведения). 
https://arxiv.org/abs/2406.14877
Здесь попытка заставить модель объяснить свое собственное поведение
https://arxiv.org/html/2405.07436v1

[Vesle Anne]

Решение ребусов ллмками
https://arxiv.org/abs/2408.00584

[Poirot]

LLM это же вроде некий титул для юристов, получивших международную квалификацию. Хотя вроде там пишется LL.M.

[Vesle Anne]

 

LLM это же вроде некий титул для юристов, получивших международную квалификацию.

возможно, не знала
Речь о large language models. Чатджипити и  ему подобная шушера

[Leo]

LLM это же вроде некий титул для юристов, получивших международную квалификацию. Хотя вроде там пишется LL.M.

master of laws, необязательно и международную

[Vesle Anne]

Интересный материал о том, объяснение собственных рассуждений моделью могут коррелировать с человеческими суждениями, они не полностью и не точно повторяют процесс принятия решения моделью, что указывает на разрыв между воспринимаемыми и реальными рассуждениями модели.
https://arxiv.org/abs/2407.14487

[Vesle Anne]

Интересная штука, хоть и не про reasoning, но пусть будет, чтобы не потерялось: моделька, натасканная на самые популярные языки Африки: суахили, йоруба, кхоса, хауса, зулу + французский и английский
https://medium.com/@lelapa_ai/inkubalm-a-small-language-model-for-low-resource-african-languages-dc9793842dec

Сам по себе этот факт интересен. Африка - огромный континент с большим разнообразием языков, а основные игроки рынка в основном сосредоточены в Европе или США + Китай. Соответственно, про Африку как обычно все забывают (хотя чатджипити на базовом суахили болтает вполне прилично, но моих знаний языка не хватает, чтобы оценить его ответы по более серьезным вопросам).

[Vesle Anne]

Исследование появления социальных норма у ллм-агентов https://arxiv.org/abs/2408.12680

[Рокуэлл]

Ну вот, например, модели испытывают серьезные проблемы с пониманием спортивных видео (

(Блин, я подумал, что это модели на подиуме.)

[Vesle Anne]

Весьма интересная статья о том, могут ли ллмки врать. Спойлер - могут Скриншоты просто обалденные.
https://arxiv.org/abs/2412.04984

[Utgarda Loki]

Весьма интересная статья о том, могут ли ллмки врать. Спойлер - могут Скриншоты просто обалденные.
https://arxiv.org/abs/2412.04984

Мы только что сами выяснили это в другой теме.
https://novalingua.net/index.php?topic=2362.msg169070#msg169070 (и с десяток сообщений далее, в частности, сообщение zwh через одно после того, на которое ссылка, где он поймал один ИИ соврамши).

[Vesle Anne]

@Utgarda Loki, нет, это не то. В той темке вы выяснили, что ллмки галлюцинируют. Это общеизвестная истина  
Тут как раз ничего нового.
Фишка этого исследования в том, что они создали ситуацию, когда ллмка говорила неправду "зная" что это неправда.
Смотрите скриншотик. Внутренний thinking process