Теоретические и вкусовые размышления о фотографиях

[Toman]

Я может не вполне понятно объяснил, что имею в виду. Вот вы жалуетесь на замыленное качество jpeg, которое уже никак не вытянешь. Так вот, возьмёт ИИ такой снимок, проанализирует, и пересоберёт попиксельно в идеальном качестве, с нулевым уровнем шумов. Человек такого попиксельного редактирования ни в жисть не сделает, а вот для ИИ это вполне посильная задача.

Это не посильная задача, а принципиально невозможная. Эта операция размыливания, которую делает фотоаппарат при сохранении JPEG - принципиально необратима. Абсолютно невозможно сказать, что там было в оригинале, т.е. на самом деле.

[Витамин Ц]

операция размыливания, которую делает фотоаппарат при сохранении JPEG - принципиально необратима

Если б она была обратима, то это называлось бы перекодировкой и речь бы не шла про ИИ.
Речь про то, чтоб ИИ сделал из Г конфетку без заметного фантазирования.

[Poirot]

Который раз читаю тему как "теоретические и вкусовые измышления..."

[Toman]

Если б она была обратима, то это называлось бы перекодировкой и речь бы не шла про ИИ.
Речь про то, чтоб ИИ сделал из Г конфетку без заметного фантазирования.

Эта задача - изначально 100% на фантазирование. И ничем кроме фантазирования в принципе не решается.

[Витамин Ц]

Если б она была обратима, то это называлось бы перекодировкой и речь бы не шла про ИИ.
Речь про то, чтоб ИИ сделал из Г конфетку без заметного фантазирования.

Эта задача - изначально 100% на фантазирование. И ничем кроме фантазирования в принципе не решается.

Я же написал, что это должно быть незаметным. Т.е ИИ надо обучить на примерах, как чёткие фотки становятся замыленными и чтоб он начал проделывать это в обратном порядке. Понятно, что оригинал он не восстановит, но будет что-то на него очень похожее.

[Витамин Ц]

Щас уже мультиспектральные камеры на телефоны устанавливать собираются.

Ещё бы экраны такие делали, ну или хотя бы на 5 цветов.

[Toman]

Я же написал, что это должно быть незаметным. Т.е ИИ надо обучить на примерах, как чёткие фотки становятся замыленными и чтоб он начал проделывать это в обратном порядке. Понятно, что оригинал он не восстановит, но будет что-то на него очень похожее.

Непонятно, зачем это делать. Проще и лучше же просто не заниматься размыливанием изначально. А "незаметное домысливание" будет приводить к артефактам. Причём часто успешно обманывающим относительно природы объекта тех, кто его не видел или видел, но недостаточно твёрдо запомнил все мелкие детали. Я такие вещи считаю браком фотографии. Которые делают её, в частности, совершенно непригодной в научных, познавательных, информационных, документальных целях. А развлекаться художественно-живописно ИИ умеет уже сейчас, в т.ч. и дорисовать фотографию похоже на чёткую настоящую, т.е. то, что вы хотите. Это уже есть и доступно. И очень вероятно, что скоро будет действительно втыкаться, в первую очередь, во все подряд телефоны.

[Toman]

Ещё бы экраны такие делали, ну или хотя бы на 5 цветов.

Смысл "таких" светочувствительных матриц и "таких" экранов принципиально разный, между ними практически ничего общего. Т.е. там не идёт речь о какой-то простой и прямолинейной процедуре преобразования, типа что сделали матрицу на 5 цветов, замерили на ней 5 цветовых каналов, а потом напрямую вывели на экран с теми же 5 цветами те же уровни яркости, которые замерили, и всё получилось. Оно так не работает. Для светочувствительных матриц теоретически вообще достаточно 3 цветов для идеальной (для человека) цветопередачи - для этого всего лишь нужно правильно подобрать спектры пропускания этих цветных фильтров. Трёх таких каналов в светочувствительной матрице достаточно для регистрации всех возможных цветов, какие может видеть человек. Увеличение числа цветов в фильтре матрицы имеет смысл либо только из-за технических сложностей с изготовлением таких правильных по спектру фильтров, когда просто технически проще сделать больше отдельных цветов с разными спектрами, и потом вычислительно восстановить нужные результаты в 3 "человеческих" каналах, либо если мы фотографируем вообще не только для воспроизведения для человеческого зрения, а в каких-то хитрых научно-инженерных целях или там для воспроизведения для каких-то других существ с другим цветным зрением.

А вот увеличение числа цветных каналов в мониторах, красок в печати и т.п. - абсолютно необходимое условие для расширения цветового охвата, и мониторы с хорошим цветовым охватом действительно можно будет сделать только таким образом.

[Витамин Ц]

Непонятно, зачем это делать. Проще и лучше же просто не заниматься размыливанием изначально.

Да боже мой, КВ говорил про исправление УЖЕ замыленных фоток, и про то, что можно можно покупать дешёвые мыльницы с плохой оптикой и исправлять фотки ИИ. В инете уже есть сервисы, которые это делают (якобы! я попробовал, только хуже стало).

[Витамин Ц]

Для светочувствительных матриц теоретически вообще достаточно 3 цветов для идеальной (для человека) цветопередачи

Обычно, чтоб получить на выходе икс, на входе должно быть 2икс. Это в любых измерительных приборах такое минимальное требование. Со звуком тоже: мы слышим 22 кгц (якобы), потому звуковые карты делают минимум на 44 кгц. Вот тут тоже так. А если не так, то имеем дело с некоторым приближением достигнутым экстраполяцией и статистикой.

[Toman]

мы слышим 22 кгц (якобы)

Ну, это дети и подростки слышат. С возрастом эта верхняя граница снижается.

потому звуковые карты делают минимум на 44 кгц

2f - это в данном случае сугубо теоретическая величина. В действительности оно так не работает, и по-хорошему для звука нужно где-то 4f. Для того, чтобы это можно было вменяемо воспроизвести на не слишком сложном оборудовании, без сложных вычислений, и с сохранением фазы. На половине частоты дискретизации звук-то воспроизвести теоретически можно - но только в одной фазе (т.е. чтобы сохранить хотя бы интенсивность, нужно как-то специально эту фазу сдвигать, в общем случае). А если это будет звук чуть меньшей частоты - он, естественно, будет неизбежно постоянно сдвигаться по фазе относительно дискретизации, и как ни крути, будут биения, т.е. вместо звука реальной частоты чуть меньше будет выдаваться звук ровно на половине частоты дискретизации, но с биениями (колебательным изменением интенсивности и переворотом фазы). Вменяемо восстановить всё это для произвольного сигнала на реальном звуковом оборудовании не представляется возможным. Так что в реальности 44,1 кГц дискретизации обеспечивают практически безупречное воспроизведение произвольного сигнала в спектре лишь до 11,025 кГц, 48 кГц дискретизации - до 12 кГц (а то и другое уже в пределах слышимости большинства людей среднего возраста), а выше - что-то может выдавать (если не принимать принципиального решения те частоты вообще срезать как недостоверно воспроизводимые) качество воспроизведения постепенно падает от идеального до только того факта, что где-то в той полосе частот есть что-то с примерно таким средним уровнем (что более-менее годится для изображения белого шума примерно такой-то средней интенсивности, но не сильно более того).

Обычно, чтоб получить на выходе икс, на входе должно быть 2икс. Это в любых измерительных приборах такое минимальное требование.

Для матриц с классическими байеровскими фильтрами можно было бы сказать что-то подобное - но только про пространственное разрешение (один цветной пиксел там можно получить, например, из четырёх соседних пикселов матрицы, каждый из которых придётся "делить" с одним из соседних результирующих цветных пикселов - это если результирующие цветные пикселы расположить номинально в углах между 4 оригинальными пикселами матрицы). Там действительно более менее достоверно и интенсивность, и цвет передаются с линейным разрешением вдвое меньше линейного разрешения матрицы, так что по-хорошему число мегапикселов матрицы нужно делить на 4. А всякие делающиеся в реальности алгоритмы дебайеризации с "сохранением" полного разрешения матрицы уже содержат в себе некоторый элемент "фантазирования", скажем так - хотя и строго алгоритмического.

Правда, тут есть такой момент, что реальные фотоаппараты на этом месте опять используют тот принцип, что разрешение человеческого зрения по яркости выше, чем по цвету. А потому - а также ещё ради того, чтобы иметь побольше чувствительность - ловить больше света - реальные классические байеровские фильтры состоят из вовсе не ярко окрашенных ячеек трёх или четырёх цветов, а из весьма бледных зелёных, красных и синих (обычно) ячеек, через которые проходит бо́льшая часть света всех цветов, только с небольшим преимуществом в сторону какого-то цвета. В некоторых моделях вообще вместо половины бледно-зелёных ячеек стояли полностью бесцветные (впрочем, вряд ли это чем-то лучше, чем все одинаковые зелёные, просто вдвое бледнее). А из-за того, что эти ячейки довольно бледные, информация о яркости таки считывается на самом деле более-менее достоверно на полном разрешении матрицы, ценой некоторого снижения точности и увеличения шумов по цвету. За счёт чего мы всё же и можем ожидать от фотоаппарата при условии хорошей оптики картинки с разрешением на все имеющиеся мегапикселы, а не вчетверо меньше (вдвое по линейному разрешению) - если говорить о разрешении только по яркости, в частности/в особенности, если переводить в ч/б.

Но это правило - оно именно про пространственное или временно́е разрешение. Число базовых цветов - это не разрешение, а размерность пространства/векторов. А с размерностью векторов - там какая размерность, ровно столько датчиков на отсчёт/точку и нужно. Скажем, в том же звуке для того, чтобы получить стерео, достаточно ровно двух микрофонов (можно больше, равно как для моно можно больше одного - но это делается уже не для собственно стерео, а для других конкретных целей).
А размерность нашего человеческого цветового пространства - 3. Поэтому трёх цветов в фильтре/трёх типов датчиков заведомо достаточно, если их спектры чувствительности соответствуют человеческому цветовому пространству.

[Витамин Ц]

А размерность нашего человеческого цветового пространства - 3.

Если на пианино играют десятью пальцами, это не значит, что там 10 клавиш. Если бы там действительно было 10 клавиш, то никакой игры бы не получилось, хоть 20ю пальцами.

[Toman]

Если на пианино играют десятью пальцами, это не значит, что там 10 клавиш. Если бы там действительно было 10 клавиш, то никакой игры бы не получилось, хоть 20ю пальцами.

Это называется демагогия. Красивые фразы, не имеющие ни отношения к обсуждаемому вопросу, ни экспериментальных подтверждений.

[Витамин Ц]

Если на пианино играют десятью пальцами, это не значит, что там 10 клавиш. Если бы там действительно было 10 клавиш, то никакой игры бы не получилось, хоть 20ю пальцами.

Это называется демагогия. Красивые фразы, не имеющие ни отношения к обсуждаемому вопросу, ни экспериментальных подтверждений.

Это вы просто её не поняли.
Во-первых, размерность зрения при таком устройстве зрительной системы, с числом рецепторов не связана - их может быть хоть десяток, а она останется трёхмерной.
Во-вторых, число каналов не должно быть меньше, чем число сенсоров.
А сенсоров не три. То что нужны всего три лампочки для их активации, это ничего не значит, тк на пианино тоже можно играть тремя пальцами.

[Toman]

...Демагогия продолжается... (И тема уже окончательно вышла за пределы конструкции фототехники и воспроизводящих устройств, и опять полезла известно куда - так что данной ветке обсуждения место в специализированной теме).