ПОЗДРАВЛЯЮ С ДНЁМ ПОИСКА ЗА УГЛОМ!!!!Congratulations on the day of the search around the corner!!!!

Поздравляю с днём поиска за углом

Жаркий июльский месяц невольно рождает мысли об отдыхе, приключениях, розыгрышах. Возможно, этот факт является причиной такого большого количества июльских неформальных шуточных праздников. Содержание этих мероприятий зачастую вызывает серьезные сомнения, но дает простор воображению. К категории необычных праздников относится День поиска за углом, который отмечается 13 июля. Естественно он отсутствует в каких-либо официальных перечнях.

Первый вопрос, который возникает: что можно найти за углом? И здесь просторы фантазии ничем не ограничены. За углом можно найти новый поворот, как в буквальном смысле слова, так и глобальном масштабе, подразумевая жизненный путь. Кто-то найдет новую судьбоносную встречу, для другого откроется неисчерпаемый океан возможностей, а третий просто почувствует себя героем, получив возможность совершить настоящий поступок. Не исключен вариант наткнуться за углом на неприятности, поэтому осторожность, прежде всего!

Независимо от целей поиска, главное – это процесс. Поэтому День поиска за углом адресован людям неуспокоенным, всегда готовым к переменам, способным придумать себе мечту и отправиться за ней куда угодно: сначала за угол, потом за поворот, потом в прекрасное далеко и дальние дали.

Но, скорее всего, это праздник людей талантливых и обладающих фантазией. Скучные, расчетливые и рациональные педанты могут провести 13 июля в серой рутине обычной повседневности. А креативные личности радуются веселому и необычному празднику.

Не верьте тем, кто говорит, что никто не скрывается за углом. Загляните за угол и сами узнаете. Но в одиночку пускаться на исследования и поиски за углом очень опасно, но сегодня, один раз в году в День поиска за углом можно попробовать. 

И, все-таки, что можно искать за углом? — Да всё что угодно! Этот день является загадкой, точно также, как и то, что скрывается за углом. Может быть там прячется счастье? Возможно.

Так, к примеру, специалисты по компьютерному зрению обнаружили мир тайных оптических сигналов: по еле заметным движениям можно понять, о чем говорят в комнате, а по нечетким изображениям на углу здания — что находится за углом.

В 2012 году, во время отдыха на побережье Испании, специалист по компьютерному зрению Антонио Торральба заметил на стене своего номера беспризорные тени: что их отбрасывает, было неясно. Через некоторое время ученый понял, что темные участки на стене — вовсе не тени, а нечеткое перевернутое вверх ногами изображение террасы за окном. Окно сыграло роль отверстия в камере-обскуре. Это простейшее устройство для получения изображений . Оно работает по следующему принципу: световые лучи проходят через небольшое отверстие, и на противоположной стороне создается перевернутое изображение. На освещенной стене изображение было практически незаметно. Ученого осенило: мир полон оптических сигналов, недоступных человеческому глазу.

«Эти изображения не видны, но они все время вокруг нас», – рассказывает Торральба.

Тот случай привлек внимание Торральбы и его коллеги Билла Фримена (оба преподают в Массачусетском технологическом институте — MIT) к повсеместности так называемых случайных камер. Окна, углы, комнатные растения и другие самые обычные предметы создают едва заметные изображения всего, что их окружает. Эти изображения обычно не видны невооруженным глазом: их яркость в тысячу раз меньше по сравнению с другими объектами. «Мы придумали, как получать эти изображения и делать их видимыми», — объяснил Фримен.

Ученые обнаружили, как много визуальной информации скрывается буквально у всех на виду. В своей первой статье Фримен и Торральба показали, что если обработать фотографии одной и той же стены в комнате при разных условиях освещения, можно получить вид из окна этой комнаты. Осенью прошлого года вместе с другими коллегами ученые сообщили о том, что если снять пространство на углу здания, можно отследить движение объекта за ним. Этим летом они продемонстрировали, что по фотографии комнатного растения, а точнее по теням от его листьев, можно восстановить трехмерное изображение всего помещения. А можно превратить листья в «оптический микрофон»: усилив вибрации листьев, услышать, о чем говорят вокруг.

Терраса гостиничного номера, в котором Антонио Торральба заметил, что окно выступило в роли случайной камеры-обскуры. Расплывчатое изображение террасы на стене можно сделать более четким, если закрыть большую часть окна картоном и таким образом уменьшить размер отверстия, через которое проходит свет. Если изображение перевернуть, станет видно расположение предметов снаружи. В 2014 году был проведен эксперимент. В помещении со звуконепроницаемым окном находился человек. Он произносил строчки из детской песенки «У Мэри был барашек...». Также в комнате находилась пустая упаковка из-под чипсов. Речь человека была восстановлена по записанным на камеру вибрациям упаковки.

Изучение способов заглянуть за угол и получить информацию о том, чего не видно (визуализации объектов вне поля зрения), началось в 2012 году со статьи Торральба и Фримена о случайных камерах и еще одной прорывной работы независимой группы из MIT под руководством Рамеша Раскара. В 2016 году, под впечатлением от этих результатов и по ряду других причин, Управление перспективных исследовательских проектов Министерства обороны США (DARPA) запустило программу REVEAL (англ. Revolutionary Enhancement of Visibility by Exploiting Active Light-fields — ‘Революционное улучшение видимости с помощью активных световых полей’) с бюджетом в $27 млн для финансирования новых лабораторий по всей стране. С тех пор благодаря притоку новых идей и математических приемов визуализация объектов вне поля зрения становилась все более эффективной и практичной.

Помимо очевидного применения этой технологии в вооруженных силах и в разведке, ученые рассматривают возможность ее использования при создании беспилотных автомобилей, систем технического зрения роботов, в диагностической визуализации, в астрономии, в космических исследованиях и при проведении поисково-спасательных операций.

Как вспоминает Антонио Торральба, в самом начале у них с Фрименом не было никаких идей по поводу применения технологии. Они просто пытались разобраться в том, как появляется изображение, и что представляет собой камера. Это естественным образом вылилось в более полное исследование поведения света и его взаимодействия с окружающими предметами и поверхностями. Они смогли увидеть то, что никто и не думал искать. Торральба отмечает, что, согласно психологическим исследованиям, «люди очень плохо распознают тени. Может быть потому, что большая часть того, что мы видим, и не тени вовсе. Глаза оставляют попытки найти объяснение некоторым явлениям».

Случайные камеры

Лучи света, передающие изображение предметов вне нашего поля зрения, постоянно отражаются от стен и других поверхностей и попадают в глаза. Но почему эти явления так незаметны? Проблема в том, что лучей слишком много и перемещаются они в разных направлениях: изображения расплываются.

Для формирования изображения необходимо строго ограничить количество световых лучей, попадающих на поверхность, чтобы видны были только нужные. Именно в этом заключается эффект камеры-обскуры. В 2012 году разработки Торральба и Фримена начались с идеи о том, что нас окружает множество различных предметов, естественным образом ограничивающих количество световых лучей и образующих изображения, расплывчатые для глаза, но достаточно четкие для компьютера.

Чем меньше отверстие камеры-обскуры, тем четче получаемое изображение, поскольку только один луч света от каждой точки изображаемого объекта пройдет через отверстие под нужным углом. Окно в гостиничном номере было слишком велико для формирования четкого изображения, и Торральба с Фрименом поняли, что функциональные случайные камеры-обскуры встречаются редко. Вместе с этим они обнаружили, что камеры с обратным действием: мелкие предметы, которые препятствуют прохождению света, — создают изображения повсеместно.

Представьте, что смотрите через объектив камеры на внутреннюю стену комнаты через щель в жалюзи. Почти ничего не видно. Вдруг в ваше поле зрения попадает чья-то рука. Сравнив интенсивность света на стене, когда рука есть и когда ее нет, можно получить информацию о помещении. Световые лучи, попадающие на стену в первом кадре, блокируются рукой в следующем. Если вычесть данные второго изображения из данных первого, объясняет Фримен, «можно увидеть то, что закрывала рука» — световые лучи, создающие изображение части комнаты. «Если замечать не только предметы, пропускающие свет, но и те, что свет заслоняют, можно увеличить количество ситуаций, при которых появляются изображения как в камере-обскуре».

Вместе с исследованиями случайных камер, в ходе которых используются незначительные изменения интенсивности световых лучей, Фримен и его коллеги разработали алгоритмы для обнаружения и усиления слабых изменений цвета (например, когда кровь приливает к лицу и отливает от него), а также микроскопических движений (в них секрет говорящей упаковки из-под чипсов). Теперь они могут легко заметить движения даже в одну сотую пикселя, которые обычно теряются в шуме. Их метод заключается в том, чтобы математически преобразовать изображение в конфигурацию синусоид. Важно отметить, что в преобразованном пространстве сигнал не подавляется шумом, так как синусоида состоит из средних значений нескольких пикселей, поэтому шум равномерно распределяется между ними. Таким образом, ученые, двигаясь от кадра к кадру, могут обнаруживать изменения в положении синусоид, усиливать эти изменения, а затем преобразовывать изображение в исходный формат.

Они уже начали использовать эти разработки для получения скрытой визуальной информации. В октябре прошлого года, во время исследования под руководством тогда еще аспирантки Фримена, Кэти Буман (сейчас она работает в Гарвард-Смитсоновском центре астрофизики), ученые выяснили, что углы зданий выступают в качестве камер: создают нечеткие изображения происходящего за углом.

Края и углы ограничивают пропуск световых лучей по тому же принципу, что и камеры. С помощью стандартного записывающего оборудования, и даже iPhone, Буман с коллегами при дневном свете снимала на углу здания полутень — темноватую область, которую освещает подгруппа световых лучей, исходящих из невидимого пространства за углом. К примеру, если там пройдет человек в красной рубашке, рубашка спроецирует на полутень небольшое количество красного света, который будет скользить по полутени вслед за человеком. Это незаметно невооруженным взглядом, но после обработки становится прекрасно видно.

Если снять область полутени на земле на углу здания, можно понять, что находится за углом. Когда объекты вне поля зрения перемещаются, свет, который они отражают по направлению к полутени, движется под разными углами по отношению к стене. Незначительные изменения интенсивности и цвета, как правило, не видны невооруженным глазом, но их можно усилить с помощью алгоритмов. Самые простые видеозаписи света, отраженного под разными углами от области полутени, выявляют перемещение одного и двух человек за углом. В июне Фримен с коллегами опубликовал новаторскую работу, в которой ученые воссоздали световое поле комнаты (картину интенсивности и направления движения световых лучей), используя тень густого растения у стены. Листья действуют как обратные камеры-обскуры, каждая из которых блокирует свой пучок световых лучей. При сопоставлении тени от одного листа с остальными выявляется недостающий пучок лучей, а вместе с ним и изображение части невидимого помещения. Сделав поправку на параллакс, исследователи собирают все кусочки воедино.

Подход с использованием светового поля дает гораздо более четкие изображения по сравнению со случайными камерами, поскольку в алгоритмы заранее внесены данные о внешней среде. Форма комнатного растения, допущения о характеристике естественных изображений и другие заранее известные детали позволяют исследователям делать выводы о зашумленных сигналах, за счет чего удается повысить резкость изображения. По словам Торральбы, метод светового поля требует обширных знаний об окружающей среде, зато предоставляет много информации.

Рассеянный свет

Пока Фримен, Торральба и их протеже занимаются обнаружением самопроизвольных изображений, там же, в кампусе MIT, специалист по компьютерному зрению и спикер TED Рамеш Раскар, прямо заявляющий о готовности «изменить мир», испытывает активную визуализацию. С помощью специальных систем из дорогостоящих камер и лазеров он получает высокочеткие изображения находящихся за углом объектов.

В 2012 году Раскар с командой воплощал в жизнь идею, которая пришла ему в голову за пять лет до этого, и разработал следующую методику. В стену напротив объекта вне поля зрения посылают лазерные импульсы. Небольшая часть рассеянного от объекта света возвращается из-за преграды. Сразу после каждого импульса с помощью электронно-оптической камеры, которая со скоростью миллиард кадров в секунду улавливает отдельные фотоны, ученые определяют, какие из них отскочили от стены. Измеряя время полета возвращающихся фотонов, исследователи могут вычислить преодоленное ими расстояние и во всех подробностях восстановить трехмерные очертания скрытых за стеной объектов, от которых отразились фотоны. Сложность в том, что для создания трехмерного изображения лазер приходится перемещать по стене как при растровом сканировании. Допустим, за углом стоит человек. «Световые лучи от отдельно взятых точек его головы, плеча и колена могут вернуться к камере в одно и то же время, — объясняет Раскар. — Но стоит мне посветить лазером слегка в другом направлении, и лучи из трех точек уже не смогут вернуться одновременно». Поэтому, чтобы воссоздать трехмерный объект, приходится объединять все сигналы и решать так называемую обратную задачу.

Первоначальный алгоритм Раскара для решения обратной задачи требовал большого количества вычислений, а способный их производить аппарат стоил полмиллиона долларов. Но исследователям удалось упростить выражения, изрядно тем самым сэкономив. Опубликованная в одном из мартовских номеров журнала Nature статья установила новые стандарты эффективной и экономичной визуализации трехмерного объекта за углом (на примере фигурки кролика). Ученые из Стэнфордского университета: Мэттью О’Тул, Дэвид Линделл и Гордон Вецстайн — разработали мощный алгоритм для решения обратной задачи и использовали сравнительно недорогую SPAD-камеру — полупроводниковое устройство с более низкой по сравнению с электронно-оптической камерой частотой кадров. Раскар, в прошлом научный руководитель двух других авторов, назвал публикацию «очень толковой» и «одной из самых любимых».

При активной визуализации объектов вне поля зрения свет лазера отскакивает от стены, рассеивается от скрытого объекта и возвращается к камере. Отраженный свет можно использовать для воссоздания трехмерного изображения объекта (справа). 2018 Стэнфордская лаборатория методов компьютерной визуализации.

Предыдущие алгоритмы стопорились из-за особенностей экспериментальной процедуры. Как правило, исследователи наблюдали за фотонами, которые возвращались не из тех точек на стене, куда первоначально был направлен лазер (чтобы в камеру не попал рассеянный свет самого лазера). Но направив лазер и камеру практически в одну точку, стэнфордским ученым удалось сделать так, чтобы испускаемые и отраженные фотоны очертили один и тот же световой конус. Рассеиваясь по поверхности, свет образует расширяющуюся сферу фотонов. В процессе расширения она очерчивает форму конуса. О’Тул перевел разработанную в начале 20 века Германом Минковским (учителем Альберта Эйнштейна) физику световых конусов в краткое математическое выражение, связывающее время полета фотонов и расстояние до рассеивающих поверхностей. Этот процесс он назвал преобразованием светового конуса.

В беспилотные автомобили уже встроены системы для прямой визуализации — лидары. Не исключено, что с помощью SPAD-камер и лазеров они тоже в скором времени смогут «заглядывать за углы». «В ближайшем будущем датчики на основе лазера и SPAD-камер станут переносными», — прогнозирует Андреас Велтен, соавтор статьи Раскара 2012 года, ныне руководитель группы по активной визуализации в Висконсинском университете в Мадисоне. «Сейчас задача заключается в том, чтобы перейти к более сложным конфигурациям предметов и реалистичным сценариям, — рассказывает Велтен. — Обычно мы все старательно выстраиваем: чтобы на черном фоне был белый объект, а хочется просто навести камеру на любое нужное место». Знать, где что находится.

Исследователи из группы Фримена начали совмещать пассивный и активный подходы. В статье научного сотрудника Христоса Трампулидиса было показано, что при активной лазерной визуализации и наличии за углом обратной камеры-обскуры заранее известной формы, можно восстановить расположение невидимых предметов и без информации о времени пролета фотонов. «Уверен, что обычной ПЗС-матрицы будет достаточно», — заявил Трампулидис.

Когда-нибудь визуализация объектов вне поля зрения послужит на пользу спасательным отрядам, пожарным и автономным роботам. Велтен сотрудничает с Лабораторией реактивного движения NASA в рамках проекта по дистанционной визуализации внутреннего пространства лунных пещер. А Раскар тем временем использует свой подход, чтобы прочесть несколько страниц закрытой книги и получить изображение объекта в тумане.

Помимо воссоздания звуков алгоритм Фримена может пригодиться в конструкции медицинских приборов и систем безопасности, а также для обнаружения незаметных астрономических движений. «Такой алгоритм — очень хорошая идея, — заявил Дэвид Хогг, астроном и исследователь данных в Нью-Йоркском университете и Институте Флэтайрона (который, как и Quanta, финансируется Фондом Саймонса). — Думаю, нам стоит использовать его в астрономии».

Фримен много размышлял над проблемами конфиденциальности в свете недавних исследований. «Этот вопрос серьезно беспокоит меня на протяжении всей моей карьеры», — признается он. Инженер-очкарик, который с самого детства занимается фотографией, Фримен поначалу не хотел работать над тем, что может найти применение в вооруженных силах и разведке. Но со временем исследователь пришел к выводу, что любая технология — лишь инструмент, который можно использовать по-разному. Если избегать всего, что можно применить в военных целях, не сделаешь ничего полезного. Фримен добавил, что даже на войне «вариантов использования технологий великое множество. Наша технология может спасти кому-нибудь жизнь. И вообще, всегда полезно знать, где что находится».

Однако поражают его не столько технологические возможности, сколько то, что удалось обнаружить явление, скрытое у всех на виду. «В этом мире нам еще столько всего предстоит обнаружить», — уверен Фримен.

И завершим статью шуточным стишком:

Проснулся с утра -

Праздник в дом:

День поиска за углом!

За угол пошёл -

Корефана нашёл!

Встретились "на ура"!

Он тоже празднует -

И тоже с утра!

Хороший всё-таки праздник в субботу:

А то без повода и пить неохота…

Для развития кругозора: 13 июля в мире отмечается 7 праздников, в том числе 1 профессиональный.

• Двенадцать апостолов  
• День сотрудников органов национальной безопасности – Казахстан  
• Международный день купания нагишом 
• День поиска за углом 
• Международный день головоломки 
• День картофеля-фри 
• День фасоли с сосисками 

А Именины отмечают Андрей, Варфоломей, Иван, Матвей, Михаил, Петр, Симон, Степан, Тимофей, Филипп, Фома, Яков, Ян, Динара.

Но, невозможно и не поздравить наших именинников:

Пусть в жизни всё проходит мимо, 

Кроме здоровья, денег и интима!

С днём рождения!

Congratulations on the day of the search around the corner

The hot July month involuntarily gives rise to thoughts of rest, adventures, practical jokes. Perhaps this fact is the reason for such a large number of July informal joke holidays. The content of these events often raises serious doubts, but gives scope to the imagination. The category of unusual holidays includes search day around the corner, which is celebrated on July 13. Naturally, it is not included in any official lists.

The first question that arises is: what can you find around the corner? And here the scope of imagination is unlimited. Around the corner, you can find a new turn, both in the literal sense of the word and on a global scale, meaning the path of life. Someone will find a new fateful meeting, another will open an inexhaustible ocean of opportunities, and the third will simply feel like a hero, having the opportunity to commit a real act. It is possible to run into trouble around the corner, so be careful, first of all!

Regardless of the search goals, the main thing is the process. Therefore, the day of searching around the corner is addressed to unsettled people, always ready for changes, able to invent a dream and go for it anywhere: first around the corner, then around the corner, then into the beautiful far and far away.

But, most likely, this is a celebration of people who are talented and have imagination. Boring, calculating and rational pedants can spend July 13 in the gray routine of everyday life. And creative people enjoy a fun and unusual holiday.

Don't believe those who say that no one is hiding around the corner. Look around the corner and find out for yourself. But it is very dangerous to start exploring and searching around the corner alone, but today, once a year on the day of searching around the corner, you can try.

And yet, what can you look for around the corner? — Yes, anything! This day is a mystery, just like what is hiding around the corner. Maybe happiness is hidden there? Possible.

So, for example, computer vision specialists have discovered a world of secret optical signals: you can tell what is being said in a room by barely noticeable movements, and by fuzzy images on the corner of a building — what is around the corner.

In 2012, during a vacation on the coast of Spain, computer vision specialist Antonio Torralba noticed homeless shadows on the wall of his room: it was not clear what they were casting. After a while, the scientist realized that the dark areas on the wall were not shadows at all, but a fuzzy upside — down image of the terrace outside the window. The window played the role of a hole in the camera obscura. This is the simplest device for getting images . It works on the following principle: light rays pass through a small hole, and an inverted image is created on the opposite side. The image was almost invisible on the lighted wall. It dawned on the scientist: the world is full of optical signals that are inaccessible to the human eye.

"These images are not visible, but they are all around us all the time," says Torralba.The incident drew the attention of Torralba and his colleague bill Freeman (both of whom teach at the Massachusetts Institute of technology — MIT) to the ubiquity of so-called random cameras. Windows, corners, houseplants, and other common objects create subtle images of everything around them. These images are usually not visible to the naked eye: their brightness is a thousand times less than other objects. "We figured out how to get these images and make them visible," Freeman explained.

Scientists have discovered how much visual information is hidden literally in plain sight. In their first paper, Freeman and Torralba showed that if you process photos of the same wall in a room under different lighting conditions, you can get a view from the window of that room. Last fall, together with other colleagues, scientists reported that if you remove the space on the corner of a building, you can track the movement of an object behind it. This summer, they demonstrated that a photo of a houseplant, or rather the shadows from its leaves, can restore a three-dimensional image of the entire room. Or you can turn the leaves into an "optical microphone": amplify the vibrations of the leaves, hear what is being said around.

The terrace of the hotel room where Antonio Torralba noticed that the window acted as a random pinhole camera. The blurry image of the terrace on the wall can be made clearer if you cover most of the window with cardboard and thus reduce the size of the hole through which the light passes. If you flip the image, you will see the location of objects on the outside. In 2014, an experiment was conducted. There was a man in a room with a soundproof window. He was reciting lines from the children's song "Mary had a lamb..." And there was an empty bag of chips in the room. The man's speech was reconstructed from the vibrations of the package recorded on the camera.

The study of ways to look around the corner and get information about what is not visible (visualization of objects out of sight), began in 2012 with an article by Torralb and Freeman about random cameras and another breakthrough work by an independent group from MIT led by Ramesh Raskar. In 2016, under the impression of these results and for a number of other reasons, The office of advanced research projects of the us Department of defense (DARPA) launched the REVEAL program. Revolutionary Enhancement of Visibility by Exploiting Active Light-fields - ’ Revolutionary improvement of visibility by using active light fields') with a budget of $27 million to Fund new laboratories across the country. Since then, thanks to the influx of new ideas and mathematical techniques, visualization of objects outside the field of view has become more effective and practical.

In addition to the obvious use of this technology in the armed forces and in intelligence, scientists are considering its use in the creation of unmanned vehicles, robot vision systems, diagnostic imaging, astronomy, space research and search and rescue operations.

As Antonio Torralba recalls, in the beginning, he and Freeman had no ideas about applying the technology. They were just trying to figure out how the image appears and what the camera is. This naturally resulted in a more complete study of the behavior of light and its interaction with surrounding objects and surfaces. They were able to see what no one was looking for. Torralba notes that, according to psychological research, " people are very bad at recognizing shadows. Maybe because most of what we see is not shadows at all. The eyes give up trying to find an explanation for certain phenomena."

Random cameras

Rays of light that transmit images of objects outside of our field of vision are constantly reflected from walls and other surfaces and fall into the eyes. But why are these phenomena so invisible? The problem is that there are too many rays and they move in different directions: the images are blurred.

To create an image, you must strictly limit the number of light rays that fall on the surface, so that only the necessary ones are visible. This is the effect of the camera obscura. In 2012, the development of Torralb and Freeman began with the idea that we are surrounded by many different objects that naturally limit the number of light rays and form images that are blurry to the eye, but clear enough for the computer.

The smaller the hole of the pinhole camera, the clearer the resulting image, since only one ray of light from each point of the object being depicted will pass through the hole at the desired angle. The window in the hotel room was too large to form a clear image, and Torralba and Freeman realized that functional random pinhole cameras were rare. At the same time, they found that reverse — action cameras-small objects that obstruct the passage of light-create images everywhere.

Imagine that you are looking through the camera lens at the inner wall of the room through a gap in the blinds. Almost nothing is visible. Suddenly a hand comes into your field of vision. By comparing the intensity of light on the wall, when the hand is there and when it is not, you can get information about the room. Light rays that hit the wall in the first frame are blocked by the hand in the next. If you subtract the data of the second image from the data of the first, Freeman explains, "you can see what the hand was covering" — light rays that create an image of a part of the room. "If you notice not only objects that pass light, but also those that obscure the light, you can increase the number of situations in which images appear as in a pinhole camera."

Together with studies of random cameras that use small changes in the intensity of light rays, Freeman and his colleagues have developed algorithms to detect and amplify faint color changes (for example, when blood flows to and from the face), as well as microscopic movements (they are the secret of talking chip packaging). Now they can easily detect movements of even one-hundredth of a pixel that are usually lost in the noise. Their method is to mathematically transform the image into a sine wave configuration. It is important to note that in the converted space, the signal is not suppressed by noise, since the sine wave consists of the average values of several pixels, so the noise is evenly distributed between them. Thus, scientists moving from frame to frame can detect changes in the position of the sinusoids, amplify these changes, and then convert the image to the original format.

They have already started using these developments to get hidden visual information. In October of last year, during a study led by then-graduate student Freeman, Kathy Buman (now at the Harvard-Smithsonian center for astrophysics), scientists found that the corners of buildings act as cameras: they create fuzzy images of what is happening around the corner.

Edges and corners restrict the passage of light rays on the same principle as cameras. Using standard recording equipment, and even an iPhone, Buman and her colleagues shot penumbra in daylight on the corner of the building-a darkish area that is illuminated by a subgroup of light rays emanating from an invisible space around the corner. For example, if a person in a red shirt passes through it, the shirt will project a small amount of red light onto the penumbra, which will slide along the penumbra after the person. This is invisible to the naked eye, but after processing it becomes perfectly visible.

If you remove the area of partial shade on the ground at the corner of the building, you can see what is around the corner. When objects outside the field of view move, the light they reflect toward the penumbra moves at different angles to the wall. Minor changes in intensity and color are usually not visible to the naked eye, but they can be amplified using algorithms. The simplest video recordings of light reflected at different angles from the penumbra reveal the movement of one and two people around the corner. In June, Freeman and colleagues published a groundbreaking paper in which scientists recreated the light field of a room (a picture of the intensity and direction of light rays) using the shadow of a dense plant against the wall. The leaves act as reverse pinhole cameras, each of which blocks its own beam of light. When comparing the shadow of one leaf with the rest, the missing beam of rays is revealed, and with it, the image of a part of the invisible room. After adjusting for parallax, researchers put all the pieces together.

The light-field approach produces much clearer images compared to random cameras, because the algorithms have pre-entered data about the external environment. The shape of a houseplant, assumptions about the characteristics of natural images, and other pre-known details allow researchers to draw conclusions about noisy signals, thereby increasing the sharpness of the image. According to Torralba, the light field method requires extensive knowledge about the environment, but provides a lot of information.

Diffused light

While Freeman, Torralba, and their proteges are engaged in the detection of spontaneous images, there, on the MIT campus, computer vision specialist and TED speaker Ramesh Raskar, who explicitly declares his readiness to" change the world", is experiencing active visualization. With the help of special systems of expensive cameras and lasers, it receives high-precision images of objects around the corner.

In 2012, raskar and his team implemented an idea that had occurred to Him five years earlier and developed the following methodology. Laser pulses are sent to the wall opposite the object out of sight. A small part of the light scattered from the object returns from behind the barrier. Immediately after each pulse, using an electron-optical camera that picks up individual photons at a billion frames per second, scientists determine which ones bounced off the wall. By measuring the flight time of returning photons, researchers can calculate the distance they covered and reconstruct in detail the three-dimensional outlines of objects hidden behind the wall from which the photons were reflected. The difficulty is that to create a three-dimensional image, the laser has to be moved along the wall as in raster scanning. Let's say there is a man standing around the corner. "Light rays from individual points of his head, shoulder and knee can return to the camera at the same time," Raskar explains. — But if I Shine the laser in a slightly different direction, the rays from the three points will not be able to return at the same time." Therefore, to recreate a three-dimensional object, you have to combine all the signals and solve the so-called inverse problem.

The original Raskar algorithm for solving the inverse problem required a large number of calculations, and the device capable of producing them cost half a million dollars. But the researchers managed to simplify the expressions, thereby saving a lot of money. Published in one of the March issues of the journal Nature, the article set new standards for efficient and economical visualization of a three-dimensional object around a corner (for example, a rabbit figure). Scientists from Stanford University: Matthew O'toole, David Lindell and Gordon Wetzstein-developed a powerful algorithm for solving the inverse problem and used a relatively inexpensive SPAD-camera (eng. single-photon avalanche diode — ' single-photon avalanche diode’)-a semiconductor device with a lower frame rate compared to an electron-optical camera. Raskar, a former research supervisor of two other authors, called the publication "very clever" and "one of my favorite."

When objects are actively visualized out of the field of view, the laser light bounces off the wall, diffuses from the hidden object, and returns to the camera (left). The reflected light can be used to recreate a three-dimensional image of an object (on the right). 2018 Stanford laboratory of computer visualization methods.

Previous algorithms were stalled due to the peculiarities of the experimental procedure. As a rule, researchers observed photons that did not return from the points on the wall where the laser was originally directed (so that the camera did not get the scattered light of the laser itself). But by pointing the laser and camera at almost the same point, the Stanford scientists managed to make the emitted and reflected photons outline the same light cone. When light is scattered over the surface, it forms an expanding sphere of photons. As it expands, it outlines the shape of a cone. O'toole (who now works at Carnegie Mellon University) translated the physics of light cones developed in the early 20th century by Herman Minkowski (albert Einstein's teacher) into a short mathematical expression that relates the time of flight of photons and the distance to scattering surfaces. This process he called the transformation of the light cone.

Driverless cars already have built — in systems for direct visualization-lidars (light Identification Detection and Ranging — ‘detection, identification and determination of range using light’). It is possible that with the help of SPAD cameras and lasers, they will also soon be able to"look around corners". "In the near future, laser-based sensors and SPAD cameras will become portable," predicts Andreas Velten, co-author of Raskar's 2012 paper and now head of the active imaging group at the University of Wisconsin-Madison. "The challenge now is to move to more complex item configurations and realistic scenarios," says Velten. — Usually we carefully build everything: so that there is a white object on a black background, and you just want to point the camera at any desired place." Know where everything is.

Researchers in Freeman's group began to combine passive and active approaches. In an article by researcher Christos Trumpulidis, it was shown that with active laser imaging and the presence of a pre-known shape of the reverse camera obscura around the corner, it is possible to restore the location of invisible objects without information about the time of photon flight. "I am confident that conventional CCDs will be enough," said Trampolines.

One day, visualizing objects out of sight will benefit rescue teams, firefighters, and Autonomous robots. Velten is working with the NASA jet propulsion Laboratory on a project to remotely visualize the interior of lunar caves. Meanwhile, Raskar uses his approach to read several pages of a closed book and get an image of an object in the fog.

In addition to recreating sounds, Freeman's algorithm can be useful in the design of medical devices and security systems, as well as for detecting imperceptible astronomical movements. "This algorithm is a very good idea," said David Hogg, an astronomer and data scientist at new York University and the Flatiron Institute (which, like Quanta, is funded by the Simons Foundation). "I think we should use it in astronomy."

And we will finish the article with a humorous rhyme:

I woke up in the morning -

Holiday in the house:

Search day is around the corner!

The corner went -

Korefan found!

Met "with a Bang"!

He is also celebrating -

And also in the morning!

A good holiday on Saturday:

And then without a reason and I don't want to drink…

https://docs.google.com/document/d/e/2PACX-1vQ-2Q6nNDobMZdvIeyKjauyD0Fg_388dQ1VUYVzFO3R1qT7oRGavuYjI2AJIKTWu1uuKrbqHnnyjDD7/pub

https://bichkovu.blogspot.com/2020/07/congratulations-on-day-of-search-around.html?spref=tw