Друк

[Гість]

Ласкаво просимо, Гість. Будь ласка, увійдіть або зареєструйтеся.
23 Листопада 2024, 23:33:53

1 година 1 день 1 тиждень 1 місяць Назавжди

Увійти

[Новини]

•    Новини
•      Астрономія
•      Астрозаходи
•    Життя клуба
•      Новини
•      Проекти
•      Заходи
•      Звіти про спостереження
•      Документи
•    Статті
•      Обладнання та телескопи
•      Спостереження
•      Астрофотографія
•      Астрософт
•      Астрономія в Україні
•      Астрономи шуткують
•      Інше
•     
•      Файловий архів

Наш канал

Наші сайти

Астро-сайти

Програми

Наш канал

Наші сайти

Астро-сайти

Програми

[Andrey57]

Например, я обрабатываю астрономические данные от телескопов ESO.
Для этого использую домашний компьютер на платформе 2011 с 6-ти ядерным процессором Intel Core i7-3930K @ 3.20GHz и оперативной памятью 64Гб.

В последнем из больших проектов, пришлось обрабатывать 1741 экспозицию, чтобы в результате получить три финальных FITS для каналов RGB.
Каждая из 1741 экспозиций состоит из 8 фрагментов, что означает необходимость обработки 13928 отдельных фрагментов с последующим созданием трёх ч/б мозаик.

Компьютер в этом проекте был загружен весьма хорошо.

Обработка проводилась в THELI GUI http://www.astro.uni-bonn.de/theli/gui/index.html

Если обработка каждой экспозиции у Вас не зависима от другой, то можно обрабатывать экспозиции паралельно на разных ресурсах. 

[Andrey57]

Наверное предлагается что-то типа Amazon EC2, когда дается доступ к Линукс машине и какое-то количество места на диске, ядер процессора/процессорного времени. Далее работаешь как с удаленным рабочим столом.
Такая схема, наверное, интересна для разного рода хорошо распараллеливаемых научных вычсилений, но для обработки астрофото в астрофотолюбиительском сегменте перспективы туманны. Так как передавать сотни мегабайт картинок для проведения обработки на облаке довольно неудобно. И в тоже время вычислительные способности самых простеньких ноутбуков позволяют обрабатывать эти самые сотни мегабайт в разумное время.

Говоря просто. В нашем случае пропускные способности каналов дороже процессорного времени. И обычного бытового компьютера вполне хватает для обработки любых разумных изображений.

Можно и так сказать, с одним отличием - одновременно, например, 1000 задач по 6 ядер

[Олег Малий]

Пока не очень разобрался, но мне кажется, что идею можно использовать для поиска и исследования переменных звезд.
Ведь как ищут переменные звезды? Снимают какой-то участок неба с какой-то периодичностью и потом по сотням и тысячам кадров ищут, какие из звезд меняют яркость (с помощью той же Мунивин). Если бы любители выгружали свои фотки в облако, можно было бы искать переменки по снимкам разных любителей и увеличить вероятность обнаружения новых переменок, особенно если переменность нестабильная (всякие вспыхивающие и т.п.)

Тут поле деятельности для групп любителей астрономии, которые имеют наблюдательные программы и личные компьютеры которых не могут справится с обработкой получаемых данных за некоторое адекватное время.

[MaxMan]

Пока я вижу этот ресурс полезным исключительно для одной цели - хранение данных и общий доступ к ним. Полезно для поисковых программ и для любителей собрать снимок из исходников нескольких человек.
Для обработки любительских снимков вполне хватает бытовых компов. Не видел задач которые им не под силу в приемлемые сроки.
Ну и еще вижу полезность в плане покупки одного софта в складчину (например пикса) и поочерёдным его юзанием на этом ресурсе. Но пока я не очень понимаю возможно ли это и как это реализуется.

Подякували

1 :tlgleonid

[Andrey57]

Пока я вижу этот ресурс полезным исключительно для одной цели - хранение данных и общий доступ к ним. Полезно для поисковых программ и для любителей собрать снимок из исходников нескольких человек.
Для обработки любительских снимков вполне хватает бытовых компов. Не видел задач которые им не под силу в приемлемые сроки.
Ну и еще вижу полезность в плане покупки одного софта в складчину (например пикса) и поочерёдным его юзанием на этом ресурсе. Но пока я не очень понимаю возможно ли это и как это реализуется.

Использование лицензированного обеспечения, имеет как правило лицензионные ограничения. Поэтому и предлагается подать на Европейский конкурс http://ec.europa.eu/research/participants/portal/desktop/en/opportunities/h2020/topics/2144-einfra-9-2015.html и за эти деньги сделать общедоступный ресурс под зонтиком EGI.eu

[Andrey57]

Говоря просто. В нашем случае пропускные способности каналов дороже процессорного времени. И обычного бытового компьютера вполне хватает для обработки любых разумных изображений.

Для ускорения передачи данных - можно отнести в один из ресурсных центров http://infrastructure.kiev.ua/monitoring/
Как правило 1ГБ/с между центрами есть.

[LifeIsGood]

Вот еще бы 1Гб/сек на дачу в обсерваторию вместо edge 2G

[Олег Малий]

Олег я все понимаю, я спрашиваю как это будет притом пошагово.
 Абстрактно я понимаю  сылками не нужно кидаться, на пальцах желательно.

Значит так...
Начнём с того, что THELI GUI собирается с исходных кодов, которые выложены на её странице для свободных скачиваний и компилляций. Программа использует утилиты, написанные другим человеком: их коды также доступны для свободных загрузок и использования.

Для калибровки и дальнейшей обработки исходников в THELI GUI, весь материал загружается в папки: BIAS, DARK, FLAT, SCIENCE.
После этого, выбирается профиль камеры, которая всё это добро снимала: за профилем камеры стоят скрипты, управляющие всеми процессами обработки.

После начинается поэтапная обработка:
1. предварительная подготовка калибровочных кадров и кадров с изображениями: распаковка с MEF-контейнеров (это касается только камер на много чипов!), обрезка рамок кадров.
2. далее идёт этап создания калибровочных мастер-bias, мастер-flat, нормированных мастер-flat и собственно калибровка кадров с изображениями.
3. потом идёт этап работы с фоном неба и градиентами, но его можно пропустить.
4. потом программа создаёт специальные весовые кадры, необходимые для складывания материала, отснятого с разными экспозициями и т.п.
5. далее программа проводит астрометрию и фотометрию каждого кадра, производя данные, необходимые для корректого складывания стопки кадров в один или же для создания мозаик.
6. на последнем этапе программа вычитает фон неба с каждого кадра, а после складывает их в один итоговый. Вес итогового ч/б изображения может составлять единицы-десятки Гб.

ИМХО, THELI можно установить на удалённый сервер, а для работы с ней необходим он-лайн интерфейс (апплет Java), который бы:
1. имел кнопки, нажатия на которые запускало бы комманды.
2. форму, которая бы выводила сообщения о ходе процессов.
3. просмотровик для полученных результатов.
4. архиваторы для загрузки/выгрузки материалов, для экономии времени и сетевого трафика.

Подякували

1 :MAKsutik

[Олег Малий]

Пока я вижу этот ресурс полезным исключительно для одной цели - хранение данных и общий доступ к ним. Полезно для поисковых программ и для любителей собрать снимок из исходников нескольких человек.
Для обработки любительских снимков вполне хватает бытовых компов. Не видел задач которые им не под силу в приемлемые сроки.
Ну и еще вижу полезность в плане покупки одного софта в складчину (например пикса) и поочерёдным его юзанием на этом ресурсе. Но пока я не очень понимаю возможно ли это и как это реализуется.

Использование лицензированного обеспечения, имеет как правило лицензионные ограничения. Поэтому и предлагается подать на Европейский конкурс http://ec.europa.eu/research/participants/portal/desktop/en/opportunities/h2020/topics/2144-einfra-9-2015.html и за эти деньги сделать общедоступный ресурс под зонтиком EGI.eu

В таком случае, вам нужно переговорить с авторами THELI  http://www.astro.uni-bonn.de/theli/index.html
На текущий момент, программа ещё не поддерживает кластеры, хотя такая поддержка запланирована.

[Олег Малий]

Лёня, ты верно написал, "что идею можно использовать для поиска и исследования переменных звезд".
Но для этого лучше работать слаженно в группе, бо ж иначе получится "Лебедь, Щука и Рак" http://sheba.spb.ru/lib/krylov06.htm с пренепременнейшим: "Ага! Я так и знал, что всё это ерунда." 

Есть группа, есть у неё телескопы свои или чужие, есть у неё рабочие планы, согласно которых она проводит наблюдения, а после пишет статьи.
Конечно можно продолжать что-то там ковыряться каждому в своём огороде, когда нет желания и необходимости выйти на более высокий уровень...

Но то уже вчерашний день, извините.

[exez]

оно только в теории так все работать будет. а на практике будет заброшенный сервак, к которому программера недозовешься.. и скорее всего бут очень дорого.

я вроде не дурак, но прочитав всю тему ничего норм кроме хранения и общего доступа не вынес для себя.. какой резон платить кучу денег, привлекать каких то программеров, которых еще надо материально заинтересовать, чтоб они разобрались в теме, которой они не прониклись, и что то там написали, если у каждого астрографа дома норм машина(пусть даже с ворованным ПО), которая вполне способна сама все обработать, а готовый результат выложить в инет.

тут напрашивается другая мысль. создать базу данных куда астрографы смогут заносить информацию(не отдельные кадры а именно информацию) о том, когда и какой объект был отснят. сколько и каких кадров есть. а так же контакты астрографа для связи с ним, чтоб получить эти самые кадрики..

а мысль с заморским серваком с гигабитным каналом это конечно круто, но не более..

зы: пинайте меня если я заблуждаюсь.. нубас я

[Олег Малий]

тут напрашивается другая мысль. создать базу данных куда астрографы смогут заносить информацию(не отдельные кадры а именно информацию) о том, когда и какой объект был отснят. сколько и каких кадров есть. а так же контакты астрографа для связи с ним, чтоб получить эти самые кадрики..

exez, вот и создайте её.
Какие проблемы?

[exez]

ну наверное то, что я пока что не занимаюсь астрофото..