Друк

[Гість]

Ласкаво просимо, Гість. Будь ласка, увійдіть або зареєструйтеся.
20 Лютого 2025, 06:17:18

1 година 1 день 1 тиждень 1 місяць Назавжди

Увійти

[Новини]

•    Новини
•      Астрономія
•      Астрозаходи
•    Життя клуба
•      Новини
•      Проекти
•      Заходи
•      Звіти про спостереження
•      Документи
•    Статті
•      Обладнання та телескопи
•      Спостереження
•      Астрофотографія
•      Астрософт
•      Астрономія в Україні
•      Астрономи шуткують
•      Інше
•     
•      Файловий архів

Наш канал

Наші сайти

Астро-сайти

Програми

Наш канал

Наші сайти

Астро-сайти

Програми

[Kapella]

Мой доклад на Равноденствии дал мне понять, что на самом деле единомышленников среди астрономов у меня больше, чем я думала! Хочу посвятить эту тему примерам того, как машинное обучение применяют в астрономии, а также идеям, которые иногда посещают наши головы и смогут помочь науке и пополнить эту тему новыми записями.

Если кратко: машинное обучение - это методы искусственного интеллекта. Есть данные, на них обучаются алгоритмы, которые вылавливают в этих данных зависимости, ключевые характеристики, и потом эти алгоритмы можно применить на новых данных и узнать ответ на поставленную задачу.
Если хочется познакомиться с машинным обучением поближе, в сети есть много информации, а здесь рассмотрим конкретные примеры применения.

Звезда, галактика или квазар?
Источник
В современной астрономии важной является задача характеризации объектов. С этим сложно, когда мы получили снимок определённого участка неба и видим там точку, потому что непонятно – это обычная звезда, квазар, или далёкая галактика? На снимках они выглядят абсолютно одинаково.
Эти объекты легко можно отличить, исследовав их спектр. Разные атомы могут поглощать только конкретные длины волн, таким образом, имея спектр, мы можем определить даже химический состав. Наше Солнце яркое, и его свет легко разложить в спектр с помощью даже карманных приборов, но чем слабее объект, тем сложнее и дороже получать его спектр. Для очень слабых объектов это вообще практически невозможно – требуется слишком много времени. Тем не менее, для получения снимка объекта через разные фильтры времени потребуется относительно немного. Эти фильтры пропускают через себя только определённую длину волны. На графике ниже видим, как соотносятся между собой спектр и полосы пропускания фильтров для звезды Веги. Итак, мы можем все объекты снимать через широкополосные фильтры, и для тех из них, для которых это возможно, снять спектр. Имея спектр, мы можем сказать, квазар это или звезда. Тогда получаем набор данных, на котором можно тренировать алгоритм – одни показания сочетания цветов – квазар, другие – звезда. Потом натренированному алгоритму можем подавать новые данные, для которых мы не знаем ответа – и получим разгадку. Таким образом, с помощью машинного обучения у нас получилось определить природу объекта, не снимая его спектр.

Изучение красного смещения
Источник
Ещё одно применение данного подхода состоит в изучении красного смещения объекта. Чем дальше от нас галактика, тем больше будет скорость отдаления, соответственно больше будет и величина красного смещения. Имея спектр объекта, легко можно найти красное смещение: достаточно найти линии распространенного элемента, например, водорода. Но у нас не всегда есть возможность получить спектр. Тут мы снова получаем изображения объекта в разных фильтрах и применяем машинное обучение.
Зачем нам нужно узнавать красное смещение? Имея эту информацию для множества объектов, мы сможем улучшить наше понимание Вселенной и более точно понять природу тёмной энергии, которая является причиной того, что наша Вселенная расширяется.
Так как иногда случается, что галактики с маленьким красным смещением могут находиться далеко, и наоборот, в статье рассматривается та же задача и даже такие же данные, но задача дополняется ещё и поиском функции плотности вероятности для красного смещения.

Подякували

4 :viktor, LifeIsGood, gordon2903, Orion

[Kapella]

Galaxy Zoo
Сайт проекта
Каждый из нас может помочь науке, даже не выходя из дома: в 2007 стартовал проект Galaxy Zoo. Пользователям выводится изображение объекта и нужно ответить на несколько вопросов о том, что они видят. Таким образом, набирается большая база размеченных данных, на которых можно обучать алгоритмы машинного обучения. С момента начала проекта в нём каждый год принимает участие более 150 000 человек и вышло более 50 научных публикаций. Цель проекта Galaxy Zoo - ответить на множество научных вопросов и подготовить почву для последующей работы с использованием будущих инструментов (например, JWST) и для получения образцов галактик с большим красным смещением для последующих исследований с помощью таких инструментов, как Очень большие телескопы и ALMA. 
Форма галактики может рассказать о динамике движения звёзд внутри неё, процессах формирования звёзд и ядерной активности галактик. Визуальная классификация сильно связана и с физическими характеристиками. Например, наличие нескольких ядер и ярко выраженных приливных сил указывают на то, что доминирующим механизмом формирования звёзд было слияние. Аналогично, отсутствие таких признаков предполагает, что эволюция галактики может быть обусловлена более медленным процессом.
Сейчас проект активен, и данные для классификации время от времени обновляются. В будущем эти данные помогут обучить алгоритмы, которые будут распознавать морфологию объекта по снимкам новых обзоров неба. Есть ещё несколько похожих проектов по классификации астрономических объектов, большинство из них основаны на использовании нейронных сетей.
Статья о классификации на данных Galaxy Zoo

Сверхновая или артефакт?
Источник
В 2013 году началась программа The Dark Energy Survey, рассчитанная на 5 лет. С помощью оптических и инфракрасных камер учёные получают изображения неба Южного полушария. Целью программы является исследования динамики и крупномасштабной структуры Вселенной, используя сверхновые типа Ia как один из методов.
В ходе этой программы ежедневно получают много изображений, каждое из них нужно обработать. Учёные придумали алгоритм autoScan, который позволяет отличить артефакт изображения от реального объекта. Этот же подход будет использован для LSST – большой обзорный телескоп, который запустят в 2019 году. С помощью этого алгоритма теперь можно максимально эффективно обнаруживать новые объекты на небе (например, сверхновые) и не путать их с дефектами изображения.

[Kapella]

Распознавание состава атмосфер экзопланет
Источник
Меньше года назад была опубликована интересная (и спорная) статья – автор описывает, как ему удалось натренировать нейронную сеть так, чтоб она с точностью 99,7% распознавала характеристики атмосферы планеты по её спектру. Для тренировки автор смоделировал почти 86 000 спектров экзопланет пяти известных типов. В итоге алгоритм научился определять состав атмосферы, соотношение в ней химических элементов и температурные характеристики. RobERt предполагается использовать для обработки данных телескопов будущего, которые смогут получать массово спектры экзопланет.

Воспроизводимость результатов
Олег Бартунов «Научные вызовы анализу данных»
Тем, кто занимается астрометрией или фотометрией наверняка знакома проблема  разных условий наблюдения. Представьте: два наблюдателя, из Украины и из Португалии, наблюдают один и тот же объект в одно и то же время. У украинского наблюдателя на небе дымка, у португальского техника не такая мощная. Они получили разные результаты наблюдений. Что делать, усреднить результат, признать один из результатов ложным, не учитывать оба наблюдения? А если доступно только одно наблюдение, считать ли его результат достоверным? У каждого наблюдения есть метаданные, и это не только параметры съемки и время наблюдения, но и местоположение, погода, фаза Луны, инструменты наблюдения и обработки. Сейчас получают и работают с такими результатами, которые нельзя повторить на другом инструменте. Если взять все наблюдения и метаданные, можно построить модель машинного обучения, которая смогла бы учесть все эти факторы и устранить ошибки, и привести все результаты к стандартному «идеальному наблюдателю в вакууме». Это сильно бы увеличило точность всех исследований.

Защита от околоземных астероидов
На прошлогоднем хакатоне NASA SpaceApps наша команда распознавала форму околоземных астероидов по неполной кривой блеска. На том же хакатоне команда из Кировограда, которая в итоге вышла в глобальный финал, разработала библиотеку для анализа орбитальных параметров околоземных астероидов с помощью машинного обучения.

[Polaris]

Де ви навчаєтеся і на кого?

[Kapella]

КПІ, Інститут прикладного системного аналізу, спеціальність системний аналіз і управління, закінчую 4 курс. Але знання машинного навчання здебільшого здобувала сама через онлайн курси, книги і практичні завдання, і в цьому значно допомогли знання математики та програмування з інституту, а на останньому курсі деякі алгоритми навіть входили в навчальну програму.

Подякували

1 :Polaris

[Олег Малий]

...
Защита от околоземных астероидов
На прошлогоднем хакатоне NASA SpaceApps наша команда распознавала форму околоземных астероидов по неполной кривой блеска. На том же хакатоне команда из Кировограда, которая в итоге вышла в глобальный финал, разработала библиотеку для анализа орбитальных параметров околоземных астероидов с помощью машинного обучения.

Делаю предположние, что группа из Кировограда использует Python на OS Ubuntu.

[LifeIsGood]

О! Прикольно! Есть еще любители машинного обучения на форуме!
Для астрономии я его еще не применял. Хотел попробовать с автоматическим распознаванием спектров, но не смог найти нормальных баз с большим количеством расшифрованных спектров с исходными данными.
Так что пока сижу на Каггле и распознаю рыб 

[Polaris]

...
Защита от околоземных астероидов
На прошлогоднем хакатоне NASA SpaceApps наша команда распознавала форму околоземных астероидов по неполной кривой блеска. На том же хакатоне команда из Кировограда, которая в итоге вышла в глобальный финал, разработала библиотеку для анализа орбитальных параметров околоземных астероидов с помощью машинного обучения.

Делаю предположние, что группа из Кировограда использует Python на OS Ubuntu.

І що унікального у використанні  OS Ubuntu?

[Polaris]

КПІ, Інститут прикладного системного аналізу, спеціальність системний аналіз і управління, закінчую 4 курс. Але знання машинного навчання здебільшого здобувала сама через онлайн курси, книги і практичні завдання, і в цьому значно допомогли знання математики та програмування з інституту, а на останньому курсі деякі алгоритми навіть входили в навчальну програму.

Відмінно!
І провокативне питання, чому любителі астрономії не поступають на астрономію в КНУ?

[Polaris]

О! Прикольно! Есть еще любители машинного обучения на форуме!
Для астрономии я его еще не применял. Хотел попробовать с автоматическим распознаванием спектров, но не смог найти нормальных баз с большим количеством расшифрованных спектров с исходными данными.
Так что пока сижу на Каггле и распознаю рыб 

Як вхідну точку в тему можете використати цей проект http://www.cfht.hawaii.edu/~arnouts/LEPHARE/lephare.html

[Kapella]

КПІ, Інститут прикладного системного аналізу, спеціальність системний аналіз і управління, закінчую 4 курс. Але знання машинного навчання здебільшого здобувала сама через онлайн курси, книги і практичні завдання, і в цьому значно допомогли знання математики та програмування з інституту, а на останньому курсі деякі алгоритми навіть входили в навчальну програму.

Відмінно!
І провокативне питання, чому любителі астрономії не поступають на астрономію в КНУ?

Я вибрала не тільки інший університет, а і іншу спеціальність, з багатьох причин. Одна з головних - мене цікавить аналіз даних і дуже подобається перспектива застосовувати мої знання у будь-якій області, від астрономії до медицини. А любителем астрономії я буду завжди, чим би не займалась.

Подякували

2 :MaxMan, Polaris

[LifeIsGood]

Відмінно!
І провокативне питання, чому любителі астрономії не поступають на астрономію в КНУ?

Мабуть тому, що астрономія - це гарне хоббі, а от як повноцінна работа в Україні має не дуже великий попит. Машинне навчання зараз дуже на часі!

[Олег Малий]

...
Защита от околоземных астероидов
На прошлогоднем хакатоне NASA SpaceApps наша команда распознавала форму околоземных астероидов по неполной кривой блеска. На том же хакатоне команда из Кировограда, которая в итоге вышла в глобальный финал, разработала библиотеку для анализа орбитальных параметров околоземных астероидов с помощью машинного обучения.

Делаю предположние, что группа из Кировограда использует Python на OS Ubuntu.

І що унікального у використанні  OS Ubuntu?

Питання не є коректним.

Якщо ви відкриєте сторінку https://github.com/typpo/asterank, код з якої використовувала та кіровоградська команда, то побачите ось що:

[ARTY]

virtualenv прекрасно ставится pip'ом и на винду, и можно работать на пайтоне из под винды. Но вообще да, Ubuntu лучше приспособлена для пайтона. В конце концов он в ней встроен.

[Олег Малий]

virtualenv прекрасно ставится pip'ом и на винду, и можно работать на пайтоне из под винды. Но вообще да, Ubuntu лучше приспособлена для пайтона. В конце концов он в ней встроен.

В астрономии можно работать из-под винды, но только для своих нужд.

А что касается научных исследований, то тут винда имеет свои лицензионные и прочие ограничения, а поэтому может "подсунуть свинью", как всякий софт с закрытым кодом.
Астрономы в курсе этих ограничений: см. выступление Олега Бартунова (видео вспроизводится от момента свободного обмена данными!)
https://youtu.be/ezh7jyDZVzI?t=2166

[Mott]

Aga,

P.S.
Он а всегда такой косноязычный? (я понял только половину, что Oracle - лицензированное зло) или только для Data Science? (ну типа очень крутой доклад....)

[Orion]

Добрый день. Kapella, очень интересные темы озвучиваете. Жду видео с вашего доклада на Равноденствии. А вы сами над какой темой работаете или планируете работать?

Сам рассматривал подобные задачи, когда выбирал тему для дипломной, но у нас было узконаправленное машинное обучение, про нейросети нам не рассказывали, а сам не ознакомился. Сейчас моя работа связана с компьютерным зрением, потому подобные темы мне тоже интересны.

[Kapella]

Мои личные проекты по машинному обучению в астрономии пока ограничиваются хакатоном NASA SpaceApps Challenge, хотя я начинаю думать, что надо бы расширить этот список. Пока занимаюсь анализом данных и модельками машинного обучения для компаний, диплом взяла по анализу выживаемости.

К слову, завтра пройдёт тренировочный сбор перед хакатоном, который в этом году пройдёт 29-30 апреля. В 12:00 можно будет снова послушать мой доклад о машинном обучении в астрономии Кажется, немного поздновато я сказала
Ссылка на мероприятие
Программа:
   08.45-09.30    Регистрация
   09.30-10.00    About NASA SpaceApps 2017 А.Бегунов
   10.00-10.30    The story of MarsHopper. А.Музыченко
   10.30-11.00    Как добраться до Марса. А.Видьмаченко
   11.00-11.30    Break #1
   11.30-12.00    Alpha Centauri. Д.Андреев (скайп)
   12.00.12.30    Машинное обучение в астрономии. А.Воронцева
   12.30-13.30    Break #2
   13.30-15.00    NASA Tasks brief
   15.00-16.00    Формирование команд и обсуждение тематики

Подякували

1 :Orion

[Orion]

Ага, я видел новость в соцсетях про хакатон, спасибо! Не будет случайно прямого эфира?

[Kapella]

Вроде пока не звучало такое, но если вдруг будет, постараюсь кинуть ссылку.