Тема: Command line FITS Utilities by Max (Прочитано 3027 раз)

M_M

Ну зачем же лезть в регистри, когда для этого есть штатные средства

Изменение системных переменных среды, как общие, так и для пользователя. Причем, удобно, по строкам каталоги PATH раскиданы. Ну и F8 в FAR нажимать умею

. Это просто автору в копилку ToDo, на всякий случай. В инсталляторах такие вещи легко делаются, просто обычно лень всё проверять, по себе знаю.

mpyat2

Да, спасибо, в to-do уже записал!

mpyat2

Удалось подключиться к LibRaw (пока использую свежую стабильную) через небольшую обёртку на C++. Есть ещё небольшие технические проблемы (правильно обрезать чёрную рамку и ещё по мелочам).
Распаковка RAW работает значительно быстрее!
Когда отшлифую, попробую скомпилировать бету Libraw с поддержкой Fuji x-A3.

mpyat2

Поки фотік на телескопі на вулиці знімає...
Колеги, викладаю версію утлілт з конвертером RAW, який використовує Libraw 0.19.0-Snapshot - 20170812.
Файли тут https://sites.google.com/site/theskyaboveusmp/file-cabinet

IRIS-FITS-Utils_beta-setup_with_0_19_0-Snapshot20170812.zip -- інсталлятор
FITSutils_src_beta_with_Libraw_0_19_0-Snapshot20170812.zip -- вихідні тексти

ПРАЦЮЄ З Fujifilm X-A3 !

Libraw скомпільвана за допомогою Visual C++ 2010 Express.
Конвертер iconvraw.exe взаємодіє з Libraw.dll через "обгортку" LibRawMxWrapper.dll (вихідні тексти надаються, бібліотека-обгортка теж скомпільована у Visual C++ 2010 Express).

Поки що новий варіант конвертера потребує тестування, хоч, здається, працює нормально.
Однак, тести ще проводжу.

Код: [Select]

C:\Personal\Projects\Astro\Utils\iconvraw>iconvraw /v /i fujifilm_x_a3_02.raf
RAW -> CFA converter  Maksym Pyatnytskyy  2017
Version 2018.01.21.01
Libraw version: 0.19.0-Snapshot - 20170812


[C:\Personal\Projects\Astro\Utils\iconvraw\fujifilm_x_a3_02.raf]
fujifilm_x_a3_02.raf
Make        : Fujifilm
Model       : X-A3
Time        : Sat Feb 04 12:19:35 2017
ISO         : 200
Exposure    : 0.0008000
Raw Size    : 6016x4014
Image Size  : 6016x4014
Left Margin : 0
Top Margin  : 0
Output Size : 6016x4014



C:\Personal\Projects\Astro\Utils\iconvraw>

Дякую M_M та AYN за поради.

AYN

Спасибо ! Дадут небо (и время) погоняю на реальных равах с X-A3

mpyat2

FITS Utilities Ver. 1.1 завантажені на https://sites.google.com/site/theskyaboveusmp/file-cabinet

Як і раніше, разом з установочним файлом (IRIS-FITS-Utils-setup_v1_1.zip) є і повні тексти програм (FITSutils_src_v1_1.zip).
Перед установкою цієї версії бажано деінсталювати стару (проблема з тим, що при деінсталяції не вилучається путь з системної змінної PATH, на що вказав M_M, ще не вирішувалась, але, якщо ставити в теж саме місце, це не є проблемою взагалі)
Що змінилось:

1) Конвертер RAW файлів іде з кодом LibRaw 0.19.0-Beta1 (найсвіжіша доступна версія). Також додані додаткові функції (див. ключі командного рядку -- запустіть iconvraw без параметрів, щоб побачити), версію LibRaw можна побачити, вказавши ключ /v: iconvraw /v

2) Додана утіліта CFA2RGB. Вона виконує просту дебаєризацію в режимі суперпікселя (тобто, не виконує інтерполяції, а розбирає CFA-зображення на кольорові площини (це для аналізу зображень змінних зірок цілком достатньо, зелена площина утворюється з двох наборів G-пікселів простим усередненням). Ключі та параметри програми можна взнати, запустивши її без параметрів. Крім маски вхідних файлів обов’язковий параметр -- порядок кольорів у Баєрівській матриці, наприклад:
C:\personal\SKY2>cfa2rgb IMG_6934.fit /M=RGGB

3) Додана утіліта MakeStack. Обраховує медіану, середне значення або просту суму для заданої кількості зображень у послідовності (аналог IRIS COPYMED та COPYADD). Наразі не економить пам’ять, тож на великій кількості великих файлів може давати Out of Memory (можливо, потім покращу). Її основна функція -- “усереднення” довгих послідовностей зображень (серіі спостережень змінніх зірок) по групах файлів, щоб покращити співвідношення сигнал-шум. Наприклад:
C:\personal\SKY2>makestack tg-a* /G=tg-a-stack_ /M=m /N=3
Всі файли FITS, назва яких починається з “tg-a” будуть усередненi по групах з трьох файлів у кожній (/N=3) методом медіани (/M=m), результат буде у пронумерованих файлах з іменами, що починаються на tg-a-stack_
Запустіть програму без параметрів, щоб побачити всі ключі

4) Додана проста утіліта FitsStat (працює лише з окремими файлами, не з наборами), яка обраховує деякі статистикі для двомірного FITS. На великих файлах може тормозити, основний час іде на обрахунок медіани

5) Виправлені деякі помилки, що потенційно моглим привести до проблем

Кілька слів про конвертер iconvraw
В даній ревізії змінена “архітектура” утіліти. Тепер LibRaw не надаєтья у вигляди окремої DLL, а весь код компільований (за допомогою вільного MSVC 2010 Express) у бібліотеку LibRawMxWrapper_s_crt.dll. Також в цю бібліотеку підлінкований Microsoft C-runtime, тобто вона залежить лише від системних бібліотек KERNEL32.dll та WS2_32.dll (нема залежності від MSVCP100.dll та MSVCR100.dll, тож вони не обов’язково мають бути присутні). Також LibRawMxWrapper_s_crt.dll зв’язана з iconvraw.exe не статично, а завантажується динамічно при старті iconvraw, що дозволяє грузути її з точно визначеного місця (каталогу самої iconvraw). Також в пакет входить (на всяк випадок) LibRawMxWrapper_s.dll, в якій C-runtime не підлінкований і береться з MSVCP100.dll та MSVCR100.dll. Змінити версію бібліотеки можна, редагуючи файл fitsutils.ini
Чому LibRaw підлінкована статично і чому не викликати інтерфейсні функції напряму з LibRaw.dll (у паскалівській програмі це можливо і перевірено)? Головним чином це пов’язано з методом, яким LibRaw передає час створення RAW-файлу (з EXIFF). LibRaw переводить час у C-тип time_t, який за означенням зберігає час у форматі UTC. Тому LibRaw перетворює час з EXIFF у Universal Time. Але! З датами з минулого треба точно знати, який був часовий пояс і чи був літній час. А різні реалізації C-runtime це роблять по-різному, наприклад, реалізації від Microsoft та Embarcadero (колишній Borland C++) в деяких випадках дають різні результати. Якщо ж передавати час у time_t в програму на Паскалі (як у мене), то знов треба бути впевненим, що ми використовуємо той самий алгоритм перетворення часу (часову зону).
Тому краще б мати час з EIFF без перетворень, а потім, при необхідності, корегувати його самому (параметр /TSxxxx програми iconvraw). Але для цього треба повернути час назад до локального, і це треба робити тією ж самою реалізацією C-бібліотеки. Тому простіше зробити одну DLL, яка включає код LibRaw, з необхідними додатковими функціями.

------------------

Ось як виглядає workflow обробки зображень змінних зірок тепер з використанням FITS Utils, IRIS та AstroImageJ:
[переваги:
1) список камер (з баєрівською матрицею 2x2), які підтримуються, залежить лише від актуальності LibRaw, а не від IRIS;
2) не використовується чудернацька конвертація RAW-файлів з drag-n-drop в IRIS
3) більш інформативний FITS-Header (під час конвертації (див. bat-file приклад) можна задавати телескоп, об'єкт та інші параметри)
4) Витримка: в останній версії DLL для IRIS витримка (для EOS 600D, зокрема) зчитується неправильно (50с завжди -- якесь дефолтне значення, мабуть), в попередній -- не зовсім корректно, замість ExposureTime береться ShutterSpeed (для EOS 600D, зокрема) і ми отримуємо 32с замість 30 (я перевірив експериментально -- має бути саме 30, а не 32, хоч це, взагалі, не дуже суттево, але дратує)
]

Step1: конвертація за один раз LIGHT, FLAT, DARK, OFFSET RAW-файлів у набори вхідних FITS для IRIS (див. у папці SAMPLES bat-файл M57.bat для прикладу)
Step2: калібровка в IRIS

Далі два можливих шляхи:

Шлях A
Step3a: дебаєризація за допомогою cfa2rgb.exe
Step4a: вирівнювання (за зірками) rgb-FITS у IRIS
Step5a: відокремлення кольорових каналів FitsRGB.exe

Шлях B
Step3b: відокремлення кольорових каналів за допомогою FitsCFA (треба використовувати профіль з усередненням зелених каналів)
Step4b: вирівнювання (за зірками) серій для потрібних кольорів у IRIS (наприклад, окремо серії для зеленого та синього каналів)
Step5b:відсутній

Step6: Тепер можна робити фотометрію у АstrjImageJ (можна застосувати перед тим MakeStack.exe)
Step7: обробка результатів фотометрії за допомогою APDAT.EXE (зі світлових потоків у інструментяльні зоряні величини) та простої екселівської таблиці (наразі не надається у пакеті, буде додана у наступних версіях), щоб отримати стандартизовані величини.
Step8: експорт у формат AAVSO за допомогою екселівського макросу (наразі не надається у пакеті, буде доданий у наступних версіях)

M_M

Цитата: mpyat2 від 21 Березня 2018, 16:01:50

4) Додана проста утіліта FitsStat (працює лише з окремими файлами, не з наборами), яка обраховує деякі статистикі для двомірного FITS. На великих файлах може тормозити, основний час іде на обрахунок медіани

Сортування даблів, нічого не поробиш, хіба що на С перейти, або задіяти зовнішню бібліотеку.

Скрытый текст

Є деякі міркування уголос:
- перетворення на дабл є великими гальмами якщо вхідні дані integer або longint. Гадаю, є сенс створити окрему гілку обчислень замість примусового перетворення вхідних даних. Фітси з даблами не є дуже популярними.
- подвійний цикл
for Y := 0 to Height -1 do begin
for X := 0 to Width - 1 do begin
Addr := (Y * Width + X) * BytePix;
виглядає дещо сумнівним з огляду на те, що Addr є integer.

mpyat2

Так, згоден, є багато місць для оптимізації. Можна зробити вибірковий профайлінг.
Тут сама повільна частина -- сортування, все інше (доступ до даних, запис....), хоч і не оптимізовні, займають небагато часу.
Наприклад, у конверторі теж є потенційно повільні місця, але основний час перетворення -- це розпаковка RAW за допомогою LibRaw, а інше -- лише відсотки. Маю сказати, що LibRaw дуже сильно оптимізована відносно оригінального dcraw, працює майже в два рази швидше.
Ну і основна мета -- менше багів, а оптимізація -- потім

Щодо стекінгу зображень, то тут теж, якщо грузити всі картинки одночасно, то і медіана не так довго обраховується (я ще не порівнював з іншими реалізаціями), а якщо читати файли кусочками (був у мене перший варіант), то основний час іде на зчитування, хоч то був інший крайній випадок, я теж "зекономив на роздумах" і читав просто FITS- блоками (36x80 байт). Буде розумно зробити димамічний баланс розміру блоків, базуючись на кількості зображень. І, звичайно, спробувати кілька потоків.

M_M

Мене більше хвилює те, що в паскаль integer не може бути більше 32767. А наступне число після 32767 буде -32768.
Тобто якщо Width та Height більше 256 (а це майже 100% у сучасних фітсах)

Код: [Select]

Addr := (Y * Width + X) * BytePix очікувано дасть хибну адресу. А далі може бути або робота з хибними даними, або креш програми, якщо ввімкнено контроль індексів.
Addr повинен бути LongInt.

mpyat2

Цитата: M_M від 23 Березня 2018, 10:51:22

Мене більше хвилює те, що в паскаль integer не може бути більше 32767. А наступне число після 32767 буде -32768.
Тобто якщо Width та Height більше 256 (а це майже 100% у сучасних фітсах)
Код: [Select]
Addr := (Y * Width + X) * BytePix очікувано дасть хибну адресу. А далі може бути або робота з хибними даними, або креш програми, якщо ввімкнено контроль індексів.
Addr повинен бути LongInt.

Невірно! Вже з царя гороха Integer синонім LongInt, як в Дельфі, так і в Freepascal (32bit), MaxInt = MaxLongInt =2147483647. ~~ShortInt~~ SmallInt так, має макс. значення 32767.
А оскільки все рівно в нормальному режимі під Win32 більше 2GB програмі недоступно (ну можна примусово зробити 3GB, але це нестандартно), то нічого не буде.
От коли буду робити 64-бітну версію (Free Pascal таке може), тоді і треба буде подумати.

M_M

Червоний колір зайвий.

http://rextester.com/l/pascal_online_compiler

Код: [Select]

//fpc 3.0.0

program TestInteger;

var 
  i, j, k : integer;
begin
    i:=20000;
    j:=20000;
    k:=i+j;
    writeln(i, ' + ', j, ' = ', k);
end.

Compilation time: 0.37 sec, absolute running time: 1.05 sec, cpu time: 0.31 sec, memory peak: 3 Mb, absolute service time: 1,53 sec

20000 + 20000 = -25536

///////////////////////////////////////////////////////////////////////////////

Якщо у Вашому компіляторі Integer це те саме, що LongInt, то добре.
Але тоді навіщо взагалі longint використовувати?

Використання двох різних типів натякає на якусь різницю між ними.

З документації FPC:
Integer smallint or longint 2 or 4

З кута зору використання змінної як індекса масиву, її тип має бути Longword, бо від'ємні індекси не мають змісту. Хоча є й більш захищений тип subrange:
Type
TIndex = 0..999;

mpyat2

M_M, ну бачите, Free Pascal має дуже багато таргет-платформ, що там у Online-компыляторі, невідомо.
Ще кілька років тому я інтенсивно користувався Delphi (32-bit, не-Unicode), в якому це було з самого початку. 16-bit Integer був у Турбо-паскалі.
Тепер, коли руки зачесались щось написати, вирішив використати вільний компілятор.
Тип Integer -- generic, а LongInt більш специфічний.
Щодо знакових та беззнакових індексів -- для C-подібних мов, звичайно, індекс не може бути негативним, однак в Паскалі ми можемо зробити масив з будь-яким діапазоном індексів, тому індекс масиву може бути від'ємним. Взагалі я віддаю перевагу знаковим типам, звичка така.

Щодо захищеності типу subrange: він буде захищеним лише, якщо ми увімкремо у компіляторі range-check ({$R+}), це накладні витрати (хоч і невеликі і можна з ними миритися), без цього ніякого контролю ні під час компіляції (на це взагалі не впливає) ні у рантаймі не буде.

Код: [Select]

{$APPTYPE CONSOLE}
program MaxInt1;

type
  TStrangeArray = array[-10..10] of LongWord;

var
  A: TStrangeArray;

begin
  //WriteLn(MaxInt);
  //WriteLn(MaxLongInt);
  A[-10] := 12345;
  WriteLn('A[-10] = ', A[-10]);
end.

M_M

Цитата: mpyat2 від 23 Березня 2018, 13:16:52

для C-подібних мов, звичайно, індекс не може бути негативним

Якщо в С стандартний запис
int t[32]
вказує на наявність масиву t[0] .. t[31], це не означає неможливість від'ємних індексів. Зовсім навпаки, часто використовується, дуже зручно використовувати відносні індекси.

Малась на увазі декларація масива, застосована у програмі.

mpyat2

Зрозуміло. Однак особливого виграшу заміна індексу на беззнаковий тип не дає, IMHO (може просто за рахунок різних звичок)

Олег Малий

А чи буде версія для Лінукс?

P.S. Вже є така штука Raw2Fits.
Convert digital camera's RAW files to the scientific FITS format Console and GUI version.

mpyat2

Цитата: Олег Малий від 06 Квітня 2018, 14:28:06

А чи буде версія для Лінукс?

P.S. Вже є така штука Raw2Fits.
Convert digital camera's RAW files to the scientific FITS format Console and GUI version.

Олег, тут питання, чи доцільно це. Ви самі пишете, що для Linux конвертер є (навіть з GUI). Я думаю, що міг би зробити і Linux-варіант (і з GUI, і без), та чи зможу конкурувати з існуючими конвертерами, хто зна.

Цей конвертер (і інші утіліти) я зробив, як допоміжний засіб для IRIS, бо забембався конвертувати в ньому файли (незручно і заголовок дефективний). З цим конвертером я просто розкладаю вхідні файли (CR2 у мене) в окремі папки LIGHT, FLAT, BIAS, DARK (і так і зберігаю в архіві) і універсальним BAT-файлом (в якому лише міняю назву об'єкта та часову зону і іноді назви вхідних папок) дуже швидко і зручно отримую вхідні FITS-и для IRIS. Тобто тут була конкретна мета.

До речі, хоч це не відноситься до теми, пробував SIRIL (=IRIS for Linux, в якому задекларована можливість фотометрії). Однак, постійні проблеми з розпізнаванням зірок під час вирівнювання кадрів. До речі, Muniwin (фотометричний пакет) також з пошуком зірок на серіях кадрів (навіть попередньо вирівняних) справляється не на 100%. З цієї точки зору IRIS (та ще небезкоштовний MaxIm DL) дають найкращі результати, хоч для DSLR-фотометрії MaxIm DL не дуже вдалий вибір

Олег Малий

Цитата: mpyat2 від 06 Квітня 2018, 18:18:08

До речі, хоч це не відноситься до теми, пробував SIRIL (=IRIS for Linux, в якому задекларована можливість фотометрії). Однак, постійні проблеми з розпізнаванням зірок під час вирівнювання кадрів. До речі, Muniwin (фотометричний пакет) також з пошуком зірок на серіях кадрів (навіть попередньо вирівняних) справляється не на 100%. З цієї точки зору IRIS (та ще небезкоштовний MaxIm DL) дають найкращі результати, хоч для DSLR-фотометрії MaxIm DL не дуже вдалий вибір

Тоді конкретно опиши проблему із Siril, а я перекину опис Cyril Richard, котрий той Siril власне створює.

mpyat2

Добре, опишу. Хоч випробування Siril були не зовсім чесними -- використовувалась версія Win64. Я хотів спробувати фотометрію заради порівняння з іншими програмами (зараз маю порівняльні тести IRIS/Muniwin/AstroImageJ/MaxIm DL).

mnn72

Цитата: mpyat2 від 21 Березня 2018, 16:01:50

FITS Utilities Ver. 1.1 завантажені на https://sites.google.com/site/theskyaboveusmp/file-cabinet
...

Вот такое сообщение дает антивирь при разархивировании

Pyroman

На форуме Аваста есть объяснение такому виду угрозы.
Пишут, что это "потенциальная угроза", а не вредоносный файл. Но, тут вам решать, что в вашем случаем делать.

Новини:

Автор Тема: Command line FITS Utilities by Max (Прочитано 3027 раз)