Київський клуб аматорів астрономії "Астрополіс"
astromagazin.net
* *
Ласкаво просимо, Гість. Будь ласка, увійдіть або зареєструйтеся.
26 Листопада 2024, 05:31:02

Увійти

google


Автор Тема: Command line FITS Utilities by Max  (Прочитано 3023 раз)

0 Користувачів і 2 Гостей дивляться цю тему.

mnn72

  • Offline Offline
  • Повідомлень: 5664
  • Подяк: 1017
  • Astromouse
    • Astromouse
Re: Command line FITS Utilities by Max
« Відповідь #40 : 15 Квітня 2018, 23:48:19 »
. - .
А шо тут решать? Хоть и потенциальная, но угроза. А значить что-то нужно сделать чтобы ее небыло.
Записаний
Обсерватория: Ananjev (L33, IAU); AAVSO; TESS TFOP (TESS Followup Program)
Открыто: 200 переменных, 46 транзиента (12 сверхновых); Подтверждения: 15 астероидов, 6 комет.
Николай Мышевский

Pyroman

  • Клуб Астрополіс
  • Offline Offline
  • Повідомлень: 624
  • Подяк: 268
  • Игорь. Оптичний "збочинец"
Re: Command line FITS Utilities by Max
« Відповідь #41 : 15 Квітня 2018, 23:52:11 »
. - .
Почитайте, пожалуйста, форум. Там описывают это как недостаток эвристического алгоритма Avast'a. Мол, все гребет под одну гребенку. Тут только проверить другим антивирусом, который имеет Portable версию.
Записаний
Каждый, у кого нет МАКа (равно как и Долл-Кирхэма), мечтает его заиметь. Каждый, у кого он есть...
Celestron Pacific C5 TF,  LOMO Astele 102MN, VNewt 180/750 f/4.17

mnn72

  • Offline Offline
  • Повідомлень: 5664
  • Подяк: 1017
  • Astromouse
    • Astromouse
Re: Command line FITS Utilities by Max
« Відповідь #42 : 16 Квітня 2018, 00:00:52 »
. - .
Так я и проверяю другим антивирусом который меня не подводит вот уже больше 10-лет. А мнение аваста меня вообще мало интересует. По роду своей деятельности имею громадную статистику и мнение про сей недоантивирус. В нем только что у чувихи голос красивый которая вечно что-то говорит ( и то на любителя)  ;D
« Останнє редагування: 16 Квітня 2018, 00:32:08 від mnn72 »
Записаний
Обсерватория: Ananjev (L33, IAU); AAVSO; TESS TFOP (TESS Followup Program)
Открыто: 200 переменных, 46 транзиента (12 сверхновых); Подтверждения: 15 астероидов, 6 комет.
Николай Мышевский

mpyat2

  • Клуб Астрополіс
  • Offline Offline
  • Повідомлень: 1654
  • Подяк: 1596
  • Nothing lasts forever but the earth and sky.
    • Above us only sky
Re: Command line FITS Utilities by Max
« Відповідь #43 : 16 Квітня 2018, 06:11:33 »
. - .
Коля, это, скорее всего, ложная тревога (у меня на работе, с очень строгими антивирусными политиками, все нормально), НО, на всякий случай, я  сегодня скомпилирую это все не FreePascal, а с Delphi, что даст совершенно другой Exe-шник и выложу, идёт?
Записаний
EQ5+EQDrive; SW 15075 | PMAK (AAVSO). 134 new variables discovered; 19 revisions/submissions of known objects.

mpyat2

  • Клуб Астрополіс
  • Offline Offline
  • Повідомлень: 1654
  • Подяк: 1596
  • Nothing lasts forever but the earth and sky.
    • Above us only sky
Re: Command line FITS Utilities by Max
« Відповідь #44 : 16 Квітня 2018, 11:13:53 »
. - .
В общем, у меня нет решения этой проблемы. Антивирусное срабатывание ложное, поскольку оно имеет место только на одном EXE, а на других, скомпилированных тем же компилятором, проблем нет. Если компилировать Delphi, то появляются другие ложные тревоги, на других EXE (а на ранее подозрительных проблем уже нет) -- проверял с помощью virustotal.com, некоторые антивирусы ругаются. У меня (на работе) корпоративный McAfee не находит никаких проблем. После компиляции Delphi, сборки инсталлятора тем же InnoSetup и загрузки на сайт Google его (сайт) заблокировала (я подал апелляцию, потому что это однозначно ложная тревога).
Так что, извините.

Поскольку старый сайт заблокирован на неизвестный срок, на всякий случай, вдуг кому еще будет интересно, ссылка на инсталлятор на Гуглодрайве
https://drive.google.com/open?id=1yJ_9YJbrOt96lJLpO9NFdUaVMYiXivCX

« Останнє редагування: 16 Квітня 2018, 11:34:15 від mpyat2 »
Записаний
EQ5+EQDrive; SW 15075 | PMAK (AAVSO). 134 new variables discovered; 19 revisions/submissions of known objects.

bigol

  • Offline Offline
  • Повідомлень: 3343
  • Подяк: 1174
  • Разам і назаўжды!
Re: Command line FITS Utilities by Max
« Відповідь #45 : 16 Квітня 2018, 17:55:02 »
. - .
Ах ты, хитрый криптомайнер!  :gigi:
Записаний
Не знаю насчет лучшего, но худшее точно впереди.

mpyat2

  • Клуб Астрополіс
  • Offline Offline
  • Повідомлень: 1654
  • Подяк: 1596
  • Nothing lasts forever but the earth and sky.
    • Above us only sky
Re: Command line FITS Utilities by Max
« Відповідь #46 : 16 Квітня 2018, 18:25:18 »
. - .
Ну обзываться то зачем? ;)
Записаний
EQ5+EQDrive; SW 15075 | PMAK (AAVSO). 134 new variables discovered; 19 revisions/submissions of known objects.

mpyat2

  • Клуб Астрополіс
  • Offline Offline
  • Повідомлень: 1654
  • Подяк: 1596
  • Nothing lasts forever but the earth and sky.
    • Above us only sky
Re: Command line FITS Utilities by Max
« Відповідь #47 : 16 Квітня 2018, 20:34:29 »
. - .
В общем, сайт разлочили и инсталлятор можно грузить оттуда. Поскольку у Гугла довольно строгий вирус-чекинг, это ещё одно свидетельство, что вирусов нет, а AVG выдаёт параноидальное предупреждение о несуществующей угрозе.
Записаний
EQ5+EQDrive; SW 15075 | PMAK (AAVSO). 134 new variables discovered; 19 revisions/submissions of known objects.

mpyat2

  • Клуб Астрополіс
  • Offline Offline
  • Повідомлень: 1654
  • Подяк: 1596
  • Nothing lasts forever but the earth and sky.
    • Above us only sky
Re: Command line FITS Utilities by Max
« Відповідь #48 : 24 Травня 2018, 12:36:43 »
. - .
Оновлення (також оновлений опис у першому повідомленні теми)
Версія 1.1.(1/2, тобто половина від одиниці)

Інсталлятор та вихідні тексти програм лежать тут https://sites.google.com/site/theskyaboveusmp/file-cabinet
IRIS-FITS-Utils-setup_v1_1.zip: інсталлятор. Встановлює пакет у вибрану вами папку і додає цю папку у PATH, тобто можна з командного рядка з будь-якого місця їх викликати. Я, зазвичай, працюю у консольному файл-менеджері FAR (www.farmanager.com), в ньому такі утіліти командного рядку досить зручні (зауваження: після деінсталяції шлях до папки не видаляється з PATH, поки що треба підчистити вручну)
FITSutils_src_v1_1.zip: тексти (pascal, компілюється FPC: free pascal compiler,  currently Win32 only!)

Зміни та виправлення:
1) LibRawMxWrapper built against libraw 0.19.0-Beta5
2) cfa2rgb: обмежена лише 16-бітними FITS заради ефективності. Додана білінійна дебаєризація (ключ /2) (див. деталі у першому повідомленні теми, відредагованому).
3) apdat: виводится Label column (ім'я вхідного файлу)
3) MakeStack: виправлена помилка, яка призводила до того, що з вхідних float(32) файлів завжди генерувалися float(64). Тепер без необхідності не генеруються.

З того, що невиправлено, є неточніть в описах та поведінці деяких утіліт, коли не задана явно вихідна папка та вхідні файли знаходяться не в активному каталозі. Або виправлю поведінку, або поправлю опис (в деяких утілітах вихід іде в активний каталог, а в деяких -- у каталог вхідних файлів, а в описі (ключ /? або /H або без параметрів це описано неточно). Деякі опції можуть бути пропущені в описах


Щодо фальшивих вірусних алертів, то в цій збірці їх може вже не бути (зміна версії компілятора?).
Як і попередній варіант, цей збирався на робочій машині з корпоративним захистом выд вірусів.
VirusTotal на деякі (не всі) утіліти показує лише зауваження з боку якогось Cylance (unsafe)
« Останнє редагування: 24 Травня 2018, 13:26:31 від mpyat2 »
Записаний
EQ5+EQDrive; SW 15075 | PMAK (AAVSO). 134 new variables discovered; 19 revisions/submissions of known objects.

mpyat2

  • Клуб Астрополіс
  • Offline Offline
  • Повідомлень: 1654
  • Подяк: 1596
  • Nothing lasts forever but the earth and sky.
    • Above us only sky
Re: Command line FITS Utilities by Max
« Відповідь #49 : 09 Липня 2018, 17:52:11 »
. - .
Виклав на https://sourceforge.net/projects/fits-command-line-utilities/
Проект, звісно, дещо маргінальний, однак нехай там полежить. Контроль версій у мене поки що локальний, SVN на Sourceforge не задіяний (поки що). Ще потім трошки попишу у project-Wiki.

ЩО НОВОГО у версії 1.1.2

MakeStack йде у 64-бітному варіанті (грубою силою розширена доступна пам'ять) для 64-бітних систем, також є 32-бітний варіант MakeStack32 (для 64-бітних систем -- на всяк випадок, для 32-бітних він інсталюється як MakeStack.exe).
Також MakeStack тепер кількапоточний (за замовчанням використовує стільки потоків, скільки логічних процесорів, хоч, якщо задати число потоків на один менше (параметр /T=), то працює трошки швидше на деяких системах).
Для 16-бітних FITS (без BSCALE/BZERO, як в IRIS) спеціально підоптимізований, хоч працює і зо всіма іншими форматами, трошки повільніше.

CFA2RGB поки що (до подальшої переробки) обмежена лише 16-бітними FITS (які можуть бути з BSCALE/BZERO) задля ефективності.

FITSTAT: тепер дає статистику також про багатошарові (кольорові) FITS. Також виправлена дурна помилка обрахування середнього по пікселям (сума по N-пікселям ділилась не на N, а на N-1, оскільки N дуже велике, не помітив), також дещо пришвидшена.

Технічно всі утіліти можуть бути зібрані як 64-бітні, однак тести показали, що 32-бітні варіанти (там, де арифметика з цілими числами) в деяких випадках швидше. Є дані, що FPC 64-bit погано оптимізований для операцій з цілими числами (32-бітна арифметика теж не супер, відстає від C-компіляторів, однак не так сильно). Тести ще продовжуються, може, не все так однозначно.

Відмінності між FITSUTILS, IRIS та SIRIL

Загальні зауваження

IRIS працює з CFA-файлами "не з того боку" (плутанина виникає з різної інтерпретації початку вісі Y -- згори вниз чи знизу вгору).
Тому для нього баєрівська матриця для різних камер, які відрізняються парним-непарним числом горизонтальних ліній, виглядає по-різному, хоча, правильно вибравши початок вісі Y (протилежний напрямок, ніж той, що в IRIS), різноманітність зменшується (при тому, що IRIS використовує код DCRAW, з якого походить бібліотека LibRaw).
Наприклад, Canon 600D та Canon 350D для IRIS мають різний баєрівський патерн, однак з точки зору LibRaw -- однаковий, RGGB.
Утіліта дебаєризації CFA2RGB використовує "правильний" початок вісі Y (той самий, що і LibRaw/DCRAW), тому для неї (як і для LibRaw/DCRAW) порядок кольорів для Canon 600D та Canon 350D однаковий.

Є ще невелика різниця у випадках, коли значення пікселів округлюються до цілого після операцій усереднення: IRIS та SIRIL використовують "математичне" округлення (половинка завжи округлюється до більшого),
FITSUTILS використовують banker's rounding, коли округлення половинок йде до найближчого парного числа (це "статистично краще"). Є можливіть перекомпілювати всі утіліти з використанням математичного округлення, див. FITSUTILS.INC.

Відмінності на рівні окремих утіліт

1a) Утіліта CFA2RGB: Суперпіксельна дебаєризація (коли баєрівський суперпіксель 2*2 перетворюється у єдиний кольоровий піксель) працює так само, як і у Siril, за виключенням того, що для матриць з непарним числом
горизонтальних ліній Siril додає один пустий рядок, а CFA2RGB пустого рядку не додає, тобто результат на одну горизонтальну лінію менший. Якщо число ліній парне, то різниці нема.
Цей тип дебаєризації відсутній у IRIS.

1a) Утіліта "CFA2RGB /2": Білінійна дебаєризація: різниці між "CFA2RGB /2" та Siril нема, з IRIS є різниця у пікселях на краях зображення: "CFA2RGB /2" та Siril дають однопіксельну пусту рамку, IRIS з одного боку пікселі заповнює

2) Утіліта FITSCFA розбиває CFA-зображення на кольорові канали. У Siril, здається, такого ще нема, IRIS має команду SPLIT_CFA. FITSCFA працює так, як і SPLIT_CFA (крім того, FITSCFA дозволяє також зробити з кількох каналів один, наприклад, з двох зелених -- один усереднений). Різниця є: деякі канали зміщені на один піксель по вертикалі відносно тих, що дає IRIS.
Можна було б досягти повного співпадіння з IRIS (це, до речі, було в самій першій версії утіліт, для цього треба було починати розбирати CFA з іншого боку вісі Y), однак я свідомо вибрав варіант, сумісний з суперпіксельною дебаєризацєю: з каналів, які генерує FITSCFA можна зібрати той самий результат, що дає CFA2RGB (в режимі суперпікселя)

3) MakeStack: обраховує медіану завжди "чесно" (хоч потребує багато пам'яті), а IRIS, у випадку великого вхідного масиву, переходить на якийсь спрощений приблизний алгоритм обрахування медіани (зате економний та швидкий).

Інші утіліти або не мають прямих аналогів, або працюють так само, як IRIS або SIRIL.


VIRUSTOTAL (2018-07-06) показує (фальшиві!) алерти для двох антивірусних пакетів (Cylance, VBA32, два антивіруси з 67).
« Останнє редагування: 09 Липня 2018, 18:01:10 від mpyat2 »
Записаний
EQ5+EQDrive; SW 15075 | PMAK (AAVSO). 134 new variables discovered; 19 revisions/submissions of known objects.
Подякували

mpyat2

  • Клуб Астрополіс
  • Offline Offline
  • Повідомлень: 1654
  • Подяк: 1596
  • Nothing lasts forever but the earth and sky.
    • Above us only sky
Re: Command line FITS Utilities by Max
« Відповідь #50 : 12 Липня 2018, 13:57:02 »
. - .
Ось що значить трохи підоптимізувати: взяв аглоритм розрахунку медіани з Вірта "Algorithms and Data Structures. Oberon version": "2.3.4 Finding the Median", який не потребує повного сортування масиву.
Швидкість медіанного стекінгу підросла просто фантастично і практично зрівнялась з IRIS (однопоточний режим для коректного порівняння) та SIRIL (багатопоточний режим), відставання на рівні 10-15%. Також набагато швидше обраховується статистика FITS.

Однак, знову пізнав просту істину, що вірити неможна нікому! У Вірта (https://www.inf.ethz.ch/personal/wirth/AD.pdf) в запису алгоритма друкарська помилка (page 69,  listing (* ADenS2_Sorts *), має бути не WHILE L < R-1 DO, а WHILE L < R DO.

Ці модифікації програм ще не опубліковані, будуть у наступній версії після належного тестування.
Записаний
EQ5+EQDrive; SW 15075 | PMAK (AAVSO). 134 new variables discovered; 19 revisions/submissions of known objects.

mpyat2

  • Клуб Астрополіс
  • Offline Offline
  • Повідомлень: 1654
  • Подяк: 1596
  • Nothing lasts forever but the earth and sky.
    • Above us only sky
Re: Command line FITS Utilities by Max
« Відповідь #51 : 20 Липня 2018, 14:29:23 »
. - .
FITS Utilities оновлено до версії 1.1.4 (https://sourceforge.net/projects/fits-command-line-utilities/)

Всі утіліти наразі скомпільовані у 64-бітному режимі (Windows, нормально працюють під Wine)
В якості RAW-конвертера використана найсвіжіша Libraw 0.19.0-Release (входить у LibRawWrapper dll, скомпільована за допомогою MSVC Community Edition, MSC_VER == 1900)
Суттєво покращена швидкість роботи деяких утіліт (MakeStack, CFA2RGB, FITSstat)
Деякі мінорні фікси; додаткові опції у CFA2RGB

Після компіляції у 64-біт наразі фальшиві вірусні алєрти відсутні (перевірено по VIRUSTOTAL)
« Останнє редагування: 21 Липня 2018, 10:56:53 від mpyat2 »
Записаний
EQ5+EQDrive; SW 15075 | PMAK (AAVSO). 134 new variables discovered; 19 revisions/submissions of known objects.