Pārlekt uz galveno saturu

Noslēdzies LZP projekts "Aveņu un krūmcidoniju vieda bezkontakta fenotipēšana, izmantojot mašīnmācīšanās metodes, hiperspektrālos un 3D attēlus"

Inovatīvais projekts

Attēla autors: No DI arhīva

Dārzkopības institūts, sadarbībā ar Elektronikas un datorzinātņu institūtu (EDI) no 2021. līdz 2023. gadam īstenojis LZP projektu "Aveņu un krūmcidoniju vieda bezkontakta fenotipēšana, izmantojot mašīnmācīšanās metodes, hiperspektrālos un 3D attēlus" (Nr. lzp2020/1-0353). 

Šā starpdisciplinārā projekta mērķis bija izstrādāt metodoloģiju un rīkus aveņu un krūmcidoniju ražas komponentu neinvazīvai aprakstīšanai un novērtēšanai (fenotipēšanai), izmantojot RGB, 3D un hiperspektrālo attēlveidošanu apvienojumā ar mašīnmācīšanos (ML).

Tradicionālajā selekcijā potenciālo šķirņu izdalīšana ietver daudzu simtu vai pat tūkstošu augu vizuālu novērtēšanu un  aprakstīšanu. Līdz ar to  šis process ir gan laikietilpīgs, gan darbietilpīgs, un prasa daudz darbaspēka. Vizuāli vērtējot ietekme ir arī subjektīvajam faktoram, jo vērtējums starp vērtētājiem var atšķirties.

Dārzkopības institūta (DI) zinātnieki jau pirms projekta uzsākšanas bija uzkrājuši  apjomīgas zināšanas par krūmcidoniju un aveņu šķirnēm un audzēšanu, t.sk., lauka novērojumus, datu statistiskās analīzes, ģenētisko pētījumu rezultātus un fenotipisko  pazīmju uzskaites un analīzes rezultātus.

Projekta īstenošanas laikā DI tika veikta ražas elementu uzskaite, izmantojot tradicionālās metodes. Šī informācija tika nodota EDI zinātniekiem, kuri veica ražas elementu reģistrāciju un uzskaiti, izmantojot attēlveidošanas tehnoloģijas, datorredzi un dziļos neironu tīklus, lai izstrādātu jaunas fenotipēšanas metodes un stratēģijas. Projekta izpildes gaitā DI un EDI iegūtie rezultāti tika savstarpēji salīdzināti, lai novērtētu jauno fenotipēšanas metožu efektivitāti.

Projekta rezultāti atspoguļoti 6 SCOPUS un Web of Science publikācijās, t.sk. divas - Q1 un Q2 indeksētos zinātniskos žurnālos. Pirmo reizi dārzkopības un IT zinātniskajā literatūrā aprakstot pētījumus par krūmcidoniju un aveņu neinvazīvu ražas elementu aprakstīšanu (fenotipēšanu), izmantojot dziļos neironu tīklus. Zinātniskie un tehniskie atklājumi, kas attiecas uz krūmcidoniju un aveņu ražas elementu attēlveidošanu, sniedz vērtīgu ieguldījumu augļaugu ražas elementu novērtēšanas optimizēšanā to dažādās attīstības stadijās un potenciālās ražas prognozēšanā. 

Aveņu un krūmcidoniju ražas komponentu novērtējums, izmantojot RGB attēlus, ietvēra datu vākšanu, manuālu anotēšanu, verifikāciju un statistisko analīzi 15 vasaras aveņu  un 10 rudens aveņu genotipiem, kā arī 11 krūmcidoniju genotipiem. Šie rezultāti tika apkopoti RaspberrySet un QunceSet datu kopās:

  • RaspberrySet: marķētu  aveņu attēlu datu kopa objektu noteikšanai - RaspberrySet satur marķētus  aveņu (Rubus idaeus) attēlus. Attēli tika uzņemti četrās aveņu augļu attīstības  stadijās (pumpuri, ziedi, ogu aizmetņi, gatavas ogas) un bojāti pumpuri. Saite uz datu kopu: https://zenodo.org/records/7014728
  • QuinceSet: marķētu krūmcidoniju attēlu datu kopa objektu noteikšanai sastāv no krūmcidoniju (Chaenomeles japonica) augļu attēliem, kas uzņemtas divās fenoloģiskās attīstības stadijās (augļaizmetņi un gatavi augļi) Attēlu ieguve tika veikta dažādos laikapstākļos, dažādos diennakts laikos un no dažādiem uzņemšanas leņķiem. Datu kopā iekļauti gan pilnībā redzami, gan daļēji aizsegti krūmcidoniju augļi. Saite uz datu kopu: https://zenodo.org/records/6402251. Abas datu kopas publicētas brīvas piekļuves (open access) datu bāzēs

Savukārt 3D un hiperspektrālo attēlu datu kopu izveidei tika izmantoti dažādu krūmcidoniju un aveņu genotipu augļu paraugi. Šie dati ir publicēti un brīvi pieejami uz EDI GIT servera, kas tika izveidots projekta ietvaros. Lai noteiktu krūmcidoniju augļu gatavību dažādās attīstības stadijās, tika izmantoti hiperspektrālie attēli. Šie pētījumi vēl jāturpina, lai iegūtu precīzākas metodes turpmākajā darbā.

Projekta rezultātā iegūto zinātnisko un tehnisko zināšanu ietekmi pēc nozīmības var sarindot šādā secībā:

  1. Jaunas metodoloģijas ieviešana krūmcidoniju un aveņu ražas komponentu fenotipēšanai, izmantojot dziļos neironu tīklus.
  2. Ar sensoru datiem papildinātu anotētu/marķētu datu kopu izveide,  aveņu un krūmcidoniju fenotipēšanai.
  3. Izpētes un tehnoloģisko zināšanu attīstīšana RGB, 3D un hiperspektrālo attēlu apstrādes metodēs, augļu fenotipa informācijas izgūšanai, izmantojot mašīnmācīšanos.

Attīstot dziļos neironu tīklus (balstoties uz U-NET, YOLO, CNN neironu tīklu arhitektūrām), izmantojot apkopotās datu kopas un eksperimentējot ar dažādiem algoritmiem, tika radītas 4 tehnoloģijas, kas ir brīvi pieejamas lejuplādēšanai:

  1. Hiperspektrālo un RGB/PNG attēlu semantiskā segmentācija, izmantojot U-NET dziļo neironu tīklu arhitektūru. Sistēma augļu apgabalu noteikšanas precizitāti RGB attēlos sasniedza 70.2%, bet hiperspektrālajos attēlos 93.3%. Interneta saite uz  GIT serveri: https://pubgit.edi.lv/kaspars.sudars/akfen-semantic-segmentation
  2. Aveņu ogu kauleņu skaitītājs: šis rīks domāts automatizētai aveņu kauleņu skaitīšanai RGB attēlos, lai tas nebūtu jādara manuāli.  Interneta saite uz GIT serveri: https://pubgit.edi.lv/arturs.nikulins/drupes-counter
  3. Aveņu un cidoniju detektors: šī rīks spēj noteikt aveņu un cidoniju augļus RGB attēlos. Tas ir balstīts uz YOLOv5 dziļo neironu tīklu arhitektūru un tas arī nosaka aveņu un cidoniju attīstības pakāpes. Interneta saite uz GIT serveri: https://pubgit.edi.lv/kaspars.sudars/akfen-object-detector
  4. Aveņu un krūmcidoniju augļu 3D identifikācija: šis rīks detektē aveņu un cidoniju objektus 3D punktu mākonī. Tā novērtē paraugu raksturlielums, tostarp garumu, platumu, virsmas tekstūru un ogu gatavību. Interneta saite uz GIT serveri: https://pubgit.edi.lv/arturs.nikulins/object-detection-3D

Sadarbībā ar projekta partneri EDI, projekta īstenošanas rezultātā DI attīstījies jauns pētniecības virziens – viedo tehnoloģiju pielietojums augļaugu ražas elementu un citu fenotipa pazīmju novērtēšanā, selekcijas procesa paātrināšanai un potenciālās ražas prognozēšanai gan hibrīdiem, gan šķirnēm. Kaut gan projektā pētījumu objekts bija avenes un krūmcidonijas, projektā izstrādātie fenotipēšanas rīki varētu kļūt par pamatu līdzīgu risinājumu piemērošanai citiem augļaugiem nākotnē. Šie risinājumi pakāpeniski tiek integrēti dārzkopības pētījumos un praktiskajā augļkopībā.

Projekta izstrādes gaitā aizstāvēti 2 maģistra darbi un izstrādāti 2 promocijas darbi par pētījumu tēmām, kas saistītas ar projekta tematiku.

Informācija par projektu un tā rezultātiem izplatīta plašām auditorijām, izmantojot dažādus publicitātes un komunikācijas kanālus. Zinātnes kopiena par projekta rezultātiem tika informēta 2 zinātniskajos semināros, 6 starptautiskās zinātniskajās konferencēs un vienā zinātniski praktiskajā konferencē Latvijā. Par projekta pētījumiem sagatavoti un publicēti 6 zinātniskie raksti, no kuriem 2 publicēti Q1 un Q2 indeksētos zinātniskajos žurnālos. Projekta rezultātā izveidotās datu kopas un programmatūra ir pieejamas atvērtās piekļuves krātuvēs. Plašākas sabiedrības informēšanai izmantotas tīmekļa vietnes t.sk. DI un EDI mājaslapas, semināri, lauku un informatīvās dienas. Informācija par projektā veiktajiem pētījumiem publicēta arī elektroniskajā žurnālā “Profesionālā Dārzkopība” Nr.17, 2022. Projekta noslēgumā E-žurnālā “Delfi Campus” publicēts informatīvs materiāls, kas paredzēts plašai zinātnieku, studentu, skolotāju, skolēnu un citu jomu interesentu auditorijai.

Logo_logo

Pievienots 15/02/2024