Wspólna pasja doprowadziła nas na konferencję prasową podsumowującą czteroletnią kadencję resortu gospodarki. Przygotowaliśmy na tę okoliczność aplikację do prowadzenia prezentacji przy pomocy gestów – umożliwiała ona wybór kolejnych slajdów zawierających grafiki i klipy wideo. Oprócz samej aplikacji przygotowaliśmy cały setup – ekran bezszwowy, mikser HD, podgląd (w lustrzanym odbiciu – w odróżnieniu od ekranu głównego), komputery, kamerę, czujnik głębi.

Aplikacja korzystała z zewnętrznej, skalibrowanej kamery (wbudowana w Kinecta ma nie najlepszą jakość). Dodatkową atrakcją był efekt „skanowania” postaci (jakoś się do matrixa trzeba w końcu dostać) renderowany z trójwymiarowego point clouda – a wszystko w HD.

Od teraz premier Pawlak jest oficjalnie naszym ulubionym premierem – no bo umówmy się, nie dość, że lubuje się w technologii, to jeszcze przewodzi środowisku, któremu leży na sercu los rolników – a jak wiadomo, szczęśliwy rolnik to dorodny arbuzz.

Virtual Dressing Room from ARBUZZ on Vimeo.

Pierwsze tego typu programy pojawiły się juz jakiś czas temu, naszą aplikacją chcemy pójść jednak dalej niż inne znane nam rozwiązania. Po pierwsze bazujemy na pełnych modelach 3D – w odróżnieniu od wykorzystywania zdjęć ciuchów. Daje to możliwość precyzyjnego dopasowania wyświetlanych ubrań do sylwetki i pozy użytkownika. Drugim wyróżniającym elementem jest zastosowanie modelu fizycznego do symulowania tkanin w wybranych modelach (np. sukienki). I w końcu trzecia innowacja – autorski, przestrzenny interfejs użytkownika, zaprojektowany z myślą o wykorzystaniu walorów kamery głębi.
Załączony klip dokumentuje średnio-zaawansowany etap prac nad przymierzalnią – z surowymi grafikami, pierwszymi, roboczymni modelami i wieloma elementami czekającymi na porawki lub implementację.

Stworzyliśmy instalację złożoną z fizycznego modelu Słońca w przekroju, białego ekranu informacyjnego, projektora o jasności 4000 ANSI lumenów, komputera z autorskim oprogramowaniem i czujnika głębi – czyli Kinecta Microsoftu. Całość umożliwia wyświetlanie na modelu przygotowanej przez nas trójwymiarowej animacji, a także wchodzenie w interakcję z modelem – ruchem dłoni sterujemy kursorem, którym możemy zaznaczyć interesującą nas strefę, której opis pojawia się na tablicy.
Jest to prawdopodobnie pierwsza w Polsce – a być może również na świecie – instalacja stała wykorzystująca video mapping i Naturalny Interfejs Użytkownika.
Użytkowania instalacji jest łatwe i intuicyjne, dostępne dla zwiedzających niezależnie od ich gabarytów – bawić (i uczyć!) mogą się więc zarówno dzieci młodsze (kilkulatki) jak i starsze – choćby po osiemdziesiątce.
Zapraszamy Was serdecznie w gościnne progi Hewelianum, a tam – koniecznie – zapoznajcie się z naszym Słońcem. Choć świeci światłem z projektora – a więc odbitym – nie zmienia to faktu, że jest gwiazdą pierwszej wielkości.

Wykorzystując własne rozwiązania wykonaliśmy interaktywną instalację dla Centrum Hewelianum w Gdańsku.
Model jest elementem projektu z “linijką na Słońce” i ma charakter edukacyjny, pokazuje reakcje zachodzące na Słońcu.
Zastosowalismy Video Mapping oraz detekcję gestu.

Obiecujemy już wkrótce video z tej realizacji.

o naszej instalacji możecie poczytać m.in. w serwisie naukowym i na trójmiasto.pl

Kinect + openNI + XNA + JigLibX from ARBUZZ on Vimeo.

Generowanie mapy głębi nie jest pomysłem nowym – od dawna znane są algorytmy stereoskopowe pozwalające wyliczyć ją na podstawie obrazu z dwóch odpowiednio umieszczonych kamer. Rozwiązanie te są jednak ułomne, wolne i nieprecyzyjne. Kinect daje nam natomiast “za darmo” gotową klatkę z mapą głębi – i jest to niesamowity krok naprzód w bardzo wielu dziedzinach związanych z komputerowym przetwarzaniem obrazu. Sposobów na wykorzystanie nowych możliwości są tysiące, o czym najlepiej świadczy zalew coraz to nowych filmów dokumentujących coraz bardziej wymyślne zastosowanie Kinecta (polecam bloga kinecthacks). To wszystko to jednak dopiero połowa dobroci – drugą jest oprogramowanie zgodne z kinectem. Umożliwia ono wyodrębnienie ze strumienia danych pozycji sylwetki ludzkiej – pozycje i orientacje kilkunastu punktów ciała (kark, dloń, łokieć itp.). Informacje te można wykorzystać np. do zanimowania trójwymiarowego modelu postaci w grze. Oporgramowanie to dostępne jest publicznie – jako tzw. middleware używany z OpenNI, czyli nowym frameworkiem standaryzującym rozwiązania naturalnego intefejsu użytkownika.

Wszystko to – wraz z dostępnymi od niedawna sterownikami do Kinecta – oznacza możliwość stosunkowo łatwego wykorzystania nowych możliwości, i to zarówno pod Windowsem, jak i na Linuksie czy Macu (ostatnio pojawiły się nawet sterowniki pod Androida).

Sięgaj tam, gdzie wzrok nie sięga from ARBUZZ on Vimeo.

Co to wszystko oznacza? Oprogramowanie oparte na przetwarzaniu obrazu wciąż potrafi zaskoczyć – dla wielu ludzi magią jest wciąż detekcja czy rozpoznawanie twarzy, rzeczywistość rozszerzona czy rozpoznawanie tekstu. Postęp tych dziedzinach uzależniony jest jednak od jakosci kamer i mocy przerobowej komputerów – jest to więc (ewolucyjny) postęp ilościowy. Dodanie do tego mapy głebi jest skokiem jakościowym – daje zupełnie nowe możliwości, jest swego rodzaju rewolucją. Kojarzyć się to może z różnicą między telefonią stacjonarną a komórkową – niby funkcjonalność podobna (chodzi wciąż o rozmowy głosowe) ale dostaliśmy wolność komunikowania się niezależnie od miejsca. I SMSy. I MMSy. I kolorwe ekraniki. I książkę adresową. I internet. No może bez Internetu.

Wziąwszy to wszystko razem stwierdzić można, że Kinect to nie tylko nowy gadżet. Jego potencjał wykracza daleko poza rozemocjonowanych nastolatków skaczących przed ekranem telewizora. Kinect to możliwość przeglądania zdjęć z wakacji kontrolując je ruchem dłoni (można zaimponować znajomym fotkami z Egiptu – taka okazja może się ponownie długo nie nadarzyć). To trójwymiarowy skaner. Interktywne plazmy reklamowe na witrynach. Interaktywne instalacje atystyczne. Sterowanie robotami (np. w medycynie). Motion capture. Zaawansowana rzeczywistość rozszerzona.

To wszystko nie odnosi się naturalnie tylko do Kinecta, ale do klasy urządzeń, których Kinect jest pierwszą emanacją, a które wkrótce zapewne zaleją rynek. Wygląda na to, słynna wizja sterowania komputerem znana z Raportu Mniejszości może ziścić się szybciej niż się jeszcze niedawno wydawało. Ale bez rękawiczek. Trochę szkoda, bo fajne były (z trzema palcami).

***

Aktualnie pracujemy nad naszą pierwszą instalacją z użyciem Kinecta w połączeniu z video mappingiem – jak tylko skończymy wrzucimy klip na bloga.

Instalacja wykorzystująca technologie rozszerzonej rzeczywistości dla gdańskiej Fundacji Rozwoju Demokracji Lokalnej realizującej projekt z okazji rocznicy podpisania porozumień sierpniowych w Gdańsku.
W przestrzeni miejskiej, a dokładnie na Placu Solidarności w Gdańsku stanął multimedialny kiosk, który mogli wypróbować wszyscy chętni od 31 sierpnia do końca listopada.
Na trzymanym w dłoniach znaczniku układało się trójwymiarowe słowo „Solidarność” w losowo wybranym języku Unii Europejskiej. Zdjęcia uczestników były automatycznie umieszczane w galerii internetowej.

augmented reality from ARBUZZ on Vimeo.

Na zdjęciu multimedialny kiosk. Więcej o projekcie przeczytacie na stronie fundacji.
Instalacja zrealizowana została w ramach projektu Obywatel Solidarność.

Jeśli wydaje Wam się, że nasz Starszy Plantator spędza życie w pozycji siedzącej, to się grubo mylicie. I są na to dowody.
Poniżej spotkanie Kinect & XNA & Starszy Plantator, który jak widać rusza się dość sprawnie

Niestety nie możemy dodać, że żadne łożko nie ucierpiało w czasie nagrywania,
bo ucierpiało.

Kinect + XNA from ARBUZZ on Vimeo.

Desperados Wildest Night – video mapping CSG Gdańsk from ARBUZZ on Vimeo.

3D i animację wykonali Łukasz Boros i Andrzej Wójcicki i dla nich wielkie ukłony.
Nad styropianowym odpowiednikiem czas spędził scenograf Grzegorz Ziołkowski.
Remixował muzę Tomasz z tmk studio.

watermelonowe strwory w większej ilości