Jeffrey Cross
Jeffrey Cross

Brány do duše - EyeWriter

V roce 2003, můj přítel Tony, aka graffiti umělec Tempt1, byl diagnostikován s ALS, progresivní nemoc, která opustila jej téměř kompletně ochrnutý kromě pro jeho oči. Abych mu pomohl pokračovat v jeho tvorbě, spolupracoval jsem se skupinou vývojářů softwaru a hardwarových hackerů, včetně členů Free Art and Technology (FAT), OpenFrameworks a Graffiti Research Lab, aby vytvořili EyeWriter (eyewriter.org) ), nízkonákladový, open source, systém sledování očí, který by Tempt1 a ostatním pacientům s ALS umožnil kreslit a ovládat počítač pomocí jejich očí.

Naším cílem byl super-levný systém, který by mohl vyrobit téměř kdokoliv, téměř kdekoli. Existují komerční a výzkumné systémy pro sledování očí, ale jsou složité a drahé, dosahují až 10 000 USD. Omezili jsme design společnosti EyeWriter, abychom zdůraznili nízké náklady a jednoduchost konstrukce oproti jiným aspektům výkonu.

Design

EyeWriter pracuje tak, že kontroluje uživatele jasným způsobem a analyzuje obraz jeho pohybů očí. Pro kameru jsme vybrali PlayStation Eye (aka PS3 Eye), malou webovou kameru ve výši 25 dolarů prodávanou jako příslušenství herního systému.

Fotoaparát PS3 Eye zachycuje video s rozlišením N40C 640 × 480 a může být upraven pro vysokou citlivost na infračervené záření, což z fotoaparátu činí oblíbenou komunitu hackingů s více dotyky. PS3 Eye pak posílá své video přes USB do počítače, kde je zachycen aplikací EyeWriter postavenou v C ++ pomocí openFrameworks (openframeworks.cc).

Pro náš první EyeWriter, dokončený v roce 2009, jsme umístili kameru PS3 Eye před jedno oko, montáž na rozšíření připojené na přední straně pár brýlí rámy. Software ořízl obraz videa, zvýšil jeho kontrast a prahoval, aby zobrazoval pouze černou tečku na bílém pozadí. Pro zvýšení tohoto efektu temného zornice jsme osvětlovali oční bulvu dvěma LED infračervenými paprsky umístěnými v blízkosti fotoaparátu.

Software umístil souřadnice žáka do obrazu webové kamery a použil mapu k přiřazení tohoto místa k místu, kde musí být kreslicí štětec na obrazovce počítače uživatele. Pro vytvoření mapy uživatel prošel kalibrační rutinou, kde se pohyboval očima, aby viditelně sledoval sled teček, které se objevují na obrazovce.

Tato verze 1.0 byla jednoduchá a fungovala, ale pouze tak dlouho, dokud zůstaly uživatelské oči nehybné vzhledem k obrazovce. Pohybujte hlavou a kalibrace byla vypnuta. Rozhodli jsme se tedy vytvořit verzi 2.0, která je o něco složitější, ale umožňuje více normální pohyb hlavy.

EyeWriter 2.0

V EyeWriter 2.0, kamera sedí pevně pod obrazovkou, spíše než nositelná na rámy brýlí. K dispozici jsou 3 infračervené iluminátory: kruh se 16 infračervenými LED diodami obklopujícími objektiv fotoaparátu a dvěma 8 LED diodami na obou stranách obrazovky. Nakopli jsme PS3 Eye a poklepali na jeho VSYNC signál a přiváděli elektrický signál do Arduina, který jej používá k záblesku iluminátorů s každým rámem videa, střídavě mezi středem a oběma stranami. Se zapnutým středovým osvětlovačem se IR odrazí od zadní části oka a vytváří stejný efekt zářícího „červených očí“, který vidíte při fotografování s bleskem, ale se zapnutými bočními osvětlovači se žáci jeví jako tmavý. Díky tomu může software najít polohu zornice jako část obrazu, která se mění mezi světlem a tmou.

Každý boční osvětlovač vytváří „záblesk“, kde se jeho světlo odrazí přímo z oční bulvy a do kamery. Sledováním poloh záblesků na obou stranách, stejně jako středem zornice, může systém vypočítat orientaci očí bez ohledu na to, kde je hlava nebo jakým směrem se tvář otočí.

Moji studenti v Parsons School of Design upravili software EyeWriter tak, aby mohl ovládat kurzor na úrovni operačního systému, nejen v aplikaci pro kreslení očí. Spolu s jakýmkoliv tlačítkem nebo jiným vstupem pro klepnutí to změní EyeWriter na univerzální náhradu myši / trackpadu. EyeWriter 2.0 stojí méně než 150 dolarů a systém si drží své vlastní systémy proti systémům více než 50násobku své ceny.

Společnost EyeWriter získala ocenění a byla dobře přijata, ale nedosahuje téměř počtu lidí, kterým by to mohlo prospět. Slyšel jsem od mnoha lidí, kteří chtějí EyeWriter pro někoho, koho milují, ale pro koho je to stále velká překážka. Proto jsme spolupracovali s firmou MakerBot Industries na sadě, která by zahrnovala 3D tištěné kousky a všechno ostatní, co potřebujete k vytvoření EyeWriter 2.0. Očekáváme, že tato sada bude k dispozici někdy v roce 2012.

Největší výzvou s tímto kitem je právě získání kamery. Chceme ten, který je vyšší než PS3 Eye, má stejný typ výstupního kolíku VSYNC, není drahý a nevyžaduje praskání plastového pouzdra a jeho odhození spolu se 4 nevyužitými mikrofony. Návrhy jsou vítány.

Informace o tom, jak vytvořit EyeWriter 2.0, naleznete na adrese blog.makezine.com/errata/make-volume-29-web-extras-and-downloads/.

Podíl

Zanechat Komentář