Sony Ujawnia patent na tłumacza języka migowego w grach

Firma Sony złożyła wniosek patentowy, aby zapewnić lepsze funkcje ułatwień dostępu w grach dla graczy niesłyszących i niemych. Patent pokazuje, w jaki sposób niektóre języki migowe można w grze przetłumaczyć w czasie rzeczywistym na inny język migowy.

Patent Sony: tłumacz ASL na JSL dla gier wideo

Planowane jest wykorzystanie sprzętu VR i obsługa poprzez gry w chmurze

Sony złożyło wniosek patentowy na dodanie do gier wideo tłumaczenia języka migowego w czasie rzeczywistym. Patent zatytułowany „Interpretacja języka migowego w środowiskach wirtualnych” demonstruje technologię, która może przetłumaczyć amerykański język migowy (ASL) na japoński język migowy (JSL), używany przez osoby mówiące po japońsku.

Sony twierdzi, że jego celem jest zbudowanie systemu, który pomaga niesłyszącym graczom poprzez tłumaczenie języka migowego w czasie rzeczywistym podczas rozmów w grach. Technologia opisana w patencie umożliwiłaby wyświetlanie na ekranie wirtualnych wskaźników lub awatarów komunikowanie się w języku migowym w czasie rzeczywistym. System najpierw tłumaczy gesty w jednym języku na tekst, następnie konwertuje tekst na inny określony język, a na koniec przekłada otrzymane dane na gesty w innym języku.

„Przykłady wykonania niniejszego ujawnienia dotyczą sposobów i systemów przechwytywania języka migowego jednego użytkownika (np. Japończyka) i tłumaczenia języka migowego innemu użytkownikowi (np. osobie mówiącej po angielsku)” – opisuje Sony w patent. „Ponieważ języki migowe różnią się w zależności od regionalnego pochodzenia, języki migowe nie są językami uniwersalnymi. Wymaga to odpowiedniego uchwycenia języka migowego jednego użytkownika, zrozumienia jego języka ojczystego i wygenerowania nowego języka migowego jako wyjścia dla innego użytkownika, przedstawionego w ich ojczysty język migowy.”

Jak wyjaśnia Sony, jednym ze sposobów wdrożenia tego systemu jest użycie urządzenia typu VR lub wyświetlacza montowanego na głowie (HMD). „W niektórych przypadkach HMD łączy się z urządzeniem użytkownika, takim jak komputer osobisty, konsola do gier lub inne urządzenie komputerowe, za pośrednictwem połączenia przewodowego lub bezprzewodowego” – podaje Sony. „W niektórych przykładach urządzenie użytkownika renderuje grafikę wyświetlaną za pośrednictwem HMD, zapewniając użytkownikowi wciągające wrażenia wizualne w środowisku wirtualnym.”

Firma Sony zaproponowała ponadto, aby jedno urządzenie użytkownika mogło bezproblemowo komunikować się z innym urządzeniem użytkownika na serwerze gry za pośrednictwem sieci. „W niektórych przykładach wykonania serwer gry wykonuje wspólną sesję gry wideo, utrzymuje stan kanoniczny gry wideo i jej środowiska wirtualnego” – stwierdziła Sony – „a urządzenie użytkownika synchronizuje się z nim pod względem stanu środowiska wirtualnego .”

Dzięki tej konfiguracji użytkownicy mogą udostępniać treści i wchodzić w interakcje w tym samym środowisku wirtualnym (tj. w grze) we współdzielonej sieci lub serwerze. Sony dodało również, że w niektórych przykładach systemu serwer gier może stanowić część systemu gier w chmurze, który „renderuje i przesyła strumieniowo wideo” pomiędzy każdym urządzeniem użytkownika.