Студент разработал искусственный интеллект, который переводит язык жестов в режиме реального времени
В нынешнем технологическом сценарии ни о каких инновациях не говорят так много, как об искусственном интеллекте. Именно в разгар этой конкурентной ситуации Габриэль Сейлс, студент-статистик UFF в Рио-де-Жанейро, становится провидцем, возглавляя проект искусственного интеллекта, который переводит язык жестов. Его проект направлен на преодоление коммуникативных барьеров между глухими и слышащими людьми, предлагая эффективный способ расшифровки языка жестов на португальский в режиме реального времени.
По словам Габриэля, основная цель этого ИИ — революционизировать способы общения глухих людей, обеспечив доступность, независимость и возможности для сообщества. Проект, который все еще находится в разработке, демонстрирует, что он способен интерпретировать жесты глухих людей на видео, мгновенно переводя их на португальский язык.
Как работает ИИ для глухих?
Для достижения своей цели проект использует три различных искусственных интеллекта. Первый ИИ отвечает за захват ключевых точек на теле и сопоставление их с кадрами видео. Затем эти данные отправляются на второй AI — классификатор, который идентифицирует конкретный передаваемый сигнал. Новейший искусственный интеллект вступает в действие для контекстуализации идентифицированных сигналов, преобразуя список прогнозируемых сигналов в читаемое и понятное сообщение на португальском языке.
Потенциал этого проекта огромен. В общем, все общение между глухими людьми и людьми с трудностями в переводе Весов будет упрощено до синхронного перевода, который устранит шум в диалоге. По данным IBGE, если технология окажется эффективной, она сможет решить несколько проблем со связью, от которых страдают около 10 миллионов глухих граждан в Бразилии, то есть около 5% населения Бразилии.
Однако компания Gabriel Sales сталкивается с проблемами в своем проекте, такими как ограничения в оборудовании и ресурсах для сбора важных данных. Он стремится внести свой вклад в приобретение более мощного компьютера, высококачественных камер и ресурсов для продвижения исследований и разработок проекта через вакинья онлайн.
Проект, возглавляемый исключительно Габриэлем Сейлсом, не только отражает его страсть к технологиям, но и подчеркивает возможности искусственного интеллекта в создании инновационных решений, имеющих значительный социальный эффект. Публикация видеороликов об обновлениях вашего ИИ в Instagram, @projeto_ia_libras, Габриэль уже набрал более 86,1 тысячи подписчиков, а также тысячи просмотров его публикаций.
Интервью с создателем AI
Чтобы лучше понять функциональность этого ИИ в транскрипции диалогов с использованием языка жестов в реальном времени, мы взяли интервью у программиста и создателя проекта, студента-статиста Габриэля Сэйлса.
Кто является программистом и студентом-статистиком UFF, стоящим за проектом? И как вы пришли к этой идее?
Габриэль Сэйлс: Меня зовут Габриэль, я из Рио-де-Жанейро. Я студент, увлеченный технологиями. Свой первый компьютер у меня появился, когда мне было десять лет, и с тех пор я увлекся этой областью вычислений. Я начал изучать программирование с двенадцати лет и прогрессировал, пока не занялся наукой о данных. Когда я открыл для себя эту область, я подумал, что она действительно крутая, особенно часть искусственного интеллекта, где роботы думают почти по-человечески, и это меня очень увлекло. И я начал изучать эти вещи. Я поступил на факультет статистики в ФФУ, так как статистика — это важная основа науки о данных. И я начал свой путь в этой области искусственного интеллекта.
Я начал глубже вникать в ИИ, начал делать несколько небольших проектов. А потом у меня в колледже был урок Весов, в первом семестре прошлого года, и я был очень очарован историей учительницы, потому что она была глухой и сумела стать врачом, несмотря на все трудности, о которых она упомянула в своей истории.
Поэтому я начал думать о том, что я мог бы сделать интересного и инклюзивного для этого сообщества, чтобы помочь им. И тогда я начал с идеи искусственного интеллекта, который мог бы классифицировать алфавиты Весов. Тип: буква а, буква б, буква в и т. д. Все это через видео. Это была моя первая идея, мой первый тест, чтобы увидеть, насколько это будет сложно, насколько это будет сложно, а затем я развивался, начал добавлять надежные сигналы и улучшать знания об ИИ.
Как вы определяете свой проект? Что вы намерены с его помощью изменить в нынешней реальности, особенно для слабослышащих?
Габриэль Сэйлс: Основная цель – произвести революцию в общении между глухими и слышащими людьми, поскольку между этими людьми существует огромный барьер. Потому что вам обязательно нужно знать Весов, чтобы иметь возможность общаться с глухими людьми, поэтому, имея эту систему искусственного интеллекта, вы можете немного сломать этот барьер. Мы можем применить это в компаниях, в сфере обслуживания клиентов, в сфере цифровой доступности. Глухой клиент идет туда и может четко сказать, чего он хочет. Если он хочет что-то купить, если ему нужна какая-то особая помощь, не полагаясь на интерпретатор Libra, все можно сделать в цифровом формате с помощью ИИ.
А также в больницах, в чрезвычайных ситуациях, когда человеку нужна быстрая помощь, а иногда нет человека, умеющего говорить на языке Весов, верно? Иногда вам нужно знать ее группу крови, вам нужно знать, есть ли у нее какое-либо заболевание или что-то в этом роде, и с этой системой это тоже возможно.
В образовании также, при обучении Весов, эта система в образовании будет очень эффективна для проверки точности учащихся, правильности их составления знаков и хорошо ли они учатся. И даже для глухих учителей, у которых не все имеют способность говорить, потому что есть глухие люди, которые могут развить способность говорить, но не все могут, система также будет полезна в этом случае. Итак, можно сделать несколько приложений.
Как вы опишите, как работает этот ИИ?
Габриэль Сэйлс: Есть три ИИ. Один для захвата ключевых точек тела, поэтому он будет отображать все тело человека, лицо, плечо, локоть, руки, пальцы и все это на протяжении кадров, потому что нам нужно сделать это на видео . Таким образом, это сопоставление будет выполняться в течение кадров. И после этого оно будет передано классификатору. Он классифицирует эти данные по ключевым точкам тела и подскажет, какой это вариант.
И последний ИИ — создавать контекст сигналов. Итак, после того, как она нанесла на карту тело, после того, как она классифицировала, какой это знак, она составит список предсказанных знаков и преобразует его в сообщение, естественное сообщение, которое можно прочитать и понять. Затем этот ИИ соберет контекст сигналов, которые уже были предсказаны вторым ИИ.
В целом, ваш проект уникален или у вас есть подобные проекты с использованием ИИ для помощи глухим людям?
Габриэль Сэйлс: Подобные проекты наверняка должны быть. Но ни один из них не пошел вперед, возможно, из-за отсутствия инвестиций в Бразилию. В конечном итоге люди уезжают за пределы страны, особенно из-за легкого доступа к технологиям. Но не знаю, разрабатываются ли они (другие проекты), возможно, есть прототипы.
В таком случае, в чем для вас самое большое отличие вашего проекта?
Габриэль Сэйлс: Возможность масштабирования, его можно очень легко масштабировать с помощью инвестиций и развивать быстрее... Основное отличие в том, что мы преодолеваем коммуникативный барьер для глухих людей, так как это поможет в образовании, экономике, культуре и политике.
Что вам понадобится для масштабирования проекта?
Габриэль Сэйлс: Мне нужны данные, потому что для обучения ИИ нужны видео... Это как учить ребенка, нам нужно показать, что это за сигнал, и повторить его несколько раз, пока он не поймет. А также оборудование для их обработки, ведь мы будем создавать Big Data таким образом.
В конце 2023 года Габриэль запустил Vakinha, чтобы другие люди могли поддержать развитие проекта.
Каковы ваши дальнейшие шаги в проекте?
Габриэль Сэйлс: Некоторое время я искал компанию-партнера, есть одна, которая помогает мне с моим сайтом. И теперь я ищу партнерство с влиятельными людьми на этом рынке, чтобы, возможно, открыть стартап, привлечь инвесторов и затем иметь возможность легче масштабироваться. Идея состоит в том, чтобы продавать компаниям, которые хотят иметь цифровую доступность, предлагать ее своим клиентам.
Как защитить свой ИИ от «плагиата»?
Габриэль Сэйлс: Когда дело доходит до искусственного интеллекта, заниматься плагиатом сложно. Вы можете сделать что-то подобное, но это тоже очень сложно. Это как Илон Маск создает ИИ, похожий на ChatGPT, он может это сделать, но у обоих будут разные ответы. Потому что этому мешают имеющиеся данные, а в фунтах их мало. Нужны инвестиции в сбор данных.
Какие тесты вы проходите, чтобы понять, что ИИ правильно интерпретирует сигналы в фунтах?
Габриэль Сэйлс: Я провожу тесты в режиме реального времени, подаю разные сигналы для проверки точности. Те небольшие знания, которые я получил во время обучения в колледже, я применяю и смотрю видео в Интернете для разработки обучения искусственному интеллекту.
См. также:
Fontes: Милн, Forbes e Смартклик.
Рассмотрено Главкон Витал от 18.
Узнайте больше о Showmetech
Подпишитесь, чтобы получать наши последние новости по электронной почте.
