Китайские разработчики создали ИИ-цензор для поиска «запрещённой» информации на основе алгоритма Google Статьи редакции

Он может находить данные с точностью в 91% и пригодится для цензуры интернет-изданий, заявляют исследователи.

  • Разработчики из Шэньянского университета Лигун и Китайской академии наук создали технологию с элементами ИИ на основе алгоритма BERT от Google, который может фильтровать «вредную информацию» в интернете с высокой точностью, пишет South China Morning Post.
  • Он позволяет находить подлежащие цензуре тексты с точностью в 91%, утверждают исследователи. При этом, например, поиск по ключевым словам даёт точность в 70%, а у обученной людьми нейросети — 80%.
  • Алгоритм Google BERT с открытым кодом не может анализировать тексты длиной более 512 слов, поэтому разработчики создали алгоритм, который разбивает длинный текст на сегменты, доступные для анализа, а затем собирает текст обратно.
  • Как утверждают исследователи, решение содержит словарь с ключевыми словами и их формами. Также алгоритм может искать скрытый между строк подтекст, так как пользователи в Китае используют омонимы или добавляют дефисы между символами, чтобы избежать цензуры.
  • Интернет в Китае жестко контролируют, многие сайты, в том числе Google, Facebook, Twitter заблокированы, а часть контента на доступных сайтах запрещена. При этом китайский язык слишком сложный, чтобы использовать обычные решения для поиска «запрещенной» информации, отмечает издание.
  • Решение было бы полезно, чтобы «найти и отфильтровать информацию из интернет-изданий», заявили ведущий исследователь Ли Шу и её коллеги. Сейчас китайское правительство и компании полагаются на «армию цензоров», которые вручную проверяют контент в интернете, но это слишком дорого и неэффективно, пишет издание.
0
130 комментариев
Написать комментарий...
Большой жёлтый робот

+2 миска рис, +10 социальная рейтинг. Партия гордый тебя! Выдать три кошки жена

Ответить
Развернуть ветку
Иван Шеметов

Стану миллиардером, куплю vc и будет запрет на мемы с лентача! 

Ответить
Развернуть ветку
1 комментарий
Денис Демидов

Тексты уходят в прошлое, теперь эра аудио и видео, китайская цензура обречена на пробуксовку. 
Как рухнул СССР, так и рухнет КНР, на лжи и лицемерии (коммунистическая партия Китая состоит сплошь из миллиардеров и миллионеров ) ничего долговечного не построить.

Ответить
Развернуть ветку
Дмитрий Малахов

CCCР рухнул не от лжи, сейчас ее не меньше....
Он рухнул от дефицита и веры в  обещания  " за 2 года будете жить, как в штатах", в них реально верили.

Ответить
Развернуть ветку
7 комментариев
Харухи

Ох уж эти мрии о развале Китая. Только вот на деле он продолжает развиваться ударными темпами, все китайцы поголовно ярые патриоты, а международные компании делают всё, лишь бы угодить китайской власти и выйти на китайский рынок. 

Ответить
Развернуть ветку
15 комментариев
Большой жёлтый робот

Что ни делают китайцы, получается цензура

Ответить
Развернуть ветку
20 комментариев
Канищев Максим

Чьим же то товаром будетет торговать, после развала Китая? Сидели бы молча.

Ответить
Развернуть ветку
6 комментариев
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
18 комментариев
Дмитрий Ригов
теперь эра аудио и видео, китайская цензура обречена на пробуксовку.

Научатся)

Ответить
Развернуть ветку
13 комментариев
Kirsan Kaifat

так а хули, запретят аудио и видео :D

Ответить
Развернуть ветку
Игорь Купцов

Кто работать тогда будет, если Китай рухнет? Пусть лучше они там своих граждан цензурируют, лишь бы работали

Ответить
Развернуть ветку
11 комментариев
Sergei Timofeyev

ГуголЮтьюб легко со звуком работает и находит нарушение авторских прав.

Ответить
Развернуть ветку
3 комментария
Kek Man

СССР рухнул из-за того, что подешевела нефть, а тогда как раз было настолько отличное время, что хлеб покупали за нефть, отличная страна, всем так жить

Ответить
Развернуть ветку
3 комментария
Поджог Сараев

Сомневаюсь, что вы не в курсе нынешних возможностей ИИ. Видимо, нелюбовь к Китаю как-то помогает вам игнорировать действительность.

Ответить
Развернуть ветку
2 комментария
Igor Filippov
 Тексты уходят в прошлое, теперь эра аудио и видео, китайская цензура обречена на пробуксовку.

Я понимаю что тут дело в ограниченном кругозоре, но все-таки про успехи машинного обучения в распознавании видео, фото и аудио слышал даже обыватель. Не думаю что у китайцев будут проблемы автоматически распознавать антигосударственную пропаганду в Тик Токе и прочих. Тем более что новые форматы заменили текст уже давно, а КПК все стоит.

Ответить
Развернуть ветку
2 комментария
Михаил М

STT отлично работает уже лет 15, проснись.

Ответить
Развернуть ветку
3 комментария
Бабка в засаде

Ты же в курсе, да, что нейросети способны распознавать голос? И следовательно поиск по аудио и видео - задача ненамного сложнее чем поиск по тексту?

Ответить
Развернуть ветку
Михаил Похеров

Теперь все называть ИИ будут? Гугл наверное в 99 был с алгоритмом ИИ и альтависта 

Ответить
Развернуть ветку
Михаил М

Если нейросеть умеет понимать смысл текста, а не просто поиск по ключевым словам осуществлять, то это ии.

Ответить
Развернуть ветку
1 комментарий
Андрей Мотыченко

Союз рухнул , потому что кому-то в верхах КПСС ,забугром хрен слачще показался, там награбленное проще пристроить, а у нас за кражу стреляли. Да и всем социализм странам несли безвозмездно кредиты и помощь. Практически весь СЭВ содержали., Да ракет наштамповали без меры

Ответить
Развернуть ветку
Константин Рогов
а у нас за кражу стреляли

Вам нужно только инсценировать кражу. Все уже украдено до вас (С)

Ответить
Развернуть ветку
Женский Влад

Нужно доступ на сервисы сделать по регистрируемым аккаунтам, и блокировать роботов по активностям не составит труда

Ответить
Развернуть ветку
Денис Демидов

В Китае давно уже так, анонимно не получится там интернетом пользоваться особо.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
cHittt

тонкий вопрос защищенной инфы

Ответить
Развернуть ветку
Otto Blotto

Короче, в китае и так везде цензура- в нете, на улице, школе, тв и пр, а щас еще будет цензура за цензурой.

вспоминается мем про Винни пуха и товарища си, который обиделся на этот мем.

Ответить
Развернуть ветку
Читать все 130 комментариев
null