Китайские разработчики создали ИИ-цензор для поиска «запрещённой» информации на основе алгоритма Google Статьи редакции

Он может находить данные с точностью в 91% и пригодится для цензуры интернет-изданий, заявляют исследователи.

  • Разработчики из Шэньянского университета Лигун и Китайской академии наук создали технологию с элементами ИИ на основе алгоритма BERT от Google, который может фильтровать «вредную информацию» в интернете с высокой точностью, пишет South China Morning Post.
  • Он позволяет находить подлежащие цензуре тексты с точностью в 91%, утверждают исследователи. При этом, например, поиск по ключевым словам даёт точность в 70%, а у обученной людьми нейросети — 80%.
  • Алгоритм Google BERT с открытым кодом не может анализировать тексты длиной более 512 слов, поэтому разработчики создали алгоритм, который разбивает длинный текст на сегменты, доступные для анализа, а затем собирает текст обратно.
  • Как утверждают исследователи, решение содержит словарь с ключевыми словами и их формами. Также алгоритм может искать скрытый между строк подтекст, так как пользователи в Китае используют омонимы или добавляют дефисы между символами, чтобы избежать цензуры.
  • Интернет в Китае жестко контролируют, многие сайты, в том числе Google, Facebook, Twitter заблокированы, а часть контента на доступных сайтах запрещена. При этом китайский язык слишком сложный, чтобы использовать обычные решения для поиска «запрещенной» информации, отмечает издание.
  • Решение было бы полезно, чтобы «найти и отфильтровать информацию из интернет-изданий», заявили ведущий исследователь Ли Шу и её коллеги. Сейчас китайское правительство и компании полагаются на «армию цензоров», которые вручную проверяют контент в интернете, но это слишком дорого и неэффективно, пишет издание.
0
130 комментариев
Написать комментарий...
Денис Демидов

Тексты уходят в прошлое, теперь эра аудио и видео, китайская цензура обречена на пробуксовку. 
Как рухнул СССР, так и рухнет КНР, на лжи и лицемерии (коммунистическая партия Китая состоит сплошь из миллиардеров и миллионеров ) ничего долговечного не построить.

Ответить
Развернуть ветку
Дмитрий Ригель
теперь эра аудио и видео, китайская цензура обречена на пробуксовку.

Научатся)

Ответить
Развернуть ветку
Денис Демидов

Конечно научатся, но пропусков будет так много, что это им не поможет, если экономика начнет стагнировать. 

Ответить
Развернуть ветку
Sergei Timofeyev

Думаете, что их экономика пойдёт вслед за нашей?

Ответить
Развернуть ветку
Денис Демидов

Она уже остановилась как несколько лет, тот рост они показывают по большей части искусственный за счет мегапроектов, вероятность окупаемости которых в районе нуля.

Ответить
Развернуть ветку
Бабка в засаде

Оборудование 5G, квантовые компьютеры, огромные успехи в построении и обучении нейросетей - все эти вещи помогут Китаю оставаться в тройке технологических лидеров ещё долго. А в современном мире технологии - топливо для экономики 

Ответить
Развернуть ветку
Денис Демидов

Так цензура же, перед крахом СССР по ТВ надои тоже росли постоянно. 

Ответить
Развернуть ветку
Бабка в засаде

Ты сравниваешь несравнимые вещи. Китай совсем другой чем был СССР. В сша тоже цензура, скажешь N слово - лишишься работы и друзей. Китай поддерживает мелкое предпринимательство и бизнес, а это основа для экономики. В отличие от СССР, где коммерсов давили десятки лет 

Ответить
Развернуть ветку
Денис Демидов

В СССР были разные периоды, при том же Сталине артели чувствовали себя хорошо, даже брали подряды на выпуск оружия.
Сравнивать КНР и СССР вполне реально, оба кончат плохо, так как смогли забить на правду наладив цензуру, а значит похоронив эффективность правящей верхушки, зачем стараться, когда можно просто соврать?
Их мега-проекты вроде дорог в пустыню уже тянут Китай на дно.

Ответить
Развернуть ветку
Бабка в засаде

Все врут и всех цензурируют, ну ты чего такой наивный, Трампа задавили вообще уже внаглую вон. Везде в крупные СМИ просачивается только то, что решили пустить туда редакторы. Вера в независимые СМИ должна проходить вместе с верой в деда Мороза

Ответить
Развернуть ветку
Денис Демидов

Я что-то не слышал, чтобы в США несколько миллионов в одной цензуре было только задействовано, вопрос ведь не наличие факта как такового, а в соотношении. 

Ответить
Развернуть ветку
127 комментариев
Раскрывать всегда