Открытые данные исследования
Доступность муниципальных сайтов США · CC BY-NC 4.0
Здесь лежат сырые данные, на которых стоит каждое опубликованное нами число. Любую цифру можно пересчитать самостоятельно, не имея доступа к нашему коду. Файлы отдаются напрямую и ничем не защищены: это и есть смысл открытых данных.
Скачать · traversal-log v5 (12,0 МБ)Скачать · traversal-log (3,2 МБ)Формат · SCHEMA.mdК данным исследованияК методике
Как ссылаться
Maksim Galatin & AIfa (Claude, Gemini, Grok). Municipal Website Accessibility: Automated Scan versus Keyboard Traversal. Открытый набор данных, версия от 1 сентября 2026. CC BY-NC 4.0.
Лицензия CC BY-NC 4.0: свободно для некоммерческого использования (исследования, обучение, журналистика) с указанием авторов; любое коммерческое использование — только по платной лицензии (contact@codeofdigitaleternity.com).
Что лежит в наборе
| Файл | Что внутри | Объём |
|---|---|---|
| traversal-log-v5-2026-10-02.jsonl.gz | Главный журнал, версия 2 (прибор v5, 1–2 октября 2026). Одна строка — одна страница: исходный вердикт обходчика, категория по вариантам А и Б, слой замера, путь фокуса. По нему считается 33,5 %. | 12,0 МБ 95 216 строк |
| traversal-log-v5-SCHEMA.md | Описание полей версии 2: категории, сопоставление вердиктов с категориями, как пересчитать число, что замаскировано перед публикацией. | 7,7 КБ |
| traversal-log-2026-09-01.jsonl.gz | Главный журнал. Одна строка — один клавиатурный обход одной страницы: адрес, город, штат, тип страницы, сколько нажатий Tab до цели, где путь оборвался и почему, есть ли метки у полей, имя файла снимка, вердикт. | 3,2 МБ 95 524 строк |
| traversal-log-2026-09-01-corrected-2026-10-16.jsonl.gz | Исправленная копия главного журнала версии 1 (16.10.2026). Отличается от оригинала ровно в 4 019 строках: вердикт пересчитан по записанной причине, прежний сохранён в поле вердикт_до_16_10_2026, правило — в поле исправлено_16_10_2026. SHA-256 1b1ee13764ba58aa64bc3ac6c5034ef5c2de159cb06d4c59410ac2e6dcae3be0. | 3,2 МБ 95 524 строк |
| cookie-banner-holds-focus-v21-2026-10-16.csv | 19 страниц на 5 доменах, где баннер согласия на куки держит фокус клавиатуры все 60 шагов, пока на него не ответят. Мы на баннер не отвечаем — это было бы согласие от чужого имени; поэтому это предел нашего прибора, а не барьер сайта. Без этих страниц главное число версии 2.1 — 24,56 % вместо 24,62 %. | 3,3 КБ 19 строк |
| traversal-log-SCHEMA.md | Схема журнала: каждое поле с пояснением, какие значения возможны и как их читать. | 15 КБ |
| us-government-axe-audit.jsonl.gz | Аудит государственных сайтов США движком axe-core 4.x: 85 497 проверок страниц с разбивкой нарушений по уровням тяжести, правилам и типу страницы. Адреса почты, попавшие внутрь CSS-селекторов вместе со ссылками mailto, скрыты. | 4,1 МБ 85 497 строк |
| us-government-axe-audit-corrected-2026-10-17.jsonl.gz | Исправленная копия аудита axe (17.10.2026). Отличается от оригинала ровно в 2 005 записях, упиравшихся в наш предел 8 секунд: 792 заменены результатом перемера с пределом 20 секунд, у 1 213 прежний результат оставлен и добавлено поле перемер_16_10_2026. Остальные 83 492 строки совпадают с оригиналом байт в байт. | 4,3 МБ 85 497 строк |
| us-organizations-registry.jsonl.gz | Реестр организаций США: 289 420 записей по всем 51 территории — школы, больницы, органы власти, торговля и услуги. Это список объектов, по которому шёл обход. ⚖️ ОТДЕЛЬНАЯ ЛИЦЕНЗИЯ: ODbL 1.0, а не CC BY-NC 4.0 — реестр производен от OpenStreetMap (видно по полю osm_id), © участники OpenStreetMap. Перед выкладкой убраны 210 730 телефонов и 20 859 почтовых адресов. | 16,0 МБ 289 420 строк |
| us-registry-cisa.jsonl.gz | Федеральный реестр CISA по состоянию на 31 августа 2026 — исходная выборка доменов городов и округов США. | 276 КБ 11 659 строк |
| measurement-dates.jsonl.gz | Когда именно сделан каждый снимок экрана. Столько же строк, сколько снимков проверено на диске. | 853 КБ 83 212 строк |
| evidence-hashes-2026-09-01.txt.gz | Реестр целостности: SHA-256 каждого файла доказательной базы. Его собственный хеш заштампован в Bitcoin через OpenTimestamps. | 2,7 МБ 81 065 строк |
| evidence-hashes-2026-09-01.timestamp.json | Доказательство штампа времени: какие календари приняли хеш и когда. | 2,7 КБ |
| solana-anchor-status.json | Честный статус закрепления в блокчейне: что уже сделано в Bitcoin и на каком шаге стоит запись в Solana. | 2,3 КБ |
| dead-domains-2026-09-01.csv | Домены из реестра, которые не ответили. Разобраны вручную; это находка не о доступности, а о качестве государственных данных. | 30 КБ 1 499 строк |
| unreachable-reasons.csv.gz | Причины недоступности, сведённые в таблицу: DNS, TLS, таймаут, отказ соединения и прочее. | 19 КБ 905 строк |
| tls-certificates.jsonl.gz | Состояние сертификатов TLS у обойдённых доменов. | 483 КБ 8 979 строк |
| entity-classification.jsonl.gz | Классификация организаций: город, округ, иной тип. | 173 КБ 11 997 строк |
| recaptured-screenshots.jsonl.gz | Снимки, переснятые позже, — с указанием, какой заменён и когда. Прежние версии не удаляются. | 14 КБ 757 строк |
Реестр обновлений
Что менялось в наборе и почему. Числа сняты вскрытием файлов, а не по именам. Дважды количество записей УМЕНЬШАЛОСЬ — это не подчистка, а исправление в нашу невыгоду, и каждый такой случай объяснён.
| Дата | Файл | Что внутри | Изменение |
|---|---|---|---|
| 2026-09-10 | us-organizations-registry.jsonl.gz | Массив возвращён в раздачу под ПРАВИЛЬНОЙ лицензией. Реестр организаций производен от OpenStreetMap — это видно по полю osm_id в каждой записи, — а OpenStreetMap лицензируется под ODbL 1.0, которая требует, чтобы производная база распространялась тоже под ODbL. Мы выложили его под CC BY 4.0, и это было неверно. Утром 10 сентября массив сняли; к вечеру решение исправлено: снимать было незачем, достаточно поставить на ЭТОТ файл ODbL 1.0. Теперь так и сделано — остальные наборы оставались тогда под CC BY 4.0; с 5 октября 2026 они под CC BY-NC 4.0 (коммерческое использование — только по платной лицензии). Список организаций получен из OpenStreetMap, © участники OpenStreetMap. | — |
| 2026-08-30 | dead-domains-2026-08-30.csv | Первая публикация списка доменов без записи в DNS — тех, что числятся в федеральном реестре CISA, но не существуют. | 1 209 строк |
| 2026-08-31 | dead-domains-2026-08-31.csv | Список расширен после прохода по оставшимся штатам. | 1 651 строк +442 |
| 2026-09-01 | dead-domains-2026-09-01.csv | Записей стало МЕНЬШЕ, и это исправление в нашу невыгоду: 152 домена, названные мёртвыми, оказались живыми при повторной проверке настоящим браузером с четырьмя адресами на домен. Мы поправили себя, а не подчистили данные. | 1 499 строк −152 |
| 2026-09-01 | traversal-log-2026-09-01.jsonl.gz | Главный журнал клавиатурного обхода: 95 524 записи по 11 902 доменам. Обход федерального реестра CISA завершён — все 11 659 сайтов пройдены. | 95 524 строк |
| 2026-09-01 | evidence-hashes-2026-09-01.txt.gz | Реестр целостности: SHA-256 каждого снимка экрана. В тот же день его собственный хеш проштампован в Bitcoin через OpenTimestamps — подделать снимок задним числом теперь нельзя, не переписав Bitcoin. | 81 657 строк |
| 2026-09-03 | evidence-hashes-2026-09-03.txt.gz | Реестр целостности расширен на 28 442 записи: под доказательство подведены снимки, сделанные при повторных проходах. | 110 099 строк +28 442 |
| 2026-09-09 | us-organizations-registry.jsonl.gz | Новый массив. Реестр организаций США: 289 420 записей по всем 51 территории — школы, больницы, торговля и услуги, с адресом сайта, координатами и отраслевой группой. Он собран как выборка для следующего этапа обхода и до сегодня лежал непубликованным. Телефоны (210 730) и почтовые адреса (20 859) из публикуемой копии убраны намеренно: в замерах доступности они не участвуют, а среди почт пять тысяч были личными ящиками на gmail и подобных. Ещё 15 адресов вычищены из поля сайта — в исходных данных OpenStreetMap туда вписали почту вместо адреса страницы. | 289 420 строк |
| 2026-09-09 | us-government-axe-audit.jsonl.gz | Новый массив. Аудит государственных сайтов США движком axe-core 4.x: 85 497 проверок страниц, с разбивкой нарушений по уровням тяжести, конкретным правилам и типу страницы. Это отдельное измерение, и складывать его с муниципальным обходом нельзя: там человек нажимает Tab, здесь работает автоматический движок, и методики разные. Адреса почты, попавшие внутрь CSS-селекторов вместе со ссылками mailto, скрыты — селектор по-прежнему показывает, где нарушение. | 85 497 строк |
| 2026-10-02 | traversal-log-v5-2026-10-02.jsonl.gz | Версия 2 главного журнала: 95 216 строк по 11 902 доменам, перемер новым прибором v5 (1–2 октября 2026). Барьер среди измеренных страниц — 33,5 % (8 448 из 25 252); если считать барьером почти незаметную рамку фокуса — 33,9 %. Версия 1 остаётся без изменений: числа двух версий нельзя сравнивать напрямую, потому что изменился прибор, — подробности на /research/data. Почты и телефоны служащих в тексте пути фокуса замаскированы. | 95 216 строк |
| 2026-10-16 | traversal-log-2026-09-01-corrected-2026-10-16.jsonl.gz | Исправленная копия журнала версии 1; оригинал лежит рядом без изменений. В 4 019 записях стоял вердикт «обход не удалось провести», хотя записанная причина говорит, что обход состоялся. Вердикт пересчитан по тому же правилу, по которому движок решал во всех остальных 15 053 таких записях: 1 703 стали «доступно», 2 316 — «частичный барьер». Прежний вердикт сохранён в каждой исправленной строке, остальные 91 505 строк совпадают с оригиналом байт в байт. | 95 524 строк −0 |
| 2026-10-17 | us-government-axe-audit-corrected-2026-10-17.jsonl.gz | Исправленная копия аудита axe государственных сайтов США; оригинал лежит рядом без изменений. 2 005 записей упирались в наш собственный предел загрузки 8 секунд и числились «не открылась». Все они перемерены 16–17 октября с пределом 20 секунд той же версией axe 4.13.0. Заменены только 792 записи, где страница теперь открылась и проверена; прежнее «проверено» никогда не заменяется сегодняшним отказом. Остальные 1 213 перемеренных записей оставлены как были, с пометкой о перемере. Итог: «проверено» 40 536 → 41 328, «не открылась» 40 661 → 39 869. | 85 497 строк −0 |
Формат
Файлы с расширением .jsonl.gz — это построчный JSON, сжатый gzip: одна строка — один объект. Разжимается любым архиватором, читается любой программой построчно, целиком в память загружать не нужно. Браузер такой файл показать не умеет и поэтому сохраняет его на диск — это обычное поведение для архива, а не ошибка.
Поля главного журнала
| url | адрес проверенной страницы |
| город / штат | город и штат владельца сайта |
| страница_тип | какая это страница: home, payment, jobs, documents, meetings, 311_request и т. д. |
| шагов_до_цели | сколько нажатий Tab понадобилось, чтобы дойти до цели; 0 — цель не достигнута |
| где_оборвалось | на каком элементе путь прервался |
| причина | словами: не открылась страница, цель не достигнута за 40 нажатий, успешно за N шагов |
| есть_метки_у_полей | подписаны ли поля формы для программы чтения с экрана |
| контраст_ок | проходит ли текст по контрасту |
| скриншот | имя файла снимка экрана, сделанного в момент замера |
| вердикт_человека | итог глазами: доступно, частичный барьер, барьер, недоступно и т. д. |
| что_сказал_скрипт | что об этой же странице сказала автоматическая проверка |
| вендор_платформы | на какой платформе сделан сайт, если удалось определить |
| когда_замер | время замера |
Как убедиться, что данные не подменены
Для каждого файла доказательной базы посчитан SHA-256, все хеши собраны в один реестр, а его собственный хеш заштампован в Bitcoin через OpenTimestamps — бесплатно, тремя независимыми календарями. Подделать снимок задним числом теперь невозможно, не переписав Bitcoin. Порядок проверки описан в evidence-hashes-README.txt.
Осторожно с долями
В исследовании три разные доли, и у каждой свой знаменатель. Первая: среди страниц, которые автоматическая проверка сочла чистыми, 53,8 % не дошли до цели — знаменатель 25 966. Вторая: среди ВСЕХ измеримых страниц не дошли 74,6 % из 47 271. Третья: из всех 95 524 записей журнала цель достигнута в 12,6 %. Ни одна из трёх не означает «X % сайтов недоступны»: это доли страниц, а не сайтов. Версия 2 набора (02.10.2026, прибор v5) считает по-другому: страницы без нужной функции в барьеры не входят, и барьер среди измеренных страниц — 33,5 % (8 448 из 25 252). Подробности и сравнение версий — на /research/data.