Не так давно выяснил, что есть у Александра и свой форум на компьютерную тематику – IT Talk – который сейчас переживает второе рождение после объединения с security-teams.net. Процитирую описание тематитки с самого форума: “Форум о программировании, операционных системах, безопасности, сайтостроении, железе, девайсах, сетях и тп”.

Из всего вышеперечисленного я пролистал раздел о программировании (как ни странно – отдельного раздела по Perl не нашел, хотя Александр довольно тесно с ним связан), ветку с архивом исходников различных скриптов (сюда однозначно рекомендую заглянуть до начала изобретения разнообразных велосипедов) и раздел, посвященный созданию, раскрутке и монетизации сайтов (в отличае от раскрученных форумов веб-мастеров здесь весьма доброжелательная атмосфера в общении, можно заглядывать за советом по продвижению сайта. И касаясь тематики SEO-спама – ссылки в профилях закрыты от индексации ).

Судя по времени отправления сообщений – форум достаточно живой, отвечают часто. Понравился шаблон оформления – глаз не напрягает, страницы грузятся быстро, нет буйства красок (вспомнил Античат и вздрогнул). Подводя итог – если возникла потребность в живом, но не слишком перегруженном модерацией и строгими правилами форуме, есть смысл познакомиться с компьютерным форумом IT Talk поближе!

P.S. Обзор форума я решил написать по двум причинам – во-первых, мне интересно читать блог eax.me, а во-вторых – кризис тем для заметок заставляет радоваться любому подходящему поводу написать что-то полезное. Not for money, just like IT Talk

Еще на похожие темы:

• Анонимайзер как замена прокси. Проверка анонимайзеров на валидность
• Автоматическая проверка готовности загранпаспорта
• Mojolicious – знакомство с “вебом из коробки”

Монтирование внешнего диска в dd-wrt

Для начала нужно включить поддержку USB на роутере через веб-интерфейс: Services – USB – USB Support – Core USB Support + USB Storage Support. После подключения внешнего диска проверить успешность при помощи вызова dmesg | grep scsi, где строки вида /dev/scsi/host2/bus0/target0/lun0: p1 p2 укажут на подключенный диск (в данном случае мой диск подключен к третьему порту USB-хаба – host2 и имеет два раздела – p1 p2.

Монтирование на прошивке с поддержкой файловых систем

Поскольку при каждой загрузке роутера его состояние обнуляется до того, что штатно позволяет прошивка, монтирование USB-дисков, применение нужных настроек и запуск требуемых программ следует прописать в startup-скрипте (Administration – Commands – Startup) через веб-интерфейс:

О некоторых строках расскажу подробней сразу, другие рассмотрены дальше в заметке. Первая – исправляет ошибку невключения LAN-порта, возникующую в dd-wrt 17201. Вторая-четвертая – загрузка модулей для поддержки работы с файловыми системами, модули находятся в /lib/modules/версия_ядра, если прошивка без модулей поддержки ФС – см. ниже. Шестая и девятая строки отвечают за монтирование внешних дисков (флешки для установки софта и USB-HDD, выступающего в роли NAS). Седьмая – монтирование каталога с флешки в каталог ФС роутера, восьмая – замена штатного /etc/profile на измененный (см. ниже). Десятая – подключение своп-файла, создание которого подробно рассмотрено ниже. Последняя – запуск transmission с указанным каталогом в качестве рабочего (в частности там хранится файл настроек).

Монтирование при отсутствии встроенной поддержки файловых систем

Если установленная прошивка не имеет в комплекте модулей поддержки файловых систем – можно поступить следующим образом – записать поблочно архив с нужными модулями при помощи dd на отдельный раздел флешки (достаточно раздела размером в 1 Мб) и прописать их распаковку и подгрузку при старте роутера, изменив соответствующим образом startup-скрипт (подробная инструкция на английском):

После этого ext3 монтируется без проблем. Кстати поддержки ext4 я в dd-wrt не обнаружил (по крайней мере на их ftp модулей нет), обратная конвертация из ext3 в ext4 судя по всему невозможна – стоит учесть это заранее.

Включение SWAP на роутере с dd-wrt

Если установлена прошивка с поддержкой swap, то нужно выделить отдельный раздел под него на внешнем диске или создать своп-файл, как поступил я (можно воспользоваться Linux-машиной, можно установить расширенную версию busybox на роутер):

где count=16000 – 16 тысяч блоков размером по одному килобайту, т.е. размер своп-файла составит 16 мегабайт. Советую сделать не меньше 32-х мегабайт, при большом количестве закачек в transmission легко используется по 20-25 Мб подкачки.

Установка программ в dd-wrt

Для установки софта из репозиториев под dd-wrt применяются следующие команды:

• ipkg-opt update – обновить список пакетов, доступных в репозитории;
• ipkg-opt upgrade – обновить установленные пакеты;
• ipkg-opt install – установить пакет;
• ipkg-opt remove – удалить пакет;
• ipkg list – показать список всех доступных пакетов.

Настройка NFS для доступа к NAS

Из вариантов сетевого доступа к внешнему диску я выбрал доступ по NFS – samba медленней и сложней в настройке, большинство машин у меня дома – с Linux или Android, а кроме того – для Windows XP есть официальный NFS-клиент (точнее – клон mount), доступный на сайте Microsoft, а Vindows Vista и старше – поддерживают NFS изначально.
Настройка NFS на роутере производится следующим образом – устанавливаем пакеты portmap (для динамического выделения портов) и unfs3 (NFS-демон). В созданные после установки файлы /opt/etc/init.d/S56unfsd и /opt/etc/init.d/S55portmap добавляем строку LD_LIBRARY_PATH=/opt/lib:${LD_LIBRARY_PATH} – путь к дополнительным библиотекам на внешнем диске. Создаем файл настроек для NFS-демона /opt/etc/exports:

Точку монтирования NAS-диска и маску подсети надо естественно изменить на свои. При перезагрузке роутера portmap и unfs будут стартовать автоматически.
Затем я на ноутбуке установил пакет nfs-client, после чего можно монтировать NAS:

В каталог /mnt примонтирован на роутере внешний HDD.

Небольшие настройки для удобства работы в ash

Штатно в dd-wrt используется оболочка командной строки ash. Конечно можно установить из репозитория bash или любую другую и прописать ее в автозагрузку, но фактически возможностей ash более чем достаточно для роутера. Единственное реальное неудобство, которое возникло у меня при работе с ней – невозможность прописать свои алиасы в конфиге, поскольку при каждой загрузке роутера все системные файлы откатываются к исходному состоянию. Выход – монтировать поверх штатного конфига командной оболочки (/etc/profile) свой, расположенный на внешнем диске (например у меня – /opt/etc/profile) и дополненный нужными опциями, дописав в startup скрипте такую строку:

Мой profile дополнен следующими командами:

Полезно сделать shutdown-скрипт, копирующий содержимое секции shutdown (Administration – Commands – Shutdown) из веб-интрефейса, которое выполняется при перезагрузке роутера. Скрипт будет точно также выгружать определенные процессы и отмонтировать внешние диски для последующего безопасного выключения роутера. Мой скрипт выглядит так:

Еще на похожие темы:

• D-Link DIR-620 и dd-wrt – бюджетный NAS и торрентокачалка
• Походный источник питания на солнечных батареях своими руками.
• Повышаем бытовой комфорт – кофеварка

Оказалось, что wi-fi карточка в ThinkPad T40 не поддерживает wpa2 (и wpa тоже) на аппаратном уровне. Я думал, что это исключительно программные решения и даже не догадывался покопать в сторону аппаратной поддержки. В итоге пришлось карточку поменять, благо на e-bay их продаётся много.

Но это всё предыстория. Новая карточка в итоге встала нормально, выглядит в выводе dmesg и lspci как Intel PRO/Wireless 2200BG Mini-PCI Adapter, драйвера под Linux для неё имеются, но она автоматически прописалась под именем eth2, а у меня в скриптах и в conky беспроводной интерфейс прописан как eth1. Соответственно встал вопрос – как в Linux переименовать сетевой интерфейс?

Для Debian (и соответственно Ubuntu) подходит такой рецепт: в файле 70-persistent-net.rules, находящемся по адресу /etc/udev/rules.d/, в спецификации нужной сетевой карты изменяем в конце строки параметр NAME=, вписывая туда нужное имя интерфейса для сетевой карты с нужным MAC-адресом. Например я вписал вместо NAME=eth2 – NAME=eth1, а строку с конфигурацией старой wi-fi карты просто закомментировал.

Еще на похожие темы:

• Цветовая индикация хода загрузки Linux
• Файл настройки vim – .vimrc (для Linux и Windows)
• Подключение через VPN в Debian/Ubuntu Linux

Сначала остановился на D-Link DIR320 – ставший уже классическим вариант для создания домашнего NAS, организации небольшой полноценной сети и решения других подобных задач. Плюсы – весьма умеренная цена, давно на рынке и уже плотно оброс всевозможными руководствами по переделке и доработке. Однако получилось так, что в магазине его не оказалось и я купил DIR-620 – более современную версию 320-го. В остальном особой разницы нет – DIR-620 также имеет возможность перепрошивки сторонними прошивками, оборудован USB-выходом (USB-хостом, если быть точным) и стоит примерно тех же денег (в моём случае он даже оказался на 70 руб. дешевле).

Альтернативные прошивки для DIR-620

Поскольку положительных отзывов о штатной прошивке роутера я не обнаружил (в моём шла версия 1.21), а нашел, напротив, – немало отрицательных (о всех версиях до 1.21 включительно), я даже не стал её настраивать и сразу начал искать альтернативные прошивки для DIR-620. Таковых обнаружилось достаточно, я остановился на трёх – dd-wrt, zyxel keenetic и openwrt. После ознакомления с теорией себе установил только dd-wrt, ей и пользуюсь. OpenWRT нашел слишком поздно – просто почитал о ней, но пробовать не стал. Zuxel Keenetic думал поставить на случай, если не разберусь с dd-wrt – не пригодилось. Сборник прошивок, обновление загрузчика и инструкции по перепрошивке собраны на сайте deadc0de.ru.

Прошивка Zyxel Keenetic под DIR-620

Zyxel Keenetic по железу практически аналогичен D-Link DIR-620 и потому последний может быть прошит прошивкой от первого (оригинальной в случае небольшой переделки – нужно впаять резистор на плату или модифицированной – переделки в этом случае не требуется). К достоинствам этой прошивки можно отнести очень приятный веб-интерфейс, где всё просто и понятно; поддержку USB-принтера с простой установкой драйверов, наличие встроенного torrent-клиента (transmission-daemon) и dlna-сервера (minidlna). Сразу скажу, что последний не нужен, если различный медиа-контентс с NAS будет открываться на компьютере и нужен, если есть желание подключить к NAS например телевизор (который естественно должен dlna поддерживать). Почему я не стал прошиваться этой прошивкой? Во-первых – красота веб-интрефейса нужна только во время настройки, т.е. в идеале – один раз (а я и вовсе предпочитаю настраивать через консоль), во-вторых – хотя устанавливать софт через пакетный менеджер и есть возможность (только для “полноценного” Keenetic) – пакетов достаточно мало, в-третьих – прошивка эта закрытая и с ней связана достоточно неприятная история – в последнее время много DIR-620, прошитых в Keenetic, вышли из строя (а также не ясно, не сделают ли проверки на оригинальность железа в будущем – всё зависит от доброй воли Zyxel). Так что я остановился на dd-wrt.

Прошивка dd-wrt под DIR-620

Для DIR-620 подходит сборка прошивки от роутера с аналогичным железом – Asus RT-N13U. Основные достоинства – открытый исходный код, что влечёт за собой возможность самостоятельной сборки прошивки и наличие большого сообщества, где всегда можно получить помощь. Богатство настроек, доступное как через веб-интерфейс, так и из консоли (ssh установлен из коробки), возможность простой установки дополнительного софта через пакетный менеджер из репозитариев (торрен-клиент, dc++ клиент, samba, perl, php, tor и например motion, что вкупе с USB-хабом и/или свободными LAN-портами даст возможность подключить к роутеру камеры для видеонаблюдения). К минусам можно причислить достаточно аскетичный веб-интерфейс разве что, других проблем за месяц использования не встретил. Заочно познакомиться с dd-wrt можно при помощи веб-эмулятора прошивки.

Как прошить DIR-620 прошивкой dd-wrt

Под описываемые задачи (закачка торрентов, сетевой диск, DC++) на мой взгляд лучше всего подходит следующий порядок прошивки (для устройства с заводской прошивкой):

• Сначала обновить загрузчик uboot, чтобы иметь возможность заливать на роутере прошивки через tftp, не занимаясь их конвертацией;
• Затем взять прошивку от Asus RT-N13U, имеющую встроенную поддержку ext2, ext3, fat, NTFS и swap (без swap-раздела transmission работает очень нестабильно и нужно постоянно контролировать, чтобы закаче было не больше двух-трёх штук);
• Эту прошивку и загрузить на роутер, используя tftp (заодно и проверить, что этот способ работает) или веб-интерфейс стандартной прошивки (вкладки Система -> Обновление ПО), после чего можно будет спокойно подключать флешку для установки софта и хранения настроек (её лучше отформатировать в ext2 или ext3) и USB-HDD, который будет выступать в роли NAS.

Как видно – ничего особо сложного. После установки веб-интерфейс для настройки dd-wrt доступен по адресу 192.168.1.1, ssh можно включить в нём же (логин – root, пароль совпадает с паролем от веб-интерфейса). А я про подключение флешки и внешнего диска, а также про установку пакетов и включение swap расскажу в следующей заметке.

Еще на похожие темы:

• D-Link DIR-620 и dd-wrt – подключение flash, установка программ, настройка NAS
• Походный источник питания на солнечных батареях своими руками.
• Повышаем бытовой комфорт – кофеварка

Порядок вывода аргументов в xargs

Как-то раз столкнулся с проблемой порядка подстановки аргументов в xargs. И man вроде почитал, и погуглил, и встретил нужный ключ -I, но ни из мана, ни из гугля не понять было точно, что он делает именно то, что надо. Итак, ключ -I задаёт нужный порядок вывода аргумента в xargs, используя подстановку.
xargs -I arg_name command arg1 arg_name arg3 – аргументы при вызове команды command будут выведены именно в таком порядке, тогда как в обычном случае arg_name будет подставлен в конец строки вызова команды.

Чтение N строк из начала файла

Совместно с предыдущим решением удобно использовать чтение из файла неких строк, которые затем и преобразовывать в набор аргументов. Банальный cat известен думаю всем. Обратный порядок – tac. Прочитать N строк с конца: tail -n N. Аналогично, но с начала файла: head -n N (возм. head отсутствует в BSD-системах). И прочтитать строки с X по Y: awk 'NR >=X && NR <=Y'

Прокси через SSH (ssh-туннель)

Банальная вещь, которую использую довольно редко (и потому приходится гуглить каждый раз) – прокси чеез SSH. Особенно помогает при необходимости скачать что-то с разных файлопомоек типа депозита, которые считают закачки по IP всей сети и регулярно предлагают подождать 7 часов.
ssh user@host -D portN
Затем в программе, которую надо пропустить через прокси (напр. браузер) указать SOCKS-прокси с адресом localhost и портом portN.

Сохранение ключей SSH в памяти

Еще SSH: ssh-agent – хранит ключи (не требуется каждый раз вводить код от ключа), добавить ключ в агент: ssh-add /путь/до_ключа. Чтобы все процессы, запущенные из-под иксов, использовали ключи из ssh-agent, нужно запустить сессию WM через него ssh-agent, например (для Debian): в ~/.xinitrc дописать exec ssh-agent openbox-session.

Создание образа CD-диска

Задача для меня тоже не слишком частая, поэтому с ходу решения не вспоминаются. Первое решение – банальное – использовать dd, указав на выход нужный файл, а на вход свой cd-rom, с которого образ снимается: dd -if=/dev/sr0 of=/tmp/my.iso, CD должен быть отмонтирован; скопирует всё поблочно (т.е. если на диске реально записан 1 Мб данных, образ будет равен объёму всего диска).
Второе – использовать genisoimage, в Debian идёт из коробки, не факт, что так же везде. Создаёт “правильный” образ, диск должен быть примонтирован, на вход подавать точку монтирования диска: genisoimage -V 'disk label' -r -o /tmp/my.iso /mnt/cdrom

Прогресс работы dd

В дополнение к предыдущему или к форматированию флешки под Linux. При использовании dd на больших объемах (напр. когда флешку 16 Гб форматируешь) бывает полезно. Нужно передать сигнал USR1: kill -USR1 dd_PID – выведет прогресс записи и ее скорость. Если процесс dd один или не важно узнать прогресс конкретного, можно поступить проще: killall -USR1 dd.

Еще на похожие темы:

• Цветовая индикация хода загрузки Linux
• Файл настройки vim – .vimrc (для Linux и Windows)
• Подключение через VPN в Debian/Ubuntu Linux

А ведь что мешало автору проcтейшим образом сгенерировать тестовый календарь и прогнать на нём модуль? Ладно бы – “для себя” делал, так модуль на CPAN лежит, в литературе упомянут – и такие детские баги. Причём сообщение об ошибке на форуме CPAN было еще для версии 1.13, к версии 1.20 ничего не изменилось – так же перебирает с первого элемента…

Еще на похожие темы:

• Сравнение производительности сетевых библиотек в Perl
• Софт
• Синхронизация текстовых файлов – простой скрипт на Perl

Проверить подключение flash

fdisk -l
Выведет список подключенных дисков и их разделов. Обычно флешка – /dev/sdb

Проверить, примонтирована ли флешка

df -h
Если флешка примонтирована – покажет это и точку монтирования. Перед форматированием – отмонтировать: umount /dev/sdb

Проверить защиту от записи и геометрию

При желании – можно проверить защиту от записи и геометрию (защита от записи в линуксе не важна):
hdparm /dev/sdb

Если нужно низкоуровневое форматирование – забить нулями

dd if=/dev/zero of=/dev/sdb
В выводе покажет объем флешки (должен соответствовать заявленному), скорость и время записи. Также покажет, сколько было записано байт на флешку, что полезно при проверке флешки на физические ошибки (см. ниже).

Проверить на физические ошибки

head -c N /dev/sdb | md5sum
head -c N /dev/zero | md5sum
где N равно числу байт, записанных на флешку при помощи dd. Если контрольные суммы не совпадают – флешка “битая” или были ошибки записи (в реальности сталкивался с форматированием microSD через плохой кард-ридер – даже когда не выскакивали ошибки ввода-вывода при операциях – контрольные суммы не совпадали, с заменой кард-ридера проблема ушла).
Пример:

Ну и для полного счастья при желании:

Разбиваем на разделы при помощи fdisk

fdisk /dev/sdb
Опции: m – справка, d – удалить раздел, p – просмотреть список разделов, n – создать раздел, t – поменять тип раздела, w – сохранить изменения.

Последний шаг – создать файловые системы на разделах флешки

mkfs.ext{2,3,4} /dev/sdbX
где X – порядковый номер раздела, на котором нужно создать файловую систему.
Также полезны: mkfs.msdos, mkfs.vfat.

Еще на похожие темы:

• Изменить имя сетевого интерфейса в Debian/Ubuntu Linux
• RC Link Redirector и ссылки в текстовом виджете
• Cygwin – бесплатная реализация unix-подобного окружения для Windows

Про сервис рекламы (и набора фолловеров) в твиттере, ЖЖ и фейсбуке – twite.ru – знают, полагаю, уже многие. Немало встречается заметок о том, как заработать в твайте (заработок в твайте сравни заработку в GoGetLinks, только вместо ссылок – перепосты и ретвиты). Проблема только в одном – там присутствует постмодерация и в момент вывода средств “наружу” администрация проверит ваш блоггерский аккаунт. Значит, придётся или раскручивать аккаунт под рекламу, или портить рекламой свой личный блог. Ни того, ни другого мне делать не захотелось.

Существует еще одна возможность распорядиться своими средствами на twite.ru – их можно перекинуть на свой “аккаунт рекламодателя”, при этом не нужно проходить проверку модераторами, средства остаются в системе. Вывод простой – можно зарабатывать средства на рекламу своего сайта при помощи ботов. И если твиттер-аккаунт для добавления в систему в качестве рекламной площадки нужно минимально раскрутить, то ЖЖ добавляется элементарно и без всяких проверок (хотя для раскрученного ЖЖ-аккаунта естественно выдаются более привлекательные рекламные предложения).

Итак, способ получения халявной рекламы через twite.ru прост:

• регистрируем новый аккаунт в ЖЖ, при желании – набираем для него друзей;
• регистрируемся на twite.ru (просто введя имя своего ЖЖ-аккаунта и подтвердив авторизацию по OpenID);
• устанавливаем плагин iMacros (есть версии под Firefox, Chrome, InternetExplorer, по заверениям авторов плагина, макросы полностью переносимы между поддерживаемыми браузерами);
• создаём новый макрос, открываем его на редактирование и копируем туда текст приведенного ниже макроса для автоматического репоста записей из twite.ru в ЖЖ (кстати создание его заняло всего 20 минут и пока он делает своё дело – можно подумать на тему скриптового бота для твайта);
• в макрос нужно вписать имя и пароль от своего рекламного ЖЖ-аккаунта (вместо lj_username и lj_password соответственно), после логина в твайте из ЖЖ лучше выйти – всё равно через некоторое время выполнится автовыход, а так макрос каждый раз публикует репост без проблем с логином;
• находясь на странице с рекламными предложениями twite.ru (советую открыть новое окно браузера и оставить в нём только одну вкладку) – делаем тестовый запуск макроса, настраиваем по вкусу величину пауз между действиями, проверяем работоспособность;
• если всё в порядке – запускаем цикличное выполнение макроса нужное число раз.

Ничего сложного, под Firefox у меня работает без проблем и в Linux, и в Windows, если покопаться в справке на сайте iMacros – можно найти ключи для запуска из командной строки (или через планировщик заданий Windows). За выходные на нулевом бросовом ЖЖ-аккаунте макрос у меня набивает до 50 рублей, на которые можно сделать несколько неплохих ретвитов нужных материалов.

А вот и сам текст макроса для автоматического заработка на twite.ru:

UPD

И скрипт для автоматического ретвита на twite.ru:

Еще на похожие темы:

• Сравнение производительности сетевых библиотек в Perl
• Софт
• Создание сайта как первый шаг к заработку в интернете

Cлегка подустав от ставших довольно заметными тормозов Gnome с Metacity и Nautilus в компании (ноут у меня довольно старый по современным меркам – IBM ThinkPad T40 с Pentium M 1,5 ГГц и 1 Гб ОЗУ на борту), решил попробовать Openbox. Создал тестового пользователя, прописал ему Openbox в качестве WM, немного настроил, попользовался час и перевёл основную учётку на него.

Разница в скорости отклика по субъективным ощущениям (что впрочем и важно в данном случае) оказалась просто колоссальной – эмулятор терминала (rxvt) открывается в пределах секунды, против 7-10 сек. в гноме. Окна сворачиваются-разворачиваются также в пределах секунды, в гноме Firefox с десятком открытых вкладок мог разворачиваться из панели 3-5 секунд, при этом постоянно треща HDD, который у меня тоже не казённый. В Openbox же индикатор обращения к жесткому диску срабатывает довольно редко (вообще стало казаться, что гном с его “реестром” всё ближе к windows – уже и тормоза накапливать за время эксплуатации научился).

Даже Google Chrome по ощущениям из-под Openbox заработал быстрее (и стал быстрее Firefox, чего не было под Gnome), хотя может это уже самообман на волне общей эйфории от легковесности и скорости WM.

В общем в процессе настройки Openbox встал вопрос о переключателе раскладок клавиатуры. Можно было использовать гномовский, но хотелось нативного решения. По итогам изучения интернетов в качестве такового был признан sbxkb – простая маленькая переключалка-индикатор, умеющая запоминать раскладки для окон и поддерживающая отображение флагов-значков для раскладок. Основан sbxkb на библиотеке GTK2 и только она нужна ему для работы.

Минусом переключалки оказалось ее отсутствие в репозиториях дебиана, а на пару найденных deb-пакетов вели мёртвые ссылки (кроме того, по обеим sbxkb был младше текущей версии 0.7.6). В общем-то собирается из исходников он не долго и не сложно, но всё равно надо ставить кучку различных *-dev библиотек и утилит. Поэтому я собрал .deb-пакет с последней на данный момент версией: sbxkb_0.7.6-1_i386.deb. Проверил на 3 системах (Debian, Ubuntu) – везде установка прошла без проблем (dpkg -i ./sbxkb_0.7.6-1_i386.deb).

После установки для автоматической загрузки достаточно в ~/.config/openbox/autostart.sh добавить строку sleep 3 && /usr/local/bin/sbxkb &.
Чтобы задать горячие клавиши для переключения раскладок, можно использовать след. команду:
setxkbmap -model pc104 -layout us,ru -variant  ,winkeys -option grp:alt_shift_toggle & sbxkb
Опции вполне прозрачны, а более никаких шагов для настройки sbxkb предпринимать не нужно!

Еще на похожие темы:

• Цветовая индикация хода загрузки Linux
• Файл настройки vim – .vimrc (для Linux и Windows)
• Подключение через VPN в Debian/Ubuntu Linux

В общем всё делается предельно примитивно, в старом добром шелле, без разных модных многопоточных грабберов из облака (для брутфорса кстати облако наверное очень интересным может быть):

Как видно из примера – я сграбил для проверки первые 10 страниц открытых ответов получив в итоге 197 уникальных адресов. В принципе для скорости и удобства можно каждую категорию в отдельном процессе выкачивать, с сортировкой результатов уже после загрузки, непосредственно из файла.

Напоследок ссылка для тюнинга регулярки под grep по поиску email-адресов.

UDP: Под катом для примера выложил простой скрипт на bash, который парсит некоторые страницы раздела “Компьютеры и интернет” с Ответы@Mail.ru и раскладывает полученные e-mail адреса по категориям. Его несложно дополнить всё теми же штатными средствами оболочки чтобы автоматически обходить дерево разделов и парсить e-mail адреса из всех категорий.

P.S.:

  .-´¯¯¯`-.
,´         `.
|            \
|             \
\           _  \
,\  _    ,´¯,/¯)\
( q \ \,´ ,´ ,´¯)
 `._,)     -´,-´)
   \/         ,´/
    )        / /
   /       ,´-´

Еще на похожие темы:

• Анонимайзер как замена прокси. Проверка анонимайзеров на валидность
• Что такое социальная сеть?
• Хороший аккаунт Вконтакте начинается с интересной аватарки!

Яндекс порадовал недовно (а именно – 13 сентября с.г.) запустив сервис поиска по мобильным приложениям (для андройд маркета и аппсторе под айфон – Как найти «ну-вот-это-как-его-там» мобильное приложение?). Попользовался – остался доволен, действительно удобно.

На маркете тематического поиска как такового нет – можно только ходить по категориям, листая всё подряд. Поэтому чтобы найти какую-то тематическую софтину я шел на форумы 4pda и искал там, затем вбивал название или баркод в телефон и только тогда получал искомое.

Сервис поиска использует HTML5 и поэтому заработает не во всех браузерах (в Opera Mini например работать отказался, только в штатном браузере андройда). Модель телефона определяет автоматически, что удобно. Для выбранного приложения будут показаны описание, отзывы и скриншоты с маркета. После выбора установки перебрасывает на маркет и весь процесс идёт как обычно, затем следует возврат к окну поиска.

Не имея айфона – не могу сказать, насколько оправдан такой поиск для него. Под андройд сейчас он оказался для меня достаточно удобен, но вот сколь долго подобный функционал не будет реализован средствами маркета – вопрос.

Еще на похожие темы:

• Регистрация в Google plus: инвайт не нужен!
• BOLT – браузер для Android
• Что такое социальная сеть?

Не так давно рассказывал про свою переделку автомобильного компрессора Беркут R17 (приделывал к нему “дистанционное управление”, которое создатели по какой-то причине проигнорировали, хотя конструкция компрессора прямо-таки кричит о его необходимости – Дистанционное управление для автомобильного компрессора Беркут). А вот в процессе дальнейшего монтажа компрессора непосредственно на автомобиль – столкнулся с мелкой, но весьма неприятной проблемой.

Помешало закончить начатое банальное отсутствие в продаже нужных силовых разъёмов – на две жилы, сечением до 2.5 квадратов каждая. К тому, что различный инструмент и снаряжение нужно покупать напрямую из-за границы, я уже давно привык – выходит намного дешевле и без мучений с обзвоном бесконечных “интернет-магазинов”, где нужная вещь присутствует в прайсе и отсутствует по факту. Но с электроникой до сей поры всё было довольно неплохо – хоть и дороже, чем у тех же китайцев напрямую, но если что-то срочно надо – можно пойти и купить. Как оказалось – далеко не всё. Такой банальной вещи, как разъемы, найти не удалось.

Во время бесплодных поисков посетил два авторынка, несколько магазинов автозапчастей и магазинов электроники. Нашел в интернете сайты фирм, якобы торгующих нужными разъемами – по электронной почте ответить не соизволили – звонить уже не хотелось. В итоге нужные разъемы были за 20 минут обнаружены за границей и ещё за 5 минут заказаны. Если бы я не пытался поддержать отечественного “производителя”-импотента, а сразу бы обратился к тем, кого мы давно “догнали и перегнали, оставив далеко позади” – давно бы получил нужное и закончил апгрейд машины. Морали не будет, всё вполне очевидно…

Еще на похожие темы:

• Создание инфракрасной камеры ночного видения из веб-камеры
• Походный источник питания на солнечных батареях своими руками.
• Повышаем бытовой комфорт – кофеварка

Способ ремонта довольно тривиальный – вырезать повреждённый участок и срастить шланг через штуцер. Однако поиски по интернету показали, что штуцеры под такие газовые шланги хоть и есть (теоретически) в продаже, но стоят довольно дорого (а сами шланги и того дороже) и ждать их доставки тоже придётся довольно долго. Прогулки по автозапчастям тоже результата не принесли – слишком мал внутренний диаметр газопроводного шланга горелки. Собственно решению проблемы с отсутствием подходящих запчастей и посвящена заметка, поскольку в интернете на эту тему ничего толкового накопать не удалось.

Итак, для ремонта шланга горелки Kovea 0211L идеально подошёл кусочек использованного стержня от шариковой ручки! Входит в шланг внатяг и обеспечивает достаточную герметичность соединения сам по себе даже. Я посадил его на силиконовый клей-герметик, при этом при сближении концов шланга лишний герметик заполнил шов стыка. В результате – работоспособность горелки восстановлена, шланг гибкость не утратил (штуцер не слишком длинный, а герметик эластичен даже после вулканизации), стык нигде не травит. И самое приятное – ремонт занимает 10 минут и практически ничего не стоит (если герметик есть в хозяйстве).

Еще на похожие темы:

• Путешествие по Украине
• Подмосковье для путешественника
• Маленький секрет хорошего снимка

• no threads – обзор многопоточности (реализованной через модуль threads) в Perl с замерами скорости выполнения однопоточного и многопоточного приложения. Выводы – многопоточность через threads – не выход, время исполнения больше. Приводятся модули и краткие рецепты для реализации многопоточных элементов приложения, специфичные для каждого из возможных случаев распараллеливания вычислений – повышение производительности Perl-приложения при работе с сетью; при выполнении большого количества дисковых операций; при ограниченных вычислительных ресурсах (один процессор).
• Что нового в Perl 5.14 – обзор новинок Perl версий 5.12 и 5.14 – самое заметное сжато и в примерах. Неплохая памятка, позволит не отстать от жизни Самое заметное на мой взгляд – поддержка Unicode 6.0 и добавление в связи с этим новых модификаторов работы с регулярными выражениями. Ознакомиться и использовать по крайней мере “для себя” – полезно.

Еще на похожие темы:

• Сравнение производительности сетевых библиотек в Perl
• Софт
• Синхронизация текстовых файлов – простой скрипт на Perl

Не стану утверждать, будто бы это эксклюзивная находка – уверен, что далеко не я один додумался до этого. Впрочем, если зациклиться на вторичности, то лучше вовсе ничего не делать, ведь как известно – “всё уже придумано до нас” .

В самом способе нет никакой тайны – при необходимости ускорить индексацию какой-то страницы я делаю анонс в яндекс-блоге (от пары коротеньких абзацев текста до полноценной заметки) со ссылкой на эту страницу. Поскольку блог-движки постоянно посещаются и быстро индексируются быстророботом Яндекса, а тут ещё и платформа принадлежит самому же Яндексу – так же быстро индексируются ссылки из анонсов в блоге. Всё весьма несложно, времени требует не много (во время перерыва на чай анонс накидать вполне можно успеть) и весьма эффективно – проиндексированные быстророботом ссылки попадают в основной индекс спустя двое суток.

В заключение – некоторые наблюдения: запись в Яндекс-блоге индексируется от тридцати минут до полутора часов, после чего страница по ссылке индексируется в промежуток от двух до двенадцати часов (если ссылок в анонсе несколько – они могут проиндексироваться партиями, например две могут – за 2 часа, а еще две – за 8). Обратил внимание, что на скорость индексации может повлиять дата публикации страницы (в WordPress можно сделать “отложенную публикацию” как вперёд, так и назад по времени) – “старые” записи индексируются медленней.

Кстати, проиндексированные быстророботом ссылки не оплачиваются в GoGetLinks до их индексации основным роботом Яндекса и отмечены соответствующим статусом, однако они участвуют в расчете процента проиндексированных ссылок для площадки.

Еще на похожие темы:

• Продвижение социальными закладками
• Быстрая индексация сайта в поисковиках
• Регистрация сайта в каталогах – автоматический прогон

Еще на похожие темы:

• Как я хотел менять ноутбук
• Создание инфракрасной камеры ночного видения из веб-камеры
• Продвижение социальными закладками

Время от времени использую в качестве прокси сеть TOR, недавно вот пригодилось при проверке готовности загранпаспорта через интернет, когда постоянно получал ошибку о превышении числа запросов к серверу – пришлось сделать макрос на lynx, который через TOR периодически проверял готовность загранпаспорта (Автоматическая проверка готовности загранпаспорта). Удобство TOR не только в том, что это рабочий бесплатный прокси (с шифрованием трафика кстати) – TOR это сеть и прокси-серверы, а значит и IP-адреса, можно легко менять при необходимости, даже автоматически.

Под Windows сменить прокси и IP-адрес совершенно несложно – в составе дистрибутива TOR для Windows присутствует графическая оболочка Vidalia и для получения нового IP-адреса достаточно нажать в ней кнопку “Новый Ним / Новая личина / New NYM“. Под Linux всё не так очевидно, хотя тоже несложно, как выяснилось – сделать автоматическую смену IP в TOR можно при помощи простого скрипта.

Когда мне в очередной раз надо было поменять “ним” в TOR из-под Linux, я решил попробовать разобраться в вопросе, поскольку привычное /etc/init.d/tor restart перестало устраивать: во-первых нужно постоянно использовать root-доступ, во-вторых на время перезагрузки сервиса TOR он становится недоступен, а в-третьих – это просто как-то неправильно – перезагружать весь сервис ради получения новго IP-адреса.
Полез в документацию к TOR и выяснил, что демон может открывать управляющий порт, на который возможно подключение при помощи telnet с последующей отправкой команд демону TOR.

Смена НИМа / IP в TOR при помощи telnet

Чтобы передавать команды демону TOR (и в частности – команду на смену “нима”/IP-адреса), нужно раскомментировать в /etc/tor/torrc следующие строки:

После чего перезагружаем TOR, подключаемся к нему: telnet 127.0.0.1 9051, вводим команду AUTHENTICATE и затем signal NEWNYM. В Windwos действия по смене IP аналогичные (при создании скрипта для автоматической смены IP в TOR нужно помнить, что перевод строки для Windows будет выглядеть как \r\n).
Несложно заметить, что способ не самый безопасный – подключиться может любой локальный пользователь. Конечно на домашней машине это не так страшно, но лучше сразу сделать правильно, без скидок на “тепличные условия”. Я выбрал вариант подключения к TOR с авторизацией по паролю (telnet-трафик впрочем никак не шифруется, так что под Windows вряд ли это вообще имеет смысл – практически всегда у пользователя там есть административные права, а значит и возможность использовать сниффер).

Для авторизации по паролю там же в torrc нужно сделать вот такие изменения:

Хэш-сумма пароля получается следующим образом: необходимо выполнить команду tor --hash-password 'new_tor_password' – в ответ получим сгенерированный хэш-код пароля

Теперь процесс подключения на управляющий порт TOR через telnet и получения нового “нима”/IP-адреса будет выглядеть следующим образом:

Shell скрипт для автоматической смены IP в TOR

Конечно, постоянно руками лазать и менять “ним” – не очень интересно. Упростить и автоматизировать этот процесс можно при помощи скрипта, выполнение которого в дальнейшем повесить например на alias для bash или кнопку-ярлык в Gnome. Скрипт использует утилиту для автоматизации интерактивных приложений expect (я воспользовался empty-expect чтобы не ставить еще и tcl вдобавок):

Perl скрипты для автоматической смены IP в TOR

Такой же скрипт можно реализовать на Perl с использованием модуля Expect (поскольку лично у меня ни этот модуль, ни утилита empty в системе установлены не были – особой разницы, что поставить, нет):

Аналогичным образом можно воспользоваться например модулем Net::Telnet, который опять же не является core-модулем Perl, – он не тянет за собой никаких зависимостей, в отличает от Expect:

Еще на похожие темы:

• Цветовая индикация хода загрузки Linux
• Файл настройки vim – .vimrc (для Linux и Windows)
• Подключение через VPN в Debian/Ubuntu Linux

Попользовался и сделал себе для bash алиас в bashrc rsync="rsync -P", теперь всё время его использую для загрузки на хостинг. Авторизацию по ключам тоже настроил, так что можно делать бэкапы.
Основной синтаксис вызова: rsync логин@хост:/откуда/что логин@хост:/куда/что. В случае локальной машины логин и хост указывать естественно не нужно, достаточно только пути.
Основные опции, которыми пользуюсь: -P – выводит прогресс-бар, -r – рекурсивная загрузка.

Если кто ещё тоже до сих пор не знаком с rsync и пользуется scp/sftp – самое время попробовать!

Еще на похожие темы:

• Обновил Ubuntu до 9.10
• Цветовая индикация хода загрузки Linux
• Хочешь сделать хорошо – сделай сам

Что такое Mojolicious. Введение

Благодаря заметке на Хабре (в кэшэ Google) наконец-то решил познакомиться с набирающим популярность фреймворком для веб-разработки на Perl под названием Mojolicious. В общем-то я взял пример скрипта из этой заметки и сделал его чуть более интересным для себя, чтобы охватить немного больше документации по фреймворку (результат вполне работоспособен, его можно посмотреть здесь, а код и скриншот выложены в конце заметки). Сразу отмечу, что ни пример с Хабра, ни мой практически не отражают возможностей фреймворка, а только лишь иллюстрируют простоту его использования.

Итак, Mojolicious – фреймворк для разработки веб-приложений, основанный на “фреймворке для разработки фреймворков” Mojo, написанный на языке Perl человеком по имени Sebastian Riedel, одним из авторов Perl-веб-фреймворка Catalyst, фактически для его замены.

Чем мне показался особенно интересен Mojolicious? Во-первых тем, что он имеет встроенный веб-сервер, что в перспективе позволяет не только удобно разрабатывать и проверять приложение, но и распространять его для локального использования. При этом приложение получается универсальным и будет одинаково работоспособным как на локальной машине, так и на сервере. Во-вторых – Mojolicious зависит только от Perl, что также говорит в пользу “во-первых”. В-третьих – наличием модуля Mojolicious::Lite, позволяющего создать лёгкие, маленькие, но полноценные приложения. И в-четвёртых – автоматической поддержкой разных режимов запуска (CGI, FastCGI, mod_perl, встроенный сервер и т.д.).

Установка фреймворка Mojolicious

Установить фреймворк можно используя cpan или его производные типа cpan+ (cpan Mojolicious), загрузив дистрибутив и установив как любой Perl-модуль при помщи make или же воспользоваться системой управления пакетами своей ОС. Я пробовал первый и третий способы, устанавливал Mojolicious под Debian и под Windows XP и нигде проблем не возникло, так что об установке сказать особо нечего. Она проста и не нуждается в пояснениях.

После установки Mojolicious в системе становится доступной команда mojo, при помощи которой можно создавать, изменять и запускать приложения. Аналогичные действия можно выполнять, вызывая обычным образом любой perl-скрипт, в котором подключен Mojolicious (use Mojolicious;).

Документация по Mojolicious

Документация к фреймворку начинает появляться, основная масса естественно доступна на домашнем сайте в разделах Documentacion и Wiki. Лучше всего пользоваться именно ей, поскольку не смотря на то, что версия фреймворка является стабильной (1.16 на момент написания заметки), интерфейс всё же иногда меняется и русскоязычная документация за ним не поспевает.

Самый лучший источник документации на русском (представляет собой перевод официальной документации), который мне встретился, расположен тут. Остальные по-моему просто переписаны с него. Также на русском можно отыскать различные примеры использования Mojolicious, особенно в блогах. Некоторые из них иллюстрируют работу с устаревшими версиями фреймворка – соответственно и методы работы в них приводятся неверные.

Создание приложения

Создать новое приложение с использованием Mojolicious можно двумя путями – обычным образом создать файл скрипта и вписать в него нужный код или же воспользоваться встроенным генератором приложений фреймворка. Второй путь удобней

Новое приложение Mojolicious

Новое приложение Mojolicious создаётся командой mojo generate app AppName. Такой способ пригоден для создания больших проектов с возможностью простого масштабирования. При этом будет создан каталог, носящий имя app_name со следующей структурой (на примере приложения TestApp):

lib – здесь будут расположены библиотеки приложения;
log – логи (если каталог отстутствует – выводятся на экран);
public – статика (статические страницы, java-скрипты и т.п.);
script – само приложение;
t – тесты для приложения;
templates – содержит шаблоны страниц и шаблоны макетов (в layouts – это шаблоны, применяемые на большинстве страниц – например “шапка”, “подвал”, “сайдбар”).

Новое приложение Mojolicious::Lite

Приложение Mojolicious::Lite создаётся похожей командой: mojo generate lite_app AppName.
Основное различие между ними – в данном случае создаётся только один исполняемый файл, шаблоны будут содержаться непосредственно в нём, в разделе __DATA__, структура каталогов создаваться не будет. Такой вариант подходит для небольших, буквально “одностраничных” приложений. В дальнейшем, если возникнет необходимость разделить шаблоны и логику обработки данных – достаточно вызвать приложение с параметром inflate – шаблоны будут вынесены в отдельные файлы в директории templates.

Встроенный шаблонизатор EmbeddedPerl

Mojolicious предоставляет обработчик шаблонов – Embedded Perl (отсюда и расширение .ep у файлов шаблонов). Для встраивания Perl-кода в html используется четыре вида специальных тегов (в примере приложения я некоторые из них продемонстрировал):

• <% %> или % – строка Perl без вычисления результата;
• <%= %> или %= – выражение Perl, вычисленный результат возвращается в экранированном виде;
• <%== %> или %== – выражение Perl, вычисленный результат возвращается без обработки (не экранирован);
• <%# %> или %# – комментарий, строка пропускается;

Mojolicious автоматически экаранирует символы <, >, &, ‘ и “, добавляет ; в конце строки и выставляет границы начала и конца строки в регулярных выражениях внутри своих методов (например – при создании маршрутов).
Кроме использования встроенного шаблонизатора, можно подключить любой желаемый сторонний шаблонизатор используя метод add_handler.

Запуск приложения

Фреймворк Mojolicious имеет встроенный http(s) сервер, с помощью которого можно как проверять работоспособность приложения, так и эксплуатировать его. Для запуска сервера используется следующая команда: perl myapp.pl daemon.

Во время разработки очень полезно будет запускать сервер с ключём --reload – с его использованием приложение будет перезагружаться “на лету” после каждого изменения, таким образом вручную перезапускать скрипт не нужно, достаточно запустить с этим ключом в фоне один раз. В процессе эксплуатации приложения можно добиться подобного “горячего обновления” приложения, запустив несколько копий веб-сервера с указанием одного и того же сокета и PID-файла блокировки, т.е. реализуется схема: работающий сервер –> обновление приложения –> параллельный запуск сервера с обновлённым приложением –> мягкое выключение “старого” сервера (активные подключения не будут разорваны).

Кроме того, встроенный сервер из коробки поддерживается TLS с включенным сертификатом разработчика, так что можно запустить https-сервер, использовав ключ --listen. Тогда полная команда для запуска сервера может выглядеть так:
perl myapp.pl daemon --reload --listen https://localhost:PORT

Если веб-сервер планируется применять не только для разработки/локального использования – можно увеличить его производительность, запустив с опцией daemon prefork – на каждое соединение будет создаваться свой процесс-обработчик (как в Apache), ключ --clients N позволяет изменить это число, задав максимальное количество клиентских подключений к одному обработчику.

Пример простого приложения на Mojolicious::Lite

Результат работы скрипта-примера

Еще на похожие темы:

• Генерация CAPTCHA на perl при помощи Authen::Captcha
• Анонимайзер как замена прокси. Проверка анонимайзеров на валидность
• Perl [Practical Extraction and Report Language]

С некоторых пор стал пользоваться эмулятором терминала urxvt (unicode-версия rxvt) вместо gnome-terminal. Причина простая – на старом ноуте разница в скорости заметна и эта разница – в пользу urxvt (особенно если запускать его при старте GUI в режиме демона).

В остальном отличий в общем-то нет, urxvt тоже поддерживает именованные вкладки (табы), обработку гиперссылок, копирование и вставку мышью. Кроме того, он имеет поиск по выводимым в терминал данным (по Alt+S – очень удобно) и поддерживает цветной вывод man-страниц. Также urxvt существует и для cygwin.

На этом вводную часть закончу и ниже просто на память, чтобы не перечитывать ман при необходимости настроить терминал, выложу конфиг для urxvt, выполненный в виде отдельного файла, подключаемого из .Xdefaults.

Содержимое .Xdefaults для подключения настроек rxvt

.rxvtrc с комментариями – конфиг для rxvt

Горячие клавиши rxvt

После применения всех указанных выше настроек, rxvt будет реагировать на следующие сочетания клавишей:

• Shift+Down (стрелка вниз) – создать новую вкладку (таб);
• Shift+Up (стрелка вверх) – задать имя вкладке (Esc – отмена);
• Shift+Left/Right (стрелки влево/вправо) – переключение между вкладками (можно мышью кликать на нужную вкладку);
• Ctrl+Left/Right – перемещение текущей вкладки влево/вправо;
• Ctrl+D – закроет вкладку (если командная строка пустая – защита от случайного нажатия);

Еще на похожие темы:

• BASH [born again shell] – оболочка командной строки
• Файл настройки vim – .vimrc (для Linux и Windows)
• Настройка GRUB2

Чтобы плагин научился закрывать ссылки в виджетах, надо добавить в него две строки (можно через Плагины->Редактор, если нет специального редактора для PHP).

Первую – внутрь функции rcr_adminpage, например после 187 строки “&nbsp;"Оборачивать" ссылки в <strong>блогролле</strong></label></td></tr>” добавить строку:

Вторую – внутри rcr_redirector_hook, например после строки 241 “if($rcr_opt['rcr_comment']) add_filter('comment_text', 'rcr_encode');” вставить строку:

Теперь осталось в админке плагина поставить галку на опции “Оборачивать” ссылки в виджетах и наслаждаться результатом
P.S. Кому лень редактировать файл плагина – можно скачать обновлённый и просто заменить старый в папке /wp-content/plugins/rc_redirector

Еще на похожие темы:

• Уникализатор контента WordPress Unikalizator
• Создание статей для сателлита – Article Clone Easy
• Пишем плагин для WordPress. Функциональная составляющая (часть 5)

Для начала проверил на локальной машине (первый тест), затем на сервере (второй тест). Воспользовался модулем Benchmark::Timer, по сути он ставит метки начала и конца, после чего вычисляет разницу между ними (то же самое несложно получить с использованием Time::HiRes). У Benchmark::Timer правда есть дополнительная возможность – он может гонять тест до получения результата с заданной обеспеченностью и заданным процентом ошибки.

Третьим тестом, уже из чистого любопытства (поскольку результат был предсказуем) был тест многопоточной загрузки. Естественно этот вариант оказался быстрее любого из однопоточных, в среднем в два раза (при 15 потоках).

Выводы – библиотеки Perl не только выгодней с точки зрения безопасности, но и работают стабильно быстрее вызовов системных утилит. Самую медленную загрузку показал Wget, основывать парсер на нём – явно плохая идея. Многопточность естественно вне конкуренции. Подробности ниже.

Объекты и условия тестирования

• Модули Perl:
  • LWP::UserAgent 6.02
  • LWP::Curl 0.07-1
  • WWW::Curl::Easy 4.15
  • LWP::Parallel::UserAgent 2.57 (15 потоков)
• Внешние загрузчики:
  • Wget 1.12
  • Curl 7.21.3

На локальной машине каждым способом загружалось по 200 страниц, с сервера – 100. Тесты выполнял по 5 раз, результаты усреднил (меня интересовали отношения результатов между собой, а не абсолютные значения). Ссылки передавались скрипту из файла, содержащего запрос тИЦ для 400 различных адресов, например:
http://bar-navig.yandex.ru/u?ver=2&show=32&url=http://nadonenado.livejournal.com

Результаты тестирования скорости загрузки страниц в Perl

Код тестов для проверки скорости выгрузки страниц на Perl

Загрузка страниц из Perl в один поток (LWP, CURL, Wget)

[[навестить блог, чтобы проверить этот интерцептор]]

Многопоточная загрузка страниц из Perl (15 потоков)

[[навестить блог, чтобы проверить этот интерцептор]]

Еще на похожие темы:

• Анонимайзер как замена прокси. Проверка анонимайзеров на валидность
• Софт
• Синхронизация текстовых файлов – простой скрипт на Perl

Итак, как же вставить в WordPress PHP? Как и в большинстве других случаев, когда надо модифицировать движок – просто воспользоваться подходящим плагином.
Плагинов находится множество, я попробовал 4 штуки и остановился на Exec-PHP.
Он умеет всё, что мне было надо:

• Вставлять исполняемый PHP код в посты (и соответственно – в страницы)
• Втавлять код в виджеты

Прейдём к настройке плаина.

Настройка может оказаться не совсем очевидной – с административной страницы плагина всё сделать не получится. Чтобы исполнение PHP-кода в WordPress заработало, нужно убедиться в следующем:

• Что пункт "WordPress должен исправлять некорректный XHTML код автоматически" в меню Настройки->Написание неактивен
• Что выключен “графический” редактор в меню Пользователи->Ваш профиль (стоит галка на "Отключить «визуальное редактирование» при написании")
• Что нужной группе пользователей (в WordPress это называется “ролью”) разрешено исполнение PHP-кода (для роли “Administrator” должно быть разрешено по умолчанию)

При выполнении вышеперечисленных условий втавленный в записи, страницы и виджеты код должен успешно исполняться. Например мой скрипт для массового добавления друзей в ЖЖ, будучи вставленным в страницу WordPress, успешно работает!

Считаю не лишним напомнить про опасность исполнения неочищенного кода. Не знаю, поддерживает ли PHP какую-то аналогичую perl -T опцию, поэтому нужно просто помнить про очистку пользовательского ввода (использование недопустимых символов, размеры аргументов опций и т.п.), экранирование всех передаваемых в shell команд и их аргументов и так далее.

В остальном польза от встроенного в WordPress PHP кода очевидна – это полная свобода действий с содержимым блога, помноженная на простоту выполнения этих действий!

Еще на похожие темы:

• Библиотека для WordPress. Как сделать своё файлохранилище
• Плагин добавления подписи под сообщениями WordPress – WordPress RSS Signaturer
• Пишем плагин для WordPress. Функциональная составляющая (часть 5)

Стандартная консоль Windows XP (та, что вызывается командой cmd) – весьма бедна возможностями. Основное, от чего я страдал, пользуясь ей или консолью из состава cygwin – отсутствие вкладок (табов), без которых приходится открывать несколько окон, занимающих место на рабочем столе. После gnome-terminal дома или screen на хостинге – очень неудобно. Впрочем, такие “мелочи”, как невозможность изменить ширину окна растягиванием (надо лезть в настройки окна) тоже не добавляют удовольствия от работы с консолью.

И вот случайно наткнулся в интернете на замечательный проект с незамысловатым названием Console (домашняя страница) – альтернативную консоль для Windows. Она мне понравилась, так что решил поделиться с читателями.
Перечислю основные достоинства:

• лаконичный интерфейс
• сохраняются настройки геометрии окна после выхода из программы
• поддержка табов
• для каждого таба можно настроить внешний вид, иконку и главное – задать оболочку (shell), с которой будет открываться данная вкладка (например – тот же bash из состава cygwin)
• для таба/консоли задаётся каталог запуска по умолчанию
• удобный скроллинг

В общем Console не требует долгого и подробного описания – это приятная глазу альтернативная консоль для Windows с поддержкой табов (вкладок) и оболочек. Рекомендую просто попробовать!

Еще на похожие темы:

• Адаптация Cygwin shred для Windows
• Cygwin – бесплатная реализация unix-подобного окружения для Windows
• Настройка Rxvt через Xdefaults

• Установить ресивер (аккумулятор давления) с реле давления, компрессор будет по необходимости давление нагнетать. Плюсы установки ресивера – можно подключать пневмноинструмент, легко забортировать колесо, есть возможность смонтировать пневматический ревун, пневмоблокировки, при большом объеме ресивера – быстро накачивать объемных потребителей типа надувной лодки. Минусы – необходимость тянуть пневмосистему, ресивер объемом менее 10 л полезен только для пневмоблокировок, а под большой объем ресивера нужно место, которого у меня не так много.
• Врезать в шланг возле манометра трехходовй кран, который после переключения будет выпускать воздух в окружающую среду. Плюсы – дёшево и сердито. Минусы – компрессор работает вхолостую, расходует ток, греется и изнашивается.
• Смонтировать на компрессор дистанционное управление, чтобы не бегать к нему каждый раз, как будет нужно его включить или выключить. Плюсы – простота исполнения, минимум материальных затрат, не нужно искать дополнительное место, поставленные задачи решаются в полном объеме. Минусы – для решения возможных доп. задач (ревун, инструмент, блокировки) компрессор (мой Беркут R17) без ресивера в силу малой мощности не подойдет.

Я, как не сложно догадаться из заголовка заметки, избрал третий путь и оснастил компрессор системой дистанционного включения питания, о чем и расскажу ниже.

Элементы схемы дистанционного управления питанием компрессора

Алгоритм работы дистанционного управления питанием компрессора

1. При переводе штатной кнопки питания компрессора в положение “ВКЛ” в управляющей цепи реле возникает ток, управляющая цепь разорвана кнопкой в рукояти пистолета
2. При нажатии на гашетку пистолета в нем открывается пневмоклапан и одновременно кнопкой замыкается управляющая цепь реле
3. После поступления питания в управляющую линию реле замыкает коммутируемую линию и компрессор начинает работать
4. При отжимании гашетки пистолета размыкается управляющая цепь реле, реле размыкает коммутируемую линию, компрессор прекращает работу, пневмоклапан закрывается
5. При переключении кнопки питания компрессора в положение “ВЫКЛ” система управления и компрессор обесточены

Монтаж системы дистанционного управления автокомпрессором

Первым делом нужно слегка модифицировать стандартный шланг компрессора, который зачем-то сделали с несъемным наконечником. Этот самый наконечник убираем и вместо него ставим фиттинг для быстрого подключения пистолета (или какого-нибудь пневмноинструмента).

Штатный наконечник снимается довольно легко, а вот закрепить на шланге пружинку после установки фиттинга не так-то просто. Мне пришлось надевать ее поэтапно, продвигая по 2-3 витка, уперев в них отвертку, по которой я стучал молотком. Герметичность проверяем мыльным раствором. В итоге должен получиться вот такой шланг:

Далее следует подготовить пистолет – вмонтировать в него кнопку, предохранитель (если нужен) и сделать выпуски проводки. Отверстие под кнопку я сверлил шестеркой и затем немного расширил по месту.

После всех издевательств над пистолетом он обзавелся кнопкой для включения компрессора, расположенной в рукояти, предохранителем в цепи кнопки и выпуском проводки из рукояти:

Теперь необходимо пропустить питание компрессора через реле, подключенное к кнопке в рукояти пистолета. Мое реле внутрь кожуха компрессора не влезло, так что я вывел проводку наружу и закрепил реле на кожухе. Кнопка включения компрессора находится на минусовой (земляной) линии, соответственно реле будет висеть на ней же. При снятии кожуха столкнулся с проблемой очень мягких головок винтов – один даже пришлось высверливать (при том, что они еще и на фиксаторе резьбы судя по всему). Нужна отвертка, которая точно попадет в пазы. Со снятым кожухом компрессор выглядит так:

Закрепленной на кожухе с помощью термокля реле (справа – ноги управляющей линии, слева – коммутируемой):

После сборки контакты реле и выпуск проводов тоже залил термоклеем, хвосты от управляющей линии пропущены по ручке компрессора и шлангу.

Теперь остается только пустить провода к кнопке в пистолете, приклеив их к шлангу компрессора. Я использовал телефонный провод – он достаточно гибкий и в прочной изоляции.

Итоги монтажа дистанционного управления на компрессор

После окончательной сборки вся конструкция по-прежнему влезает в штатную сумку от компрессора. Для проверки давления не нужно вынимать целиком компрессор (как например на Беркут R15 и аналогаи) или шланг с манометром (тот же R17 или R20). Достаточно достать пистолет с манометром и с его помощью проверить давление или стравить колёса.
Сам компрессор летом установлю стационарно на крыло, что избавит от необходимости ходить с ним к аккумулятору, останется только легко и непринужденно бегать со шлангом к колесам
Затраты на создание системы дистанционного управления получились около 350 руб. (с учетом покупки реле в далеко не дешевом Чип и Дипе) и 3 вечера свободного времени. Результатом доволен очень!

Еще на похожие темы:

• Создание инфракрасной камеры ночного видения из веб-камеры
• Походный источник питания на солнечных батареях своими руками.
• Видеорегистрация + видеонаблюдение для дома в Linux

Всё в принципе хорошо и удобно кроме одной мелочи – чтобы воспользоваться проверкой готовности – нужно периодически вспоминать о ней и заходить на сайт. По-моему, приделай УФМС автоматическое оповещение о готовности паспорта по электронной почте – сервис выглядел бы законченным и действительно удобным в использовании.

Но раз УФМС не идет на встречу гражданину, значит гражданин должен сам облегчить себе жизнь. Я решил сделать это используя три простых и доступных инструмента: консольный браузер lynx (для отправки данных формы POST-запросом), планировщик заданий cron (для периодической проверки готовности загран. паспорта) и утилиту поиска по тексту grep (для поиска нужной строки в дампе страницы), для чего написал простенький скрипт, который закинул в cron. Скрипт с указанным в кроне периодом проверяет готовность моего паспорта и присылает мне отчет на электронную почту (которая указана в настройках крона).

#!/bin/sh

echo “checkser=p&seriap=XXXX&numberp=YYYYYY&submit=%CF%F0%EE%E2%E5%F0%E8%F2%FC” | lynx -post_data -dump http://www.ufms.spb.ru:80/checkzp.php | grep ‘Ваш заграничный’

Вместо ХХХХ нужно подставить серию своего гражданского паспорта (макс. 7 символов, что, как я понимаю, позволяет использовать серии старых паспортов, с римскими цифрами), а YYYYYY заменить соотв. на его номер (макс. 6 символов). Если запускать скрипт из-под английской локали, то шаблон для grep надо изменить с ‘Ваш заграничный’ на ‘Vash zagranichnyj’, поскольку скрипт отдаст страницу в латинице.

При желании естественно можно прописать переменные отдельно и даже сделать проверку на локаль, но на мой взгляд это будет уже избыточно для решения такой простой задачи.

Дополнение:
Если сайт проверки готовности загранника постоянно “радует” сообщением о превышении числа запросов, можно пропустить их через tor. В этом случае удобно будет воспользоваться другим способом отправки форм POST-методом из lynx – записать автоматический скрипт, который и будет осуществлять проверку.

Посутпаем следующим образом:

1. вызываем lynx с ключем cmd_log=имя_файла_куда_сохранить_скрипт:
   lynx -cmd_log=script_name http://www.ufms.spb.ru:80/checkzp.php,
   вводим серию и номер паспорта, отправляем запрос, дожидаемся загрузки страницы с ответом и закрываем браузер.
2. в дополнение к tor устанавливаем torsocks – утилита несколько сырая, но дело своё делает исправно, перенаправляя траффик на tor (можно естественно использовать любой понравившийся прокси, указав его в качестве умолчального export http_proxy="address:port").
3. вызываем lynx через torsocks или выбранный прокси с указанием использовать для автоматизации отправки данных формы записанный ранее файл скрипта с передачей результатов работы на разбор в grip:
   torsocks lynx -cmd_script=script_name http://www.ufms.spb.ru:80/checkzp.php | grep "Ваш заграничный"

Всё, автоматизация проверки готовности заграничного паспорта успешно проведена! Пока скрипт работает за человека, человек может расположиться у lcd телевизора и спокойно отдохнуть

Еще на похожие темы:

• Анонимайзер как замена прокси. Проверка анонимайзеров на валидность
• Автоматическое определение кодировки терминала в perl-скрипте.
• Халявная реклама на twite.ru

Ссылки на картинки берутся случайным образом из списка, указанного пользователем (если список оставить пустым – ничего к записям добавлено не будет) и добавляются в начало каждой записи, при это поддерживается два варианта обработки списка:

• “Повторы возможны” – использованные ссылки не удаляются из списка, поэтому картинки могут повторяться.
• “Без повторов” – каждая ссылка используется только один раз. Если ссылок меньше, чем записей – часть записей останется без картинок.

Ссылки указываются по одной на строку следующем виде:

• http://mysite.ru/img01.jpg
• http://mysite.ru/img02.jpg
• И далее сколько нужно (в разумных пределах, поскольку скрипт не примет больше, чем 0,7 Мб данных в совокупности)

Подробней с возможностями программы можно ознакомиться на справочной странице.

Надеюсь, что нововведение окажется полезным. Предложения и сообщения об ошибках в работе WordPress XML Creator по-прежнему прошу присылать на адрес dimio@dimio.org.

Еще на похожие темы:

• WPXMLCreator|Online – генерируй XML для wordpress прямо из браузера!
• Новогоднее поздравление и небольшой подарок
• Небольшое обновление WPXMLCreator, скрипта для генерации WordPress XML

И простой способ ускорить работу Linux не заставил себя ждать (следует заметить, что этот способ окажет влияние только на процессы, запущенные в текущей сессии оболочки). Появился он в ходе обсуждения разработчиками ОС вышеупомянутого патча для ядра. Получить ускорение можно, всего-лишь внеся несколько строк кода в .bashrc и выполнив пару команд от имени суперпользователя!

Первым делом в .bashrc добавляются следующие строки:

if [ "$PS1" ] ; then
mkdir -m 0700 /sys/fs/cgroup/cpu/user/$$
echo $$ > /sys/fs/cgroup/cpu/user/$$/tasks
fi

Означает это следующее – если в данный момент используется основная строка приглашения, то в каталоге

будет создана директория, именем которой является PID процесса bash, в котором идёт работа, с правами чтения и записи только для владельца. Затем в ней создаётся файл tasks, содержащий тот же PID. Эти действия выполняются при каждом запуске оболочки bash.

Затем от имени суперпользователя (root) нужно выполнить две команды:

mount -t cgroup cgroup /sys/fs/cgroup/cpu -o cpu
mkdir -m 0777 /sys/fs/cgroup/cpu/user

В результате в каталог

будет примонтировано устройство cpu (процессор), в дальнейшем в этот же каталог будет помещаться идентификаторы запущенных процессов с их последующей группировкой, что и должно приводить к уменьшению времени отклика.

P.S. Чтобы не монтировать директорию от суперпользователя каждый раз в ручную, в интернете советуют добавить в

следующие строки:

mkdir -p /sys/fs/cgroup/cpu
mount -t cgroup cgroup /sys/fs/cgroup/cpu -o cpu
mkdir -m 0777 /sys/fs/cgroup/cpu/user

Каталог для создания cgroup естественно может быть любой, главное не забыть везде прописать правильные пути.

Еще на похожие темы:

• Цветовая индикация хода загрузки Linux
• Файл настройки vim – .vimrc (для Linux и Windows)
• Подключение через VPN в Debian/Ubuntu Linux

Набросал тут как-то в свободную минуту скрипт-оболочку для вызова утилиты безопасного удаления файлов shred, которой постоянно пользуюсь дома.
Win-аналоги искать было лень – попробовал как-то найти под win софтинку для конвертации mp3 в wav – ради того, что в линухе делается одной командой, пришлось час ползать по сети и засорять машину, а в итоге всё найденное было платным или кривым.

Поскольку у меня на работе всё равно установлен cygwin – воспользовался сборкой shred под него, а батник сделал для большего удобства использования. Дальше всё просто – батник на рабочий стол и перетаскиваем на него предназначенные для безопасного удаления файлы.

Код батника предельно примитивный, так что просто приведу его ниже (под катом). Достаточно скопировать в текстовый файл и изменить расширение на .bat.

Еще на похожие темы:

• Халявная реклама на twite.ru
• Сравнение производительности сетевых библиотек в Perl
• Софт

Наткнулся на любопытную заметку под названием “И еще немного про Google Hack“, в которой автор описывает использование анонимайзеров (пример анонимайзера – сайт Anonymouse) вместо публичных прокси для обхода капчи в Google.
Такой способ использования анонимайзеров мне тоже приглянулся и я решил написать свой скрипт для сбора и проверки на валидность списка публичных веб-прокси.

Преимущества анонимайзера перед “классическим” публичным прокси

• Анонимайзеры, в отличает от публичных прокси, редко умирают и практически всегда доступны онлайн
• Анонимайзеры обычно обеспечивают скорость работы выше, чем у публичных прокси или Tor
• Анонимайзер будет скрывать не только ваш IP-адрес, но и, в зависимости от настроек, может скрыть cookies, user-agent и т.п. “хвосты”
• Работе через веб-прокси проще “научить” свою программу – достаточно передавать закодированную строку интерфейсу анонимайзера

Для чего может пригодиться и чем может быть полезен анонимайзер (веб-прокси)?

• для использование совместно с парсером выдачи поисковых систем – чтобы обходить капчу, выдаваемую ПС при поступлении большого количества запросов с одного адреса
• отправив запросы к нужному сайту через разные анонимайзеры, можно накрутить счетчик посещений (эта гипотеза требует проверки)
• для постинга скриптами в различные форумы, для постинга комментариев на сайты
• при любом другом парсинге, где существует опасность бана, анонимайзер также пригодится (например при парсинге каталога с сайта nakolesah.ru, о котором я упоминал)

Собираем список публичных веб-прокси

Сборку и проверку списка анонимайзеров мы доверим perl-скрипту, некоторые фрагменты которого будут приведены ниже, а полный текст как обычно доступен для загрузки в разделе “Софт” (там же он будет и обновляться).

Чтобы запустить скрипт в режиме составления списка прокси, нужно передать через опцию -i значение google или ajax:
anocheck.pl -i google
Расшифровка опций:

• google – для поиска публичных веб-прокси используется парсинг выдачи веб-поиска Google. Список в этом случае получается достаточно большой, но существует вероятность получить капчу или временный бан
• ajax – список прокси получается из запроса к Google API для поиска. На выходе всего 8 результатов, но нет капчи.

Мне представляется оптимальным такой вариант использования скрипта – первичный список прокси составляется с помощью опции google, затем на проверку передается файл со списком.

Для поиска анонимайзеров, работающих на движках PHPProxy и Glype используются следующие параметры запроса:

Далее следует парсинг результатов выдачи Google и занесение адресов найденных веб-прокси в список:

Проверка анонимайзеров на валидность

Помимо создания списка веб-прокси, скрипт может проверить уже существующий список на валидность, достаточно передать ему через опцию -i имя файла, содержащего список прокси:
anocheck.pl -i proxy.txt

Механизм проверки найденных прокси на валидность тоже не сложен (его идею я взял из заметки, указанной в первом абзаце) – на каждый найденный анонимайзер отправляется запрос на открытие главной страницы Google, которая затем парсится на предмет наличия в ней правильного заголовка. Если заголовок присутствует – считаем прокси рабочим, иначе – переносим в список нерабочих:

Результаты валидации списка прокси

В результате проверки прокси на валидность получаются два файла (по умолчанию имеющие имена good.txt и bad.txt), содержащие, соответственно, списки прошедших и не прошедших валидацию анонимайзеров.

Валидные анонимайзеры, как уже говорилось выше, можно подключить к парсеру, а невалидные – время от времени проверять заново (список валидных не перезаписывается, а дополняется), а в общем-то использование найденных веб-прокси зависит от наличия собственных идей у каждого, коих я и желаю вам побольше на прощание!

Еще на похожие темы:

• Сравнение производительности сетевых библиотек в Perl
• Софт
• Синхронизация текстовых файлов – простой скрипт на Perl