Навчальні матеріали

Навчальні матеріали, курси, посібники

Написання рукопису дисертації за допомогою спеціального шаблону

Робота над рукописами дисертацій, книг, статей вимагає певної автоматизації, оскільки без такої автоматизації багато часу витрачається на рутинне переоформлення наукової (навчальної) роботи з усіма можливими негативними наслідками - і як щодо наявності помилок, так і щодо бажання писати. Особливо це актуально у випадках, коли частини роботи відносно часто перегруповуються, міняються місцями та доповнюються новими фрагментами.

Конференція “UniversITy 3: IT-Startups”. Запрограмуй власну фінансову незалежність!

20 лютого 2010 року в освітньому центрі “Master Klass” завдяки плідній роботі організаторів AIESEC та i-Klass розпочнеться дводенна конференція “UniversITy 3: IT-Startups”, тематика якої присвячена аналізу сучасної ситуації ІТ ринку України та нюансів роботи стартапів напротязі періоду від оформлення ідеї до створення та реалізації продукту. Головна ціль – стимулювання талановитої молоді до втілення власних креативних розробок. Задля досягнення найбільш плідного діалогу між учасниками та спікерами формат «конференція» об’єднано з «кемпом». Наряду з класичними доповідями проходитимуть неформальні семінари, які будуть направлені на практичне закріплення набутих знань. Майстер-класи проводитимуть засновники найуспішніших українських стартапів таких як BayViewInnovations, InvisibleCRM, Viewdle.

Методичні вказівки щодо встановлення Dspace 1.5.2 на операційну систему FreeBSD 7.2

Створена методична інструкція не претендує ні на що. Можливо існує інший (простіший, надійніший, швидший та ін.) шлях встановлення Dspace. Прошу пишіть та створюйте конкуренцію. У методичці наводяться основні кроки по встановленню Dspace, вони не описані, також тут нема опису додаткових можливостей ПЗ яке забезпечує працездатність Dspace. Якщо у Вас виникли якісь розумні запитання чи пропозиції щодо розширення цієї методички, зауваження щодо змісту чи Вам просто важко у душі - пишіть на е-мейл: oai@lp.edu.ua . Також відкрився перспективний бібліотечний портал за адресою http://library.ridne.net ¬– приєднуйтесь, беріть участь у обговоренні проблем бібліотеки, проблем інформатизації бібліотеки та інше що пов’язане з бібліотекою. Щиро Ваш Андрухів Андрій.

Вимоги до встановлення:
а) Комп’ютер;
б) Людина з базовими знаннями UNIX, LINUX систем;
в) Internet.

1. Встановлюємо FreeBSD 7.2;
2. Для редактування файлів конфігурації та для спрощення роботи в ОС спочатку встановимо файловий менеджер Midnight Commander (MC). Для цього переходимо у файл з портами: # cd /usr/ports/misc/mc. Виконуємо команду: # make install clean. Якщо Інтернет проходить через проксі сервер то у файлі .cshrc додаємо стрічку setenv HTTP_PROXY ip_address:port. Додати цю стрічку можна через текстовий редактор VI. Для цього виконуємо наступні дії: # vi .cshrc .В результаті ми потрапимо у середовище VI. Для вводу стрічки, що пропише параметри проксі натиснемо клавішу Іш (Input) та вводимо setenv HTTP_PROXY ip_address:port. Після закінчення вводу натискаємо клавішу Esc. Для збереження результату натиснемо комбінацію :wq. Це дозволило вийти з редактора VI зі збереженням файлу. Перезавантажуємо комп’ютер.

2. Перекомпіляція ядра

Система резервування Bacula. Встановлення і налаштовування

Bacula – пакет програм архітектури “клієнт-сервер” з відкритим початковим кодом, призначений для створення резервних копій даних, що знаходяться на комп’ютерах з різними операційними системами; для відновлення і перевірки збережених даних. Цей пакет має модульну архітектуру, легко масштабується, та може бути використаний, як для невеликої локальної мережі з кількох комп’ютерів, так і для мережі підприємства, що складається з кількох сотень комп’ютерів.

Основу Bacula складають 5 основних програм:

  1. Директор (Bacula Director), призначений для зберігання і запуску завдань резервного копіювання або відновлення, та ведення журналу всіх операцій.
  2. Зберігач (Bacula Storage Daemon), призначений для запису даних на фізичні носії: жорсткий диск, магнітну стрічку, оптичний диск тощо.
  3. Клієнт (Bacula File Daemon). Клієнтська частина, яка встановлюється на комп’ютері, що містить дані для архівації.
  4. Консоль керування. Призначена для контролю та керування операціями. Існують текстові та графічні консолі для Unix-подібних операційних систем та для ОС Windows.
  5. Монітор. Призначений для спостереження за станом Директора, Зберігача та Клієнтів.
  6. Каталог — реляційна база даних, в якій Bacula зберігає інформації про кожний архівований файл, що дає змогу швидко та ефективно відновлювати інформацію з архівів. На сьогодні Bacula підтримує бази даних MySQL, PostgreSQL та SQLite. База може бути розташована як на тому комп’ютері, що й демон керування, так і на іншому

В статті розглянутий приклад використання пакету Bacula 2.4.4 в локальній мережі, що складається з кількох робочих станцій під керуванням ОС Windows XP та серверу з ОС FreeBSD 7.0, на якому встановлена система керування базами даних MySQL.

Nagios. Відправлення повідомлень користувачам Windows

Система моніторингу Nagios розроблена для Unix-подібних операційних систем та призначена для постійного спостереження за станом сервісів, комп’ютерів і активного мережевого обладнання, інформування адміністраторів про порушення нормальної роботи об’єктів моніторингу. Одразу після встановлення, система передбачає відправлення повідомлень тільки за допомогою електронної пошти. У пропонованій статті розглянуто налаштування системи Nagios, яка встановлена на комп’ютері з ОС FreeBSD, для відправлення повідомлень користувачеві комп’ютеру з ОС Windows.

Використання системи моніторингу Nagios

Nagios – система моніторингу з відкритим початковим кодом, призначена для постійного спостереження за станом сервісів, комп’ютерів та активного мережевого обладнання. За допомогою цієї системи можливо організувати перевірку доступності вузлів комп’ютерної мережі (хостів), показників роботи комп’ютерів та працездатності функціонуючих на них програм (сервісів): поштових, веб, проксі серверів, систем резервного копіювання тощо. Можливо також інформувати адміністраторів та користувачів про порушення нормальної роботи об’єктів моніторингу за допомогою поштових і SMS повідомлень, повідомлень на пейджер, або звукових сигналів.

Сервер часу локальної мережі

Для багатьох підприємств та організацій важливо мати точний час та дату на своїх комп'ютерах. Зокрема, точний час необхідний для автоматизованого виконання завдань за розкладом, аналізу журналів роботи користувачів, функціонування різноманітних білінгових систем, банківського програмного забезпечення.

Для синхронізації системного часу комп'ютерів, що мають доступ до Інтернет, або входять до локальної мережі з сервером точного часу створений мережевий протокол часу (Network Time Protocol, NTP). Для локальної мережі можливо синхронізувати час з точністю до мілісекунди, для Інтернет - з точністю до кількох десятків мілісекунд. В пропонованій статті розглянуто налаштування серверу точного часу на комп'ютері з ОС FreeBSD, який обслуговує локальну мережу з кількох десятків комп'ютерів, на яких встановлені ОС Windows XP та Windows 2003.

LightSquid - аналізатор журналів роботи Squid

Серед популярних програм для аналізу журналів роботи проксі-сервера Squid, таких як SARG, SAMS, SquidLog, Statman, SquidGuard, Free-SA тощо, поважне місце посідає LightSquid, створена харків'янином Сергієм Єрохіним. Це маленький (близько 200 КБ) та швидкий аналізатор лог-файлів Squid написаний мовою Perl. На відміну від деяких згаданих вище аналізаторів, LightSquid не потребує для своєї роботи зовнішньої бази даних. Програма запускається за допомогою планувальника cron та зберігає статистику у файловій системі. LightSquid має web-інтерфейс для перегляду результатів своєї роботи. Існують інсталяційні пакети LightSquid для різних дистрибутивів Linux та для FreeBSD

В статті розглянуто встановлення й налаштовування аналізатора LightSquid на комп'ютері з операційною системою FreeBSD, на якому вже встановлений web-сервер Apache.

Використання проксі-сервера Squid в ОС FreeBSD

Squid – пакет програм з відкритим початковим кодом, який виконує функції кешуючого та проксі-сервера, та підтримує кільки мережевих протоколів, включаючи HTTP, FTP, SSL. Використання Squid надає наступні можливості:

  • централізований доступ до Інтернет через один сервер;
  • зменшення зовнішнього трафіку за рахунок кешування об'єктів;
  • авторизація;
  • можливість регулювати пропускну здатність каналу;
  • можливість обміну змістом кешу з сусідніми проксі-серверами;
  • блокування або заміна небажаної інформації (банери, музичні файли, порнографічні сайти тощо).

Створення універсального образу для клонування операційних систем Windows 2K/XP/2003

Досить часто виникає потреба встановлювати одну операційну систему з таким же самим програмним забезпеченням на різне апаратне забезпечення (вдома, на роботі, друзям чи знайомим). Або ще один варіант: вирішили придбати новий ПК і, згадати, скільки потрібно часу на встановлення та налаштування системи та іншого програмного забезпечення, що необхідне для роботи? Для створення універсального системного образу розділу диску, потрібно виконати наступні дії:

Cтворення шарів для Google Earth та картографічні сервіси у WWW

На сьогоднішній день у WWW існують можливості для створення власних повноцінних карт, які базуються на накладанні власних шарів на існуючі супутникові карти спеціальних веб-сервісів. Існуючі Веб-сервіси такі як Google Earth забезпечують досить широкі можливості
Шари (layer) для таких картографічних сервісів – множина відміток (placemark) у просторі, які позначають місця чи об’єкти.
Для створення таких карт (шарів) для програми Google Earth та інших сервісів полягає у створенні kml чи kmz (kmz - це заархівований kml) файлів на мові XML у яких робляться ці відмітки.

Особливості організації міжмережної взаємодії при використанні операційної системи FreeBSD

В сучасних умовах обмін даними між комп’ютерами став невід’ємною частиною життя. Мережні засоби застосовуються у всіх сферах діяльності. В навчальних закладах всіх рівнів, починаючи від початкових і закінчуючи спеціальними, комп’ютерні мережі дозволяють студентам і викладачам отримати миттєвий доступ до інформації в бібліотеках всього світу. На даний час зростає потреба у використанні інформаційних технологій в управлінні навчальним процесом у всіх навчальних закладах.
З розширенням комп’ютерних систем і їх взаємодії з різними за структурою мережами спостерігається щораз більша залежність як організацій, так і окремих людей від інформації, що передається по мережі, і зберігається в таких системах. Це, у свою чергу, дозволяє зрозуміти необхідність захисту даних і ресурсів від можливого несанкціонованого доступу, важливість використання спеціальних засобів для забезпечення достовірності отриманих даних та повідомлень, а також захисту систем від мережних атак.
Із появою та поширенням комп’ютерів і засобів автоматизованої обробки інформації виникла потреба в автоматизованих засобах захисту файлів та іншої інформації, що зберігається на комп’ютерах. Особливо гостро потреба в засобах захисту відчувається в багатокористувацьких системах, таких як системи, до яких можна отримати доступ по звичайних телефонних лініях зв’язку або відкритих комп’ютерних мережах.

Навчальна мова програмування для найменших.

Нещодавно у Масачусетському Технологічному Інституті розробили мову програмування для навчання програмуванню найменших - Scratch (Дряпанка).
Тут програми створюються легко, шляхом візуального складання блоків. Влітку розробники обіцяють нову версію з підтримкою Юнікоду, в яку також планується включити українську локалізацію.
Детальнішу інформацію про програму, а також про те, як взяти участь у локалізації можна знайти тут: http://blog.solvek.com/2008/04/blog-post.html

Клонування комп'ютера з використанням SysPrep

Хоча створення файлу відповідей для запуску установки Windows в автоматизованому режимі дуже зручне і може заощадити адміністраторам багато часу, та за відповідних умов ви можете ще більше просунутися в цьому напрямі.
Щоб ще більше автоматизувати процес установки на новому комп'ютері, ви можете “клонувати” існуючу систему. Головною перевагою клонування комп'ютера є швидкість установки: створений за допомогою SysPrep образ диска зазвичай встановлюється на 45-60 хвилин швидше, ніж при звичайній установці.
Клонування виконується таким чином: спочатку встановлюють Windows і всі потрібні програми на одному комп'ютері, дуже схожому до багатьох інших комп'ютерів, де ви хочете розгортати Windows. Потім за допомогою утиліти SysPrep (яка знаходиться на компакт-диску Wndows у файлі Deploy.cab) ця система готується для клонування: видаляються ідентифікатори SID та інша ідентифікуюча інформація. Клонування цієї конфігурації виконується за допомогою будь-якої програми створення образів дисків від сторонніх виробників (наприклад, Drive Image фірми PowerQuest або Norton Ghost), яка копіює і стискає образ диска на мережевий диск. Після цього ви можете завантажити порожній комп'ютер з дискети, отриманої за допомогою програми створення образу диску, скопіювати і розпакувати клонований образ диска на цьому новому комп'ютері. Це дозволяє виконати установку набагато швидше, ніж це відбувається навіть при повністю автоматизованій установці операційної системи та програм.

Оптимізація установки Windows

При установці Windows програма установки кілька разів зупиняється в очікуванні введення даних користувачем. Файли відповідей – це звичайні текстові файли, що надають інформацію, яку зазвичай вводить користувач, що дозволяє автоматизувати практично весь процес установки.
Setup Manager Wizard (Майстер управління установкою) супроводжує вас для задання більшості важливих параметрів файлу відповідей, але є і інші параметри, які можуть виявитися корисними для вас, наприклад, можливість задання фону, що настроюється. Щоб отримати докладну інформацію по кожному параметру, відкрийте файл Deploy.chm (help-файл), який міститься всередині того ж файлу (Deploy.cab), що і Setup Manager.

Windows Server 2003, Windows XP і Windows 2000 поставляються разом із Setup Manager, яка допомагає в процесі створення файлів відповідей. Щоб використати Setup Manager, виконайте наступні кроки:

Пакетне перейменування файлів-фотографій

Наявність великої кількості фотографій при публікації може вимагати перейменування відповідних файлів за заданим шаблоном.
Наприклад, при публікації знимок на Фотоблозі Львова назви файлів-фотографій приводяться до наступного формату:
{розташування}_{дата}{користувач}_{№фото}.jpg
Такий формат з високою ймовірністю забезпечує унікальність назв файлів, навіть якщо вони збираються в один каталог від декількох користувачів.
Для того, щоб пакетом привести назви багатьох файлів до зазначеного формату, необхідно:
1)Записати файли в папку з назвою
{дата}{користувач}
Деякі фотоапарати (наприклад, Canon) дозволяють розміщувати знимки по папках за датою автоматично.
2) Виконати наступну команду (файл !prep_files.bat треба розмістити на одному рівні з папкою з фотографіями:
!prep_files.bat {папка} {префікс}
де
{папка} - папка, у якій розміщені фали, які пакетом треба перейменувати.
{префікс} - місце розташування об'єктів, що сфотографовані
Ця команда переводить усі назви файлів у зазначений вище формат. Також після роботи створюється файл з назвою 1.txt, у якому видається список перейменованих файлів.
У процесі перейменування з назв файлів вилучаються префікси, що генерують фотоапарати перед цифрами (наприклад, у фотоапаратах Olympus - це буква 'P', у фотоапаратах Canon - стрічка 'Img_').

Текст !prep_files.bat
ren %1\*.jpg *.jjj
for /f "tokens=*" %%a in ('dir /b %1\*.jjj') do ren %1\%%a j%%a
for /f "tokens=1,2 delims=_AaPp" %%a in ('dir /b %1\*.jjj') do ren %1\%%a*%%b %2_%1_%%b
ren %1\*.jjj *.jpg
dir /b/o %1\*.jpg >%1\1.txt

Приклад
У папці з назвою '20070813a' є наступні файли:
Img_0003.jpg
Img_0004.jpg
Img_0005.jpg
Img_0006.jpg
Img_0007.jpg

Виконуємо команду:
!prep_files.bat 20070813a nrt
В результаті в папці '20070813a' маємо файли з такими назвами:
nrt_20070813a_0003.jpg
nrt_20070813a_0004.jpg
nrt_20070813a_0005.jpg

Алгоритм ETL - технології інтеґрації даних

Для попередньо отриманих і збережених у оперативному сховищі даних нобхідно розробити систему норм і критеріїв перетворення їх до форми, придатної для збереження у сховищі даних. Приклади критеріїв та вимог:

  • обмеження часового періоду фактів "від ... – до ...", наприклад, вибір даних за останній місяць;
  • SELECT * FROM documents WHERE evdate>=DateDiff("d",Now(),30);

  • обов'язкове значення виміру, чи показника факту;

    SELECT * FROM documents WHERE document_type IS NOT Null;

  • входження значень виміру у попередньо визначену множину чи область визначення;
  • SELECT * documents WHERE delp_id In (select id from department where prior_id is Not Null);

  • унікальність значень;
  • дотримання правил синтаксису;
  • семантичні обмеження.
  • З метою аналізу, фільтрації та перетворення вхідних даних необхідно сформувати та виконати стосовно таблиці фактів оперативного сховища даних запити на вилучення або зміну даних, які не відповідають критеріям, розглянутим вище:

  • вилучення даних, які не містять обов'язкових значень і, внаслідок цього не можуть бути застосовані у сховищі даних:
  • DELETE * FROM documents WHERE id not in (SELECT id from documents_type);

  • виправлення некоректних чи помилкових значень (наприклад, коли у джерелах даних внесено не коди підрозділів, а назви).
  • З метою завантаження таблиці фактів необхідно створити та виконати запит (процедуру) переміщення значень з підготованої таблиці вхідних даних сховища оперативних даних у таблицю фактів та провести аналіз виконаних дій:

    Технології інтеґрації даних

    EAI – це технологія, за допомогою якої організація добивається централізації і оптимізації інтеґрації корпоративних застосувань, зазвичай використовуючи ті або інші форми технології оперативної доставки інформації, яка керується зовнішніми подіями.

    ETL – це технологія, яка перетворить дані (зазвичай за допомогою їх пакетного опрацювання) з операційного середовища, що включає гетерогенні технології, в інтеґровані дані, що узгоджуються між собою, придатні для використання в процесі підтримки прийняття рішень; ETL-технологія орієнтована на бази даних, наприклад, сховище, вітрину або операційне сховище даних.

    Інтеґрація даних у сховищах даних

    Необхідність інтеграції даних виникає через неоднорідність програмного середовища, розподілений характер організації, підвищені вимоги до безпеки даних, необхідність наявності багаторівневих довідників метаданих, потребу в ефективному зберіганні й опрацюванні дуже великих обсягів інформації.

    Інтеґрація даних – це об'єднання даних, які спочатку вводяться в різні системи. Самі ці системи можуть розташовуватися в одній локальній мережі, але мати різні платформи і внутрішню архітектуру. Метою інтеґрації даних є отримання єдиної і цілісної картини корпоративних даних предметної області. Інтеґрація даних може бути описана за допомогою моделі, яка включає застосування, продукти, технології та методи.

    Існує три основні методи інтеґрації даних: консолідація, федералізація і розповсюдження.

    Консолідація даних – це збирання даних з територіально віддалених або різноплатформенних джерел даних в єдине сховище даних з метою їх подальшого опрацювання та аналізу.

    У середовищі сховищ даних однією з найпоширеніших технологій підтримки консолідації є технологія ETL (витягання, перетворення і завантаження – extract, transform, and load). Ще одна поширена технологія консолідації даних ECM - керування змістом корпорації (enterprise content management). Більшість рішень ECM напрямлені на консолідацію і керування неструктурованими даними, такими як документи, звіти і web-сторінки.

    Федералізація даних забезпечує єдину віртуальну картину одного або декількох первинних файлів даних. Процес федералізації даних завжди полягає у витяганні даних з первинних систем на підставі зовнішніх вимог. Всі необхідні перетворення даних здійснюються при їх витяганні з первинних файлів. Прикладом федералізації є інтеґрація корпоративної інформації (EII).

    Багатовимірна модель даних

    Багатовимірна база даних – база даних, що підтримує багатовимірну модель даних на концептуальному рівні та призначена для інтерактивного аналітичного опрацювання аґреґованих історичних і проґнозованих даних.

    Основними поняттями багатовимірної моделі даних є:

  • гіперкуб даних rel,
  • вимір V,
  • атрибут A,
  • комірка X,
  • значення rel(V,A).
  • Гіперкуб даних містить один або більше вимірів і є впорядкованим набором комірок. Кожна комірка визначається одним і лише одним набором значень вимірів – атрибутів. Комірка може містити дані – значення або бути порожньою.

    Під виміром розумітимемо множину атрибутів, що створюють одну з граней гіперкуба. Прикладом часового виміру є список днів, місяців, кварталів. Прикладом географічного виміру може бути перелік територіальних об'єктів: населених пунктів, районів, реґіонів, країн та ін.

    Для отримання доступу до даних користувачу необхідно вказати одну або декілька комірок шляхом вибору значень вимірів, яким відповідають необхідні комірки. Процес вибору значень вимірів називатимемо фіксацією атрибутів, а множину вибраних значень вимірів – множиною фіксованих атрибутів.

    Гіперкуб даних можна розглядати як множину відношень реляційної бази даних за значеннями кожного з вимірів. Отже, носієм багатовимірної моделі даних є відношення реляційної бази даних, зображені як зафіксовані виміри. Гіперкуб утворює багатовимірний простір даних, що складається з фіксованої кількості вимірів.

    Операція зрізу здійснюється з метою отримання необхідної підмножини комірок і відсікання «непотрібних» значень шляхом послідовної фіксації атрибутів. Зріз, як правило, є двовимірним масивом (таблицею).

    Зміна порядку подання (візуалізація) вимірів називається обертанням. Обертання забезпечує можливість візуалізації даних у формі, найбільш комфортній для їх сприйняття.

    Syndicate content

    © Інформаційні технології. Аналітика , Рідна Мережа