П В Тимощук - Модель аналогової нейронної схеми ідентифікації найбільших сигналів - страница 1

Страницы:
1  2 

УДК 004.032.026 П.В. Тимощук

Національний університет "Львівська політехніка", кафедра систем автоматизованого проектування

МОДЕЛЬ АНАЛОГОВОЇ НЕЙРОННОЇ СХЕМИ ІДЕНТИФІКАЦІЇ НАЙБІЛЬШИХ СИГНАЛІВ

© Тимощук П.В., 2012

Представлено модель аналогової нейронної схеми, призначеної для ідентифікації К найбільших серед N довільних скінченних невідомих вхідних дій, які можна розрізнити. Модель описується одним рівнянням стану зі змінною структурою правої частини, яка містить ступінчату функцію, і вихідним рівнянням. Проаналізовано і порівняно з іншими аналогами обчислювальну складність моделі. Модель має такі властивості, як висока точність і швидкодія, а також низька обчислювальна складність. Подаються результати комп'ютерного моделювання, які демонструють ефективність моделі і дозволяють порівняти її з іншими аналогами.

Ключові слова: математична модель, рівняння стану, швидкість збіжності, обчислю­вальна складність, аналогова нейронна схема.

A model of analogue neural circuit which is capable to identification the K largest from arbitrary finite value N unknown distinct inputs, where 1 < K < N, is presented. The model is described by one state equation with variable structure right-hand side which contains a step function and by output equation. A computational complexity of the model is analyzed and compared with that of other analogs. The model possesses such properties as high accuracy and convergence speed, and low computational complexity. Computer simulation results demonstrating the model performance and comparing it with that of other comparable models are provided.

Key words: mathematical model, state equation, convergence speed, computational complexity, analogue neural circuit

 

Вступ

Як відомо, KWTA-нейронні мережі здійснюють вибір К найбільших серед N вхідних даних, де 1 < K < N. Коли K дорівнює одиниці, KWTA-мережа є WTA-мережею, що визначає максимальну серед N вхідних дій [1-3].

KWTA-нейронні мережі мають численні застосування, зокрема, вибір К найбільших елементів з великої їх кількості є фундаментальною операцією в обробленні даних і сигналів, у прийнятті рішень, розпізнаванні образів, конкуруючому навчанні і сортуванні. KWTA-мережі використовують­ся у телекомунікаціях і системах технічного бачення, для розв'язання задач класифікації, фільтруван­ня, декодування, обробки зображень, кластеризації. KWTA-режим застосовується у машинному нав­чанні, навігації мобільних роботів, визначенні ознак. KWTA-мережі можуть застосовуватись як базові операційні вузли у комп' ютеризованій медичній діагностиці, для перегляду і отримання інформації, видобування й аналізу даних, для фінансового прогнозу, як навчальні засоби, для аналізу оглядів і анкет у різних сферах тощо [4-9].

Аналогові KWTA-нейронні мережі (або KWTA-нейронні мережі неперервного часу), які розг­лянуто у цій статті, порівняно з такого типу мережами дискретного часу можуть стабільно функ­ціонувати у ширшому діапазоні зміни параметрів і у ширших межах зміни швидкодії мереж [10].

Огляд літературних джерел

У наш час розроблено низку методів побудови вказаного типу нейронних мереж ідентифі­кації найбільших сигналів [2-4, 11-19]. Зокрема, в [2] на основі моделі мережі неперервного часу Хопфілда [16], відомої також як адитивна модель Гросберга [17], сконструйовано та проаналізо-

 

180вано мережу неперервного часу, призначену для знаходження найбільших сигналів, як узагальнен­ня мережі визначення максимального сигналу. Така мережа має стабільні локальні стани рівноваги, її вихідні сигнали набувають K позитивних значень, які відповідають найбільшим вхідним сигна­лам та N — K негативних значень для решти вхідних сигналів. У [18] запропоновано нейронну мережу неперервного часу типу Хопфілда зі змінним, зокрема великим, коефіцієнтом підсилення. Розроблено методику визначення параметрів мережі й показано, що після того, як вихідні напруги досягають певних значень, мережа через скінченний проміжок часу формує необхідні вихідні сигнали. Наведено методику визначення коефіцієнта підсилення для повернення мережі у початкове положення нульового стану. В [19] обґрунтовано обмеження на параметри мережі з [18], які дають змогу здійснювати процеси почергової обробки множин вхідних сигналів. У результаті виконання повного математичного аналізу мережі отримано залежності часу обробки сигналів мережею від меж зміни її параметрів, розмірності множини вхідних сигналів та роздільної здатності мережі. Оскільки мережа з [18] містить додатні самозв'язки, а мережа з [19] не містить самозв'язків взагалі, такі мережі можуть формувати неоднозначні вихідні сигнали [16].

У цій статті представлено узагальнення математичної моделі аналогової KWTA-нейронної схеми, запропонованої в [15]. Як і в попереднього аналога, модель описується одним рівнянням стану і містить розривні жорсткообмежувальні активаційні функції. Різницеву функцію моделі отримують спрощенням такого самого типу функції попередньої моделі. Це дає змогу зменшити час збіжності траєкторій змінної стану моделі до KWTA-режиму. Швидкодія моделі близька до швидкодії аналогових KWTA-нейронних мереж типу Хопфілда, тоді як обчислювальна складність моделі є меншою, ніж у цих мереж. Обчислювальна складність моделі є близькою до такої складності однієї з найпростіших KWTA-моделей неперервного часу, тоді як швидкість збіжності траєкторій змінної стану моделі до KWTA-режиму менша, ніж у цього аналога.

Постановка задачі

Нехай задано вхідний вектор  a = (a,a,—,anN)T 1 <N<<х>  з невідомими елементами

скінченних значень і припускається, що вихідні дані локалізуються у відомому діапазоні [amin,amax], де числа amm і amax - це мінімальне і максимальне можливі значення вхідних даних

відповідно, а amax amm = A. Приймемо, що вхідні дані є такими, що їх можна розрізняти, і розміщені у послідовності зменшення значень, задовольняючи нерівності

00 > an1 > an2 > - > anN >—0° , (1)

де n1, n2,... , n N - номери першого, другого найбільших елементів вхідного вектора і так далі аж до N-го найбільшого елемента включно. Нехай необхідно спроектувати модель аналогової нейронної схеми, що ідентифікує К найбільших серед цих елементів, які називаються переможцями, де 1 < K < N - позитивне ціле.

Результати дослідження Математична модель аналогової нейронної схеми визначення найбільших сигналів Нехай проектована модель повинна обробляти вхідний вектор a так, щоб після скінченного часу збіжності отримувався такий вихідний вектор b = (bn1 ,bn2 ,b   )T , що

bn. > 0,i є 1,2, ,K;b   <0,j є K + 1,K + 2, ,N. (2)

Відзначимо, що нерівності (2) визначають так звану KWTA-властивість, тобто той факт, що тільки елементи вихідного вектора від bn1 до bnK є позитивними компонентами b. Це свідчить про

те, що елементи вхідного вектора від аП[ до аПк є K максимальними компонентами a.

Попередня обробка вхідного вектора а відніманням від усіх його компонентів значення amin

дає такі значення:

 

де c = a amin , k = 1,2,..., N . Вихідні дані проектованої моделі аналогової KWTA-нейронної схеми можна подати у вигляді:

 

181

bn = cn - x > ОД є 1,2, — ,К;

їїj    їїj

bnj = cnj - x < 0,j є К + 1,К + 2,-,N, (4)

де x - скалярний динамічний зсув вхідних даних [15].

Підставимо замість різницевої функції R(x), використаної у [15], різницеву функцію виду:

N

E(x) = К -Z Sk(x), (5)

k=1

де

f1,   if   cn - x > 0;

 

 

IN

- ступінчата функція, а сума Z Sk(x) визначає кількість позитивних вихідних даних. Як можна

k=1

побачити, функція E(x)=0, якщо кількість позитивних вихідних даних дорівнює К. Тому рівність E(x)=0 можна використати для ідентифікації необхідної кількості найбільших вхідних даних К.

Нехай x(t) змінюватиметься за експоненціальним законом. Для цього використаємо таке

рівняння стану [15]:

= -^x; x0 =1, (7)

dt

f 0,   if   R(x) = 0;                   ійй               у                       .            (7)              .. ф

де ц = <                        - кусково-постійний параметр. Узагальнимо рівняння (7) до такої форми:

[a,   if   R(x) ч£ 0

x,     if   E(x) > 0; x = -aj   0,     if   E(x) = 0; (8) x - A,   if   E(x) < 0.

Тоді модель аналогової К\¥ТА-нейронної схеми можна подати у вигляді рівняння стану (8) і вихідного рівняння виду:

=     -x,k = 1,2,...,N. (9)

Очевидно, що з погляду обчислювальної складності отримана модель на кожній ітерації потребує послідовного виконання N+5 додавань/віднімань, двох логічних операцій, одного підсилення і однієї операції інтегрування. Для порівняння, одна з К\¥ТА-нейронних мереж типу Хопфілда, запропонована в [2], вимагає для цього послідовного виконання N+2 операцій перем­ноження, N + 3 додавань/віднімань, однієї операції сигмоїдної функції та одного інтегрування. Відомо, що перемноження потребує значно більше машинного часу, ніж додавання/віднімання. Тому очевидно, що обчислювальна складність однієї ітерації запропонованої моделі менша, ніж мережі з [2]. З іншого боку, одна з найпростіших моделей аналогової К\¥ТА-нейронної мережі, нещодавно запропонована в [14], на кожній ітерації виконує N+2 додавань/віднімань, одну логічну операцію, одне підсилення і одну операцію інтегрування. Отже, обчислювальна складність однієї ітерації представленої моделі близька до такої складності цього аналога.

Результати комп'ютерного моделювання

Розглянемо два приклади з відповідним комп'ютерним моделюванням, які ілюструють обробку даних наведеною моделлю аналогової К\¥ТА-нейронної схеми. Використаємо для цього відповідні програмні коди мови MATLAB і персональний комп'ютер 1.81 GHz.

Приклад 1. Проаналізуємо функціонування запропонованої моделі, коли кількість вхідних даних велика. Використаємо для цього розв'язувач Адамса-Башфорта-Моултона змінного порядку нежорстких диференціальних рівнянь ODE113, задавши допустимі відносну й абсолютну похибки величиною 1e-10. На рис. 1 представлено перехідні процеси змінної стану моделі до К\¥ТА-режиму, яка стартувала зі 100 випадкових однорідно розподілених початкових значень x0 є[-100,100] для вхідних даних ank, k=1,2,3,...,70, однорідно розподілених на інтервалі [-100,100],

якщо атт = -10, А=200 при К=40 і a = 10-6. Як можна побачити з рис. 1, для кожного початкового значення траєкторія змінної стану є глобально збіжною до К\¥ТА-режиму.

 

182


Порівняємо збіжність траєкторій змінної стану представленої моделі і AWTA-моделі аналогової нейронної мережі близької складності зі ступінчатою активаційною функцією Хевісайда, описаною в [14]. Як можна побачити з перехідних процесів змінної стану, зображених на рис. 1 і показаних на рис. 4 у [14], час перехідних процесів змінної стану в запропонованій моделі є меншим на порядок.

183



Приклад 2. Застосуємо 120 однорідно розподілених випадкових вхідних даних a є [-12500, 12500] розмірності, що зростає N=2, 3, 120, випадкові однорідно розподілені й заокруглені до найближчого цілого K є{1,2,...^ -1} і випадкові початкові значення x0 є [-12500, 12500] при A=25000. Використаємо розв'язувач ODE113 з допустимими відносною і абсолютною похибками, які дорівнюють 1e-20. На рис. 2 подано графіки максимального, середнього і мінімального часу збіж­ності траєкторій змінної стану моделі (8), (9) до KWTA-режиму при а = 106. Як можна побачити, цей час є меншим, ніж у AWTA-моделі, показаної на рис. 6 в [14], у середньому на три порядки.

Порівняємо функціонування представленої моделі й кількох моделей аналогових KWTA-нейронних мереж типу Хопфілда. Розглянемо перехідні процеси моделі KWTA-мережі (20) і KWTA-моделі (31), (32), що містять кусково-постійні активаційні функції, подані на рис. 5-7 і рис. 8-11 відповідно в [20]. Порівняємо ці характеристики з перехідними процесами запропонованої моделі, показаними на рис. 2. Легко помітити, що всі ці моделі демонструють близький час збіжності траєкторій змінних станів до KWTA-режиму. Однак модель (20) і модель (31), (32), запропоновані в [20], мають вищу обчислювальну складність і містять обмеження на значення своїх параметрів.

Отже, згідно з результатами комп'ютерного моделювання, час збіжності траєкторій змінної стану представленої моделі до KWTA-режиму є близьким до такого часу інших аналогових KWTA-мереж типу Хопфілда. Однак обчислювальна складність моделі нижча, ніж у цих мереж. З іншого боку, час збіжності траєкторій змінної стану до KWTA-режиму запропонованої моделі є меншим, ніж в одній з найпростіших KWTA-моделей.

Висновки

У статті подано модель аналогової нейронної схеми, призначеної для ідентифікації К найбільших серед N довільних невідомих сигналів зі скінченними величинами, де 1 < K < N, які можна розрізнити. Модель функціонує на основі методу динамічного зміщення вхідних даних. Результати комп' ютерного моделювання свідчать про те, що траєкторії змінної стану моделі глобально прямують до KWTA-режиму протягом скінченного часу. На відміну від інших аналогів, запропонована модель поєднує в собі такі властивості, як висока точність і швидкість збіжності траєкторій змінної стану до KWTA-режиму, а також низька обчислювальна складність. Можна рекомендувати використовувати за необхідності проектування простих аналогових нейронних схем, призначених для знаходження найбільших сигналів, з високими роздільною здатністю і швидкістю обробки сигналів широкого діапазону, незалежністю від початкових значень сигналів, а також властивістю збереження впорядкування сигналів.

 

1. Lippmann, R. P., Gold, B., Malpass, M. L.: A comparison of Hamming and Hopfield neural nets for pattern classification. Technical report TR-769, MIT Lincoln Laboratory (1987). 2. Majani, E., Erlanson, R., Abu-Mostafa, Y. : On the K-winners-take-all network. In: Touretzky, D. S. (ed.) Advances in Neural Information Processing Systems, vol. 1, pp. 634-642. Morgan Kaufmann Publishers Inc., San Francisco (1989). 3. Tymoshchuk, P., Kaszkurewicz, E.: A Winner-take-all circuit based on second order Hopfield neural networks as building blocks. In: IEEE Int. Joint Conf. on Neural Networks, vol. 2, pp. 891-896. IEEE Press (2003). 4. Urahama, K., Nagao, T.: K-winners-take-all circuit with 0(N) complexity. IEEE Trans. on Neural Networks 6, 776-778 (1995). 5. Kwon, T. M., Zervakis M.: KWTA networks and their applications. Multidimensional Syst. and Signal Processing 6, 333-346 (1995). 6. Binh, L.N., Chong, H.C.: A neural-network contention controller for packet switching networks. IEEE Trans. on Neural Networks 6, 1402-1410 (1995). 7. Itti, L., Koch, C., Niebur, E.: A model of saliency-based visual attention for rapid scene analysis. IEEE Trans. on Pattern Analysis and Machine Intelligence 20, 1254 - 1259 (1998). 8. Fish, A., Akselrod, D., Yadid-Pecht, O.: High precision image centroid computation via an adaptive k-winner-take-all circuit in conjunction with a dynamic element matching algorithm for star tracking applications. Analog Integrated Circuits and Signal Processing 39, 251-266 (2004). 9. Graupe, D.: Principles of Artificial Neural Networks (2nd Edition). World Sci. Publisher, Singapure (2007). 10.Cichocki, A., Unbehauen, R.: Neural Networks for Optimization and Signal Processing. John Wiley & Sons, Chichester (1993). 11.Wolfe, W. J., Mathis, D., Anderson, C., Rothman, J., Gottler, M., Brady, G., Walker, R., Duane, G., Alaghband G.: K-winner networks. IEEE Trans. on Neural Networks 2, 310-315 (1991). 12.Ferreira, L. V., Kaszkurewicz, E., Bhaya, A. : Synthesis of a k-winners-take-all neural network using linear programming with bounded variables. In: IEEE Int. Joint Conf. on Neural Networks, pp. 2360­2365. IEEE Press (2003). 13.Marinov, C. A., Hopfield J. J. : Stable computational dynamics for a class of circuits with 0(N) interconnections capable of KWTA and rank extractions. IEEE Trans. on Circuits and Systems I: Fundamental Theory and Applications 52(5), 949-959 (2005). 14.Wang, J.: Analysis and design of a k-winners-take-all model with a single state variable and the Heaviside step activation

Страницы:
1  2 


Похожие статьи

П В Тимощук - Аналогова нейронна схема ідентифікації к максимальних сигналів

П В Тимощук - Порівняльний аналіз моделей нейронних осциляторів

П В Тимощук - Проектування прецизійних диференціаторів та інтеграторів гармонічних сигналів

П В Тимощук - Стійкість i збіжність до встановлених режимів дискретизованих сигналів kwta-нейронної схеми

П В Тимощук - Модель аналогової нейронної схеми ідентифікації найбільших сигналів