УДК: 004.932

Сравнение вероятностных языков программирования на примере решения задач кластеризации и выделения признаков

Полный текст на elibrary.ru

Публикация в Journal of Optical Technology

Ссылка для цитирования:

Филатов В.И., Потапов А.С. Сравнение вероятностных языков программирования на примере решения задач кластеризации и выделения признаков // Оптический журнал. 2015. Т. 82. № 8. С. 66–75.

Filatov V.I., Potapov A.S. Comparison of probabilistic programming languages, using the solution of clustering problems and the distinguishing of attributes as an example [in Russian] // Opticheskii Zhurnal. 2015. V. 82. № 8. P. 66–75.

Ссылка на англоязычную версию:

V. I. Filatov and A. S. Potapov, "Comparison of probabilistic programming languages, using the solution of clustering problems and the distinguishing of attributes as an example," Journal of Optical Technology. 82(8), 542-550 (2015). https://doi.org/10.1364/JOT.82.000542

Аннотация:

Решена задача кластеризации с использованием вероятностных языков программирования, принадлежащих к двум семействам – языкам, реализующим графические модели (Infer.NET), и произвольные вычислимые генеративные модели (Church). Проведено сравнение особенностей и эффективности реализаций. Установлена более высокая точность и производительность реализации на языке Infer.NET, которая, однако, потребовала использования императивной составляющей языка, выходящей за рамки генеративных моделей. Приведена реализация автоэнкодера – стандартного элемента сетей глубокого обучения – на языке Church, не потребовавшем реализации специализированных методов обучения сети. Показан большой потенциал вероятностных языков общего назначения, реализация которого, однако, требует развития методов вывода.

Ключевые слова:

вероятностное программирование, индуктивный вывод, генеративная модель

Благодарность:

Работа выполнена при поддержке Министерства Образования и Науки Российской Федерации и частично при государственной поддержке ведущих университетов Российской Федерации (субсидия 074-U01).

Коды OCIS: 150.1135

Список источников:

1. Goodman N. The Principles and practice of probabilistic programming // ACM SIGPLAN Notices – POPL ’13. 2013. V. 48. № 1. P. 339–402.
2. Goodman N., Mansinghka V., Roy D., Bonawitz K., Tanenbaum J. Church: a language for generative models // Uncertainty in Artificial Intelligence. 2008. V. 8. P. 220–229.
3. Abelson H., Sussman G. Structure and interpretation of computer programs. Cambridge: MIT Press, 1996. 608 p.
4. Wang S., Wand M. Using Infer.Net for statistical analyses // The American Statistician. 2011. V 65. № 2. P. 115–126.
5. Minka T. A family of algorithms for approximate Bayesian Inference // PhD thesis. Cambridge: MIT, 2001. 75 p.
6. Minka T. Expectation propagation for approximate bayesian inference // Uncertainty in Artificial Intelligence. 2001. V. 1. P. 362–369.
7. Bishop J. Variational message passing // Journal of Machine Learning Research. 2005. V. 6. P. 661–694.
8. Mansinghka V. Natively probabilistic computation // PhD thesis. Cambridge: MIT, 2009. 135 p.
9. Li J., Cheng J., Shi J., Huang F. Brief introduction of back propagation neural network algorithm and its improvement // Advances in Computer Science and Information Engineering. 2012. V. 169. P. 553–558.
10. Mansinghka V., Kulkarni T., Perov Y., Tenenbaum J. Approximate Bayesian image interpretation using generative probabilistic graphics programs // Advances in Neural Information Processing Systems. 2013. V. 1. P. 1520–1528.