Objetivos
O objetivo da classe é mostrar o funcionamento correto de técnicas e algoritmos empregados em metodologias estatísticas. Em particular, serão estudadas técnicas de simulação estocástica (geração de números aleatórios, métodos de Monte Carlo, e aplicações como por exemplo bootstrapping), princípios de otimização convexa (nos contextos de máxima verossimilhança, algoritmo EM e mínimos quadrados com restrições), e elementos de análise numérica (álgebra de ponto flutuante, mínimos quadrados e decomposições de matrizes). Ao fim do curso, o aluno deverá ser capaz de utilizar, implementar e formalizar as ferramentas computacionais que serão discutidas ao longo do semestre. O contexto de aplicações das técnicas pode ser abordado durante o curso com fim de ilustração, mas não será requerido conhecimento prévio dos assuntos (inferência Bayesiana, análise de regressão, machine learning). O curso será predominantemente desenvolvido em R, mas exemplos adicionais em C++ (via Rcpp) e Stan (via RStan) serão considerados.
Leia o plano de desenvolvimento (PDD), com o plano de atividades do curso, as regras para a avaliação e notas.
Instrutor
| Sala | Horário de atendimento | ||
| Guilherme Ludwig | 233 | Fim de aula / Moodle | gvludwig |
| João Victor Bastos de Freitas (PED) | j229299 |
Horários
| Terça (PB16) | 14:00-16:00 | |
| Quinta (PB16) | 14:00-16:00 |
Referências
| J. E. Gentle. Computational Statistics. Springer, 2009. (referência principal) |
| L. Devroye. Non-uniform Random Variate Generation. Springer, 1986. |
| W. J. Kennedy e J. E. Gentle, Statistical Computing. Dekker, 1981. |
| J. R. Magnus e H. Neudecker. Matrix Differential Calculus with Applications in Statistics and Econometrics. Wiley, 1999. |
| B. D. Ripley. Stochastic Simulation. Wiley, 1987. |
| C. Robert e G. Casella. Monte Carlo Statistical Methods. Springer, 2004. |
| W. N. Venables e B. D. Ripley. Modern Applied Statistics with S-PLUS. Springer, 1999. |
| Avaliação | Peso |
|---|---|
| Prova 1 (19/09) | 1/2 |
| Projeto 1 (10/10) | 1/4 |
| Projeto 2 (21/11) | 1/4 |
| Total | 1 |
Calendário
Note: esse calendário é um plano preliminar e provávelmente o conteúdo das aulas estará sujeito a alterações!
| Dia | Tópico | Material extra |
| 06/08/2024 | Aula 01: Representação de números no computador. | |
| 08/08/2024 | Não há aula. | |
| 13/08/2024 | Aula 02: Simulação de números pseudo-aleatórios. | |
| 15/08/2024 | Aula 03: Simulação de variáveis aleatórias: método da inversão, método de rejeição. | |
| 20/08/2024 | Aula 04: Eficiência computacional. Métodos para variáveis aleatórias normais. Método de Forsythe-von Neumann. | |
| 22/08/2024 | Aula 05: Integral de Monte Carlo. | |
| 27/08/2024 | Aula 06: Técnicas de redução de variância. Variáveis antitéticas. Importance sampling. | |
| 29/08/2024 | Aula 07: Introdução às cadeias de Markov. Tempo até o primeiro contato. Distribuições invariantes. | |
| 03/09/2024 | Aula 08: Cadeias de nascimento e morte. Cadeias Markovianas com espaço de estados infinito. | |
| 05/09/2024 | Aula 09: Algoritmo de Metropolis-Hastings. | |
| 10/09/2024 | Aula 10: Amostrador de Gibbs. | |
| 12/09/2024 | Aula 11: Algumas generalizações de MCMC: Metropolis-within-Gibbs. Amostrador de Gibbs em blocos. | |
| 17/09/2024 | Aula 12: Revisão para a prova. | |
| 19/09/2024 | Aula 13: PROVA I | |
| 24/09/2024 | Aula 14: Paralisação estudantil. | |
| 26/09/2024 |
Aula 15: Bootstrapping. Dia 30/09 é o último dia para desistência de matrícula em disciplinas. |
|
| 01/10/2024 |
Aula 16: Jackknife e validação cruzada. |
|
| 03/10/2024 | Aula 17: Introdução à otimização. Revisão de álgebra de matrizes. Método de Newton-Raphson. | Divulgação do Projeto 1: MCMC. |
| 08/10/2024 | Aula 18: Derivadas matriciais, parte I. Mínimos quadrados. | |
| 10/10/2024 | Aula 19: Derivadas matriciais, parte II. Máxima verossimilhança da normal multivariada. | Entrega do Projeto 1 (via Moodle). |
| 15/10/2024 | Não há aula: avaliação do curso. | |
| 17/10/2024 | Aula 20: Line-search e escore de Fisher. | |
| 22/10/2024 | Aula 21: Gradient ascent/descent. Otimização com restrições de caixa. | |
| 24/10/2024 | Aula 22: Introdução à otimização estocástica: Simulated annealing. Algoritmo EM. | |
| 29/10/2024 | Aula 23: | |
| 31/10/2024 |
Aula 24: Mais exemplos e teoria sobre o algoritmo EM. |
|
| 05/11/2024 | Aula 25: Decomposição espectral. Número de condição. Geração da normal multivariada. | |
| 07/11/2024 | Aula 26: Solução de sistemas lineares. Estimadores de mínimos quadrados. Mínimos quadrados regularizados. | |
| 12/11/2024 | Aula 27: Avaliando autopares numericamente. Método de Krylov. Decomposição QR. | |
| 14/11/2024 | Aula 28: Decomposição de Cholesky. Decomposição em valores singulares (SVD). Análise de componentes principais. | Divulgação do Projeto 2: Otimização e Matrizes. |
| 19/11/2024 | Aula 29: Suavizadores. Splines. Teoria de Splines e suavizadores em geral. | |
| 21/11/2024 |
Aula 30: Algum destes tópicos: Métodos numéricos envolvendo matrizes esparsas. Hamiltonian Monte Carlo e Introdução ao STAN. Introdução ao Variational Bayes. Amostrador de Gibbs de dimensão variável. Reversible Jump Markov Chain. |
Entrega do Projeto 2 (via Moodle). |
| 26/11/2024 | ||
| 28/11/2024 | ||
| 03/12/2024 | Semana de Estudos | |
| 05/12/2024 | Semana de Estudos | |
| 10/12/2024 | ||
| 12/12/2024 | EXAME FINAL |