2. Temas avanzados

Esta parte de Scipy lecture notes está dedicado al uso avanzado. Para reforzar los conocimientos del competente programador Python para ser un experto e introducirlo en varios temas específicos.

---

• 2.1. Expresiones avanzadas en python (Advanced Python Constructs)
  • 2.1.1. Iteradores, expresiones generadoras y generadores
    • 2.1.1.1. Iteradores
    • 2.1.1.2. Expresiones generadoras
    • 2.1.1.3. Generadores
    • 2.1.1.4. Comunicación bidireccional
    • 2.1.1.5. Encadenando generadores
  • 2.1.2. Decoradores
    • 2.1.2.1. Reemplazando o modificando el objeto original
    • 2.1.2.2. Decoradores implementados como clases y funciones
    • 2.1.2.3. Copiando el docstring (documentación) y otros atributos de la función original
    • 2.1.2.4. Ejemplos en la librería estándar
    • 2.1.2.5. Funciones obsoletas (Deprecation of functions)
    • 2.1.2.6. Un decorador para eliminar bucles while
    • 2.1.2.7. Un sistema de registro de plugins
    • 2.1.2.8. Más ejemplos y lecturas recomendadas
  • 2.1.3. Gestores de contexto (context managers)
    • 2.1.3.1. Capturando excepciones
    • 2.1.3.2. Usindo generadores para definir gestores de contexto
• 2.2. Numpy avanzado
  • 2.2.1. Vida de un ndarray
    • 2.2.1.1. Esto es...
    • 2.2.1.2. Bloque de memoria
    • 2.2.1.3. Tipos de datos
      • 2.2.1.3.1. El descriptor
      • 2.2.1.3.2. Ejemplo: leyendo ficheros .wav
      • 2.2.1.3.3. Casting y re-interpretación/vistas
        • 2.2.1.3.3.1. Casting (o transformación de tipo)
        • 2.2.1.3.3.2. Re-interpretación / vistas
    • 2.2.1.4. Esquema de indexación: strides (pasos)
      • 2.2.1.4.1. Punto principal
        • 2.2.1.4.1.1. Orden C y Fortran
        • 2.2.1.4.1.2. Slicing con enteros
      • 2.2.1.4.2. Example: fake dimensions with strides
      • 2.2.1.4.3. Broadcasting
      • 2.2.1.4.4. More tricks: diagonals
      • 2.2.1.4.5. CPU cache effects
      • 2.2.1.4.6. Example: inplace operations (caveat emptor)
    • 2.2.1.5. Findings in dissection
  • 2.2.2. Universal functions
    • 2.2.2.1. What they are?
      • 2.2.2.1.1. Parts of an Ufunc
      • 2.2.2.1.2. Making it easier
    • 2.2.2.2. Exercise: building an ufunc from scratch
    • 2.2.2.3. Solution: building an ufunc from scratch
    • 2.2.2.4. Generalized ufuncs
  • 2.2.3. Interoperability features
    • 2.2.3.1. Sharing multidimensional, typed data
    • 2.2.3.2. The old buffer protocol
    • 2.2.3.3. The old buffer protocol
    • 2.2.3.4. Array interface protocol
  • 2.2.4. Array siblings: chararray, maskedarray, matrix
    • 2.2.4.1. chararray: vectorized string operations
    • 2.2.4.2. masked_array missing data
      • 2.2.4.2.1. The mask
      • 2.2.4.2.2. Domain-aware functions
    • 2.2.4.3. recarray: purely convenience
    • 2.2.4.4. matrix: convenience?
  • 2.2.5. Summary
  • 2.2.6. Contributing to Numpy/Scipy
    • 2.2.6.1. Why
    • 2.2.6.2. Reporting bugs
      • 2.2.6.2.1. Good bug report
    • 2.2.6.3. Contributing to documentation
    • 2.2.6.4. Contributing features
    • 2.2.6.5. How to help, in general
• 2.3. Debugging code / Código de depuración
  • 2.3.1. Evitando bugs
    • 2.3.1.1. Buenas prácticas para evitar tener problemas al escribir código
    • 2.3.1.2. pyflakes: Análisis estático veloz
      • 2.3.1.2.1. Corriendo pyflakes en el fichero que estamos editando
      • 2.3.1.2.2. A type-as-go spell-checker like integration (integración de un comprobador de código a medida que tecleas)
  • 2.3.2. Flujo de trabajo para depuración de código
  • 2.3.3. Usando el depurador Python
    • 2.3.3.1. Invocando al depurador
      • 2.3.3.1.1. Postmortem
      • 2.3.3.1.2. Ejecución paso a paso
      • 2.3.3.1.3. Otras formas de comenzar una depuración
    • 2.3.3.2. Comandos del depurador e interacciones
      • 2.3.3.2.1. Obteniendo ayuda dentro del depurador
  • 2.3.4. Depurando errores de segmentación usando gdb
• 2.4. Optimizing code
  • 2.4.1. Optimization workflow
  • 2.4.2. Profiling Python code
    • 2.4.2.1. Timeit
    • 2.4.2.2. Profiler
    • 2.4.2.3. Line-profiler
    • 2.4.2.4. Running cProfile
    • 2.4.2.5. Using gprof2dot
  • 2.4.3. Making code go faster
    • 2.4.3.1. Algorithmic optimization
      • 2.4.3.1.1. Example of the SVD
  • 2.4.4. Writing faster numerical code
    • 2.4.4.1. Additional Links
• 2.5. Sparse Matrices in SciPy
  • 2.5.1. Introduction
    • 2.5.1.1. Why Sparse Matrices?
    • 2.5.1.2. Sparse Matrices vs. Sparse Matrix Storage Schemes
    • 2.5.1.3. Typical Applications
    • 2.5.1.4. Prerequisites
    • 2.5.1.5. Sparsity Structure Visualization
  • 2.5.2. Storage Schemes
    • 2.5.2.1. Common Methods
    • 2.5.2.2. Sparse Matrix Classes
      • 2.5.2.2.1. Diagonal Format (DIA)
        • 2.5.2.2.1.1. Examples
      • 2.5.2.2.2. List of Lists Format (LIL)
        • 2.5.2.2.2.1. Examples
      • 2.5.2.2.3. Dictionary of Keys Format (DOK)
        • 2.5.2.2.3.1. Examples
      • 2.5.2.2.4. Coordinate Format (COO)
        • 2.5.2.2.4.1. Examples
      • 2.5.2.2.5. Compressed Sparse Row Format (CSR)
        • 2.5.2.2.5.1. Examples
      • 2.5.2.2.6. Compressed Sparse Column Format (CSC)
        • 2.5.2.2.6.1. Examples
      • 2.5.2.2.7. Block Compressed Row Format (BSR)
        • 2.5.2.2.7.1. Examples
    • 2.5.2.3. Summary
  • 2.5.3. Linear System Solvers
    • 2.5.3.1. Sparse Direct Solvers
      • 2.5.3.1.1. Examples
    • 2.5.3.2. Iterative Solvers
      • 2.5.3.2.1. Common Parameters
      • 2.5.3.2.2. LinearOperator Class
      • 2.5.3.2.3. A Few Notes on Preconditioning
    • 2.5.3.3. Eigenvalue Problem Solvers
      • 2.5.3.3.1. The eigen module
  • 2.5.4. Other Interesting Packages
• 2.6. Manipulación y procesamiento de imágenes usando Numpy y Scipy
  • 2.6.1. Abriendo y escribiendo archivos de imágenes
  • 2.6.2. Mostrando imágenes
  • 2.6.3. Manipulaciones básicas
    • 2.6.3.1. Información estadística
    • 2.6.3.2. Transformaciones geométricas
  • 2.6.4. Filtrado de imágenes
    • 2.6.4.1. Desenfoque/suavizado
    • 2.6.4.2. enfoque/refinamiento (sharpening)
    • 2.6.4.3. Reduciendo ruido
    • 2.6.4.4. Morfología matemática
  • 2.6.5. Extracción de patrones
    • 2.6.5.1. Detección de borde
    • 2.6.5.2. Segmentación
  • 2.6.6. Midiendo propiedades de objetos: ndimage.measurements
• 2.7. Mathematical optimization: finding minima of functions
  • 2.7.1. Knowing your problem
    • 2.7.1.1. Convex versus non-convex optimization
    • 2.7.1.2. Smooth and non-smooth problems
    • 2.7.1.3. Noisy versus exact cost functions
    • 2.7.1.4. Constraints
  • 2.7.2. A review of the different optimizers
    • 2.7.2.1. Getting started: 1D optimization
    • 2.7.2.2. Gradient based methods
      • 2.7.2.2.1. Some intuitions about gradient descent
      • 2.7.2.2.2. Conjugate gradient descent
    • 2.7.2.3. Newton and quasi-newton methods
      • 2.7.2.3.1. Newton methods: using the Hessian (2nd differential)
      • 2.7.2.3.2. Quasi-Newton methods: approximating the Hessian on the fly
    • 2.7.2.4. Gradient-less methods
      • 2.7.2.4.1. A shooting method: the Powell algorithm
      • 2.7.2.4.2. Simplex method: the Nelder-Mead
    • 2.7.2.5. Global optimizers
      • 2.7.2.5.1. Brute force: a grid search
      • 2.7.2.5.2. Simulated annealing
  • 2.7.3. Practical guide to optimization with scipy
    • 2.7.3.1. Choosing a method
    • 2.7.3.2. Making your optimizer faster
    • 2.7.3.3. Computing gradients
    • 2.7.3.4. Synthetic exercices
  • 2.7.4. Special case: non-linear least-squares
    • 2.7.4.1. Minimizing the norm of a vector function
    • 2.7.4.2. Curve fitting
  • 2.7.5. Optimization with constraints
    • 2.7.5.1. Box bounds
    • 2.7.5.2. General constraints
• 2.8. Interfacing with C
  • 2.8.1. Introduction
  • 2.8.2. Python-C-Api
    • 2.8.2.1. Example
    • 2.8.2.2. Numpy Support
  • 2.8.3. Ctypes
    • 2.8.3.1. Example
    • 2.8.3.2. Numpy Support
  • 2.8.4. SWIG
    • 2.8.4.1. Example
    • 2.8.4.2. Numpy Support
  • 2.8.5. Cython
    • 2.8.5.1. Example
    • 2.8.5.2. Numpy Support
  • 2.8.6. Summary
  • 2.8.7. Further Reading and References
  • 2.8.8. Exercises
    • 2.8.8.1. Python-C-API
    • 2.8.8.2. Ctypes
    • 2.8.8.3. SWIG
    • 2.8.8.4. Cython