Logo and Side Nav

News

Velit dreamcatcher cardigan anim, kitsch Godard occupy art party PBR. Ex cornhole mustache cliche. Anim proident accusamus tofu. Helvetica cillum labore quis magna, try-hard chia literally street art kale chips aliquip American Apparel.

Search

Browse News Archive

:

Tuesday, November 1, 2011

Teoria dos Nurbs


Lev Manovich

Publicado originalmente em Perissinotto, P. e Barreto, R. Teoria Digital. Tradução de Cicero Inacio da Silva e Jane de Almeida. São Paulo: Imprensa Oficial, 2010, pgs. 108 a 133.

Computação gráfica como método de pesquisa
A explosão de novas idéias e métodos nas disciplinas culturais nos anos 1960 não pareceu ter afetado a apresentação dos processos culturais na prática. Livros, museus dedicados à arte, design, mídia entre outras áreas culturais continuam a organizar os seus temas em um pequeno número de categorias discretas*: períodos, escolas artísticas, ismos, movimentos culturais. Os capítulos de um livro ou as salas da maioria dos museus atuam como divisores materiais entre essas categorias. Dessa forma, um “organismo” cultural  que evolui continuamente é colocado à força em caixas artificiais.
Na realidade, mesmo que em um âmbito tecnológico a mudança do analógico para o digital ainda seja um fato recente, nós temos “sido digitais” em nível teórico por um longo período. Ou seja, desde a emergência das instituições modernas de armazenamento cultural e da produção do conhecimento cultural no século XIX (ou seja, museus e disciplinas na área das humanidades alocadas em universidades) nós temos utilizado categorias discretas para exemplificar a continuidade da cultura no sentido de teorizá-la, preservá-la e exibi-la.
Podemos perguntar: se estamos atualmente fascinados com as idéias de fluxo, evolução, complexidade, heterogeneidade e hibridização cultural, porque nossas representações e apresentações dos dados culturais não refletem essas idéias?

Plano típico de uma planta baixa de museu (Spencer Museum of Art)




Diagrama da evolução da arte moderna criado para o MOMA por Alfred H. Barr em 1935 para a exposição Cubismo e Arte Abstrata.



O uso de um pequeno número de categorias discretas para descrever conteúdos caminhou passo-a-passo com a recusa das humanidades modernas e das instituições culturais em utilizar representações gráficas para reproduzir tais  conteúdos.  Muitos conhecem o famoso diagrama da evolução da arte moderna criado por Barr (o fundador e primeiro diretor do MOMA em Nova Iorque), realizado em 1935. Mesmo que esse diagrama ainda utilize categorias discretas em seus fundamentos, trata-se de uma evolução frente às padronizadas linhas de tempo da história da arte e das plantas baixas dos museus de arte, já que ele representa um processo cultural usando um gráfico em 2D. Infelizmente, esse é o único diagrama bem conhecido da história da arte produzido em todo o século XX.
Cabe realçar que, desde as primeiras décadas do século XIX, as publicações científicas começaram a utilizar técnicas gráficas em larga escala que permitiam representar fenômenos como variações constantes. De acordo com a história visual on-line da visualização de dados de Michael Friendly, durante aquele período “todas as formas de exposição de dados foram inventadas: barras, gráficos, histogramas, gráficos em linha e traços de séries temporais, traços de contorno e assim por diante.”1




1832: O primeiro diagrama que enquadra uma leve curva em um scatterplot (mapa com linhas de fuga): posições x tempo para g; Virginis (John Herschel, Inglaterra).




1837: Primeiro mapa de fluxos publicado, mostrando o transporte de recursos através de linhas sombreadas, com largura proporcional ao número de passageiros (Henry Drury Harness, Irlanda).




Embora uma história sistemática da exibição dos dados visuais ainda esteja por ser pesquisada e escrita, livros populares de Edward Tufte ilustram como os gráficos que representam dados quantitativos já tinham se tornado comuns em várias áreas profissionais no final do século XIX.2
O uso de representações matematicamente definidas de qualidades contínuas foi largamente acelerado após os anos 1960 devido a adoção de computadores para automaticamente criar gráficos. Em 1960, William Fetter (designer gráfico da fábrica de aviões Boeing) cunhou a frase “Computação Gráfica”. Na mesma época, Pierre Bézier e Paul de Casteljau (que trabalhou para a Renault e Paul de Casteljau respectivamente) independentemente inventaram as splines –  matematicamente descritas como linhas suaves que podem ser editadas por um usuário. Em 1967, Steven Coons do MIT apresentou os fundamentos matemáticos para o que finalmente se tornou a forma padrão para representar superfícies em softwares de computação gráfica: “Sua técnica para descrever uma superfície foi construí-la a partir de uma coleção de partes adjacentes, de continuidade contraída e que permitiam às superfícies terem a curvatura esperada pelo designer.”3. A técnica de Coons se tornou o fundamento para a descrição de superfícies na computação gráfica (das quais a mais popular é o NURBS – Non Uniform Rational Basis Spline, ou Linha de Base Racional Não Uniforme).


Superfície 3D NURBS





No momento em que os campos do design, da mídia e da arquitetura adotaram softwares de computação gráfica nos anos 1990 produziu-se uma revolução intelectual e estética. Até aquela década, a única técnica prática que representava objetos 3D em um computador era produzida através da modelagem de polígonos planos. No início dos anos 1990, o aumento na velocidade de processamento dos computadores e o aumento da capacidade de memória ofereceram condições práticas para a modelagem em NURBS originalmente desenvolvida por Coons, entre outros, já nos anos 1960. Essa nova técnica para representar formas espaciais forçou um distanciamento da geometria retangular modernista no campo do pensamento arquitetônico na direção de privilegiar formas suaves e complexas criadas a partir de curvas contínuas (ou seja, dos NURBS). Como resultado, no final do século XX, a estética dos “blobs” começou a dominar o pensamento de vários estudantes de arquitetura, jovens arquitetos e até mesmo de reconhecidas “estrelas” da arquitetura. Visual e espacialmente, curvas suaves e superfícies com formas livres emergiram como a nova linguagem de expressão para o mundo globalizado e ligado em rede onde a única constante é a mudança rápida. A estética modernista da simplicidade e discrição foi substituída pela nova estética da continuidade e complexidade. (Outro termo útil cunhado para essa nova arquitetura com foco na pesquisa de novas possibilidades de formas espaciais possibilitadas pela computação e nas novas técnicas de construção necessárias para  construí-las é a chamada “arquitetura não padrão” - non-standard architecture. No inverno de 2004, o Centro Georges Pompidou organizou uma mostra sobre arquitetura não padrão, que foi seguida pela conferência Prática do Não Padrão  - Non-standard Practice no MIT.)



Vila em Copenhagen, Dinamarca pelo escritório MAD (Beijing).



Um centro para artes performáticas para um centro cultural na Ilha Saadiyat, Abu Dhabi por Zaha Hadid (Londres).



Esta mudança na imaginação da forma espacial correu em paralelo com a adoção de um novo vocabulário intelectual. O discurso arquitetônico se tornou dominado por conceitos e termos que igualam (ou diretamente advém deles) elementos do design e das operações oferecidas pelos softwares – splines e NURBS, morphing, modelagem e simulação baseadas em física, design paramétrico, sistemas de partículas, simulação de fenômenos naturais, IA e assim por diante. Vejam alguns exemplos:
“O campus está organizado e é navegado à base de desvios direcionais e a distribuição das densidades no lugar de pontos chaves. Isso é o indicativo do caráter do Centro como um todo: poroso, imersivo, uma área espacial.” Descrição de Zaha Hadid (Londres) do design de um Centro de Arte Contemporânea em Roma (atualmente em construção).
“Cenários de hibridização, enxerto, clonagem e morphing colocam em evidência uma perpétua transformação da arquitetura que se esforça para quebrar com as antinomias do objeto/sujeito ou do objeto/território.” Frédéric Migayrou sobre R&Sie (Francois Roche e Stéphanie Lavaux, Paris).
“O pensamento da lógica difusa (fuzzy) é um outro passo para ajudar o pensamento humano a reconhecer nosso ambiente menos como um mundo de fronteiras fragmentadas e de desconexões e mais como um campo repleto de agentes com fronteiras indefinidas. EMERGED investiga o potencial da lógica difusa como uma técnica organizacional libertária para o desenvolvimento de ambientes inteligentes, flexíveis e adaptativos. Observando o projeto como um campo de testes para suas ferramentas e técnicas de design, a equipe expande seu território focando e sistematizando a dinâmica de uma ferramenta de cabelo como uma máquina de design generativo em larga escala, envolvendo, contudo, níveis sociais e culturais de organizações globais.” Descrição do escritório MRGD (Melik Altinisik, Samer Chaumoun, Daniel Widrig) do Urban Lobby (pesquisa para um re-desenvolvimento da torre de escritórios Centre Point no centro de Londres).
Mesmo que a computação gráfica não tenha sido a única fonte de inspiração para esse novo vocabulário conceitual (influências importantes vieram da filosofia francesa e da ciência do caos e da complexidade), ela obviamente desempenhou o seu papel. Então, juntamente com o fato de transformar a linguagem do design e da arquitetura contemporâneos, a linguagem da computação gráfica se tornou a linguagem do design e da arquitetura contemporâneos – assim como a inspiração do discurso arquitetônico sobre prédios, cidades, espaço e vida social.

Representando processos culturais: das categorias discretas às curvas e superfícies
Se os arquitetos adotaram as técnicas de computação gráfica como termos teóricos para falar sobre o seu próprio campo, porque não fazer o mesmo  com todo o campo cultural? Mas ao invés de somente utilizar esses termos como metáfora, porque não visualizar, na realidade, processos culturais, dinâmicas e fluxos utilizando as mesmas técnicas de computação gráfica?
É tempo de alinharmos nossos modelos e apresentações do processo cultural com a nova linguagem do design e as novas idéias teóricas tornadas possíveis (ou inspiradas) pelo software. Design, animação e softwares de visualização permitem conceitualizar e visualizar fenômenos e processos culturais em termos de parâmetros de mudança contínua, em oposição aos padrões categóricos “caixas” de hoje.
Assim como o software substituiu o antigo design das primitivas platônicas  por novas primitivas (curvas, superfícies flexíveis, campos de partículas), vamos substituir a tradicional “teoria cultural das primitivas” pelas novas que existem. Em um cenário como esse, uma linha do tempo 1D se torna um gráfico 2 ou 3D, um pequeno conjunto de campos categóricos discretos é descartado em nome de curvas, superfícies livres em 3D, campos de partículas e outras representações disponíveis nos softwares de design e visualização.
Estas foram algumas idéias que nos levaram a criar em 2007 o Software Studies Initiative (softwarestudies.com ou softwarestudies.com.br) – um laboratório para análise e visualização de padrões culturais, localizado na Universidade da Califórnia, San Diego (UCSD) e no Instituto da Califórnia para a Telecomunicação e Tecnologia da Informação (CALIT2).
Aproveitando a reconhecida credibilidade da UCSD e do Calit2 no campo das artes digitais e da ciência, temos desenvolvido técnicas para a representação gráfica e visualização interativa de artefatos e dinâmicas culturais. Nossa inspiração vem de vários campos, todos baseados na computação gráfica para visualizar dados – visualização científica, visualização da informação e “visualização artística” (veja infoaesthetics.com). Também pegamos emprestadas algumas idéias das interfaces padrões utilizadas na edição de mídia, nos softwares de composição e animação (Final Cut, After Effects, Maya, Blender etc.) que empregam curvas para visualizar as mudanças em vários parâmetros da animação ao longo do tempo.




Cultura em dados
Antes que nos aventuremos em dobras, campos, nuvens de partículas e superfícies complexas, vamos começar com um elemento básico da representação espacial moderna: uma curva. Como você representa um processo cultural que se desdobra historicamente ao longo do tempo com uma curva contínua? (No que se segue não falaremos de splines, ou seja, a técnica para representar matematicamente uma curva suave que permite sua edição de forma interativa, mas somente falaremos da curva como uma figura gráfica).
Se, como vários historiadores dos séculos passados, acreditássemos que a história cultural segue leis simples, por exemplo: que cada cultura segue um ciclo de crescimento, uma “idade de ouro” e um declínio, as coisas seriam muito simples. Seríamos capazes de criar fórmulas que matematicamente iriam representar os processos de crescimento e mudança (por exemplo, trigonométricos, exponenciais ou funções polinomiais) e somente ficar alimentando as suas variáveis com dados representando algumas condições do processo histórico real em questão. Teríamos então uma curva suave perfeita que representa um processo cultural como um ciclo de crescimento e declínio. Contudo, já que o paradigma histórico está claramente invalidado na atualidade, temos que fazer nossas curvas baseados nos dados reais sobre o todo dos processos culturais.
Uma curva 2D define um conjunto de pontos que nele se situam. Cada ponto, a cada momento, é definido por dois números  -  coordenadas X e Y. Se os pontos são densos o suficiente, eles visualmente formariam sozinhos uma curva. Se eles não são densos o suficiente, podemos utilizar um software para alinhar uma curva através desses pontos. É claro que nós nem sempre temos que desenhar uma curva através desses pontos (por exemplo: se os pontos formam um conjunto qualquer ou formam qualquer outro padrão geométrico, isso já significativo em si mesmo”5.
Em cada caso, precisamos de um conjunto de coordenadas X e Y. Para fazer isso, temos de mapear um processo cultural em um conjunto de números onde um número é o tempo (eixo X) e o outro número é alguma qualidade do processo naquele período (eixo Y).
Em resumo, temos de transformar cultura em dados.
Apesar da definição de cultura incluir crenças, ideologias, modismos e outra propriedades não físicas, em um âmbito prático, nossas instituições culturais e a indústria cultural lidam com uma manifestação particular da cultura: os objetos. Isso é o que está guardado na Livraria do Congresso Americano ou no Metropolitan Museum, criados por designers industriais, postados por usuários no Flickr e vendidos na Amazon. Altere tempo ou distância, e os objetos culturais manifestam mudanças em suas sensibilidades culturais, imaginação ou um estilo. Então, mesmo que mais tarde nós tenhamos de assumir o desafio de afirmar que a cultura pode ser equiparada aos objetos culturais, se pudermos começar pelo uso de um conjunto desses objetos para representar as mudanças graduais na sensibilidade cultural ou na imaginação, isso seria um começo.
Utilizar números no eixo X (por exemplo, tempo) é fácil. Normalmente objetos culturais tem alguns metadados discretos ligados a eles – a data ou lugar de criação, o tamanho (de uma obra de arte), a duração (de um filme) e assim por diante. Então, se temos a data em que o objeto cultural foi criado, podemos inserir esses números como metadados no eixo X. Por exemplo: se estamos interessados em representar o desenvolvimento da pintura no século XX, podemos mapear o ano em que cada pintura foi feita. Mas o que usaremos no eixo Y? Em outras palavras, como podemos comparar as pinturas umas com as outras qualitativamente?
Podemos manualmente anotar os conteúdos das pinturas (mas não os detalhes da sua estrutura visual). Alternativamente, podemos pedir para experts (ou um outro grupo de pessoas) para localizar as pinturas em alguma escala discreta (valor histórico, preferência estética etc.), mas esse tipo de julgamento só pode funcionar com um pequeno número de categorias.6 Mais importante, esses métodos não geram escalas muito bem – eles custariam muito se quiséssemos descrever centenas de milhares ou milhões de objetos. Igualmente, as pessoas têm dificuldades para  ordenar um grande número de objetos que são muito similares entre si. Portanto, precisamos de alguns métodos automáticos que podem ser processados em computadores para descrever qualidades de um grande número de objetos culturais qualitativamente.
No caso de textos, isso se torna relativamente fácil. Desde que os textos já consistam de unidades discretas (por exemplo, palavras), eles naturalmente se conduzirão pelo processamento computacional. Podemos utilizar software para contar as ocorrências de uma palavra em particular e de combinações de palavras; podemos comparar os números de substantivos versus verbos; podemos calcular o tamanho das sentenças e os parágrafos e assim por diante.
Por que os computadores são muito bons em contar (assim como em processar operações matemáticas complexas a partir de números - o resultado da contagem), a digitalização do conteúdo dos textos, tais  como os livros e o crescimento de websites e blogs rapidamente levaram ao surgimento de novas indústrias e de novos paradigmas epistemológicos que exploram o processamento computacional dos textos. A Google e outras ferramentas de busca analisam bilhões de páginas web e os links entre elas para permitir ao usuário buscar na web páginas que contenham frases particulares ou somente palavras. Nielsen Blogpulse analisou mais de 100 milhões de blogs para detectar tendências no que as pessoas estão dizendo sobre algumas marcas em particular, produtos, além de tópicos específicos em que os seus clientes estão interessados.7 A Amazon.com analisa os conteúdos dos livros que ela vende para calcular “frases estatisticamente improváveis” usadas para identificar partes únicas dos livros.8 No campo das humanidades digitais, pesquisadores já vêm há muito tempo desenvolvendo estudos estatísticos de textos literários. Alguns deles, mais notadamente Franko Moretti, têm produzido visualizações dos dados em formas de curvas mostrando tendências históricas.9
Mas e as mídias analógicas, como as imagens e os vídeos? Fotos ou vídeos não têm definidos claramente as suas unidades discretas que seriam equivalentes às palavras. Além disso, a mídia visual não tem um vocabulário padrão ou uma gramática – o sentido de qualquer elemento de uma imagem somente é definido no contexto particular de todos os outros elementos que estão nessas imagens. Isto torna o problema da análise visual automática da imagem muito mais desafiadora, mas não impossível. O segredo é focar na forma visual (o que é fácil para o computador analisar) e não na semântica (o que é muito difícil).
Desde meados dos anos 1950, os cientistas da computação têm desenvolvido técnicas para automaticamente descrever propriedades visuais das imagens. Podemos analisar distribuições de tons cinza, cores, orientação e curvatura das linhas, textura e literalmente centenas de outras dimensões visuais. Algumas poucas técnicas (como um histograma) são construídas em softwares de edição de mídia como o Photoshop e na tela de câmeras digitais. Muitas outras estão disponíveis em softwares de aplicações especializadas ou descritas em publicações profissionais na área de ciência da computação.
Nossa abordagem, que chamamos de Analítica Cultural (Cultural Analytics), utiliza como técnica analisar automaticamente imagens e vídeos para gerar descrições numéricas de suas estruturas visuais. Essas descrições numéricas podem ser então geradas em forma gráfica e também analisadas estatisticamente. Por exemplo: se traçarmos as datas das criações de imagens ou filmes num eixo X, usaremos uma das (ou uma combinação) mensurações desses objetos para posicioná-los no eixo Y. A linha formada por esses pontos representará como um conjunto de objetos culturais se modificou ao longo do tempo em relação às dimensões visuais que estão sendo traçadas.

HistóriadaArte.viz
Para o nosso primeiro estudo com o objetivo de testar essa abordagem, escolhemos um pequeno conjunto de dados de 35 imagens canônicas da história da arte que cobrem o período desde Coubert (1849) até Malevich (1914). Escolhemos imagens que são representações típicas de uma apresentação da história da arte moderna em um livro sobre história da arte ou em uma palestra: do Realismo do século XIX e as pinturas de salão até o Impressionismo, Pós-impressionismo, Fauvismo e a Abstração Geométrica dos anos 1910. A idéia não era encontrar um novo padrão num conjunto de dados como esse, mas ao invés disso, era observar se o método da Analítica Cultural poderia modificar nosso entendimento compartilhado do desenvolvimento da arte moderna em uma curva baseada em algumas qualidades objetivas dessas imagens.




Um conjunto de 35 pinturas por artistas canônicos modernos utilizadas neste estudo.


Eixo X: datas das pinturas (em anos). Eixo Y: valor do oblíquo reverso de cada pintura. (Oblíquo é uma medida dos valores da escala de cinza de uma imagem. Uma imagem que tem em sua maioria tons de luzes terá uma escala de oblíquos negativa; uma imagem que tem em sua maior parte tons escuros, terá uma escala de ângulo positiva. Em nosso gráfico nós revertemos os valores do oblíquo para tornar o gráfico compreensível).






Porque forçar o desenvolvimento cultural contínuo e dinâmico em pequenos conjuntos de dados categorizados? Em vez de projetar um pequeno conjunto de categorias sobre os dados que definem cada objeto cultural como pertencendo a categorias discretas ou como estando fora de todas as categorias (o que automaticamente as torna menos importantes para a pesquisa), podemos visualizar o padrão global em seu desenvolvimento. Neste gráfico definimos uma linha de tendência utilizando todos os pontos (todas as 35 pinturas). A curva mostra que as mudanças nos parâmetros visuais, as quais, em nosso ponto de vista, definiram a arte moderna no século XX (formas simplificadas, tonalidades brilhantes, cores mais saturadas, imagens mais planas) se aceleraram após os anos 1870 e aceleraram ainda mais após os anos 1905.
Para determinar valores Y para este gráfico, mensuramos as pinturas a partir das seguintes dimensões: escala de cinza média, saturação média, o tamanho do histograma da escala binária de cinza e ângulo.Todos os valores, exceto os oblíquos, foram mensurados em uma escala de 0-255; os valores oblíquos foram normalizados à mesma escala de valores. (O tamanho do histograma da escala binária de cinza indica quantos diferentes valores de pixels têm valores não-0 em seu histograma. Se uma imagem tem cada um dos valores da escala de cinza, esse número então será 255; se uma imagem tem somente poucos valores listados na escala de cinza, o número correspondente será menor).



Podemos comparar a variação do desenvolvimento entre diferentes períodos. Gráfico: comparando as mudanças na pintura antes de 1900 versus pinturas pós-1900 usando linhas de tendências lineares.

 


Mensurações computacionais de estruturas visuais permitem encontrar diferenças entre conjuntos culturais, que à primeira vista parecem idênticos (assim como encontrar similaridades entre os conjuntos, o que se pensava ser muito diferente).
Gráfico: Ao comparar a mudança na escala mediana de cinzas das pinturas “realistas” x “modernistas” em nosso conjunto, revela-se que, nessa dimensão, a anterior foi se modificando à mesma exata medida que a última.




Visualizar dados culturais pode revelar a “dispersão” relativa de diferentes conjuntos de dados culturais em relação a eles mesmos.
Gráfico: comparando o alcance dos valores em dois sub-conjuntos de dados: Pós-impressionismo e a Abstração de 1910-1915. No período anterior, o alcance dos valores é muito amplo. No segundo período, artistas trabalhando em países diferentes sob ideologias artísticas distintas acabaram ocupando uma parte muito menor do espaço das possibilidades visuais.

HistóriadoFilme.viz
Neste exemplo exploramos os padrões na história do cinema como representados por 1.100 filmes lançados. Os dados são do cinemetrics.lv 10. Os filmes cobrem um número de países e um período que vai de 1902 a 2008 (Note que assim como no exemplo anterior, esse conjunto de dados também representa uma seleção tendenciosa: filmes que interessam àqueles historiadores do cinema que contribuem com os dados – mais do que alguma amostragem objetiva da produção mundial ao longo do século XX).
Para cada filme a base de dados Cinemetrics provê dados sobre o tamanho de cada plano em um filme, assim como a média do tamanho dos planos (que pode ser obtido ao se dividir o tamanho de um filme pelo total de números de planos). Esses dados nos permitem explorar os padrões de tamanhos de planos (que correspondem à velocidade do corte) ao longo de vários períodos no século XX e em diferentes países (Os gráficos neste artigo foram produzidos utilizando-se uma seleção completa de dados a partir do site cinemetrics.lv , com banco de dados do mês de agosto de 2008.)


Eixo X: datas dos filmes (em anos). Eixo Y: média dos planos (em segundos). Cada filme é representado por um pequeno círculo. A linha de tendência através dos dados mostra que entre 1902 e 2008, a média no tamanho de cada plano em todo conjunto de dados diminuiu de 14 para 10 segundos – algo esperado desde o surgimento da MTV desde os anos 1980.




Durante o período em que o cinema mudou de uma forma de linguagem anterior que simulava o teatro para uma linguagem “clássica” baseada em cortes entre as mudanças de ponto de vista, a evolução da média dos planos se tornou muito mais rápida. Entre 1902 e 1920, a média do tamanho do plano diminuiu aproximadamente 4 vezes.



Aqui comparamos as tendências no tamanho dos planos dos filmes em três países: Estados Unidos, França e Rússia. O gráfico revela um número de padrões interessantes. Do começo do século XX, os filmes franceses são mais lentos que os americanos. Os dois se alcançam nos anos 1920 e 1930, mas após isso os filmes franceses voltam a ser lentos. E mesmo depois de 1990, quando ambas curvas começam a diminuir, o espaço entre eles se mantém o mesmo. (Isso pode parcialmente explicar porque filmes franceses não tem sido bem sucedidos no mercado de cinema nas décadas recentes). Em contraste à linha de tendência para os EUA e França, a linha para o cinema Russo tem muito mais curvas dramáticas – um reflexo das mudanças radicais na sociedade russa no século XX. O mergulho nos anos 1920 representa o corte rápido da escola de montagem russa (filmes os quais dominaram a seleção do cinemetrics.lv de cinema russo para aquele período), que tinha como objetivo estabelecer uma nova linguagem do filme, apropriada à nova sociedade socialista. Após 1933 quando Stalin apertou o controle sobre a cultura e estabeleceu a doutrina do Realismo Social, os filmes começaram a ficar lentos. Nos anos 1980, a sua média de planos era de 25 segundos versus 15 segundos para os filmes franceses e 10 para os filmes americanos. Mas após a dissolução da União Soviética e a Rússia começa a adotar o capitalismo, a média dos cortes dos filmes, correspondentemente, começa a aumentar muito rapidamente.
Os detalhes particulares das linhas de tendências neste gráfico não refletem, é óbvio, uma “figura completa”. A base de dados do Cinemetrics contém números desiguais de filmes de três países (479 americanos, 138 franceses e 48 russos/soviéticos), os filmes não são distribuídos no tempo e, talvez, mais importante, a seleção dos filmes é excessivamente tendenciosa, feita através da importância histórica dos diretores e do “cinema de arte” (por exemplo: existem 4 entradas para Eisenstein e 53 entradas para D.W. Griffith). Se formos adicionar mais dados aos gráficos, as curvas no gráficos podem surgir de alguma forma diferentes.  Contudo, dentro de um subconjunto “canônico” particular de todo o cinema contido nos dados do cinemetrics, o gráfico mostra a tendência real que, como vimos, corresponde à condições culturais e sociais mais extensas nas quais a cultura é realizada.  





Conclusão
Disciplinas de humanidades, crítica, museus e outras instituições culturais geralmente apresentam a cultura em termos de períodos contidos neles mesmos. Similarmente, as mais influentes teorias modernas da história como as de Kuhn (“paradigmas científicos”) e Foucault (“epistemes”) também têm os seus focos em períodos estáveis – mais que em transições entre eles. De fato, bem pouca energia intelectual tem sido gasta no  período moderno para se pensar em como as mudanças culturais acontecem. Talvez isso tenha sido  necessário, já que até recentemente as mudanças culturais de todos os tipos eram muito vagarosas. Contudo, desde o início da globalização dos anos 1990, não apenas as mudanças foram aceleradas em todo o mundo, mas a ênfase em mudanças, mais que em estabilidade, tornou-se a chave dos negócios globais e do pensamento institucional (expressada pela popularidade de termos como “inovação” e “mudança disruptiva”).
Nosso trabalho de visualizar as mudanças culturais é inspirado por softwares comerciais como o Google’s Web Analytics, o Trends e o Flu Trends, além do BlogPulse de Nielsen, assim  como em projetos de artistas e designers tais como os seminais  History Flow de Fernanda Viegas e Martin Wattenberg, o Listening History de Lee Byron e o The Ebb and Flow of Movies 10.


Até agora, muitos dos processos de visualização cultural usaram mídia discreta (por exemplo: textos) ou metadados sobre a mídia. History Flow usa histórias das páginas editadas da Wikipedia;  Listening History de Lee Byron11 usa dados sobre o uso do last.fm; e The Ebb and Flow of Movies12 usa dados de recibos de bilheteria de cinema. Em contraste, nosso método considera os padrões de visualização como manifestados em estruturas de mudanças de imagens, de filmes, de vídeos e outros tipos de mídia visual. Atualmente, nós estamos expandindo nosso trabalho para processar  conjuntos de dados ainda mais extensos – por favor, visite softwarestudies.com** para ver nossos novos resultados.



* Nota do tradutor: o uso da palavra “discreta” que adjetiva termos como “categoria”, “escala”, “unidade” é referente à “mídia discreta”, que são mídias estáticas como textos, imagens e gráficos em relação às mídias contínuas, dependentes do tempo como filmes, sons e animações.


** Em língua portuguesa acesse www.softwarestudies.com.br .


Notas de Rodapé
2. Edward Tufte, The Visual Display of Quantitative Information, segunda edição. Graphics Press, 2001.
3. http://design.osu.edu/carlson/history/lesson4.html. Sobre a publicação original, veja Steven A. Coons, Surfaces for Computer-Aided Design of Space Forms, MIT/LCS/TR-41, June 1967.
5.  Eu não estou falando de técnicas estatísticas de análise de cluster, mas simplesmente de pontos representados graficamente com duas dimensões e exame visual do resultado gráfico.  
6. Tal método é um exemplo de técnica muito mais geral chamada “escalamento”: Em ciências sociais, escalamento é o processo de medir ou ordenar entidades respeitando atributos quantitativos ou traços.   http://en.wikipedia.org/wiki/Scale_(social_sciences)
7. “BlogPulse Reaches 100 Million Mark” .
9. Franco Moretti. Graphs, Maps, Trees: Abstract Models for a Literary History. Verso: 2007.
10. Agradeço especialmente a Yuri Tsivian pela generosidade de prover o acesso ao banco de dados do Cinemetrics  .

Tuesday, October 25, 2011

Style space: How to compare image sets and follow their evolution (part 4)

This is part 4 of a four part article.
Part 1, Part 2, Part 3.

Text: Lev Manovich.
All visualizations are created with free open-source ImagePlot software developed by Software Studies Initiative. The distribution also includes a set of 776 images of van Gogh paintings, and the tools that were used to measure their image properties.


HOW STYLES CHANGE

I introduced "Style space" concept to suggest that a "style" of a particular set of cultural artifacts is not a distinct point or a line in the space of possible expressions. Instead, it is an area in this space.

In joining words "style" and "space" together, I wanted to evoke this image of an extension, a range of possibilities. Rather than imagining an artist's development like a road moving through a hilly landscape, let's think of it instead as a cloud that gradually shifts above this landscape over time. This cloud may have different densities in different regions and its shape may also be changing as the artist develops. And just like with real clouds, our cloud can't just suddenly jump from one area to another; in the overwhelming majority of cases, cultural evolution proceeds through gradual slow adjustments. (While we may expect to find some special cases of sudden changes, so far all the cultural data sets we looked at in our lab display gradual changes.)

For example, consider this visualization of 776 paintings by Vincent van Gogh we have in our data set. (We are distributing this image set along with ImagePlot software used to make all visualizations in this article.)

X-axis = dates (year and month).
Y-axis = median brightness.

van_Gogh.all.X_yearmonth.Y_brightness.w12000.labels

Regardless of what period we may select - spring 1887, summer 1888, all paintings done in Paris (4/1886 - 3/1886), all paintings done in Arles (3/1888 - 3/1889), etc. - their average brightness values cover a significant range.

The visualizations above use brightness median, but the same holds true for any visual feature: brushstrokes character, shapes, contrast, composition, etc. For example, here the visualization that uses median saturation:

X-axis = year and month.
Y-axis = median saturation.

van_Gogh.all.X_yearmonth.Y_saturation.w12000.h6000.labels_hue_XY


Earlier we use metaphor of a cloud to describe a style. We can actually visualize this cloud if we increase the size of images in a visualization, and use transparency:

X-axis = year and month.
Y-axis = median brightness.

van_Gogh.all.X_yearmonth.Y_brightness.blend_F

Of course, we are not limited to tracking values of single features. Here are the two visualizations that compare van Gogh Paris paintings to his Arles paintings using two features: average brightness and average saturation:

X-axis = median brightness.
Y-axis = median saturation.
Paris period (4/1886 - 3/1886): 199 paintings.
Arles period (3/1888 - 3/1889): 161 paintings.

van_Gogh.Paris.Arles.labels.X_brightness_median.Y_saturation_median

These visualizations show that in regards of the two features used (average brightness and average saturation), the difference between two periods is only relative, rather than absolute. The center of the "cloud" of Arles painting is displaced to the left (brighter), and to the top (more saturated) in comparison to the "cloud" of Paris paintings; it is also smaller, indicating less variability in Arles paintings. But the larger parts of the two clouds overlap, i.e. they cover the same area of the style space.


To summarize this discussion:

1) Values of visual features that characterize "style" within a particular time period typically cover a range.

2) The values typically shift over time in a gradual manner. This means that in any new "period" we may expect to see some works that have feature values that did not occur before, but also works with features values that already were present previously (i.e. these are works in "old style.")

For instance, if look at the lowest band of images in the visualization above which uses median brightness, you will notice that between 8/1884 and 9/1885 van Gogh produced many really dark paintings. You may expect that after he moves to Paris where, to quote Vincent van Gogh museum web site, "His palette becomes brighter," these dark works will disappear, but this is not true. Along with very light paintings similar in values to impressionists's works produced around the the same time, van Gogh still sometimes makes the paintings which are as dark as the ones he favored in 1884-1995. And then later, in Arles, he still ocassionally "regresses" to his dark style. The same applies to to highest vertical band where van Gogh's lightest paintings lie. While most of these works were done after 1886, a few can be also found earlier.

This can be clearly seen in the following histograms of median brightness values of van Gogh's paintings divided into three periods that correspond to places where van Gogh lived and worked (this is a common way to divide artist's work - you can find on both Wikipedia page about van Gogh and on Vincent van Gogh museum web site). Each histogram shows the distribution of brightness values; the values are arranged in increasing brightness left to right.

Top histogram: Etten, Drenthe, The Hague, Nuenen, Antwerp. 11/1881 - 4/1886. 196 images.
Middle histogram: Paris. 4/1886 - 3/1888. 199 images.
Bottom histogram: Arles. 3/1888 - 4/1889. 161 images.

van_Gogh.brightness_median.histograms

We can use various techniques to characterize the movement of feature values over time. For instance, we can fit a line or a curve through the all points.

Data: 776 images of van Gogh paintings, 1881-1890.
X-axis: paintings dates (year and month).
Y-axis: median brightness.

van_Gogh.X_year_month.Y_brightness_median

The following plots use fit curves to seven features of van Gogh paintings (brightness median, saturation median, hue median, brightness standard deviation, saturation standard deviation, hue standard deviation, number of shapes) plotted on Y axis against paintings dates (X-axis):

van_Gogh.points.fit_curve.default_range.Montage

van_Gogh.points.fit_curve.X_year_month.Y_shape_count

Or, we can divide the paintings into temporal periods (months, seasons, etc.) and calculate measures of central tendency and variability for each period. (Mean and median are popular measures of central tendency; standard deviation is the popular measure of variability.) This will tell us both how the center of a style "cloud" shifts over time, and also how wide or narrow it is in any period. Here are these measures for a few features; the "periods" correspond to the places where van Gogh worked (note that our data set contains 776 images; its estimated that van Gogh produced the total of 900 paintings.)

776 van Gogh paintings - selected features averages

These and similar techniques allow us to describe the overall patterns of change. However, all such descriptions are "constructions" - idealized representations of real processes. The values through which fit curve passes, or the mean values for places may not correspond to the actual values of features any particular painting.

Only if we select a single painting for each period, we can draw a definite "real" line through them. But this procedure reduces artist works to a few "masterpieces," disregarding the rest. (Of course, this is often how art functions today: if you search for "Vincent van Gough" using Google Image Search, you will see hundreds of images of the same few paintings, and very few images of all his other paintings.)


PP.S. To be clear - a set of values of particular features do not completely describe a style. First of all, even dozens of features may not capture all stylistic dimensions. Second, in my view a style is also defined by a set of associations between feature values. That is, certain feature choices are likely to occur together. For instance, in modernist graphic design of the 1920s-1950s, simple geometric forms, diagonal compositions, black and red colors, and sans serif fonts all go together. In Mondrian's later paintings, rectangular forms go along with white, black, and primary colors. This article does not deal with this aspect of style definition.


Thursday, October 20, 2011

Networks and Network Analysis in the Humanities: 3 day conference at UCLA

Networks and Network Analysis for the Humanities

October 20 - 22, 2011
314 Royce Hall
UCLA

Lev Manovich is presenting on Friday, October 21, 11:45-12:15.

Wednesday, October 19, 2011

Data Mining (a lecture by Lev Manovich, Copenhagen, November 11)


The Culture of Ubiquitous Information
Seminar 4 :
Invisibility and Unawareness: Ethico-political Implications of
Embeddedness and Surveillance Culture


Copenhagen, November 9 - 11, 2011


-------------------------------------------------------------------------------------------
Friday, November 11, 10am
Danish Architectural Center, Strandgade 27, 1401 Copenhagen K

Lev Manovich

Data mining


Data mining is the application of statistical and artificial intelligence methods for computational analysis of large data sets and data streams (including surveillance data). Along with machine learning, it is the key intellectual technology used in our software societies to understand information, derive knowledge and make decisions. While it is important for all citizens of these societies to understand the basic principles involved in these technologies, it becomes even more important for digital humanists who are beginning to adopt computation for the analysis of large cultural data sets.

In my presentation I will discuss the key ideas underlying data mining and machine learning and their relations to the history of ideas about the nature of categories (classical view, family resemblance, prototype theory.) I will argue that while in the industry these technologies are commonly used to reify existing social and cultural categories, humanists should use them in the opposite way: to question these categories. I will show how this can work in practice using the example of one of the projects in our lab (softwarestudies.com) – analysis and visualization of 100 GB data set of one million manga (Japanese comics) pages.


Sunday, October 9, 2011

two talks about Cultural Analytics at Mobility Shifts NYC, October 14-15


Mobility Shifts NYC conference full schedule


Friday, October 14

10:00 am - 12:30 pm
Wollman Hall, Eugene Lang Building, 65 West 11th St., 5th floor


Lev Manovich (Software Studies Initiative, UC San Diego)

Data Literacy and Cultural Analytics

The joint availability of numerous large data sets on the web and free tools for data scraping, cleaning, analyzing and visualizing enable potentially anybody to become a citizen data miner. But how do we enable this in practice? What are the necessary elements of “data literacy”? How do we inspire students in traditionally non-quantitative fields (art history, film and media studies, literary studies, etc.) to start playing with big data?

One the limitations of the existing popular data analysis and visualization tools is that they are designed to work with numbers and texts – but not images and video. To close this gap, In 2007 we have established Software Studies Initiative (softwarestudies.com) at University of California, San Diego. The lab’s focus in on development of new visualization methods particularly suited for media teaching and research. In my presentation I will show a sample of our projects including visualization of art, film, animation, video games,magazines, comics, manga, and graphic design. Our image sets range from 4535 covers of Time magazine to 320,000 Flickr images from “ArtNow” and “Graphic Design” groups, and one million manga pages.

In September 2011 we released ImagePlot - free software tool that visualizes collections of images and video of any size. I will discuss how we use Image Plot in classes with both undergraduate and graduate students to create collaborative projects which reveal unexpected cultural trends and also make us question our existing concepts for understanding visual culture and media.


Saturday, October 15

1:30-4:30 pm: Progressive Digital Pedagogy: Remix, Collaboration, Crowdsourcing
Wollman Hall, Eugene Lang Building 65 West 11th St., 5th floor


Elizabeth Losh (Sixth College, UC San Diego)

In recent years progressive digital pedagogy has borrowed from five major aspects of the popular culture developing around computational media: 1) remix practice, 2) multimodality, 3) accelerated response, 4) crowd sourcing, and 5) narrowcasting. Yet for many years the conventional classroom pedagogy around teaching “current events” has remained unchanged: it still generally focuses on having learners mechanically cut out recent news stories produced by traditional print journalists with little attention to how the news is made, how it remixes sources, how it appeals to particular audiences, or how particular patterns of visual imagery and verbal rhetoric could be analyzed critically. This talk focuses on recent work by the Software Studies initiative at U.C. San Diego by the Cultural Analytics group and shows how media visualization and crowd sourcing could be used in educational contexts with large publically accessible libraries of digitized news and smaller archives of government public information videos.

Wednesday, October 5, 2011

"Art Now" and "Graphic Design" Flickr groups (340,000 images)

Researchers: Todd Margolis, Jeremy Douglass, Tara Zepel, Lev Manovich.

Project start date: July 2011.

The availability of massive amounts of cultural content online allows us to start asking lots of interesting questions which were unthinkable before social media. For example: what is the "shape" of user-generated art? If we look at large enough sample of art images people upload, will see a number of distinct styles? Or will we see an endless variability? is there any significant differences between images which are labeled by their creators as "art"
and images from other areas of visual culture (graphic design, motion graphics, etc.)?

For this project we downloaded all images from two large Flickr groups: Art Now (apps. 170,000 images) and Graphic Design (also appr. 170,000 images).


Art Now (169,681 items)
http://www.flickr.com/groups/37996597808@N01
A group for displaying, fostering awareness and discussing the emerging relevant art and artists of today.

Graphic Design (177,700 items)
http://www.flickr.com/groups/graphicdesign/
Anything from drawings you did in Paint to photoshoped images. If you made it, put it in the pool.


(These numbers are for the images which were available in these groups when we did our download in August 2011; as group members continue to add new images, the numbers continue to grow).


We used our custom software to process the images on the Macs in our lab, extracting 400 features from each image. The features characterize images' tones, colors, shapes, lines, texture, and other visual characteristics. The next step is to visualize two image sets according to these features.

Our initial research questions are:

- what kinds of clusters (based on visual characteristics) can be find
in each group?

- in what ways the first group and the second group overlap, in how they
are different?

- are there some specific properties of the images done with computer
graphics ? Are these properties the same for two sets?





Glitch Art Flickr Group

Todd Margolis and Tracy Cornish. 2011.


4000 images from Flickr Glitch Art Group.
X-axis = brightness mean. Y-axis = entropy.

Computer glitches are the completely random, unpredictable and unexpected failures of digital systems. They are the result of approximated values and computational compensations for inaccessible information. Unlike bugs or faulty programming which can be tracked back to errors in code, glitches are fleeting and are often the result of untraceable truncated data streams or rounded values. They interfere with the notion of perfect digital reproduction, and remind us of the constructed and transient nature of information.

Glitching is an expanding genre in visual arts/cultural theory, electronic music and gaming to refer to the practice of exploiting glitches. These short-lived faults are part of our contemporary experience – they are inextricably linked to our engagement with digital technology and information transfer. As contemporary cultural indicators, glitches have the potential to be employed as an entry point into the critique of post-digital culture.

The Glitch Art group on Flickr has over 3000 members with over 7000 images. Using Todd Margolis’ Flickr Harvester in combination with Cultural Analytics tools developed by the Software Studies Initiative at UCSD, Tracy Cornish has been investigating emergent patterns in this repository based on Flickr metadata as well as image features.