Mathematica в действии, блог Осипова Романа

Работа с Web API в Mathematica

Нажмите, чтобы скачать данный пост в виде ноутбука Mathematica...

Общее количество использованных в посте встроенных функций или символов: 140

Список имен используемых встроенных функций и символов в порядке их появления в коде:
CompoundExpression (;) | Set (=) | Function (&) | Short | Slot (#) | URLFetch | Rule (->, ->) | List ({...}) | SetDelayed (:=) | Pattern (:) | Blank (_) | String ("...") | BlankNullSequence (___) | StringJoin (<>) | StringSplit | Alternatives (|) | Part ([[…]]) | Plus (+) | ToExpression | ToString | Row | Span (;;) | StringTake | Map (/@) | DeleteCases | StringReplace | Transpose | Sort | Tally | All | Greater (>) | Panel | Pane | Rotate | BarChart | ChartLabels | Placed | Style | Bold | Axis | Times (*, ×) | Degree | ColorFunction | ColorData | ImageSize | AspectRatio | Power (^) | GridLines | None | Range | GridLinesStyle | Dashed | PlotRangePadding | PlotRange | Automatic | Ticks | Pi (π) | BarSpacing | Scrollbars | False | True | Cases | RuleDelayed (:>, :->) | Condition (/;) | Quiet | Check | If | Equal (==) | Import | Not (!, ¬) | MatchQ | ReplaceAll (/.) | Image | PopupWindow | TableForm | WindowSize | ImageDimensions | Show | ParametricPlot | Cos | Sin | Length | PlotStyle | Thick | RGBColor | Graphics | Table | Inset | Background | Black | Axes | StringCases | StringExpression (~~) | BlankSequence (__) | Floor (⌊...⌋) | Apply (@@) | Join | Partition | Flatten | And (&&, ∧) | NumericQ | FileNameJoin | NotebookDirectory | FileExistsQ | Get (<<) | Dynamic | ProgressIndicator | Pause | $Failed | DumpSave | Real | Complement | CountryData | Lighter | Gray | EdgeForm | GrayLevel | Thickness | Increment (++) | Mod | AbsolutePointSize | Point | Reverse | SphericalPlot3D | PlotPoints | Mesh | TextureCoordinateFunction | Texture | Specularity | White | Lighting | Boxed | ViewVertical | ViewPoint | Graphics3D | Darker | Tube | BoxRatios | ViewCenter | ViewAngle

Web API является весьма полезной вещью, позволяющей, чаще всего в формате JSON, получать информацию по запросам определенного типа от сайтов, скажем ВКонтакте или Google Maps. Само собой, эту информацию можно затем обрабатывать в самых разных направлениях, скажем выявляя закономерности в наборе данных или строя инфографику, которая может помочь проиллюстрировать факты.

В данном посте я опишу основные идеи взаимодействия с Web API в системе Mathematica на нескольких примерах, связанных со страницей сообщества Русскоязычной поддержки Wolfram Mathematica в ВКонтакте.

Первые шаги

Для работы с API ВКонтакте часто нужно иметь так называемый маркер доступа, или access_token. Для того, чтобы получить его вам потребуется создать новое Standalone-приложение, сделать это можно перейдя по ссылке:

http://vk.com/editapp?act=create&site=1

После того, как новое приложение создано, потребуется привязать его к некоторой группе (опционально), и загрузить аватар и т. п.

Главное на данном этапе то, что вы получаете ID приложения, которое потребуется позже.

После того, как этот шаг проделан, потебуется в вашем браузере перейти по ссылке, которая устроена следующим образом:

После того, как вы перешли по этой ссылке и прошли авторизацию, вы получите в строке вашего браузера ссылку, которая будет иметь примерно следующий вид:

Самый важный фрагмент полученной ссылки это и есть маркер доступа – access_token. Остальные параметры: 86400 – время работы маркера доступа (1 сутки); 775360 – ID человека ВКонтакте, для которого работает маркер доступа.

После получения маркера доступа можно приступить к работе с API с помощью функции URLFetch.

Простейшее взаимодействие с API Вконтакте

Взаимодействие с API достаточно просто. Оно осуществляется через функцию URLFetch. Синтаксис имеет следующий вид:

Как видно, для работы с API потребуется знать названия существующих методов и их параметров. Узнать их можно на официальной странице “Описание методов API” сайта.

В качестве первого примера получим ID всех участников сообщества Русскоязычной поддержки Wolfram Mathematica. Для этой цели служит метод groups.getMembers, у него есть параметр gid соответствующий ID сообщества или его названию.

Для работы здесь и далее потребуется значение маркера доступа, присвоим переменной с соответствующим именем его значение (в целях безопасности полученный мной access_token я не приведу):

закрыть

accessToken = $accessToken;

Теперь найдем ID участников сообщества (здесь и далее для соответсвующих промежуточных результатов будет применяться функция Short, показывающая только часть очень длинного однотипного результата):

закрыть

Short[#, 3] &@ URLFetch["https://api.vk.com/method/groups.getMembers", "Parameters" -> {"access_token" -> accessToken, "gid" -> "wolframmathematica"}]

Для укорочения дальнейшего кода, создадим функцию WMVkAPI, которая упростит обращение к API ВКонтакте:

закрыть

WMVkAPI[method_String, {options___}] := URLFetch["https://api.vk.com/method/" <> method, "Parameters" -> {"access_token" -> accessToken, options}]

закрыть

Short[#, 3] &@ WMVkAPI["groups.getMembers", {"gid" -> "wolframmathematica"}]

Первое использование API

Теперь немного поработаем с API.

Для начала, получим ID всех участников сообщества в виде строки и присвоим соответствующей переменной ее значение (в целом, это было сделано ранее):

закрыть

userString = WMVkAPI["groups.getMembers", {"gid" -> "wolframmathematica"}];

закрыть

Short[userString, 3]

Выцепим ID первых 400 участников, для этого нам потребуется функция StringSplit, которая разделяет строку на несколько строк в тех местах, которые соответствуют некоторому шаблону.

Для начала разделим строку в месте, где встречаются квадратные скобки (они ограничивают список ID страниц пользователей):

закрыть

Short[StringSplit[userString, "[" | "]"]]

Выделим необходимую нам информацию:

закрыть

Short[StringSplit[userString, "[" | "]"][[2]]]

Теперь разделим строку в местах, где встречаются запятые:

закрыть

Short[StringSplit[StringSplit[userString, "[" | "]"][[2]], ","]]

Мы получили список ID, правда это не числа, а строки. Преобразовывать строки в числа нам сейчас не нужно, однако, если это потребуется, осуществить это можно например так:

закрыть

ToExpression["100"] + ToExpression["1"]

Для первого примера возьмем первые 400 ID и преобразуем их в тот же самый формат, который был — строка из чисел, разделенных запятыми:

закрыть

IDFirst400Users = ToString[Row[ StringSplit[StringSplit[userString, "[" | "]"][[2]], ","][[;; 400]], ","]];

закрыть

Short[IDFirst400Users]

С помощью метода users.get (имеющего параметр uids — список ID страниц пользователей) получим строку, содержащую имена пользователей с заданными ID:

закрыть

First400UserNamesString = WMVkAPI["users.get", {"uids" -> IDFirst400Users}];

закрыть

StringTake[First400UserNamesString, 255] <> "...."

Аналогично показанному ранее, выделим имена пользователей вместе с ID:

закрыть

First400UserNames = StringSplit[#, ":" | ","][[{2, -3, -1}]] & /@ DeleteCases[ StringSplit[ StringSplit[StringReplace[First400UserNamesString, "\"" -> ""], "[" | "]"][[2]], "{" | "}"], ","];

закрыть

Short[First400UserNames, 5]

Теперь можно, например, провести анализ имен первых 400 участников из списка:

закрыть

{allNames, namesFrequency} = Transpose@ Sort[Tally[ First400UserNames[[;; , 2]]], #1[[2]] > #2[[2]] &]; Panel@ Pane[Rotate[ BarChart[namesFrequency, ChartLabels -> Placed[Style[#, 12, Bold] & /@ allNames, Axis, Rotate[#, 90 Degree] &], ColorFunction -> Function[{height}, ColorData["Rainbow"][height]], ImageSize -> 3000, AspectRatio -> 1/6, GridLines -> {None, Range[1, 20, 1]}, GridLinesStyle -> Dashed, PlotRangePadding -> 0, PlotRange -> {Automatic, 18}, Ticks -> {None, {#, Rotate[Style[#, 12, Bold], Pi/2]} & /@ {1, 5, 10, 15}}, BarSpacing -> 0.5], -Pi/2], {600, 600}, Scrollbars -> {False, True}]

Получим фото пользователей, находящихся в нашем списке, чей ID больше, скажем, 100 000 000:

закрыть

someNames = ToString@Row[ Cases[First400UserNames, {x_, _, _} /; ToExpression[x] > 10^8 :> x], ","]

Найдем ссылки на аватары пользователей с заданными выше ID с помощью метода users.get и параметров uids и fields:

закрыть

photoResponse = WMVkAPI["users.get", {"uids" -> someNames, "fields" -> "photo_big"}];

закрыть

StringTake[photoResponse, 242] <> "...."

Выцепим ссылки на аватары пользователей и импортируем их:

закрыть

Short[photoAndNamesData = Quiet[{#[[1]] <> " " <> #[[2]], Check[If[#[[3]] == "//vk.com/images/camera_a.gif", missing, Import["http:" <> #[[3]]]], missing]} & /@ (DeleteCases[ StringSplit[#, "," | ":"] & /@ StringSplit[ StringSplit[StringReplace[photoResponse, "\\" | "\"" -> ""], "[" | "]"][[2]], "{" | "}"], {}][[;; , {4, 6, 9}]])], 2]

Выделим только пользователей с загруженными ими аватарами:

закрыть

Short[photoAndNamesData = Cases[photoAndNamesData, x_ /; Not@MatchQ[x, {_, missing}]], 2]

Создадим интерактивный коллаж:

закрыть

data = (photoAndNamesData /. {x_String, y_Image} :> PopupWindow[y, TableForm@{x, Image[y, ImageSize -> All]}, WindowSize -> 1.3 ImageDimensions[y]]);

закрыть

Show[{ParametricPlot[{(i/8 + 1) Cos[ i], (i/8 + 1) Sin[ i]}, {i, 1, Length[data]}, PlotStyle -> Thick, ColorFunction -> Function[{x, y, u}, RGBColor[u, u, u]]], Graphics[Table[ Inset[data[[i]], {(i/8 + 1) Cos[ i], (i/8 + 1) Sin[ i]}, {0, 0}, 1], {i, 1, Length[data]}]]}, PlotRange -> 9, ImageSize -> 600, Background -> Black, Axes -> False]

После нажатия на любой из аватаров, вы увидите его увеличенное изображение с именем участника сообщества:

Решение сложной задачи через API

Теперь решим более сложную задачу — отобразим на карте все города, в которых живут участники сообщества.

Для начала установим текущие количество участников сообщества:

закрыть

groupUserNumber = ToExpression[ StringCases[ WMVkAPI["groups.getMembers", {"gid" -> "wolframmathematica"}], "count\":" ~~ x__ ~~ ",\"users" :> x][[1]]]

Теперь импортируем ID всех участников сообщества. Так как API ВКонтакте выдает не более 1000 ID за раз, то придется импортировать информацию о ID кусками, для этого служит параметр offset метода groups.getMembers:

закрыть

userIDString = Table[WMVkAPI[ "groups.getMembers", {"gid" -> "wolframmathematica", "offset" -> ToString[1000 i]}], {i, 0, Floor[groupUserNumber/1000]}];

закрыть

Short /@ userIDString

Из полученных строк с ID выцепим все имеющиеся ID:

закрыть

IDUsersFullList = Join @@ (StringSplit[StringSplit[#, "[" | "]"][[2]], ","] & /@ userIDString);

закрыть

Short[IDUsersFullList]

Разобьем этот список на подсписки, содержащие не более 400 ID (это снова связан с ограничениями на работу API ВКонтакте), после чего преобразуем их к стандартному формату (ID разделенные запятыми в строке):

закрыть

IDUsers = ToString[Row[#, ","]] & /@ Partition[IDUsersFullList, 400, 400, 1, {}];

закрыть

Short /@ IDUsers

С помощью метода users.get подгрузим информацию о городах и странах в которых проживают участники сообщества, для этого нам потребуется параметр fields. Также структурируем информацию, подсчитав количество участников, живущих в разных городах и странах.

закрыть

{{allCountryID, allCountryWeights}, {allCityID, allCityWeights}} = Transpose[Tally[#]] & /@ Transpose[ Flatten[Table[ cityCountryList = WMVkAPI["users.get", {"uids" -> IDUsers[[i]], "fields" -> "city,country"}]; Cases[StringSplit[ DeleteCases[ StringSplit[StringSplit[cityCountryList, "[" | "]"][[2]], "{" | "}"], ","], ","][[;; , {-1, -2}]] /. x_String :> ToExpression[StringSplit[x, "\""][[-1]]], {x_, y_} /; NumericQ[x] && NumericQ[y] && x > 0 && y > 0], {i, 1, Length[IDUsers]}], 1]]

К сожалению, ВКонтакте не выдает название города и страны сразу. Оно зашифровано номером. Нам же потребуются привычные названия, их можно получить применив методы places.getCountryById и places.getCityById у которых есть параметр cids — список ID городов (стран):

получение строки, содержащей названия стран:

закрыть

allCountryNamesString = WMVkAPI["places.getCountryById", {"cids" -> ToString[Row[allCountryID, ","]]}]

получение списка, содержащего названия стран из полученной выше строки:

закрыть

allCountryNames = StringSplit[#, "\""][[-1]] & /@ DeleteCases[ StringSplit[StringSplit[allCountryNamesString, "[" | "]"][[2]], "{" | "}"], ","]

получение строки, содержащей названия городов:

закрыть

allCityNamesString = WMVkAPI["places.getCityById", {"cids" -> ToString[Row[allCityID, ","]]}]

получение списка, содержащего названия городов из полученной выше строки (причем каждое название представлено в виде правила замены ID города на его название)

закрыть

allCityNamesPre = (Rule[ToExpression[#[[1]]], #[[2]]] &[ StringSplit[#, "\"" | ":" | ","][[{-7, -1}]]] & /@ DeleteCases[ StringSplit[StringSplit[allCityNamesString, "[" | "]"][[2]], "{" | "}"], ","])

подстановка полученных выше правил замены в список ID городов

закрыть

allCityNames = allCityID /. allCityNamesPre

выцепление всех городов, которые имеют название (не все ID имеют свое название)

закрыть

allCityNamesForCoordinates = Cases[allCityNames, _String]

Так как API ВКонтакте выдает название города на русском языке, это означает, что у нас нет возможности использовать напрямую функцию CityData, с помощью которой можно получать напрямую различную информацию о городах на основе курируемых данных Wolfram Research. Поэтому придется обратиться к API Google Maps, чтобы по названию на русском языке получить координаты соответствующего города, для того, чтобы потом использовать их. Для этого создадим специальную функцию cityInformation (она запоминает свои значения для того, чтобы не проводить их повторно), которая обращается к API Google Maps, выдавая на выходе широту и долготу точки (города):

закрыть

cityInformation[city_String] := cityInformation[city] = ToExpression /@ StringSplit[ StringSplit[ StringReplace[ URLFetch[ "http://maps.googleapis.com/maps/api/geocode/json?address=" \<> (StringSplit[StringReplace[city, " " | "," -> ""], "(" | ")"][[ 1]]) <> "&sensor=false&language=ru"], " " | "\n" -> ""], "location"][[2]], ":" | "," | "}"][[{3, 5}]]

Теперь найдем координаты всех городов, при этом после окончания расчета сформируем дамп-файл, в который поместим все значения функции cityInformation (код устроен так, что если дамп файл уже есть, то он будет подгружен автоматически и после перезаписан, в том случае если добавились новые определения, если файл дампа Mathematica не существует — то он будет сформирован).

закрыть

DumpFileName = FileNameJoin[{NotebookDirectory[], "cityNamesCoordinates.mx"}];

закрыть

If[FileExistsQ[DumpFileName], Get[DumpFileName], None]; index = 1; L = Length[allCityNamesForCoordinates];

закрыть

Dynamic[ProgressIndicator[index, {1, L}, ImageSize -> {2 L, 60}]]

закрыть

cityNamesCoordinates = Quiet[ReplaceAll[ Table[index = i; Pause[0.1]; cityInformation[allCityNamesForCoordinates[[i]]], {i, 1, L}], $Failed[[{3, 5}]] -> missing]];

закрыть

DumpSave[DumpFileName, {cityNamesCoordinates, cityInformation}]

Сформируем список, содержащий списки вида:

{название города, его координаты, количество участников}

закрыть

cityFullData = Cases[Transpose[{allCityNames, Quiet[cityInformation /@ allCityNames], allCityWeights}], {_String, {_Real, _Real}, _}];

закрыть

Short[cityFullData, 5]

Отобразим на карте города и страны в которых живут участники сообщества:

закрыть

countries = {"Russia", "Belarus", "Ukraine", "Georgia", "Armenia", "Bulgaria", "Kazakhstan", "Australia", "Netherlands", "Tajikistan", "United Arab Emirates", "Israel", "China", "UnitedStates", "Moldova", "South Korea", "Estonia", "Chile", "Japan", "Uzbekistan", "Turkey", "Germany", "Zimbabwe", "Vanuatu", "Cambodia", "Italy", "Canada", "France", "Haiti", "Thailand", "Czech Republic"};

закрыть

anotherCountries = Complement[CountryData[], countries];

закрыть

colors = ColorData[14, "ColorList"]; index = 0; im = Graphics[{Lighter@Gray, EdgeForm[{GrayLevel[0.3], Thickness[0.001]}], CountryData[#, "FullPolygon"] & /@ anotherCountries, ({index++; colors[[Mod[index, Length[colors], 1]]], CountryData[#, "FullPolygon"]}) & /@ countries, Black, AbsolutePointSize[3], Point[Reverse[#[[2]]] & /@ cityFullData]}, ImageSize -> 600, AspectRatio -> 0.5]

Увеличим фрагмент карты, соответствующей Европейской части России:

закрыть

colors = ColorData[14, "ColorList"]; index = 0; Graphics[{Lighter@Gray, CountryData[#, "FullPolygon"] & /@ anotherCountries, EdgeForm[{GrayLevel[0.3], Thickness[ 0.002]}], ({index++; colors[[Mod[index, Length[colors], 1]]], CountryData[#, "FullPolygon"]}) & /@ countries, Black, AbsolutePointSize[4], Point[Reverse[#[[2]]] & /@ cityFullData]}, ImageSize -> 600, AspectRatio -> 1, PlotRange -> {{12, 90}, {30, 80}}]

После того, как мы создали карту, ее можно преобразовать в глобус:

закрыть

SphericalPlot3D[1 , {u, 0, Pi}, {v, 0, 2 Pi}, PlotPoints -> 60, Mesh -> None, TextureCoordinateFunction -> ({#5, 1 - #4} &), PlotStyle -> {Texture[Show[im, ImageSize -> 2000]], Specularity[White, 60]}, Lighting -> "Neutral", Axes -> False, Boxed -> False, ImageSize -> 600, Background -> Gray, ViewVertical -> {0, 0.2, 1}, ViewPoint -> {-1.4, -2, 2.3}]

Или в иную инфографику: скажем, превратить плоскую карту в трехмерную и отметить на ней столбиками количество человек, проживающих в том или ином городе.

закрыть

colors = ColorData[14, "ColorList"]; index = 0; Graphics3D[{Lighter@ Gray, (CountryData[#, "FullPolygon"] /. {x_Real, y_Real} :> {x, y, 0}) & /@ anotherCountries, EdgeForm[{GrayLevel[0.3], Thickness[ 0.002]}], ({index++; colors[[Mod[index, Length[colors], 1]]], CountryData[#, "FullPolygon"] /. {x_Real, y_Real} :> {x, y, 0}}) & /@ countries, Black, AbsolutePointSize[ 4], {Darker@Gray, Tube[{Reverse[#[[2]]]~Join~{0}, Reverse[#[[2]]]~Join~{#[[3]]}}, 0.4]} & /@ cityFullData}, ImageSize -> 600, PlotRange -> {{12, 90}, {30, 80}, {0, 100}}, BoxRatios -> {90 - 12, 80 - 30, 50}, Lighting -> "Neutral", ViewCenter -> {{0.5, 0.5, 0.5}, {0.55, 0.63}}, ViewPoint -> {-2, -2.27, 1.6}, ViewVertical -> {0.19, 0.42, 1.47}, ViewAngle -> 0.25, Boxed -> False]

Блог принадлежит “Русскоязычной поддержке Wolfram Mathematica"©
При любом использовании материалов блога, ссылка на блог обязательна.
Создано с помощью Wolfram Mathematica 9