44b8a989281bbdb30d113234b41ec3aa830c03e1
[cinaest] / src / imdb / imdb-sqlite.vala
1 /* This file is part of Cinaest.
2  *
3  * Copyright (C) 2009 Philipp Zabel
4  *
5  * Cinaest is free software: you can redistribute it and/or modify
6  * it under the terms of the GNU General Public License as published by
7  * the Free Software Foundation, either version 3 of the License, or
8  * (at your option) any later version.
9  *
10  * Cinaest is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13  * GNU General Public License for more details.
14  *
15  * You should have received a copy of the GNU General Public License
16  * along with Cinaest. If not, see <http://www.gnu.org/licenses/>.
17  */
18
19 using Sqlite;
20
21 class IMDbSqlite : Object {
22         Database db;
23         List<string> genres;
24
25         public delegate void ReceiveMovieFunction (string title, string? aka, int year, int rating, int genres);
26
27         public IMDbSqlite (string filename) {
28                 int rc;
29
30                 genres = new List<string> ();
31
32                 rc = Database.open (filename, out db);
33                 if (rc != Sqlite.OK) {
34                         stderr.printf ("Can't open database: %d, %s\n", rc, db.errmsg ());
35                         return;
36                 }
37
38                 rc = db.exec ("PRAGMA journal_mode = OFF;", callback, null);
39                 if (rc != Sqlite.OK) {
40                         stderr.printf ("Can't turn off journal mode: %d, %s\n", rc, db.errmsg ());
41                         return;
42                 }
43
44                 rc = db.exec ("PRAGMA locking_mode = EXCLUSIVE;", callback, null);
45                 if (rc != Sqlite.OK) {
46                         stderr.printf ("Can't get exclusive lock: %d, %s\n", rc, db.errmsg ());
47                         return;
48                 }
49
50                 rc = db.exec ("PRAGMA synchronous = OFF;", callback, null);
51                 if (rc != Sqlite.OK)
52                         stderr.printf ("Can't turn off synchronous access: %d, %s\n", rc, db.errmsg ());
53
54         }
55
56         public static int callback (int n_columns, string[] values,
57                                     string[] column_names) {
58                 for (int i = 0; i < n_columns; i++) {
59                         stdout.printf ("%s = %s\n", column_names[i], values[i]);
60                 }
61                 stdout.printf ("\n");
62
63                 return 0;
64         }
65
66         public int add_movie (string title, int year) {
67                 string sql = "INSERT INTO Movies(Title, Year) VALUES (\"%s\", %d);".printf (title, year);
68                 int rc;
69
70                 rc = db.exec (sql, callback, null);
71                 if (rc != Sqlite.OK) {
72                         stderr.printf ("Failed to insert movie \"%s\" (%d): %d, %s\n", title, year, rc, db.errmsg ());
73                         return 1;
74                 }
75
76                 return 0;
77         }
78
79         public int movie_set_rating (string title, int rating, int votes) {
80                 var sql = "UPDATE Movies SET Rating=%d, Votes=%d WHERE Title=\"%s\";".printf (rating, votes, title);
81                 int rc;
82
83                 rc = db.exec (sql, callback, null);
84                 if (rc != Sqlite.OK) {
85                         stderr.printf ("SQL error: %d, %s\n", rc, db.errmsg ());
86                         return 1;
87                 }
88
89                 return 0;
90         }
91
92         public int movie_add_genre (string title, string genre) {
93                 string sql;
94                 int bit;
95                 int rc;
96
97                 bit = genre_bit (genre);
98                 if (bit == 0) {
99                         genres.append (genre);
100                         bit = genre_bit (genre);
101
102                         sql = "INSERT INTO Genres(Bit, Genre) VALUES (%d, \"%s\");".printf (bit, genre);
103
104                         rc = db.exec (sql, callback, null);
105                         if (rc != Sqlite.OK) {
106                                 stderr.printf ("SQL error: %d, %s\n", rc, db.errmsg ());
107                                 return 1;
108                         }
109                 }
110
111                 sql = "UPDATE Movies SET Genres=Genres|%d WHERE Title=\"%s\";".printf (bit, title);
112                 rc = db.exec (sql, callback, null);
113                 if (rc != Sqlite.OK) {
114                         stderr.printf ("SQL error: %d, %s\n", rc, db.errmsg ());
115                         return 1;
116                 }
117
118                 return 0;
119         }
120
121         int genre_bit (string genre) {
122                 for (int i = 0; i < genres.length (); i++) {
123                         if (genres.nth_data (i) == genre)
124                                 return 1 << i;
125                 }
126                 return 0;
127         }
128
129         public int add_aka (string title, string aka) {
130                 int rowid;
131
132                 if (!movie_exists (title, out rowid))
133                         return 1;
134
135                 string sql = "INSERT INTO Akas(Aka, TitleID) VALUES (\"%s\", %d);".printf (aka, rowid);
136                 int rc;
137                 rc = db.exec (sql, callback, null);
138                 if (rc != Sqlite.OK) {
139                         stderr.printf ("SQL error: %d, %s\n", rc, db.errmsg ());
140                         return 1;
141                 }
142
143                 return 0;
144         }
145
146         public bool movie_exists (string title, out int rowid = null) {
147                 string sql = "SELECT rowid FROM Movies WHERE Title=\"%s\"".printf (title);
148                 Statement stmt;
149                 int rc;
150
151                 rc = db.prepare_v2 (sql, -1, out stmt);
152                 if (rc != Sqlite.OK) {
153                         stderr.printf ("SQL error: %d, %s\n", rc, db.errmsg ());
154                         return false;
155                 }
156
157                 do {
158                         rc = stmt.step ();
159                         if (rc == Sqlite.ROW) {
160                                 if (&rowid != null) {
161                                         rowid = stmt.column_int (0);
162                                 }
163                                 return true;
164                         }
165                 } while (rc == Sqlite.ROW);
166
167                 return false;
168         }
169
170         public int clear () {
171                 int rc;
172
173                 rc = db.exec (
174                         "DROP TABLE IF EXISTS Movies;" +
175                         "CREATE TABLE Movies (Title TEXT PRIMARY KEY COLLATE NOCASE, Year INTEGER, Rating INTEGER, Votes INTEGER NOT NULL DEFAULT 0, Genres INTEGER NOT NULL DEFAULT 0);" +
176                         "DROP TABLE IF EXISTS Genres;" +
177                         "CREATE TABLE Genres (Bit INTEGER PRIMARY KEY, Genre TEXT NOT NULL);" +
178                         "DROP TABLE IF EXISTS Akas;" +
179                         "CREATE TABLE Akas (Aka TEXT NOT NULL COLLATE NOCASE, TitleID INTEGER NOT NULL);",
180                         callback, null);
181                 if (rc != Sqlite.OK) {
182                         stderr.printf ("SQL error: %d, %s\n", rc, db.errmsg ());
183                         return 1;
184                 }
185
186                 return 0;
187         }
188
189         public int create_aka_index () {
190                 int rc;
191
192                 rc = db.exec ("CREATE INDEX AkasAka ON Akas(Aka);", callback, null);
193                 if (rc != Sqlite.OK) {
194                         stderr.printf ("SQL error: %d, %s\n", rc, db.errmsg ());
195                         return 1;
196                 }
197
198                 return 0;
199         }
200
201         public int create_votes_index () {
202                 int rc;
203
204                 rc = db.exec ("CREATE INDEX MovieVotes ON Movies(Votes);", callback, null);
205                 if (rc != Sqlite.OK) {
206                         stderr.printf ("SQL error: %d, %s\n", rc, db.errmsg ());
207                         return 1;
208                 }
209
210                 return 0;
211         }
212
213         private Cancellable? _cancellable;
214         public async int query (MovieFilter filter, ReceiveMovieFunction receive_movie, int limit, Cancellable? cancellable) {
215                 var sql = "SELECT Title, Year, Rating, Genres FROM Movies";
216                 var sep = " WHERE ";
217                 string match = null;
218                 Statement stmt;
219                 int rc;
220
221                 // FIXME - how many opcodes until main loop iteration for best responsivity?
222                 _cancellable = cancellable;
223                 db.progress_handler (1000, progress_handler);
224
225                 if (filter.title != null && filter.title != "") {
226                         if ("*" in filter.title) {
227                                 match = "GLOB \"%s (*)\"".printf (filter.title);
228                         } else {
229                                 match = "LIKE \"%s%%\"".printf (filter.title);
230                         }
231                         sql += sep + "(Title %s OR rowid IN (SELECT TitleID FROM Akas WHERE Aka %s))".printf (match, match);
232                         sep = " AND ";
233                 }
234                 if (filter.year_min > 0) {
235                         sql += sep + "Year >= %d".printf (filter.year_min);
236                         sep = " AND ";
237                 }
238                 if (filter.year_max > 0) {
239                         sql += sep + "Year <= %d".printf (filter.year_max);
240                         sep = " AND ";
241                 }
242                 if (filter.rating_min > 0) {
243                         sql += sep + "Rating >= %d".printf (filter.rating_min);
244                         sep = " AND ";
245                 }
246                 if (filter.genres.field != 0) {
247                         sql += sep + "Genres&%d = %d".printf (filter.genres.field, filter.genres.field);
248                 }
249                 sql += " ORDER BY Votes DESC LIMIT %d;".printf (limit);
250
251                 stdout.printf("SQL: \"%s\"\n", sql);
252
253                 rc = db.prepare_v2 (sql, -1, out stmt);
254                 if (rc != Sqlite.OK) {
255                         stderr.printf ("SQL error: %d, %s\n", rc, db.errmsg ());
256                         db.progress_handler (0, null);
257                         return 1;
258                 }
259
260                 do {
261                         Idle.add (query.callback);
262                         yield;
263                         rc = stmt.step ();
264                         if (rc == Sqlite.ROW) {
265                                 int year = stmt.column_int (1);
266                                 string title = stmt.column_text (0);
267                                 int rating = stmt.column_int (2);
268                                 int genres = stmt.column_int (3);
269                                 string aka = null;
270                                 if (match != null && !(filter.matches_title (strip_year (title, year)))) {
271                                         aka = movie_aka (title, match);
272                                         if (aka != null)
273                                                 aka = strip_year (aka, year);
274                                 }
275                                 receive_movie (strip_year (title, year), aka, year, rating, genres);
276                         }
277                 } while (rc == Sqlite.ROW);
278
279                 db.progress_handler (0, null);
280                 return 0;
281         }
282
283         private string movie_aka (string title, string match) {
284                 string sql = "SELECT Aka FROM Akas WHERE (TitleID = (SELECT rowid FROM Movies WHERE Title = \"%s\") AND Aka %s) LIMIT 1;".printf (title, match);
285                 Statement stmt;
286                 int rc;
287                 string aka = null;
288
289                 rc = db.prepare_v2 (sql, -1, out stmt);
290                 if (rc != Sqlite.OK) {
291                         stderr.printf ("SQL error: %d, %s\n", rc, db.errmsg ());
292                         return null;
293                 }
294
295                 do {
296                         rc = stmt.step ();
297                         if (rc == Sqlite.ROW) {
298                                 aka = stmt.column_text (0);
299                         }
300                 } while (rc == Sqlite.ROW);
301
302                 return aka;
303         }
304
305         private int progress_handler () {
306                 ((MainContext) null).iteration (false);
307                 return (int) _cancellable.is_cancelled ();
308         }
309
310         private string strip_year (string title, int year) {
311                 string year_suffix = " (%d)".printf (year);
312                 if (title.has_suffix (year_suffix))
313                         return title.substring (0, title.length - year_suffix.length);
314                 year_suffix = " (%d/I)".printf (year);
315                 if (title.has_suffix (year_suffix))
316                         return title.substring (0, title.length - year_suffix.length);
317                 year_suffix = " (%d/II)".printf (year);
318                 if (title.has_suffix (year_suffix))
319                         return title.substring (0, title.length - year_suffix.length);
320                 return title.dup ();
321         }
322 }