a21fefb191def9646fc849a97389c059ba4fb20d
[tine20] / tine20 / Calendar / Import / CalDav / Client.php
1 <?php
2 //./tine20.php --username unittest --method Calendar.importCalDav url="https://osx-testfarm-mavericks-server.hh.metaways.de:8443" caldavuserfile=caldavuserfile.csv
3
4 /**
5  * Tine 2.0
6  * 
7  * @package     Calendar
8  * @subpackage  Import
9  * @license     http://www.gnu.org/licenses/agpl.html AGPL Version 3
10  * @author      Paul Mehrer <p.mehrer@metaways.de>
11  * @copyright   Copyright (c) 2014 Metaways Infosystems GmbH (http://www.metaways.de)
12  */
13
14 /**
15  * Calendar_Import_CalDAV
16  * 
17  * @package     Calendar
18  * @subpackage  Import
19  */
20 class Calendar_Import_CalDav_Client extends Tinebase_Import_CalDav_Client
21 {
22     protected $calendars = array();
23     protected $calendarICSs = array();
24     protected $existingRecordIds = array();
25     protected $maxBulkRequest = 20;
26     protected $mapToDefaultContainer = 'calendar';
27     protected $decorator = null;
28     
29     protected $component = 'VEVENT';
30     protected $skipComonent = 'VTODO';
31     protected $modelName = 'Calendar_Model_Event';
32     protected $appName = 'Calendar';
33     protected $webdavFrontend = 'Calendar_Frontend_WebDAV_Event';
34     protected $_uuidPrefix = '';
35     
36     const calendarDataKey = '{urn:ietf:params:xml:ns:caldav}calendar-data';
37     const findAllCalendarsRequest =
38 '<?xml version="1.0"?>
39 <d:propfind xmlns:d="DAV:">
40   <d:prop>
41     <d:resourcetype />
42     <d:acl />
43     <d:displayname />
44     <x:supported-calendar-component-set xmlns:x="urn:ietf:params:xml:ns:caldav"/>
45   </d:prop>
46 </d:propfind>';
47     
48     const findAllCalendarICSsRequest = 
49 '<?xml version="1.0"?>
50 <d:propfind xmlns:d="DAV:">
51   <d:prop>
52     <x:calendar-data xmlns:x="urn:ietf:params:xml:ns:caldav"/>
53   </d:prop>
54 </d:propfind>';
55     
56     const getAllCalendarDataRequest =
57 '<?xml version="1.0"?>
58 <b:calendar-multiget xmlns:a="DAV:" xmlns:b="urn:ietf:params:xml:ns:caldav">
59   <a:prop>
60     <b:calendar-data />
61     <a:getetag />
62   </a:prop>
63 ';
64     
65     const getEventETagsRequest =
66 '<?xml version="1.0"?>
67 <b:calendar-multiget xmlns:a="DAV:" xmlns:b="urn:ietf:params:xml:ns:caldav">
68   <a:prop>
69     <a:getetag />
70   </a:prop>
71 ';
72     
73     public function __construct(array $a, $flavor)
74     {
75         parent::__construct($a);
76         
77         $flavor = 'Calendar_Import_CalDav_Decorator_' . $flavor;
78         $this->decorator = new $flavor($this);
79     }
80     
81     public function findAllCalendars()
82     {
83         if ('' == $this->calendarHomeSet && ! $this->findCalendarHomeSet())
84             return false;
85         
86         //issue with follow location in curl!?!?
87         if ($this->calendarHomeSet[strlen($this->calendarHomeSet)-1] !== '/')
88             $this->calendarHomeSet .= '/';
89         
90         try {
91             $result = $this->calDavRequest('PROPFIND', $this->calendarHomeSet, $this->decorator->preparefindAllCalendarsRequest(self::findAllCalendarsRequest), 1);
92         } catch (Tinebase_Exception $te) {
93             if (Tinebase_Core::isLogLevel(Zend_Log::WARN))
94                 Tinebase_Core::getLogger()->warn(__METHOD__ . '::' . __LINE__ . ' request failed');
95             Tinebase_Exception::log($te);
96             return false;
97         }
98         
99         foreach ($result as $uri => $response) {
100             if (isset($response['{DAV:}resourcetype']) &&
101                     isset($response['{urn:ietf:params:xml:ns:caldav}supported-calendar-component-set']) && 
102                     $response['{DAV:}resourcetype']->is('{urn:ietf:params:xml:ns:caldav}calendar') &&
103                     in_array($this->component, $response['{urn:ietf:params:xml:ns:caldav}supported-calendar-component-set']->getValue())
104             ) {
105                 $this->calendars[$uri]['acl'] = $response['{DAV:}acl'];
106                 $this->calendars[$uri]['displayname'] = $response['{DAV:}displayname'];
107                 $this->decorator->processAdditionalCalendarProperties($this->calendars[$uri], $response);
108                 $this->resolvePrincipals($this->calendars[$uri]['acl']->getPrivileges());
109             }
110         }
111         
112         if (count($this->calendars) > 0) {
113             return true;
114         } else {
115             if (Tinebase_Core::isLogLevel(Zend_Log::WARN))
116                 Tinebase_Core::getLogger()->warn(__METHOD__ . '::' . __LINE__ . ' couldn\'t find a calendar');
117             return false;
118         }
119     }
120     
121     public function findAllCalendarICSs()
122     {
123         if (count($this->calendars) < 1 && ! $this->findAllCalendars())
124             return false;
125         
126         foreach ($this->calendars as $calUri => $calendar) {
127             $result = $this->calDavRequest('PROPFIND', $calUri, self::findAllCalendarICSsRequest, 1);
128             foreach ($result as $ics => $value) {
129                 if (strpos($ics, '.ics') !== FALSE)
130                     $this->calendarICSs[$calUri][] = $ics;
131             }
132         }
133         
134         if (count($this->calendarICSs) > 0) {
135             return true;
136         } else {
137             if (Tinebase_Core::isLogLevel(Zend_Log::NOTICE))
138                 Tinebase_Core::getLogger()->notice(__METHOD__ . '::' . __LINE__ . ' all found calendars are empty');
139             return false;
140         }
141     }
142     
143     /**
144      * findContainerForCalendar
145      * 
146      * @param unknown $calendarUri
147      * @param unknown $displayname
148      * @param unknown $defaultCalendarsName
149      * @param unknown $type
150      * @param string $application_id
151      */
152     protected function findContainerForCalendar($calendarUri, 
153             $displayname, $defaultCalendarsName, $type = Tinebase_Model_Container::TYPE_PERSONAL,
154             $application_id = null)
155     {
156         if (! $application_id) {
157             $application_id = Tinebase_Application::getInstance()->getApplicationByName($this->appName)->getId();
158         }
159         
160         // sha1() the whole calendar uri as it is very hard to separate a uuid string from the uri otherwise
161         $uuid = $this->_uuidPrefix . sha1($calendarUri);
162         
163         if (Tinebase_Core::isLogLevel(Zend_Log::DEBUG)) Tinebase_Core::getLogger()->debug(__METHOD__ . ' ' . __LINE__
164                 . ' $calendarUri = ' . $calendarUri . ' / $displayname = ' . $displayname 
165                 . ' / $defaultCalendarsName = ' . $defaultCalendarsName . ' / $uuid = ' . $uuid);
166         
167         $filter = new Tinebase_Model_ContainerFilter(array(
168             array(
169                 'field' => 'uuid', 
170                 'operator' => 'equals', 
171                 'value' => $uuid
172             ),
173             array(
174                 'field' => 'model', 
175                 'operator' => 'equals', 
176                 'value' => $this->modelName
177             ),
178         ));
179         $existingCalendar = Tinebase_Container::getInstance()->search($filter)->getFirstRecord();
180         if ($existingCalendar) {
181             if (Tinebase_Core::isLogLevel(Zend_Log::DEBUG)) Tinebase_Core::getLogger()->debug(__METHOD__ . ' ' . __LINE__
182                 . ' Found existing container ' . $existingCalendar->name . ' (id: ' . $existingCalendar->getId() . ')');
183             return $existingCalendar;
184         }
185         
186         $counter = '';
187         
188         if ($defaultCalendarsName == $displayname) {
189             $existingCalendar = Tinebase_Container::getInstance()->getDefaultContainer($this->modelName);
190             if (! $existingCalendar->uuid) {
191                 if (Tinebase_Core::isLogLevel(Zend_Log::DEBUG)) Tinebase_Core::getLogger()->debug(__METHOD__ . ' ' . __LINE__
192                     . ' Found existing calendar with the same name');
193                 $existingCalendar->uuid = $uuid;
194                 return $existingCalendar;
195             }
196             $existingCalendar = null;
197             $counter = 1;
198         }
199         
200         try {
201             while (true) {
202                 $existingCalendar = Tinebase_Container::getInstance()->getContainerByName($this->appName, $displayname . $counter, $type, Tinebase_Core::getUser());
203                 
204                 if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . ' ' . __LINE__
205                     . ' Got calendar: ' . $existingCalendar->name . ' (id: ' . $existingCalendar->getId() . ')');
206                 
207                 if (! $existingCalendar->uuid) {
208                     $existingCalendar->uuid = $uuid;
209                     return $existingCalendar;
210                 }
211                 $counter += 1;
212             }
213         } catch (Tinebase_Exception_NotFound $e) {
214             $newContainer = new Tinebase_Model_Container(array(
215                 'name'              => $displayname . $counter,
216                 'type'              => $type,
217                 'backend'           => 'Sql',
218                 'application_id'    => $application_id,
219                 'model'             => $this->modelName,
220                 'uuid'              => $uuid
221             ));
222             
223             if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . ' ' . __LINE__
224                     . ' Adding container: ' . $newContainer->name . ' for model ' . $this->modelName);
225             
226             return Tinebase_Container::getInstance()->addContainer($newContainer);
227         }
228     }
229     
230     public function importAllCalendars()
231     {
232         if (count($this->calendars) < 1 && ! $this->findAllCalendars()) {
233             return false;
234         }
235         
236         if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . ' ' . __LINE__ 
237             . ' Importing all calendars for user ' . $this->userName);
238         
239         Tinebase_Core::getApplicationInstance($this->appName, $this->modelName)->sendNotifications(false);
240         Tinebase_Core::getApplicationInstance($this->appName, $this->modelName)->useNotes(false);
241         Sabre\VObject\Component\VCalendar::$propertyMap['ATTACH'] = '\\Calendar_Import_CalDav_SabreAttachProperty';
242         
243         $this->decorator->initCalendarImport();
244         
245         $defaultCalendarsName = $this->_getDefaultCalendarsName();
246         
247         if (Tinebase_Core::isLogLevel(Zend_Log::DEBUG)) Tinebase_Core::getLogger()->debug(__METHOD__ . ' ' . __LINE__
248             . ' Calendar uris to import: ' . print_r(array_keys($this->calendars), true));
249         if (Tinebase_Core::isLogLevel(Zend_Log::TRACE)) Tinebase_Core::getLogger()->trace(__METHOD__ . ' ' . __LINE__
250             . ' Calendars to import: ' . print_r($this->calendars, true));
251         
252         foreach ($this->calendars as $calUri => $cal) {
253             $container = $this->findContainerForCalendar($calUri, $cal['displayname'], $defaultCalendarsName);
254             
255             $this->decorator->setCalendarProperties($container, $this->calendars[$calUri]);
256             
257             $grants = $this->getCalendarGrants($calUri);
258             Tinebase_Container::getInstance()->setGrants($container->getId(), $grants, TRUE, FALSE);
259         }
260     }
261     
262     /**
263      * decide which calendar to use as default calendar
264      * if there is a remote default calendar, use that. If not, use the first we find
265      * 
266      * @return string
267      */
268     protected function _getDefaultCalendarsName() 
269     {
270         $defaultCalendarsName = '';
271         foreach ($this->calendarICSs as $calUri => $calICSs) {
272             if ($this->mapToDefaultContainer == $this->calendars[$calUri]['displayname']) {
273                 return $this->calendars[$calUri]['displayname'];
274             } elseif ($defaultCalendarsName === '') {
275                 $defaultCalendarsName = $this->calendars[$calUri]['displayname'];
276             }
277         }
278         return $defaultCalendarsName;
279     }
280     
281     /**
282      * update all calendars for current user
283      * 
284      * @param string $onlyCurrentUserOrganizer
285      * @return boolean
286      */
287     public function updateAllCalendarData($onlyCurrentUserOrganizer = false)
288     {
289         // only try once to find all user calendars
290         $this->_requestTries = 1;
291         try {
292             if (count($this->calendarICSs) < 1 && ! $this->findAllCalendarICSs()) {
293                 if (Tinebase_Core::isLogLevel(Zend_Log::INFO))
294                     Tinebase_Core::getLogger()->info(__METHOD__ . '::' . __LINE__ . ' no calendars found for: ' . $this->userName);
295                 $this->_requestTries = null;
296                 return false;
297             }
298         } catch (Tinebase_Exception $te) {
299             if (Tinebase_Core::isLogLevel(Zend_Log::NOTICE))
300                 Tinebase_Core::getLogger()->notice(__METHOD__ . '::' . __LINE__ . ' Could not update user caldav data.');
301             Tinebase_Exception::log($te);
302             $this->_requestTries = null;
303             return false;
304         }
305         $this->_requestTries = null;
306         
307         $newICSs = array();
308         $newEventCount = 0;
309         $updateEventCount = 0;
310         $deleteEventCount = 0;
311         
312         if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . '::' . __LINE__
313                 . ' Looking for updates in ' . count($this->calendarICSs). ' calendars ...');
314         
315         $recordBackend = Tinebase_Core::getApplicationInstance($this->appName, $this->modelName)->getBackend();
316         
317         foreach ($this->calendarICSs as $calUri => $calICSs) {
318             $updateResult = $this->updateCalendar($calUri, $calICSs, $recordBackend);
319             if (count($updateResult['ics']) > 0) {
320                 $newICSs[$calUri] = $updateResult['ics'];
321             }
322             
323             if (! empty($updateResult['todelete'])) {
324                 if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . '::' . __LINE__ . ' '
325                         . ' Deleting ' . count($updateResult['todelete']) . ' ' . $this->modelName . ' in calendar '  . $calUri);
326                 if (Tinebase_Core::isLogLevel(Zend_Log::TRACE)) Tinebase_Core::getLogger()->trace(__METHOD__ . '::' . __LINE__ . ' '
327                         . ' IDs to delete: ' . print_r($updateResult['todelete'], true));
328                 $deleteEventCount += Calendar_Controller_Event::getInstance()->delete($updateResult['todelete']);
329             }
330             
331             $newEventCount += $updateResult['toadd'];
332             $updateEventCount += $updateResult['toupdate'];
333         }
334         
335         $count = count($newICSs);
336         if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . '::' . __LINE__ . ' '
337                 . $count . ' calendar(s) changed for: ' . $this->userName
338                 . ' (' . $newEventCount . '/' . $updateEventCount . '/' . $deleteEventCount . ' records add/update/delete): '
339                 . print_r(array_keys($newICSs), true));
340         
341         if ($count > 0) {
342             if (Tinebase_Core::isLogLevel(Zend_Log::TRACE)) Tinebase_Core::getLogger()->trace(__METHOD__ . '::' . __LINE__ . ' ' 
343                     . 'Events changed: ' . print_r($newICSs, true));
344             
345             $this->calendarICSs = $newICSs;
346             $this->importAllCalendarData($onlyCurrentUserOrganizer, /* $update = */ true);
347         }
348     }
349     
350     /**
351      * update calendar
352      * 
353      * @param string $calUri
354      * @param array $calICSs
355      * @param Tinebase_Backend_Sql $recordBackend
356      */
357     protected function updateCalendar($calUri, $calICSs, $recordBackend)
358     {
359         $updateResult = array(
360             'ics'       => array(),
361             'toupdate'  => 0,
362             'toadd'     => 0,
363             'todelete'  => array(), // of record ids
364         );
365         
366         $serverEtags = $this->_fetchServerEtags($calUri, $calICSs);
367         
368         // get current tine20 id/etags of records
369         $defaultCalendarsName = $this->_getDefaultCalendarsName();
370         $container = $this->findContainerForCalendar($calUri, $this->calendars[$calUri]['displayname'], $defaultCalendarsName);
371         $containerEtags = $recordBackend->getEtagsForContainerId($container->getId());
372         
373         if (Tinebase_Core::isLogLevel(Zend_Log::DEBUG)) Tinebase_Core::getLogger()->debug(__METHOD__ . '::' . __LINE__ . ' '
374                 . ' Got ' . count($serverEtags) . ' server etags for container ' . $container->name);
375         if (Tinebase_Core::isLogLevel(Zend_Log::TRACE)) Tinebase_Core::getLogger()->trace(__METHOD__ . '::' . __LINE__ . ' '
376                 . ' server etags: ' . print_r($serverEtags, true));
377         if (Tinebase_Core::isLogLevel(Zend_Log::TRACE)) Tinebase_Core::getLogger()->trace(__METHOD__ . '::' . __LINE__ . ' '
378                 . ' tine20 etags: ' . print_r($containerEtags, true));
379         
380         // handle add/updates
381         $existingIds = array();
382         foreach ($serverEtags as $ics => $data) {
383             if (isset($containerEtags[$data['id']])) {
384                 $tine20Etag = $containerEtags[$data['id']]['etag'];
385                 
386                 // remove from $containerEtags list to be able to tell deletes
387                 unset($containerEtags[$data['id']]);
388                 $existingIds[] = $data['id'];
389         
390                 if ($tine20Etag == $data['etag']) {
391                     continue; // same
392                 } else if (empty($tine20Etag)) {
393                     // event has been added in tine -> don't overwrite/delete
394                     continue;
395                 }
396                 // different -> update record
397             } else {
398                 try {
399                     // might be a delegated event from another container/organizer
400                     $recordBackend->checkETag($data['id'], $data['etag']);
401                     continue; // ignore update here
402                 } catch (Tinebase_Exception_NotFound $tenf) {
403                     // new record
404                 }
405             }
406         
407             if (! isset($this->existingRecordIds[$calUri])) {
408                 if (Tinebase_Core::isLogLevel(Zend_Log::DEBUG)) Tinebase_Core::getLogger()->debug(__METHOD__ . '::' . __LINE__ . ' '
409                         . ' Found changed event(s) for container ' . $container->name);
410         
411                 $this->existingRecordIds[$calUri] = array();
412             }
413             
414             $updateResult['ics'][] = $ics;
415             if (in_array($data['id'], $existingIds)) {
416                 $this->existingRecordIds[$calUri][] = $data['id'];
417                 $updateResult['toupdate']++;
418             } else {
419                 $updateResult['toadd']++;
420             }
421         }
422         
423         // handle deletes/exdates
424         foreach ($containerEtags as $id => $data) {
425             if (in_array($data['uid'], $existingIds)) {
426                 if (Tinebase_Core::isLogLevel(Zend_Log::DEBUG)) Tinebase_Core::getLogger()->debug(__METHOD__ . '::' . __LINE__ . ' '
427                         . ' Record ' . $id . ' is exdate of ' . $data['uid']);
428                 continue;
429             }
430             if (! empty($data['etag'])) {
431                 // record has been deleted on server
432                 $updateResult['todelete'][] = $id;
433             } else {
434                 if (Tinebase_Core::isLogLevel(Zend_Log::DEBUG)) Tinebase_Core::getLogger()->debug(__METHOD__ . '::' . __LINE__ . ' '
435                         . ' Record has been added in tine: ' . $id);
436             }
437         }
438         
439         return $updateResult;
440     }
441     
442     protected function _fetchServerEtags($calUri, $calICSs)
443     {
444         $start = 0;
445         $max = count($calICSs);
446         
447         $etags = array();
448         do {
449             $requestEnd = '';
450             for ($i = $start; $i < $max && $i < ($this->maxBulkRequest+$start); ++$i) {
451                 $requestEnd .= '  <a:href>' . $calICSs[$i] . "</a:href>\n";
452             }
453             $start = $i;
454             $requestEnd .= '</b:calendar-multiget>';
455             $result = $this->calDavRequest('REPORT', $calUri, self::getEventETagsRequest . $requestEnd, 1);
456         
457             foreach ($result as $key => $value) {
458                 if (isset($value['{DAV:}getetag'])) {
459                     $name = explode('/', $key);
460                     $name = end($name);
461                     $id = $this->_getEventIdFromName($name);
462                     $etags[$key] = array( 'id' => $id, 'etag' => $value['{DAV:}getetag']);
463                 }
464             }
465         } while($start < $max);
466
467         return $etags;
468     }
469     
470     protected function _getEventIdFromName($name)
471     {
472         $id = ($pos = strpos($name, '.')) === false ? $name : substr($name, 0, $pos);
473         if (strlen($id) > 40) {
474             $id = sha1($id);
475         }
476         return $id;
477     }
478     
479     public function importAllCalendarData($onlyCurrentUserOrganizer = false, $update = false)
480     {
481         if (count($this->calendarICSs) < 1 && ! $this->findAllCalendarICSs()) {
482             return false;
483         }
484         
485         if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . ' ' . __LINE__
486             . ' Importing all calendar data for user ' . $this->userName . ' with ics uris: ' . print_r(array_keys($this->calendarICSs), true));
487         
488         Tinebase_Core::getApplicationInstance($this->appName, $this->modelName)->sendNotifications(false);
489         Tinebase_Core::getApplicationInstance($this->appName, $this->modelName)->useNotes(false);
490         Sabre\VObject\Component\VCalendar::$propertyMap['ATTACH'] = '\\Calendar_Import_CalDav_SabreAttachProperty';
491         
492         $this->decorator->initCalendarImport();
493         
494         $application_id = Tinebase_Application::getInstance()->getApplicationByName($this->appName)->getId();
495         $type = Tinebase_Model_Container::TYPE_PERSONAL;
496         $defaultContainer = Tinebase_Container::getInstance()->getDefaultContainer($this->modelName);
497         
498         $defaultCalendarsName = $this->_getDefaultCalendarsName();
499         
500         foreach ($this->calendarICSs as $calUri => $calICSs) {
501             if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . ' ' . __LINE__
502                 . ' Processing calendar ' . print_r($this->calendars[$calUri], true));
503             
504             $container = $this->findContainerForCalendar($calUri, $this->calendars[$calUri]['displayname'], $defaultCalendarsName,
505                     $type, $application_id);
506             
507             if (Tinebase_Core::isLogLevel(Zend_Log::TRACE)) Tinebase_Core::getLogger()->trace(__METHOD__ . ' ' . __LINE__
508                     . ' User container: ' . print_r($container->toArray(), true));
509             
510             $this->decorator->setCalendarProperties($container, $this->calendars[$calUri]);
511             
512             // we shouldnt do the grants here as the caldav user file may not contain all users, so setting the grants wont work properly!
513             // use importAllCalendars to have the grants set
514             //$grants = $this->getCalendarGrants($calUri);
515             //Tinebase_Container::getInstance()->setGrants($container->getId(), $grants, TRUE, FALSE);
516             
517             $start = 0;
518             $max = count($calICSs);
519             do {
520                 $etags = array();
521                 $requestEnd = '';
522                 for ($i = $start; $i < $max && $i < ($this->maxBulkRequest+$start); ++$i) {
523                     $requestEnd .= '  <a:href>' . $calICSs[$i] . "</a:href>\n";
524                 }
525                 $start = $i;
526                 $requestEnd .= '</b:calendar-multiget>';
527                 $result = $this->calDavRequest('REPORT', $calUri, self::getAllCalendarDataRequest . $requestEnd, 1);
528                 
529                 foreach ($result as $key => $value) {
530                     if (! isset($value['{urn:ietf:params:xml:ns:caldav}calendar-data'])) {
531                         continue;
532                     }
533                     
534                     $data = $value['{urn:ietf:params:xml:ns:caldav}calendar-data'];
535                     
536                     if (strpos($data, 'BEGIN:' . $this->skipComonent) !== false) {
537                         if (Tinebase_Core::isLogLevel(Zend_Log::INFO))
538                             Tinebase_Core::getLogger()->info(__METHOD__ . '::' . __LINE__ . ' Skipping ' . $this->skipComonent);
539                         continue;
540                     }
541                     
542                     if (Tinebase_Core::isLogLevel(Zend_Log::DEBUG)) Tinebase_Core::getLogger()->debug(__METHOD__ . ' ' . __LINE__
543                             . ' Processing caldav record: ' . $key);
544                     
545                     $name = explode('/', $key);
546                     $name = end($name);
547                     $id = $this->_getEventIdFromName($name);
548                     try {
549                         if ($update && in_array($id, $this->existingRecordIds[$calUri])) {
550                             $webdavFrontend = new $this->webdavFrontend($container, $id);
551                             // @todo move this to separate fn
552                             if ($onlyCurrentUserOrganizer && $this->modelName === 'Calendar_Model_Event') {
553                                 // assert current user is organizer
554                                 if ($webdavFrontend->getRecord()->organizer && $webdavFrontend->getRecord()->organizer == Tinebase_Core::getUser()->contact_id) {
555                                     $webdavFrontend->put($data);
556                                 } else {
557                                     continue;
558                                 }
559                             } else {
560                                 $webdavFrontend->put($data);
561                             }
562                             
563                         } else {
564                             $webdavFrontend = call_user_func_array(array($this->webdavFrontend, 'create'), array(
565                                 $container,
566                                 $name,
567                                 $data,
568                                 $onlyCurrentUserOrganizer
569                             ));
570                         }
571                         
572                         if ($webdavFrontend) {
573                             $etags[$webdavFrontend->getRecord()->getId()] = $value['{DAV:}getetag'];
574                         }
575                     } catch (Exception $e) {
576                         if (Tinebase_Core::isLogLevel(Zend_Log::WARN))
577                             Tinebase_Core::getLogger()->warn(__METHOD__ . '::' . __LINE__ . ' Could not create event from data: ' . $data);
578                         Tinebase_Exception::log($e, /* $suppressTrace = */ false);
579                     }
580                 }
581                 
582                 $this->_setEtags($etags);
583             } while($start < $max);
584         }
585         return true;
586     }
587     
588     protected function _setEtags($etags)
589     {
590         $recordBackend = Tinebase_Core::getApplicationInstance($this->appName, $this->modelName)->getBackend();
591         $recordBackend->setETags($etags);
592     }
593     
594     /**
595      * get Tine 2.0 group for given principal (by display name)
596      * - result is cached for 1 week
597      * 
598      * @param string $principal
599      * @return null|Tinebase_Model_Group
600      */
601     protected function _getGroupForPrincipal($principal)
602     {
603         $cacheId = convertCacheId('_getGroupForPrincipal' . $principal);
604         if (Tinebase_Core::getCache()->test($cacheId)) {
605             $group = Tinebase_Core::getCache()->load($cacheId);
606             if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . ' ' . __LINE__
607                     . ' Loading principal group from cache: ' . $group->name);
608             return $group;
609         }
610         
611         $group = null;
612         
613         $result = $this->calDavRequest('PROPFIND', $principal, self::resolvePrincipalRequest);
614         if (count($result['{DAV:}group-member-set']->getPrincipals()) > 0 && isset($result['{DAV:}displayname'])) {
615             $groupDescription = $result['{DAV:}displayname'];
616             try {
617                 $group = Tinebase_Group::getInstance()->getGroupByPropertyFromSqlBackend('description',$groupDescription);
618                 if (Tinebase_Core::isLogLevel(Zend_Log::INFO)) Tinebase_Core::getLogger()->info(__METHOD__ . ' ' . __LINE__
619                         . ' Found matching group ' . $group->name . ' (' . $group->description .') for principal ' . $principal);
620                 Tinebase_Core::getCache()->save($group, $cacheId, array(), /* 1 week */ 24*3600*7);
621             } catch (Tinebase_Exception_Record_NotDefined $ternd) {
622                 if (Tinebase_Core::isLogLevel(Zend_Log::NOTICE)) Tinebase_Core::getLogger()->notice(__METHOD__ . ' ' . __LINE__
623                         . ' Group not found: ' . $groupDescription . ' ' . print_r($result, true));
624             }
625         }
626         
627         return $group;
628     }
629     
630     /**
631      * get grants for cal uri
632      * 
633      * @param string $calUri
634      * @return Tinebase_Record_RecordSet
635      */
636     public function getCalendarGrants($calUri)
637     {
638         $grants = array();
639         $user = array();
640         $type = array();
641         $privilege = array();
642         foreach ($this->calendars[$calUri]['acl']->getPrivileges() as $ace)
643         {
644             if ('{DAV:}authenticated' == $ace['principal']) {
645                 $user[] = 0;
646                 $type[] = Tinebase_Acl_Rights::ACCOUNT_TYPE_ANYONE;
647                 $privilege[] = $ace['privilege'];
648             } elseif (isset($this->principals[$ace['principal']])) {
649                 $user[] = $this->principals[$ace['principal']]->getId();
650                 $type[] = Tinebase_Acl_Rights::ACCOUNT_TYPE_USER;
651                 $privilege[] = $ace['privilege'];
652             } elseif (isset($this->principalGroups[$ace['principal']])) {
653                 foreach($this->principalGroups[$ace['principal']] as $principal) {
654                     if ('{DAV:}authenticated' == $principal) {
655                         $user[] = 0;
656                         $type[] = Tinebase_Acl_Rights::ACCOUNT_TYPE_ANYONE;
657                         $privilege[] = $ace['privilege'];
658                     } elseif (isset($this->principals[$principal])) {
659                         $user[] = $this->principals[$principal]->getId();
660                         $type[] = Tinebase_Acl_Rights::ACCOUNT_TYPE_USER;
661                         $privilege[] = $ace['privilege'];
662                     } else {
663                         $group = $this->_getGroupForPrincipal($principal);
664                         if ($group) {
665                             $user[] = $group->getId();
666                             $type[] = Tinebase_Acl_Rights::ACCOUNT_TYPE_GROUP;
667                             $privilege[] = $ace['privilege'];
668                         } else {
669                             if (Tinebase_Core::isLogLevel(Zend_Log::WARN))
670                                 Tinebase_Core::getLogger()->warn(__METHOD__ . '::' . __LINE__ 
671                                     . ' There is an unresolved principal: ' . $principal . ' in group: ' . $ace['principal']);
672                         }
673                     }
674                 }
675             } else {
676                 if (Tinebase_Core::isLogLevel(Zend_Log::WARN))
677                     Tinebase_Core::getLogger()->warn(__METHOD__ . '::' . __LINE__ . ' Couldn\'t resolve principal: '.$ace['principal']);
678             }
679         }
680         for ($i=0; $i<count($user); ++$i) {
681             switch ($privilege[$i]) {
682                 case '{DAV:}all':
683                     $grants[$user[$i]] = $this->_getAllGrants();
684                     break;
685                 case '{urn:ietf:params:xml:ns:caldav}read-free-busy':
686                     $grants[$user[$i]] = $this->_getFreeBusyGrants();
687                     break;
688                 case '{DAV:}read':
689                     $grants[$user[$i]] = $this->_getReadGrants();
690                     break;
691                 case '{DAV:}write':
692                     $grants[$user[$i]] = $this->_getWriteGrants();
693                     break;
694                 case '{DAV:}read-current-user-privilege-set':
695                     continue;
696                 default:
697                     if (Tinebase_Core::isLogLevel(Zend_Log::WARN))
698                         Tinebase_Core::getLogger()->warn(__METHOD__ . '::' . __LINE__ . ' unknown privilege: ' . $privilege[$i]);
699                     continue;
700             }
701             $grants[$user[$i]]['account_id'] = $user[$i];
702             $grants[$user[$i]]['account_type'] = $type[$i];
703         }
704         
705         if (Tinebase_Core::isLogLevel(Zend_Log::INFO))
706             Tinebase_Core::getLogger()->info(__METHOD__ . '::' . __LINE__ . ' found ' . count($grants) . ' grants for calendar: ' . $calUri);
707         if (Tinebase_Core::isLogLevel(Zend_Log::DEBUG))
708             Tinebase_Core::getLogger()->debug(__METHOD__ . '::' . __LINE__ . ' grants: ' . print_r($grants, true));
709         
710         return new Tinebase_Record_RecordSet('Tinebase_Model_Grants', $grants, TRUE);
711     }
712     
713     protected function _getAllGrants()
714     {
715         return array(
716             Tinebase_Model_Grants::GRANT_READ => true,
717             Tinebase_Model_Grants::GRANT_ADD=> true,
718             Tinebase_Model_Grants::GRANT_EDIT=> true,
719             Tinebase_Model_Grants::GRANT_DELETE=> true,
720             Tinebase_Model_Grants::GRANT_EXPORT=> true,
721             Tinebase_Model_Grants::GRANT_SYNC=> true,
722             Tinebase_Model_Grants::GRANT_ADMIN=> true,
723             Tinebase_Model_Grants::GRANT_FREEBUSY=> true,
724             Tinebase_Model_Grants::GRANT_PRIVATE=> true,
725         );
726     }
727
728     protected function _getFreeBusyGrants()
729     {
730         return array(
731             Tinebase_Model_Grants::GRANT_FREEBUSY=> true,
732         );
733     }
734
735     protected function _getReadGrants()
736     {
737         return array(
738             Tinebase_Model_Grants::GRANT_READ=> true,
739             Tinebase_Model_Grants::GRANT_EXPORT=> true,
740             Tinebase_Model_Grants::GRANT_SYNC=> true,
741             Tinebase_Model_Grants::GRANT_FREEBUSY=> true,
742         );
743     }
744
745     protected function _getWriteGrants()
746     {
747         return array(
748             Tinebase_Model_Grants::GRANT_READ=> true,
749             Tinebase_Model_Grants::GRANT_ADD=> true,
750             Tinebase_Model_Grants::GRANT_EDIT=> true,
751             Tinebase_Model_Grants::GRANT_DELETE=> true,
752         );
753     }
754     
755     public function updateAllCalendarDataForUsers(array $users)
756     {
757         $result = true;
758         // first only update/import events where the current user is also the organizer
759         foreach ($users as $username => $pwd) {
760             $this->clearCurrentUserCalendarData();
761             $this->userName = $username;
762             $this->password = $pwd;
763             if (!$this->updateAllCalendarData(true)) {
764                 $result = false;
765             }
766         }
767         // then update all events again
768         foreach ($users as $username => $pwd) {
769             $this->clearCurrentUserCalendarData();
770             $this->userName = $username;
771             $this->password = $pwd;
772             if (!$this->updateAllCalendarData(false)) {
773                 $result = false;
774             }
775         }
776         return $result;
777     }
778     
779     public function importAllCalendarDataForUsers(array $users)
780     {
781         $result = true;
782         // first only import events where the current user is also the organizer
783         foreach ($users as $username => $pwd) {
784             $this->clearCurrentUserCalendarData();
785             $this->userName = $username;
786             $this->password = $pwd;
787             if (!$this->importAllCalendarData(true)) {
788                 $result = false;
789             }
790         }
791         // then import all events again
792         foreach ($users as $username => $pwd) {
793             $this->clearCurrentUserCalendarData();
794             $this->userName = $username;
795             $this->password = $pwd;
796             if (!$this->importAllCalendarData(false)) {
797                 $result = false;
798             }
799         }
800         return $result;
801     }
802     
803     public function importAllCalendarsForUsers(array $users)
804     {
805         if (!$this->findCurrentUserPrincipalForUsers($users)) {
806             return false;
807         }
808         
809         $result = true;
810         foreach ($users as $username => $pwd) {
811             $this->clearCurrentUserCalendarData();
812             $this->userName = $username;
813             $this->password = $pwd;
814             if (!$this->importAllCalendars()) {
815                 $result = false;
816             }
817         }
818         return $result;
819     }
820     
821     public function clearCurrentUserCalendarData()
822     {
823         $this->clearCurrentUserData();
824         $this->calendars = array();
825         $this->calendarICSs = array();
826     }
827 }